DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

Planteamiento del problema

Los actuales Modelos Multimodales Grandes Unificados (ULMM, por sus siglas en inglés) que intentan el razonamiento multimodal entrelazado suelen generar estados visuales intermedios como imágenes completas. Este paradigma introduce dos ineficiencias críticas:

1. Redundancia de tokens visuales: Los pasos de razonamiento consecutivos suelen compartir un contenido visual sustancial. Generar una imagen completa para cada paso modela repetidamente regiones que no han cambiado, lo que conduce a una sobrecarga masiva de tokens visuales en comparación con los pasos de razonamiento textual.
2. Supervisión diluida: Al reconstruir el estado completo en cada paso, la señal de aprendizaje se dispersa tanto en el contenido persistente como en los cambios escasos y críticos que impulsan el razonamiento. Esto sesga la optimización hacia la reconstrucción de bajo nivel en lugar de las transiciones de estado críticas para el razonamiento.

Los enfoques existentes ya sea comprimen la información visual en tokens latentes (sacrificando la interpretabilidad) o dependen de flujos de trabajo aumentados por herramientas (careciendo de un acoplamiento de extremo a extremo). Incluso dentro de los modelos unificados, el costo computacional de la generación a nivel de píxel suele dominar el razonamiento semántico, lo que restringe la escalabilidad.

Metodología: DeltaV

Los autores proponen DeltaV, un marco de trabajo ULMM que redefine el razonamiento entrelazado como un proceso de transiciones de estado visual en lugar de generaciones de imágenes completas independientes. En lugar de predecir $Z_t$ (el estado completo) en el paso $t$, DeltaV predice $\Delta Z_t$ (actualizaciones visuales) condicionado a los estados históricos.

1. Modelado autorregresivo unificado con actualizaciones visuales
DeltaV descompone la trayectoria de razonamiento $Y$ en un estado visual inicial $Z_0$ y una secuencia de tokens de actualización visual de longitud variable $\Delta Z_t$:
$$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$$
donde $X_t$ representa los tokens de texto. Esta formulación desplaza el objetivo de aprendizaje de la reconstrucción de estados al modelado de transiciones, obligando al modelo a centrarse únicamente en la evidencia visual necesaria para avanzar en la trayectoria de razonamiento.

2. TSIM-Tok: Tokenización consciente de la variación
Para implementar esto, DeltaV introduce TSIM-Tok, un tokenizador visual que consta de dos componentes clave:

• TSIM Router (Enrutador de Similitud Temporal): Este módulo asigna dinámicamente el presupuesto de tokens para cada actualización basándose en la magnitud del cambio visual. Calcula una puntuación de Similitud Temporal (TSIM) comparando las características visuales actuales contra un historial ponderado de estados previos. El peso considera la proximidad temporal (los estados recientes importan más) y la capacidad de información (los estados con más tokens proporcionan referencias más ricas).
  • El enrutador utiliza un procedimiento de calibración fuera de línea para mapear las puntuaciones TSIM a presupuestos de tokens. Ajusta una curva que relaciona el recuento de tokens con la fidelidad de la reconstrucción (SSIM) y selecciona el presupuesto donde la ganancia marginal en la calidad de la reconstrucción cae por debajo de un umbral. Esto asegura que los cambios complejos reciban más tokens, mientras que las actualizaciones menores reciben menos.
• Módulo de Representación de Actualización Visual: Este módulo codifica los estados visuales en tokens base ($Z_0$) y tokens de actualización de longitud variable ($\Delta Z_t$) utilizando consultas aprendibles. Condiciona la generación de $\Delta Z_t$ sobre $Z_0$ y todas las actualizaciones precedentes ($\Delta Z_{<t}$), asegurando la consistencia temporal sin regenerar el contenido estable.

3. Conjunto de datos StructCoT
Reconociendo que los conjuntos de datos de razonamiento entrelazado existentes son limitados en escala y diversidad de dominio, los autores construyeron StructCoT.

• Escala: 1.05 millones de muestras.
• Cobertura: 44 dominios de tareas, organizados en siete categorías de razonamiento: Planificación Estratégica, Planificación Espacial/Encarnada, Razonamiento Lógico/Abstracto, Razonamiento Matemático/Algorítmico, Razonamiento Científico/de Dominio, Búsqueda Visual y Restauración de Imágenes/Rompecabezas.
• Propósito: Proporcionar una supervisión amplia para el aprendizaje de patrones de actualización visual y estructuras de razonamiento generalizables.

Contribuciones clave

1. Marco DeltaV: El primer marco de razonamiento multimodal unificado que formula explícitamente el razonamiento entrelazado como un modelado de estado visual centrado en las actualizaciones. Reemplaza la generación de imágenes completas con actualizaciones visuales compactas y conscientes de la variación.
2. TSIM Router: Un mecanismo novedoso que alinea la asignación de tokens con la magnitud real del cambio visual, reduciendo la redundancia al detener la asignación de tokens una vez que las ganancias marginales de reconstrucción disminuyen.
3. Conjunto de datos StructCoT: Un conjunto de datos a gran escala y diverso diseñado para soportar un razonamiento multimodal centrado en actualizaciones generalizables, expandiendo significativamente la cobertura de los benchmarks existentes.

Resultados experimentales

Los experimentos se realizaron en el conjunto de datos Zebra-CoT (para ablación y evaluación intra-dominio) y en benchmarks externos (para generalización).

• Eficiencia: El paradigma de actualización visual reduce los tokens generados recientemente en un 55.6% en promedio en comparación con la generación de imágenes completas, sin comprometer la fidelidad de la reconstrucción.
• Desempeño de Razonamiento:
  • DeltaV mejora el razonamiento multimodal en un 3.3% sobre las líneas de base de generación de imágenes completas.
  • En evaluaciones intra-dominio (Zebra-CoT y StructCoT), el modelo DeltaV-2B supera sustancialmente a modelos de código abierto considerablemente más grandes en un promedio del 8.4%.
  • En benchmarks externos de razonamiento y comprensión multimodal, DeltaV-2B supera al comparable Qwen3-VL-2B por un 5.9%.
• Estudios de Ablación:
  • Asignación de Tokens: El TSIM Router (basado en la pendiente) supera tanto a la asignación de presupuesto aleatoria como al umbral basado en valor, confirmando que la utilidad marginal es un criterio superior para el presupuesto.
  • Consistencia de Reconstrucción: El análisis cualitativo muestra que los modelos de imagen completa sufren de "deriva semántica" (por ejemplo, cambios de identidad o forma a través de los pasos), mientras que DeltaV mantiene estados visuales consistentes al fundamentar las actualizaciones en la información histórica.
  • Generalización: El entrenamiento de actualización visual mejora el desempeño en benchmarks de comprensión general (por ejemplo, MMBench, MathVista) en comparación con las líneas de base solo de texto, sugiriendo que el modelo aprende representaciones multimodales transferibles.

Significado y Reivindicaciones

El artículo afirma que el cuello de botella en el razonamiento entrelazado actual no es la generación a nivel de píxel en sí, sino el paradigma de tratar cada paso de razonamiento como una tarea de generación de imagen completa. Al cambiar a una perspectiva de transición de estado visual, DeltaV logra:

• Mayor Eficiencia: Reduciendo drásticamente la sobrecarga de tokens al modelar solo los cambios.
• Mejores Señales de Razonamiento: Concentrando la supervisión en los cambios escasos y críticos que impulsan el razonamiento, en lugar del contenido redundante.
• Mejor Consistencia: Mitigando la acumulación de errores y la deriva semántica a través de cadenas de razonamiento de múltiples pasos.

Los autores concluyen que DeltaV ofrece un camino más eficiente y generalizable hacia la inteligencia multimodal unificada, sugiriendo que los sistemas futuros deberían seleccionar adaptativamente las representaciones intermedias (actualizaciones compactas vs. imágenes completas vs. herramientas externas) basándose en los requisitos de la tarea.