Resumen Técnico: ¿Qué Frena el Razonamiento Visual Latente?

Declaración del Problema

Los Modelos Visión-Lenguaje (VLM) han logrado un rendimiento sólido en diversas tareas visuales, pero continúan teniendo dificultades con escenarios que requieren razonamiento espacial y composicional, donde resolver un problema depende de la manipulación interna de representaciones visuales en lugar de descripciones puramente textuales. Para abordar esto, trabajos recientes han introducido el Razonamiento Visual Latente, utilizando tokens latentes continuos como pasos intermedios de "imaginación" para facilitar el razonamiento de Cadena de Pensamiento (CoT) visual.

A pesar de las mejoras de rendimiento reportadas, sigue sin estar claro qué codifican realmente estas representaciones latentes y en qué medida influyen causalmente en las predicciones del modelo. Este artículo investiga si los VLM actuales dependen genuinamente de los tokens latentes para el razonamiento o si simplemente los eluden.

Metodología

Los autores investigan el papel causal de los tokens latentes en cuatro modelos recientes de razonamiento visual latente disponibles: LVR, Monet, ILVR y LanteRn. El estudio emplea un enfoque multifacético:

1. Análisis de Intervención (Prueba Causal): Los autores reemplazan los tokens latentes generados ($\hat{z}$) con tokens "ficticios" no informativos ($z'$) durante la inferencia. Las intervenciones incluyen:

   • Subregión Aleatoria: Inyectar latentes derivados de recortes de imágenes no relacionados.
   • Ceros/Ruido: Reemplazar los latentes con valores constantes o ruido gaussiano.
   • Omitir Latentes: Desactivar completamente la vía latente insertando el token de fin inmediatamente después del token de inicio.
   • Condicionamiento Oráculo: Proporcionar tokens latentes oráculo de verdad fundamental ($z^*$) derivados de imágenes intermedias para probar si el modelo puede utilizar información de alta calidad si está disponible.

2. Creación de Conjuntos de Datos Diagnósticos: Para aislar el impacto de los datos de entrenamiento, los autores construyeron escenarios específicos:

   • Entrenamiento Enmascarado: Enmascarar regiones relevantes en la imagen de entrada para que la tarea solo pueda resolverse utilizando información de la imagen intermedia (y, por tanto, de los tokens latentes).
   • Rotaciones tipo Tetris: Un conjunto de datos sintético que requiere que el modelo aplique una rotación observada en una forma fuente a una forma objetivo. Aquí, las imágenes intermedias representan transformaciones no triviales (rotaciones) en lugar de simples subregiones.

3. Análisis del Espacio Latente: Los autores analizaron la distribución de los latentes generados frente a los latentes oráculo utilizando métricas de similitud del coseno, midiendo específicamente:

   • Precisión de Recuperación: Con qué frecuencia un latente generado coincide con su latente oráculo correspondiente.
   • Preferencia de Auto-Generación No Relacionada (USP): Si los latentes generados están más cerca de otros latentes generados que de su verdad fundamental.
   • Colapso Temporal: La similitud entre tokens latentes consecutivos a lo largo del tiempo.

Contribuciones y Resultados Clave

1. El Problema de Elusión de Latentes

El estudio revela que los modelos actuales de última generación ignoran en gran medida los tokens latentes al producir respuestas.

• Resultado: Reemplazar los latentes generados con tokens ficticios no informativos (ruido, ceros o subregiones aleatorias) resultó en una caída mínima o nula de la precisión en los cuatro modelos en puntos de referencia como BLINK y V*Bench. En algunos casos, el rendimiento mejoró ligeramente.
• Limitación del Oráculo: Incluso cuando los modelos se condicionaron con latentes oráculo de alta calidad (verdad fundamental) durante la inferencia, la precisión no mejoró significativamente en comparación con la inferencia estándar.
• Conclusión: Los tokens latentes juegan un papel causal mínimo en la predicción final. Los modelos eluden efectivamente la vía de razonamiento latente.

2. Los Datos de Entrenamiento como Causa Raíz

Los autores identifican los datos de entrenamiento como el principal impulsor del problema de elusión.

• Observación: En los conjuntos de datos existentes (por ejemplo, VisCoT, COMT), las imágenes intermedias suelen ser subregiones recortadas de la entrada original. Dado que la información completa ya está presente en la imagen de entrada, los tokens latentes no proporcionan información adicional necesaria.
• Evidencia:
  • Línea Base de Token de Pausa: Un modelo base entrenado sin tokens latentes (utilizando tokens de "pausa" como marcadores de posición) logró la misma precisión (79%) que el modelo que utilizaba latentes oráculo en datos estándar.
  • Entrenamiento Enmascarado: Cuando la imagen de entrada se enmascaró para ocultar la solución, forzando la dependencia de los tokens latentes, la precisión del modelo disminuyó significativamente si los latentes se reemplazaban con ruido, pero se mantuvo alta con latentes oráculo.
  • Rotaciones tipo Tetris: En una tarea que requería una transformación no trivial (rotación) no visible directamente en la entrada, los modelos entrenados en estos datos aprendieron a depender de los tokens latentes. Los latentes oráculo arrojaron una precisión del 86%, mientras que las intervenciones redujeron el rendimiento a niveles aleatorios (~30%).
• Conclusión: Los modelos solo dependen de los tokens latentes cuando los pasos intermedios proporcionan información no trivial y relevante para la tarea que no puede recuperarse fácilmente de la entrada original.

3. Colapso de la Representación Latente

Incluso cuando los modelos son capaces de utilizar tokens latentes, fallan al generarlos de alta calidad durante la inferencia estándar.

• Observación: Los tokens latentes generados ($\hat{z}$) muestran una similitud extremadamente alta entre sí (similitud del coseno > 0.8–0.98) pero son relativamente disímiles a sus representaciones oráculo correspondientes ($z^*$).
• Fallo de Recuperación: Los modelos no logran recuperar el latente oráculo correcto dentro de los 10 candidatos principales (precisión de recuperación < 10% para la mayoría de los modelos).
• Colapso Temporal: A medida que avanza la cadena de razonamiento, los latentes predichos colapsan en una región estrecha y altamente similar del espacio latente, mientras que los latentes oráculo mantienen la diversidad.
• Conclusión: Los métodos actuales sufren de colapso de la representación latente, donde los modelos generan tokens genéricos y de baja información en lugar de abstracciones visuales diversas y discriminativas.

Significado y Direcciones Futuras

El artículo concluye que el progreso en el razonamiento visual latente está actualmente limitado por dos problemas fundamentales:

1. Calidad del Conjunto de Datos: Los conjuntos de datos existentes no incentivan el uso de tokens latentes porque los pasos intermedios a menudo son redundantes con la imagen de entrada. Los conjuntos de datos futuros deben proporcionar pasos intermedios que ofrezcan andamiaje para tareas donde la solución no es trivialmente extraíble de la entrada cruda (por ejemplo, transformaciones geométricas).
2. Precisión de Predicción: Los modelos luchan por predecir tokens latentes diversos y precisos, lo que conduce al colapso de la representación. El trabajo futuro debe centrarse en mejorar la generación de estos tokens para igualar la calidad de las representaciones oráculo.

Los autores enfatizan que, aunque el razonamiento visual latente ofrece promesas para tareas espaciales y composicionales, las implementaciones actuales son en gran medida ineficaces debido a estos defectos de entrenamiento y generación. Proporcionan el código, los modelos y los conjuntos de datos diagnósticos (LanteRn) para facilitar futuras investigaciones en esta dirección.