Resumen Técnico: Razonamiento Latente Autoconsistente (SCOLAR)

1. Declaración del Problema

Mientras que la escalabilidad de "computación para rendimiento" en modelos de lenguaje ha demostrado que las Cadenas de Pensamiento (CoT) más largas mejoran consistentemente las capacidades de razonamiento, aplicar este principio a los Modelos de Lenguaje Visual (VLM) mediante razonamiento visual latente ha producido resultados contraintuitivos. Los métodos existentes que introducen representaciones visuales latentes intermedias durante la generación sufren una degradación sistemática del rendimiento a medida que se alarga la secuencia latente.

El artículo identifica dos causas raíz de este fenómeno, denominadas Colapso de la Ganancia de Información:

1. Dependencia Autoregresiva: En el razonamiento latente tradicional, cada token se genera basándose en el anterior. Esto crea una cadena de dependencia donde la información visual se degrada inevitablemente a medida que se propaga, haciendo que los tokens subsiguientes repitan información existente en lugar de introducir nuevo contenido semántico.
2. Objetivos de Supervisión Sin Sentido: Muchos métodos existentes dependen de incrustaciones de imagen fuertemente agrupadas (p. ej., $\ge 128\times$) como objetivos de supervisión. Los autores demuestran que estas características agrupadas actúan como "marcadores de posición sin sentido", proporcionando ninguna señal más que ruido y fallando en guiar un razonamiento visual efectivo.

En consecuencia, las cadenas latentes más largas en los métodos actuales se convierten en una carga en lugar de un beneficio, limitando la escalabilidad del razonamiento visual.

2. Metodología: SCOLAR

Para abordar el Colapso de la Ganancia de Información, los autores proponen SCOLAR (Razonamiento Latente Autoconsistente). La innovación central es un cambio de paradigma desde la generación latente autoregresiva hacia un enfoque de generación de un solo disparo y autoconsistente.

Arquitectura

Construido sobre el marco estándar ViT–Proyector–LLM, SCOLAR introduce una rama ligera de detransformer:

• Entrada: El detransformer toma los estados ocultos de secuencia completa ($H$) del LLM (incluyendo el razonamiento de texto y el token de activación) como entrada.
• Mecanismo: En lugar de generar tokens latentes uno por uno, el detransformer genera una secuencia completa de tokens visuales auxiliares ($A_0$) en una única pasada hacia adelante.
• Autoconsistencia: Cada token auxiliar generado se ancla independientemente al espacio semántico visual original (resolución de entrada). Esto rompe la cadena de dependencia autoregresiva, asegurando que cada token introduzca información visual genuina y no redundante.
• Fusión: Los tokens auxiliares se fusionan con los tokens visuales originales mediante adición residual con puerta ($A = V + g(A_0)$), donde un mecanismo de puerta controla la fuerza de edición.

Pipeline de Entrenamiento

SCOLAR emplea una estrategia de Ajuste Fino Supervisado (SFT) de tres etapas seguida de Aprendizaje por Refuerzo (RL) para resolver las discrepancias de distribución entre el entrenamiento (usando imágenes auxiliares de verdad fundamental) y la inferencia (usando latentes auto-generados):

1. Etapa 1: Preentrenamiento del Detransformer: El detransformer se entrena para reconstruir la diferencia entre la imagen de entrada y una imagen auxiliar de verdad fundamental ($\Delta_{aux}$) utilizando una función de pérdida de reconstrucción. La base del LLM se congela durante esta etapa para prevenir el colapso semántico.
2. Etapa 2: Aprendizaje del Token de Activación: El modelo aprende a decidir autónomamente cuándo activar el razonamiento latente. Esto se logra mediante Predicción del Siguiente Token (NTP) ponderada, imponiendo un peso de pérdida más alto en el token de activación <auxiliary> para asegurar que el modelo aprenda a invocar el mecanismo cuando sea necesario.
3. Etapa 3: Razonamiento Conjunto con Recocido de Forzamiento del Profesor: El modelo aprende a razonar utilizando sus propios tokens auxiliares generados. Para mitigar la discrepancia de distribución, el proceso de entrenamiento transita gradualmente desde el uso de características auxiliares de verdad fundamental hacia las auto-generadas (decaimiento lineal de la probabilidad de 1.0 a 0.0).
4. ALPO (Optimización de Política de Latentes Auxiliares): Dado que las incrustaciones auxiliares son continuas y no pueden optimizarse directamente mediante gradientes de política de tokens discretos estándar (como GRPO), los autores proponen ALPO. Este método desacopla el razonamiento visual continuo de la política de texto discreta. Durante la simulación, se generan y almacenan en caché las incrustaciones auxiliares; durante la actualización del actor, se inyectan como contexto fijo, y el gradiente de política se calcula solo sobre los tokens de texto discretos. Un componente de recompensa específico ($r_{aux}$) fomenta la activación correcta del token de activación <auxiliary>.

3. Contribuciones Clave

1. Identificación del Colapso de la Ganancia de Información: El artículo diagnostica sistemáticamente la causa raíz de la degradación del rendimiento en los métodos existentes de razonamiento visual latente, atribuyéndola a la decadencia de información autoregresiva y al uso de objetivos de supervisión excesivamente agrupados.
2. Marco SCOLAR: Un paradigma novedoso de un solo disparo que utiliza un detransformer ligero que genera tokens visuales auxiliares anclados independientemente al espacio visual original, permitiendo longitudes de razonamiento latente verdaderamente escalables.
3. Estrategia de Entrenamiento: El desarrollo de un SFT de tres etapas con recocido de forzamiento del profesor y el novedoso algoritmo ALPO para manejar los desafíos únicos de optimizar espacios latentes continuos dentro de un marco de política de tokens discretos.
4. Validación Empírica: Extensos experimentos que demuestran que SCOLAR extiende la longitud aceptable de CoT latente en más de 30$\times$ en comparación con métodos anteriores, al tiempo que mejora el rendimiento.

4. Resultados Experimentales

Los autores evaluaron SCOLAR (basado en la base Qwen2.5-VL-7B) frente a modelos de código abierto de última generación y sistemas propietarios (GPT-4o, GPT-5.2) en varias pruebas:

• Razonamiento del Mundo Real: SCOLAR logró un rendimiento de última generación entre modelos de código abierto.
  • MME-RealWorld-Lite: +14.12% de mejora sobre la base.
  • V*Bench: Logró 83.77%, superando a GPT-4o (67.50%) en más de 16 puntos porcentuales.
  • HRBench4K/8K: Ganancias significativas en tareas de percepción espacial de granularidad fina.
• Generalización Fuera de Distribución (OOD): En la prueba VisualPuzzles (completamente ausente de los datos de entrenamiento), SCOLAR mostró una fuerte generalización, particularmente en tareas de razonamiento espacial y analógico, superando a otros modelos de código abierto.
• Escalabilidad de la Longitud Latente:
  • Monet y LVR: El rendimiento se degradó sistemáticamente a medida que la longitud latente aumentaba de 3 a 1000 tokens.
  • SCOLAR: El rendimiento mejoró continuamente a medida que la longitud latente aumentaba, alcanzando su punto máximo a resolución completa (sin agrupación).
• Análisis de Ganancia de Información: Utilizando residuos de proyección ortogonal, los autores mostraron que SCOLAR mantiene una alta ganancia de información (aprox. 10–30) a través de 1000 tokens, mientras que la ganancia de LVR colapsa a cerca de cero después de 10 tokens, y la ganancia de Monet decae monótonamente.
• Experimentos de Relleno Sin Sentido: Reemplazar los tokens latentes de SCOLAR con relleno sin sentido causó caídas catastróficas en el rendimiento que aumentaron con la longitud de la secuencia, confirmando que el modelo depende del contenido semántico genuino de los tokens, no solo de su presencia estructural.

5. Significado y Afirmaciones

El artículo afirma que SCOLAR resuelve fundamentalmente el cuello de botella de escalabilidad en el razonamiento latente visual. Al desacoplar la generación de tokens auxiliares de las dependencias autoregresivas, SCOLAR demuestra que "cadenas más largas" en el dominio visual pueden producir efectivamente "mejor razonamiento", siempre que los tokens porten semántica visual genuina y no decaída.

Los autores afirman que SCOLAR cierra la brecha entre modelos pequeños de código abierto y sistemas propietarios grandes, demostrando que un modelo de 7B con escalabilidad latente efectiva puede superar a modelos de código cerrado significativamente más grandes en pruebas de razonamiento complejo. El trabajo desafía la dependencia predominante de características fuertemente agrupadas y generación autoregresiva en el razonamiento latente, proponiendo una nueva dirección para el razonamiento multimodal escalable y autoconsistente.

Limitaciones Reconocidas: El enfoque actual depende de datos de imagen de entrada-auxiliar emparejados para la supervisión, y la optimización del detransformer en la fase de RL permanece implícita en lugar de explícita. Se sugiere trabajo futuro para explorar configuraciones no supervisadas y señales de gradiente de extremo a extremo explícitas para el espacio visual continuo.