Resumen Técnico: Razonamiento Visual Latente Enriquecido Semánticamente (SLVR)

1. Declaración del Problema

El razonamiento en el espacio latente multimodal busca reemplazar el "pensamiento con imágenes" explícito, computacionalmente costoso (por ejemplo, recorte iterativo, invocación de herramientas), realizando el razonamiento visual directamente dentro de un espacio latente compacto. Sin embargo, los enfoques existentes enfrentan dos limitaciones principales:

1. Falta de Riqueza Semántica: Los métodos actuales suelen depender únicamente de la supervisión visual, lo que provoca que las representaciones latentes codifiquen señales a nivel de apariencia, pero fallen en preservar explícitamente el contenido semántico de alta granularidad (por ejemplo, propiedades de objetos, estados, interacciones) necesario para diversas tareas de razonamiento.
2. Optimización de Tarea Única: El entrenamiento latente a menudo se impulsa por una sola consulta o formulación de tarea. No existe un mecanismo unificado para alinear cómo una única representación latente enriquecida debe soportar diversos tipos de consultas y granularidades de razonamiento basadas en la misma región visual.

En consecuencia, los latentes existentes carecen de la información semántica estructural requerida para manejar robustamente tareas de razonamiento a nivel de región donde deben abordarse simultáneamente múltiples perspectivas semánticas.

2. Metodología

Los autores proponen Razonamiento Visual Latente Enriquecido Semánticamente (SLVR), un marco de aprendizaje de dos etapas diseñado para enriquecer las representaciones latentes con semántica visual a nivel de atributo y alinearlas con diversos objetivos de razonamiento.

2.1. Construcción de Datos (SLV-Set)

Para apoyar el marco, los autores construyeron SLV-Set, que comprende dos componentes complementarios basados en Visual-CoT:

• Conjunto de Datos Semántico a Nivel de Atributo: Aproximadamente 400 mil anotaciones de atributos a nivel de región. Utilizando Qwen3-VL-235B, el sistema genera perfiles semánticos estructurados para regiones clave, cubriendo apariencia (color, forma, material), acciones, interacciones, atributos espaciales y texto. Estos se codifican en incrustaciones semánticas de 4096 dimensiones para servir como señales de supervisión de alta granularidad.
• Conjunto de Datos de Múltiples Consultas: Aproximadamente 800 mil pares de preguntas y respuestas donde dos preguntas semánticamente distintas se fundamentan en la misma región visual, explorando diferentes aspectos semánticos.

Adicionalmente, se introduce SV-QA como una referencia (591 muestras emparejadas) para evaluar la robustez del razonamiento latente bajo variación semántica, extendiendo las referencias existentes (V*, HRBench-4K, HRBench-8K) al consultar la misma región desde múltiples perspectivas.

2.2. Etapa 1: Aprendizaje Latente Estructurado

En la primera etapa, el modelo aprende representaciones latentes centradas en regiones que integran explícitamente la evidencia visual con semántica a nivel de atributo.

• Construcción de Entrada: Se procesa una imagen y una pregunta. Una región de interés (ROI) se codifica en un segmento latente visual ($H_{vis}$). Se inserta un token especial <sem> para generar un único latente semántico ($z_{sem}$).
• Alineación Visual: Los tokens latentes visuales se alinean con las características del codificador de visión utilizando una pérdida de error cuadrático medio (MSE) para preservar los detalles visuales de alta granularidad.
• Alineación Semántica: El latente semántico ($z_{sem}$) se proyecta y alinea con la incrustación semántica a nivel de atributo precalculada ($e$) utilizando pérdida MSE. Esto fuerza al latente a capturar atributos estructurados (por ejemplo, "sosteniendo una cámara", "chaqueta verde").
• Objetivo: $L_{stage1} = L_{vis} + L_{sem}$.

2.3. Etapa 2: Optimización de Política Relativa de Grupo Multi-consulta (M-GRPO)

La segunda etapa refina los latentes aprendidos para asegurar que soporten consistentemente diversos objetivos de razonamiento.

• Mecanismo: Dadas múltiples preguntas ($q_1, q_2$) fundamentadas en la misma región, el modelo genera pares latentes correspondientes. M-GRPO realiza actualizaciones de política para optimizar estos latentes conjuntamente.
• Componentes de Recompensa:
  1. Correctitud de la Respuesta: Recompensa las respuestas correctas para cada consulta (evaluadas por un juez externo).
  2. Consistencia Latente: Penaliza la divergencia entre los latentes generados para diferentes consultas ($q_1$ vs. $q_2$) fundamentadas en la misma región, asegurando que la representación latente permanezca estable a través de variaciones semánticas.
  3. Regularización de Estabilidad: Ancla los latentes optimizados a la distribución aprendida en la Etapa 1 utilizando una formulación basada en márgenes para evitar una deriva excesiva.
• Optimización: El marco utiliza un objetivo de Optimización de Política Relativa de Grupo (GRPO), actualizando la política sobre grupos de consultas fundamentadas en regiones para fomentar representaciones que sean simultáneamente efectivas para múltiples consultas semánticas.

3. Contribuciones Clave

1. Marco SLVR: Un paradigma de aprendizaje de dos etapas que enriquece las representaciones latentes con semántica visual de atributos de alta granularidad y las alinea con diversas demandas de razonamiento mediante M-GRPO.
2. Conjunto de Datos SLV-Set: Un recurso a gran escala que contiene ~400 mil anotaciones de atributos a nivel de región y ~800 mil muestras de QA de múltiples consultas, proporcionando la supervisión necesaria para el enriquecimiento semántico y la alineación latente.
3. Referencia SV-QA: Una nueva referencia de evaluación diseñada para probar la robustez del razonamiento latente bajo variación semántica al consultar la misma región visual desde múltiples perspectivas semánticas.
4. Validación Empírica: Extensos experimentos que demuestran que SLVR mejora la robustez del razonamiento y la consistencia semántica en comparación con las líneas base de razonamiento latente existentes y los enfoques de "pensar con imágenes".

4. Resultados Experimentales

Los experimentos se realizaron en referencias estándar de VQA (OKVQA, GQA, VizWiz, ChartQA, TextVQA, AI2D) y en la referencia propuesta SV-QA.

• Referencias Estándar: SLVR-7B superó a los métodos anteriores de razonamiento latente (por ejemplo, LVR) y se mantuvo competitivo con las líneas base de "pensar con imágenes" (por ejemplo, GRIT, DeepEyes). Se observaron ganancias notables en OKVQA (+11.2% sobre LVR) y VizWiz (+24.7%).
• Referencia SV-QA: SLVR logró un rendimiento superior en la métrica "Ambas Correctas" (correctitud conjunta de dos preguntas distintas en la misma región) a través de V*, HRBench-4K y HRBench-8K. Por ejemplo, en HRBench-8K, SLVR mejoró la puntuación "Ambas Correctas" en +4.0% sobre LVR.
• VisualPuzzles: SLVR logró la mejor precisión general (34.2%) en comparación con LVR (29.4%), con mejoras significativas en las categorías de razonamiento Deductivo (+5.0) y Espacial (+7.4).
• Estudios de Ablación: Los resultados confirmaron que la supervisión semántica de la Etapa 1 y las restricciones de consistencia de M-GRPO son críticas. Las líneas base solo de texto, incluso con entrenamiento de múltiples consultas, quedaron por detrás de las variantes de razonamiento latente en mantener una fundamentación consistente a través de múltiples perspectivas semánticas.

5. Significado y Afirmaciones

El artículo afirma que SLVR aborda la brecha crítica en el razonamiento multimodal actual al ir más allá de la supervisión puramente visual hacia representaciones latentes enriquecidas semánticamente. Los autores argumentan que:

• Las operaciones visuales explícitas (recorte) son computacionalmente ineficientes, mientras que los latentes puramente visuales carecen de profundidad semántica.
• Al supervisar explícitamente los latentes con semántica a nivel de atributo y hacer cumplir la consistencia a través de múltiples consultas, los modelos pueden lograr razonamiento más robusto y semánticamente consistente sin la sobrecarga de la manipulación visual explícita.
• El marco propuesto permite que las representaciones latentes soporten flexiblemente diversas tareas y granularidades de razonamiento fundamentadas en la misma evidencia visual, ofreciendo una alternativa escalable al "pensar con imágenes" explícito.

El trabajo se posiciona como un avance en el campo del aprendizaje automático, específicamente en la mejora de la eficiencia y la fidelidad semántica del razonamiento latente multimodal.