Resumen Técnico: CASHEW – Estabilización del Razonamiento Multimodal mediante la Agregación Iterativa de Trayectorias

1. Planteamiento del Problema

Los modelos de lenguaje visual (VLMs) han alcanzado un éxito significativo en tareas de comprensión y razonamiento multimodal. Sin embargo, sus procesos de razonamiento de múltiples pasos siguen siendo frágiles e inestables. Los problemas clave incluyen:

• Inestabilidad: El muestreo repetido sobre la misma entrada suele producir trayectorias de razonamiento divergentes y predicciones finales inconsistentes.
• Alucinaciones: Los modelos son propensos a las alucinaciones visuales, donde los pasos de razonamiento no están fundamentados en evidencia visual real.
• Limitaciones del escalado actual en tiempo de prueba: Los enfoques existentes suelen seguir un paradigma de "muestrear y seleccionar", generando múltiples cadenas independientes y descartando los conocimientos parciales de las trayectorias rechazadas. Además, el simple hecho de aumentar la longitud del razonamiento o el recuento de muestreo sin una fundamentación explícita puede amplificar los errores perceptivos tempranos en lugar de corregirlos, lo que lleva a los modelos a "pensar más largo" pero no a "pensar mejor".

2. Metodología

El artículo propone dos enfoques complementarios para abordar estas limitaciones: CASHEW (un marco de inferencia) y CASHEW-RL (una variante aprendida).

CASHEW: Marco de Agregación Iterativa

CASHEW trata el razonamiento como un proceso evolutivo donde una población de trayectorias candidatas se sintetiza y refina iterativamente. Opera en cuatro etapas:

1. Inicialización de la Población: El VLM base genera una población inicial de $N$ trayectorias de razonamiento candidatas.
2. Muestreo de Subconjuntos: En cada iteración, se muestrea un subconjunto aleatorio de trayectorias pares como candidatos de referencia para introducir diversidad y evitar el colapso en un único modo de razonamiento.
3. Verificación Visual: Antes de la agregación, un módulo ligero de fundamentación visual-textual (implementado mediante Grounding DINO) verifica las afirmaciones de objetos y atributos contra la entrada visual. Solo se retiene la evidencia fundamentada para guiar los pasos posteriores.
4. Agregación Fundamentada: El modelo sintetiza las trayectorias muestreadas y su evidencia visual verificada para generar una trayectoria de razonamiento actualizada y de mayor calidad. Este proceso se repite durante $T$ iteraciones, culminando en una trayectoria consolidada final.

CASHEW-RL: Agregación Aprendida mediante GSPO

CASHEW-RL internaliza el comportamiento de agregación en un solo modelo a través de un proceso de post-entrenamiento de dos etapas:

1. Ajuste Fino Supervisado (SFT): El modelo se entrena en un formato de agregación estructurado que contiene tres componentes: un rastro de razonamiento (<thought>), un conjunto de claves visuales verificadas (<visual_keys>) y la respuesta final (<answer>). Esto establece una política de referencia ($\pi_{ref}$) y enseña al modelo a articular la evidencia y formatear las salidas.
2. Aprendizaje por Refuerzo (RL) mediante la Optimización de Política de Secuencia de Grupo (GSPO): El modelo se optimiza utilizando una función de recompensa compuesta que equilibra tres objetivos:
   • Corrección de la Respuesta ($R_{acc}$): Coincidencia exacta con la verdad de referencia (ground truth).
   • Calidad de Selección de Evidencia ($R_{key}$): Una formulación equilibrada de precisión-exhaustividad (precision-recall) que fomenta la selección de claves visuales relevantes evitando la proliferación indiscriminada.
   • Penalización de Longitud Sensible a la Dificultad ($R_{len}$): Una penalización adaptativa que desincentiva la verbosidad excesiva en tareas fáciles (donde se observan altas tasas de resolución) mientras permite flexibilidad para tareas difíciles.

El entrenamiento emplea un currículo basado en una mezcla de trayectorias generadas por un profesor offline y trayectorias on-policy, aumentando gradualmente la proporción de datos autogenerados para mejorar la robustez y reducir el cambio de distribución.

3. Contribuciones Clave

• CASHEW: Un marco de inferencia en tiempo de ejecución tipo plug-and-play que estabiliza el razonamiento multimodal mediante la agregación iterativa de trayectorias candidatas con verificación visual explícita, filtrando eficazmente las alucinaciones y fundamentando el razonamiento en la evidencia.
• CASHEW-RL: Una variante aprendida que internaliza la agregación de trayectorias mediante GSPO y una recompensa compuesta, permitiendo al modelo realizar una agregación robusta y visualmente fundamentada con un control adaptativo sobre el esfuerzo de razonamiento.
• Validación Empírica: Experimentos extensos que demuestran mejoras consistentes de rendimiento a través de diversos núcleos de modelos y modalidades.

4. Resultados Experimentales

Los métodos fueron evaluados en 13 bancos de pruebas que cubren comprensión de imágenes, comprensión de video y razonamiento de video.

• Ganancias de Rendimiento:
  • Benchmarks de Imagen: CASHEW-RL logró mejoras significativas, incluyendo +26.2 puntos porcentuales en ScienceQA (Qwen3-VL-4B) y +9.1 puntos porcentuales en EgoSchema (InternVL3.5-8B).
  • Benchmarks de Video: Se observaron ganancias consistentes en Video-MME, LongVideoBench y MVBench. Por ejemplo, CASHEW-RL mejoró las puntuaciones de EgoSchema en +9.1 puntos para InternVL3.5-8B.
• Comparación con SOTA: CASHEW superó a los entornos de escalado de tiempo de prueba existentes (Self-Consistency, Self-Selector y Self-Synthesizer) en todas las métricas. Notablemente, en el benchmark MME, superó al baseline más fuerte (Self-Synthesizer) por +48.2 y +82.6 puntos en las puntuaciones de percepción y cognición, respectivamente.
• Estudios de Ablación: Eliminar el módulo de fundamentación visual (Grounding DINO) aún produjo mejoras sobre el VLM base, lo que indica que la agregación iterativa es el motor principal del rendimiento, siendo la fundamentación visual un factor que potencia la fiabilidad.
• Eficiencia: CASHEW-RL logró un rendimiento comparable al de configuraciones de CASHEW más profundas con menos iteraciones de agregación, lo que sugiere una mayor eficiencia en la agregación.

5. Significado y Reivindicaciones

El artículo afirma que CASHEW y CASHEW-RL ofrecen una solución robusta a la inestabilidad del razonamiento multimodal. Al cambiar de un paradigma de "muestrear y seleccionar" a uno de "agregación iterativa", los métodos aseguran que el consenso del razonamiento esté anclado en la evidencia visual. Los autores enfatizan que su enfoque permite que los modelos "piensen juntos" en lugar de simplemente "pensar más largo", mitigando eficazmente las alucinaciones y mejorando la consistencia. La integración de la verificación visual y el esfuerzo de razonamiento adaptativo mediante GSPO permite al modelo producir respuestas que no solo son correctas, sino también fundamentadas en una evidencia visual mínima pero suficiente.

6. Limitaciones

Los autores reconocen que el presente trabajo utiliza un presupuesto de agregación fijo para permitir comparaciones controladas, lo cual puede no ser óptimo para aplicaciones con recursos limitados donde los ejemplos fáciles podrían no requerir una agregación extensa. Aunque CASHEW-RL aborda esto parcialmente al internalizar el comportamiento de agregación, se identifica como trabajo futuro un estudio sistemático sobre la asignación de presupuesto adaptativo.