Resumen Técnico: MARS – Normalización de Ventaja Anclada Mono para Razonamiento Visual Multi-Fuente

Enunciado del Problema

Aunque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha avanzado en el razonamiento visual, los métodos existentes luchan al procesar entradas multi-fuente (por ejemplo, RGB, infrarrojo, profundidad, multi-vista). Los enfoques actuales suelen tratar los datos multi-fuente como una simple acumulación de información, operando bajo la premisa de que "ver más significa saber más". Sin embargo, este trabajo identifica una limitación crítica: cuando las fuentes difieren significativamente en propiedades físicas y semánticas, la integración ingenua puede introducir interferencia o ruido en lugar de ganancia de información.

En escenarios donde una fuente posee una señal dominante y fiable (por ejemplo, infrarrojo en condiciones de poca luz) mientras otras están degradadas o son irrelevantes, los marcos RLVR estándar a menudo fallan en distinguir entre la fusión beneficiosa y el conflicto perjudicial. En consecuencia, el rendimiento del razonamiento multi-fuente puede degradarse por debajo del nivel del razonamiento mono-fuente fuerte. Los marcos existentes carecen de mecanismos explícitos para modelar la interacción dinámica entre fuentes o para cuantificar si integrar una fuente adicional produce una ganancia de información positiva en relación con una línea base mono-fuente.

Metodología: MARS

Para abordar estos desafíos, los autores proponen MARS (Normalización de Ventaja Anclada Mono para Razonamiento Multi-Fuente). Este marco trata cada modalidad visual como una fuente de información independiente y modela explícitamente la ganancia de información introducida por la fusión multi-fuente.

Mecanismo Central

La innovación central de MARS es el uso de recompensas mono-fuente como anclas dinámicas para normalizar las ventajas de los recorridos multi-fuente durante el entrenamiento RLVR.

1. Generación de Recorridos Duales: Para una instancia de entrenamiento dada (pregunta $q$ y múltiples imágenes $i$), el modelo de política $\pi_\theta$ genera dos tipos de trayectorias:

   • Recorridos multi-fuente ($G_{multi}$): El modelo procesa todas las imágenes disponibles conjuntamente.
   • Recorridos mono-fuente ($G_{mono}$): El modelo procesa cada imagen individualmente emparejada con la entrada de texto.

2. Normalización de Ventaja Híbrida: En lugar de calcular las estadísticas de ventaja únicamente a partir de trayectorias multi-fuente, MARS calcula una media y una desviación estándar híbridas utilizando la unión de recompensas mono-fuente y multi-fuente ($G_{multi} \cup G_{mono}$). La ventaja $A_j$ para una trayectoria multi-fuente se calcula como:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{media}(G_{multi} \cup G_{mono})}{\text{desviación estándar}(G_{multi} \cup G_{mono})}$$

3. Regulación Adaptativa:

   • Supresión de Conflicto: Si una fuente específica es dominante y la fusión multi-fuente introduce ruido (resultando en recompensas más bajas que el ancla mono-fuente), las estadísticas de normalización se desplazan para suprimir la señal multi-fuente conflictiva, guiando al modelo hacia el comportamiento mono-fuente fiable.
   • Énfasis en la Promoción: Si la fusión multi-fuente produce una recompensa superior a la línea base mono-fuente (indicando una ganancia de información genuina), el algoritmo fomenta la exploración más allá de las pistas mono-fuente, cuantificando efectivamente la "ganancia de información multi-fuente".

Fundamento Teórico

Los autores proporcionan un análisis teórico para respaldar el método:

• Insesgadez: El algoritmo propuesto garantiza que la esperanza de la estimación del gradiente permanezca equivalente a la optimización estándar en política, asegurando que no se introduzca sesgo.
• Descomposición del Gradiente: Se muestra que la actualización del gradiente es equivalente a maximizar la recompensa estándar multi-fuente más un término de regularización basado en la Ganancia de Información Multi-Fuente ($\Delta IG$). Este término representa la diferencia entre las recompensas esperadas de las trayectorias multi-fuente y mono-fuente. Un $\Delta IG$ negativo indica conflicto de modalidades, mientras que un valor positivo indica promoción mutua.

Contribuciones Clave

1. Identificación de una Limitación Central: El trabajo revela que el razonamiento visual multi-fuente existente puede degradar sistemáticamente el rendimiento debido a la interferencia de modalidades no modelada, desafiando la premisa de que más entradas siempre equivalen a mejor conocimiento.
2. Nuevo Marco (MARS): Los autores diseñan un método que introduce recompensas mono-fuente como anclas para medir cuantitativamente la ganancia de información durante la normalización de ventajas. Esto permite la regulación adaptativa de diferentes fuentes sin requerir un rediseño arquitectónico ni corrección fuera de política.
3. Validación Empírica: Experimentos extensos en diversos conjuntos de datos (profundidad, infrarrojo, multi-vista, ricos en texto) y algoritmos RL (GRPO, DAPO) demuestran mejoras consistentes en el rendimiento.

Resultados Experimentales

Los autores evaluaron MARS en cuatro tareas multi-fuente utilizando los modelos Qwen2.5-VL-3B y 7B. Los hallazgos clave incluyen:

• Ganancias de Rendimiento: MARS logró mejoras significativas sobre los métodos RLVR de línea base. Específicamente, produjo ganancias de rendimiento promedio del 3.2% y 4.9% en los marcos GRPO y DAPO, respectivamente, en la métrica de razonamiento multi-fuente.
• Mejoras en Tareas Específicas: Se observaron ganancias notables en los conjuntos de datos infrarrojo (3.8%) y multi-vista (7.0%).
• Robustez: El método demostró una robustez superior frente a degradaciones visuales (ruido gaussiano, desenfoque por movimiento, oclusión), manteniendo una alta precisión donde las líneas base sufrieron caídas de rendimiento.
• Eficiencia: El enfoque requiere solo un modelo de política único y genera muestras mono-fuente modificando las entradas, evitando la sobrecarga de almacenamiento del replay de experiencias o la corrección fuera de política. La sobrecarga computacional es moderada, siendo el beneficio clave derivado del mecanismo de anclaje en lugar de un aumento en el volumen de trayectorias.
• Análisis Cualitativo: Los estudios de caso mostraron que MARS prioriza exitosamente las fuentes informativas (por ejemplo, infrarrojo en poca luz) y suprime fuentes irrelevantes o ruidosas (por ejemplo, imágenes de profundidad con efecto "blanco total"), conduciendo a un razonamiento y anclaje más precisos en comparación con el GRPO estándar.

Significado y Afirmaciones

El trabajo afirma que MARS ofrece una solución general y efectiva para mejorar el rendimiento del razonamiento visual en escenarios multi-fuente. Al modelar explícitamente la interacción dinámica entre fuentes y cuantificar la ganancia de información, el método resuelve el conflicto entre "ver más" y "saber más".

Los autores enfatizan que su enfoque:

• No depende de marcos de entrenamiento específicos (compatible con GRPO y DAPO).
• No requiere cambios arquitectónicos en el modelo subyacente.
• Proporciona una manera principista de manejar conflictos y promociones de modalidades, conduciendo a trayectorias de optimización más estables e interpretables.
• Valida que aprovechar dinámicamente las recompensas mono-fuente como anclas guía efectivamente a los modelos para centrarse en fuentes informativas mientras suprimen el ruido, confirmando que el razonamiento multi-fuente efectivo requiere distinguir entre ganancia de información e interferencia.