💻 computer science

Boosting Reasoning in Large Multimodal Models via Activation Replay

Este artículo propone "Activation Replay", un método libre de entrenamiento que mejora las capacidades de razonamiento de los Modelos Multimodales Grandes entrenados con Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) mediante la manipulación de tokens visuales para reproducir activaciones de baja entropía de los modelos base, mejorando así el rendimiento en diversas tareas sin requerir una costosa optimización de la política.

Autores originales: Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

Publicado 2026-08-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas informáticos que pueden ver y comprender el mundo de forma muy similar a como lo hacen los humanos. Estos grandes modelos multimodales pueden observar una fotografía, ver un vídeo o leer un diagrama y luego responder preguntas o resolver problemas basados en lo que ven. Durante años, los investigadores han intentado enseñar a estos sistemas a pensar con mayor profundidad, yendo más allá del simple reconocimiento de patrones hacia un razonamiento genuino. Un método popular para lograr esto implica una técnica de entrenamiento en la que se recompensa a la computadora solo cuando puede demostrar que su respuesta es correcta mediante una explicación larga y paso a paso. Este enfoque ha fomentado con éxito que estos modelos se detengan a pensar antes de hablar, lo que ha dado resultados impresionantes en matemáticas y acertijos lógicos. Sin embargo, aunque los resultados son visibles, la mecánica interna de cómo este entrenamiento cambia el cerebro del modelo sigue siendo un misterio. Los científicos no han comprendido plenamente cómo el entrenamiento altera la forma en que el modelo procesa la información, particularmente cuando observa una imagen por primera vez.

Un equipo de investigadores se propuso descubrir estos cambios ocultos observando el interior de las capas de procesamiento del modelo mientras este resolvía problemas. Descubrieron que el método de entrenamiento, aunque efectivo, desplaza inadvertidamente el enfoque interno del modelo de una manera específica e inesperada. Cuando el modelo es entrenado para verificar sus propias respuestas, las partes de su sistema interno que suelen ser muy seguras y claras se vuelven ligeramente confundidas o alteradas. En contraste, las partes del sistema que son naturalmente inciertas o que exploran diferentes posibilidades permanecen prácticamente intactas. Los investigadores descubrieron que este cambio específico en las partes seguras del modelo estaba, de hecho, obstaculizando su capacidad para razonar correctamente. Era como si el entrenamiento hubiera desordenado accidentalmente las señales más fiables que el modelo utilizaba para comprender el mundo visual, obligándolo a depender de caminos menos seguros para llegar a una conclusión.

Para solucionar esto, el equipo desarrolló un método nuevo y sencillo llamado Replay de Activación (Activation Replay). En lugar de reentrenar todo el modelo, lo cual sería increíblemente costoso y lento, encontraron una forma de empujar suavemente al modelo de vuelta a su estado original y más claro en el momento en que está resolviendo un problema. Cuando el modelo se presenta ante una imagen, los investigadores ajustan temporalmente las señales internas que provienen de las partes visuales del sistema. Lo hacen tomando prestadas las señales claras y seguras del modelo original no entrenado y reproduciéndolas en la versión entrenada. Este proceso actúa como un mecanismo de corrección, asegurando que la comprensión inicial del modelo sobre la imagen permanezca nítida y fiable antes de que comience su larga cadena de razonamiento. Los investigadores probaron este enfoque en diversas tareas complejas, incluyendo la resolución de problemas de geometría, la navegación por imágenes de alta resolución para encontrar objetos específicos y el razonamiento a través de secuencias de eventos en vídeos.

Los resultados mostraron que este sencillo ajuste mejoró consistentemente el rendimiento del modelo en todos estos diferentes escenarios. Al restaurar la claridad de las señales visuales iniciales, el modelo pudo resolver problemas que antes había pasado por alto y evitar errores en su lógica paso a paso. En una prueba específica que involucraba un problema matemático sobre un alambre con forma de círculo y luego un trapecio, el modelo entrenado cometió inicialmente un error en sus pasos intermedios, lo que llevó a una respuesta incorrecta. Con el nuevo método, el modelo corrigió su ruta de razonamiento interno y llegó a la solución correcta. Los investigadores también descubrieron que este enfoque ayudó al modelo a generar una mayor variedad de respuestas correctas cuando se le daban múltiples intentos, lo que sugiere que no solo estaba memorizando un único camino, sino comprendiendo realmente mejor el problema. Este trabajo sugiere que la clave para un mejor razonamiento en estos sistemas avanzados podría no ser siempre un entrenamiento más complejo, sino preservar la claridad de la percepción inicial del modelo del mundo.

Resumen Técnico: Potenciando el Razonamiento en Grandes Modelos Multimodales mediante la Repetición de Activaciones (Activation Replay)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) ha emergido como un paradigma de post-entrenamiento dominante para mejorar las capacidades de razonamiento de los Grandes Modelos Multimodales (LMMs). Aunque es efectivo, los mecanismos subyacentes mediante los cuales el RLVR altera el comportamiento del modelo permanecen insuficientemente comprendidos. Específicamente, no está claro cómo el RLVR modifica las activaciones de entrada internas de los LMMs y si estas modificaciones obstaculizan inadvertidamente el razonamiento en ciertos contextos.

Los autores hipotetizan que el RLVR induce cambios inesperados en las activaciones de entrada, afectando particularmente las activaciones de baja entropía, lo que puede degradar el rendimiento del razonamiento. Además, los enfoques de RLVR existentes a menudo sufren de una "cobertura de razonamiento más estrecha", donde los modelos mejoran la eficiencia de muestreo pero no logran eludir nuevas capacidades de razonamiento más allá de sus modelos base, como lo demuestran métricas como Pass@K.

2. Metodología: Repetición de Activaciones (Activation Replay)

Para abordar estos problemas, los autores proponen la Repetición de Activaciones, un enfoque novedoso, libre de entrenamiento, que potencia el razonamiento multimodal en el tiempo de inferencia sin requerir una optimización de política costosa o cambios arquitectónicos.

2.1. Mecanismo Central

El método opera manipulando los tokens visuales en el tiempo de inferencia para regular las activaciones de baja entropía de un LMM post-entrenado mediante RLVR, forzándolas a imitar las distribuciones de un LMM base emparejado.

Tokens Aprendibles: El enfoque introduce una serie de tokens aprendibles inicializados en cero $\{x_1, x_2, ..., x_n\}$ que se añaden a los tokens de entrada visual del modelo RLVR.
Selección Basada en Entropía: El método distingue entre activaciones de baja y alta entropía. Utilizando un umbral dinámico $\tau$ basado en la entropía máxima del LMM base, identifica las activaciones de baja entropía ( $M_{l,i} = 1$ si $e^b_{l,i} < \max(h^b_l) * \tau$ ).
Minimización de la Divergencia KL: Los tokens aprendibles se optimizan para minimizar la divergencia de Kullback-Leibler (KL) entre las activaciones de baja entropía del modelo base y el modelo RLVR. La regla de actualización es:
$x_i \leftarrow x_i - \alpha \nabla_{x_i} (D_{KL}(P_{base} \| P_{rlvr}) \cdot M_i)$
donde $\alpha$ controla la fuerza de la guía.
Aplicación en Tiempo de Inferencia: Una vez optimizados, estos tokens se añaden a la entrada antes de cualquier decodificación (codificación voraz o muestreo), efectivamente "reproduciendo" los patrones de activación de baja entropía del modelo base dentro de la pasada hacia adelante (forward pass) del modelo RLVR.

2.2. Base Teórica

El diseño se fundamenta en dos observaciones empíricas:

Análisis de Logit Lens: El RLVR desplaza las predicciones superiores y las distribuciones de nivel de token, siendo las activaciones de baja entropía las que experimentan desplazamientos significativamente mayores que las de alta entropía.
Estudios de Perturbación e Intervención:
- Perturbación: Los desplazamientos de menor divergencia KL en las activaciones de baja entropía se correlacionan con una menor perplejidad para las rutas de razonamiento correctas.
- Intervención: La inyección directa de activaciones de baja entropía del modelo base en el modelo RLVR mejora el rendimiento, mientras que la inyección de activaciones de alta entropía lo degrada. Esto sugiere que las activaciones de baja entropía desempeñan un papel estabilizador en el razonamiento que el RLVR puede alterar.

3. Contribuciones Clave

Investigación Sistemática de los Efectos de RLVR: Los autores proporcionan un análisis detallado de cómo el RLVR altera las activaciones de entrada de los LMM, revelando que las activaciones de baja entropía son desproporcionadamente desplazadas en comparación con las de alta entropía.
Repetición de Activaciones (Activation Replay): Un método simple, libre de entrenamiento, que manipula los tokens visuales en el tiempo de inferencia para regular las activaciones de baja entropía de RLVR mediante la reproducción de aquellas de los LMM base.
Validación Empírica Amplia: El método se valida en diversos escenarios de razonamiento, incluyendo razonamiento matemático, búsqueda visual de agentes tipo o3 y razonamiento de video.
Mitigación del Razonamiento Estrecho: Se demuestra que el enfoque aumenta las puntuaciones de Pass@K, abordando la limitación de que los modelos RLVR poseen una cobertura de razonamiento más estrecha.

4. Resultados Experimentales

Los autores evaluaron la Repetición de Activaciones en múltiples LMMs post-entrenados mediante RLVR (por ejemplo, MMR1-Math, MM-Eureka, VL-Rethinker, DeepEyes, Video-R1) a través de varios benchmarks.

Razonamiento Matemático: Se observaron mejoras consistentes en el rendimiento en conjuntos de datos como MathVerse, MathVision, WeMath y LogicVista. Por ejemplo, VL-Rethinker-7B experimentó mejoras de +2.2 en MathVerse y +2.9 en MathVision.
Razonamiento Agéntico: En HRBench (búsqueda visual de alta resolución), el método mejoró las puntuaciones de DeepEyes-7B de 53.7 a 56.3 en el benchmark H4.
Razonamiento de Video: Para Video-R1-7B, el enfoque produjo ganancias en VideoMMMU (+4.0), MLVU (+1.7) y VideoHolmes (+4.4).
Pass@K: El método mejoró significativamente las puntuaciones de Pass@K (por ejemplo, grandes márgenes en Pass@16), lo que indica una expansión de la frontera de razonamiento del modelo en lugar de solo una mayor eficiencia de muestreo.
Estudios de Ablación:
- Umbral ( $\tau$ ): Los umbrales más bajos (que seleccionan menos activaciones, estrictamente de baja entropía) generalmente produjeron mejores resultados, confirmando que la repetición de activaciones de alta entropía puede ser perjudicial.
- Fuerza ( $\alpha$ ): Las fuerzas de guía mayores generalmente mejoraron el rendimiento, validando la hipótesis central.

5. Significado y Reivindicaciones

El artículo afirma que la Repetición de Activaciones ofrece una solución práctica y eficiente para mejorar las capacidades de razonamiento de los LMMs post-entrenados sin el costo computacional del reentrenamiento. Al identificar que el RLVR altera inadvertidamente las activaciones de baja entropía críticas para el razonamiento, los autores demuestran que "reproducir" las representaciones estables de los modelos base puede corregir estas desviaciones.

Los autores enfatizan que su enfoque:

Desacopla la Mejora del Razonamiento del Entrenamiento: Funciona como una intervención post-hoc en el tiempo de inferencia.
Se Generaliza a través de las Modalidades: Es efectivo para imágenes estáticas, tareas agénticas de múltiples turnos y razonamiento de video temporal.
Mejora la Robustez: Mitiga el "sobrepensamiento" o los fallos de razonamiento observados en algunos modelos RLVR al estabilizar el procesamiento del contexto inicial.

El trabajo sugiere que el "funcionamiento interno" de los modelos RLVR puede regularse mediante la manipulación de activaciones, ofreciendo una nueva dirección para optimizar el razonamiento multimodal más allá de la optimización de política tradicional.