💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1 es un marco de aprendizaje por refuerzo que mitiga el olvido visual de contexto largo en modelos de lenguaje multimodales grandes mediante la aplicación de supervisión a nivel de proceso para fomentar el uso sostenido de evidencia visual a lo largo de trayectorias de razonamiento complejas.

Autores originales: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot superinteligente a resolver un misterio mirando una única imagen compleja. Le dices al robot: "Mira esta imagen y dime qué está pasando". Al principio, el robot es un detective en alerta máxima, mirando intensamente cada detalle de la foto. Pero a medida que el robot empieza a hablar, escribiendo sus largos pensamientos paso a paso, algo extraño sucede. Cuanto más habla, más parece olvidar la imagen por completo. Empieza a confiar en sus propias palabras previas, adivinando lo que podría haber en la imagen basándose en cómo suelen ser las historias, en lugar de lo que realmente hay allí. Este es un problema para una nueva generación de "Modelos de Lenguaje de Gran Escala Multimodales" (MLLM por sus siglas en inglés): sistemas de IA que pueden ver y leer. Se están volviendo mejores en el razonamiento complejo, pero tienen un fallo: a medida que su "cadena de pensamiento" se vuelve más larga, sufren de "olvido visual". Se alejan de la evidencia visual, lo que conduce a respuestas erróneas incluso cuando la imagen contiene la verdad.

Aquí entra Remember-R1, un nuevo y astuto método de entrenamiento diseñado para mantener los ojos del robot pegados a la imagen, sin importar cuán larga sea la historia. Piensa en el proceso de razonamiento de la IA como un largo viaje por carretera. En el pasado, los investigadores intentaron solucionar el problema del olvido volviendo a mostrarle el mapa al conductor constantemente (reintroduciendo la imagen), lo cual era lento y torpe. Otros intentaron pedirle al conductor que hiciera una lista de las cosas que creía haber visto y que revisara esa lista más tarde, pero eso era como revisar una nota de un tercero en lugar de mirar la carretera real. Remember-R1 toma un enfoque diferente. En lugar de cambiar el viaje o añadir paradas, actúa como un entrenador estricto pero útil que viaja en el asiento trasero, susurrando recompensas al conductor mientras este conduce.

El artículo propone un sistema llamado Remember-R1 que utiliza una técnica de Aprendizaje por Refuerzo para entrenar a estos modelos. La idea central es supervisar directamente el "proceso de pensamiento" del modelo, en lugar de solo calificar la respuesta final. Los investigadores diseñaron tres "recompensas" específicas para fomentar que el modelo se mantenga anclado en la imagen:

La recompensa del "Cazador de Palabras Clave": El modelo recibe puntos por mencionar explícitamente detalles específicos y anotados que encontró en la imagen (como "esfera azul" o "cubo diminuto") a lo largo de su razonamiento. Es como un juego donde el conductor recibe un bono por detectar y nombrar cada hito específico por el que pasa, asegurando que no esté inventando cosas.
La recompensa del "Guardián de la Memoria": Esta recompensa castiga al modelo si empieza a prestar menos atención a la imagen a medida que la conversación se alarga. El objetivo es mantener la "atención visual" constante desde el primer paso hasta el último, evitando que el modelo se pierda en un ensueño donde depende únicamente de su propio texto.
La recompensa del "Foco de Luz": Esto asegura que el modelo no esté mirando la imagen de forma aleatoria; debe centrar su atención en las partes específicas de la imagen que realmente responden a la pregunta. Si la pregunta es sobre un coche rojo, el modelo es recompensado por mantener su "foco de luz" en el coche rojo, no en los árboles del fondo.

Los autores probaron Remember-R1 en dos tamaños diferentes de modelos de IA (3 mil millones y 7 mil millones de parámetros) a través de siete bancos de pruebas distintos, incluyendo matemáticas, lógica y comprensión visual general. Los resultados sugieren que este método funciona. Los modelos entrenados con Remember-R1 desempeñaron consistentemente mejor que sus contrapartes no entrenadas y otros métodos existentes. Por ejemplo, en el benchmark MathVista, el modelo de 3B mejoró su puntuación de 51.90 a 65.50, y el de 7B saltó de 62.30 a 69.80.

Crucialmente, el artículo muestra que esta mejora no se trata solo de obtener la respuesta correcta al final, sino de cómo se llega a ella. Al analizar la "atención" de los modelos, los investigadores descubrieron que Remember-R1 ralentiza la tasa a la que el modelo olvida la imagen. Mientras que los modelos estándar tienden a perder interés en la imagen a mitad de su razonamiento, los modelos de Remember-R1 mantienen su mirada fija en la evidencia visual mucho más tiempo. El artículo descarta explícitamente la idea de que simplemente volver a mostrar la imagen al modelo durante el proceso sea la mejor solución, señalando que es demasiado costoso y rompe el flujo del razonamiento. En su lugar, argumentan que entrenar al modelo para mantener su propio enfoque visual a través de estas recompensas específicas es el camino más efectivo.

En resumen, Remember-R1 sugiere que, al recompensar a los modelos de IA por ser buenos "detectives visuales" durante todo su proceso de pensamiento —detectando palabras clave, manteniendo su memoria fresca y enfocándose en los puntos correctos— podemos evitar que olviden lo que están viendo. Esto no solo los hace más inteligentes en matemáticas o lógica; los convierte en observadores más fiables del mundo, asegurando que sus historias largas y complejas estén siempre arraigadas en la verdad de la imagen que están viendo.

Resumen Técnico: Remember-R1

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) están utilizando cada vez más el razonamiento de cadena de pensamiento (CoT) larga para tareas complejas. Sin embargo, una debilidad crítica identificada en los modelos actuales es el olvido visual de contexto largo. A medida que las secuencias de razonamiento se alargan, los modelos tienden a depender menos de la evidencia visual y más del contexto textual acumulado generado en pasos previos. Esto conduce a una deriva donde la cadena de razonamiento diverge de los hechos visuales, particularmente en tareas de razonamiento matemático, lógico y espacial de múltiples pasos.

Las estrategias de mitigación existentes se dividen en dos categorías, ambas con limitaciones:

Reintroducción Visual: Reinsertar la imagen o regiones en el contexto durante la inferencia. Aunque es efectivo, aumenta los costos de inferencia (computación y memoria) y puede fragmentar el proceso de razonamiento.
Proxies de Afirmaciones Visuales: Insertar afirmaciones visuales intermedias durante el entrenamiento. Esto introduce un "gap de tarea proxy", ya que la supervisión se aplica a interacciones auxiliares en lugar de la trayectoria de razonamiento original donde ocurre realmente el olvido.

Existe una falta de métodos que proporcionen supervisión directa sobre la trayectoria de razonamiento original para restringir cómo se utiliza y mantiene la evidencia visual sin alterar el procedimiento de inferencia.

Metodología: Remember-R1

Los autores proponen Remember-R1, un marco de Aprendizaje por Refuerzo (RL) diseñado para mitigar el olvido visual aplicando supervisión a nivel de proceso directamente a la trayectoria de razonamiento objetivo. El marco opera sin modificar el procedimiento de inferencia.

1. Anotación de Datos

Para permitir la supervisión a nivel de proceso, los autores aumentan el conjunto de datos ViRL39K con anotaciones estructuradas de evidencia visual:

Extracción de Palabras Clave Visuales: Utilizando Qwen-VL-Max, extraen un conjunto de unidades léxicas cortas y fundamentadas (objetos, atributos, cantidades, frases espaciales) de la imagen.
Anotación de Cajas de Regiones Clave: Identifican regiones específicas de la imagen (bounding boxes) relevantes para responder la pregunta.
Verificación: La verificación humana asegura la calidad de las palabras clave y las cajas. El conjunto de datos final contiene 38,657 muestras anotadas.

2. Diseño de Recompensa

Remember-R1 descompone la "dependencia sostenida en la evidencia visual" en tres aspectos complementarios, cada uno correspondiente a una recompensa específica a nivel de proceso:

Recompensa de Vocabulario Visual ( $r_{voc}$ ): Incentiva la mención explícita de palabras clave visuales anotadas a lo largo de la traza de razonamiento.
- Mecanismo: Calcula un promedio recortado de palabras clave emparejadas ponderadas por posición. No solo recompensa la presencia de palabras clave, sino su aparición en los pasos finales de la generación, evitando que el modelo mencione los hechos visuales solo al principio.
Recompensa de Memoria Visual ( $r_{mem}$ ): Incentiva la persistencia de la atención visual en los pasos de razonamiento posteriores.
- Mecanismo: Mide la masa de atención agregada asignada a los tokens visuales ( $\Omega(t)$ ) en el paso de generación $t$ . La recompensa se basa en la diferencia entre el promedio de atención en la ventana final de generación frente a la ventana inicial. Penaliza la degradación significativa de la atención visual a medida que la respuesta se alarga.
Recompensa de Región Clave Visual ( $r_{region}$ ): Incentiva la atención sostenida específicamente en las regiones de la imagen relevantes para la pregunta.
- Mecanismo: Calcula la proporción de atención asignada a las cajas de regiones clave anotadas en relación con la atención visual total. Utiliza un promedio ponderado temporalmente, asignando un mayor peso a los pasos finales para asegurar que el modelo permanezca enfocado en las regiones relevantes durante todo el proceso de razonamiento.

3. Optimización de Aprendizaje por Refuerzo

La recompensa total combina la recompensa estándar de corrección de respuesta ( $r_{acc}$ ) con las tres recompensas de proceso visual:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
La política se optimiza utilizando Optimización de Política Relativa de Grupo (GRPO), muestreando grupos de respuestas para calcular ventajas normalizadas.

Contribuciones Clave

Marco de Supervisión a Nivel de Proceso: El artículo propone un enfoque novedoso para estudiar el olvido visual mediante la supervisión directa de la trayectoria de razonamiento original, evitando los costos de inferencia de la reintroducción y los gaps de proxy de los métodos basados en afirmaciones.
Diseño de Recompensa de Tres Aspectos: Los autores diseñan tres recompensas específicas que apuntan a la cobertura de palabras clave visuales, la persistencia de la atención visual a lo largo del tiempo y la localización de la atención en regiones relevantes para la pregunta.
Validación Empírica: El método se valida en dos escalas de modelo (3B y 7B) y siete benchmarks diversos, demostrando mejoras consistentes en el razonamiento, la capacidad multimodal general y la percepción visual.

Resultados Experimentales

Los autores evaluaron Remember-R1 en los modelos base Qwen2.5-VL-3B y Qwen2.5-VL-7B a través de siete benchmarks:

Razonamiento Matemático y Lógico: MathVision, MathVista, LogicVista.
Capacidad Multimodal General: MMVet, MMMB, MMStar.
Percepción Visual: RealWorldQA.

Hallazgos Clave:

Ganancias de Rendimiento: Remember-R1 supera consistentemente a los modelos base y a los MLLMs orientados recientemente al razonamiento (ej. Ocean-R1, VLAA-Thinking) y a los métodos previos de mitigación del olvido visual (ej. DeepSketcher, TVC). Se observaron mejoras notables en MathVista (+13.60 para 3B, +7.50 para 7B) y MMVet.
Análisis de Grounding Visual: El análisis de la proporción de atención muestra que, si bien todos los modelos exhiben una disminución de la atención visual con el tiempo, Remember-R1 demuestra una declinación significativamente más lenta, particularmente en las etapas medias y finales de la generación.
Estudios de Ablación: Eliminar cualquiera de las tres recompensas de nivel de proceso resultó en una degradación del rendimiento en los benchmarks.
- Eliminar $r_{voc}$ llevó a menos menciones de palabras clave visuales y un razonamiento más débil.
- Eliminar $r_{mem}$ resultó en una degradación de la atención más rápida.
- Eliminar $r_{region}$ redujo la atención a las áreas relevantes, causando caídas de precisión en todos los tipos de tareas.
Comparación con RL de Solo Exactitud: Una variante entrenada solo con la corrección de la respuesta ( $r_{acc}$ ) mostró mejoras, pero fue inferior al Remember-R1 completo, indicando que la supervisión de la respuesta final por sí sola es insuficiente para mantener el grounding visual en contextos largos.

Significancia y Reivindicaciones

El artículo afirma que Remember-R1 mitiga eficazmente el olvido visual de contexto largo mediante la supervisión directa del uso de la evidencia visual en la trayectoria donde ocurre el olvido. La significancia radica en demostrar que:

El aprendizaje por refuerzo a nivel de proceso puede mejorar el rendimiento del razonamiento sin alterar el procedimiento de inferencia ni aumentar los costos de inferencia.
Mantener la dependencia de la evidencia visual no se trata solo de mencionar palabras clave, sino de mantener la persistencia de la atención y enfocarse en las regiones relevantes durante todo el proceso de generación.
Estas mejoras se generalizan a través de diferentes escalas de modelos y tipos de tareas, sugiriendo que la supervisión directa de la trayectoria de razonamiento es una dirección prometedora para el razonamiento multimodal de largo alcance.

Los autores concluyen que su enfoque ayuda a los modelos a mantener mejor la dependencia de la evidencia visual a medida que la generación se desarrolla, abordando una limitación fundamental en los MLLMs actuales sin la carga computacional de los métodos anteriores.