💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

O Remember-R1 é uma estrutura de aprendizado por reforço que mitiga o esquecimento visual de longo contexto em modelos de linguagem de grande escala multimodais ao aplicar supervisão de nível de processo para incentivar o uso sustentado de evidências visuais ao longo de trajetórias de raciocínio complexas.

Autores originais: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a resolver um mistério olhando para uma única imagem complexa. Você diz ao robô: "Olhe para esta imagem e diga o que está acontecendo". No início, o robô é um detetive em alerta máximo, observando atentamente cada detalhe da foto. Mas, conforme o robô começa a falar, a escrever seus longos pensamentos passo a passo, algo estranho acontece. Quanto mais ele fala, mais parece esquecer a imagem inteira. Ele começa a confiar em suas próprias palavras anteriores, adivinhando o que poderia estar na imagem com base em como as histórias costumam seguir, em vez de se basear no que realmente está lá. Este é um problema para uma nova geração de "Modelos de Linguagem de Grande Escala Multimodais" (MLLMs) — sistemas de IA que podem ver e ler. Eles estão ficando melhores em raciocínios complexos, mas possuem uma falha: conforme sua "cadeia de pensamento" fica mais longa, eles sofrem de "esquecimento visual". Eles se afastam das evidências visuais, levando a respostas erradas mesmo quando a imagem contém a verdade. Cientistas se preocupam com isso porque, se esses modelos de IA não conseguirem manter os olhos no prêmio enquanto pensam, não poderão ser confiáveis para tarefas sérias, como resolver problemas matemáticos com diagramas ou compreender exames médicos.

Apresentamos o Remember-R1, um novo método de treinamento inteligente projetado para manter os olhos do robô colados na imagem, não importa o quão longa seja a história. Pense no processo de raciocínio da IA como uma longa viagem de carro. No passado, pesquisadores tentaram resolver o problema do esquecimento interrompendo constantemente o carro para mostrar o mapa ao motorista novamente (reintroduzindo a imagem), o que era lento e desajeitado. Outros tentaram pedir ao motorista que criasse uma lista de coisas que ele achava que viu e verificasse essa lista mais tarde, mas isso era como checar uma nota de procuração em vez da estrada real. O Remember-R1 adota uma abordagem diferente. Em vez de mudar a viagem ou adicionar paradas, ele age como um treinador rigoroso, mas prestativo, sentado no banco de trás, sussurrando recompensas para o motorista enquanto ele dirige.

O artigo propõe um sistema chamado Remember-R1 que utiliza uma técnica de Aprendizado por Reforço para treinar esses modelos. A ideia central é supervisionar o "processo de pensamento" do modelo diretamente, em vez de apenas avaliar a resposta final. Os pesquisadores projetaram três "recompensas" específicas para encorajar o modelo a permanecer fundamentado na imagem:

A Recompensa do "Caçador de Palavras-Chave": O modelo recebe pontos por mencionar explicitamente detalhes específicos e anotados que encontrou na imagem (como "esfera azul" ou "cubo minúsculo") ao longo de seu raciocínio. É como um jogo onde o motorista recebe um bônus por avistar e nomear cada ponto de referência específico que passa, garantindo que ele não esteja apenas inventando coisas.
A Recompensa do "Guardião da Memória": Esta recompensa pune o modelo se ele começar a prestar menos atenção à imagem conforme a conversa se prolonga. O objetivo é manter a "atenção visual" constante, do primeiro passo até o último, evitando que o modelo se perca em um devaneio onde depende apenas de seu próprio texto.
A Recompensa do "Holofote": Isso garante que o modelo não esteja apenas olhando para a imagem aleatoriamente; ele deve focar sua atenção nas partes específicas da foto que realmente respondem à pergunta. Se a pergunta é sobre um carro vermelho, o modelo é recompensado por manter seu "holofote" no carro vermelho, e não nas árvores ao fundo.

Os autores testaram o Remember-R1 em dois tamanhos diferentes de modelos de IA (3 bilhões e 7 bilhões de parâmetros) em sete benchmarks diferentes, incluindo matemática, lógica e compreensão visual geral. Os resultados sugerem que este método funciona. Os modelos treinados com o Remember-R1 performaram consistentemente melhor do que seus equivalentes não treinados e outros métodos existentes. Por exemplo, no benchmark MathVista, o modelo 3B melhorou sua pontuação de 51,90 para 65,50, e o modelo 7B saltou de 62,30 para 69,80.

Crucialmente, o artigo mostra que essa melhoria não é apenas sobre obter a resposta certa no final; é sobre como o modelo chega lá. Ao analisar a "atenção" dos modelos, os pesquisadores descobriram que o Remember-R1 retarda a taxa de esquecimento da imagem pelo modelo. Enquanto os modelos padrão tendem a perder o interesse na imagem no meio de seu raciocínio, os modelos com o Remember-R1 mantêm o olhar fixo nas evidências visuais por muito mais tempo. O artigo descarta explicitamente a ideia de que simplesmente mostrar a imagem novamente ao modelo durante o processo seja a melhor solução, observando que é muito caro e quebra o fluxo do raciocínio. Em vez disso, eles argumentam que treinar o modelo para manter seu próprio foco visual através desses incentivos específicos é o caminho mais eficaz.

Em resumo, o Remember-R1 sugere que, ao recompensar os modelos de IA por serem bons "detetives visuais" durante todo o seu processo de pensamento — identificando palavras-chave, mantendo a memória fresca e focando nos pontos certos — podemos impedir que eles esqueçam o que estão vendo. Isso não torna apenas esses modelos mais inteligentes em matemática ou lógica; torna-os observadores mais confiáveis do mundo, garantindo que suas histórias longas e complexas estejam sempre enraizadas na verdade da imagem que estão vendo.

Resumo Técnico: Remember-R1

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estão utilizando cada vez mais o raciocínio de cadeia de pensamento (CoT) longa para tarefas complexas. No entanto, uma fraqueza crítica identificada nos modelos atuais é o esquecimento visual de contexto longo. À medida que as sequências de raciocínio se alongam, os modelos tendem a depender menos da evidência visual e mais do contexto textual acumulado gerado em etapas anteriores. Isso leva a um desvio onde a cadeia de raciocínio diverge dos fatos visuais, particularmente em tarefas de raciocínio matemático, lógico e espacial de múltiplas etapas.

As estratégias de mitigação existentes dividem-se em duas categorias, ambas com limitações:

Reintrodução Visual: Reinserir a imagem ou regiões no contexto durante a inferência. Embora eficaz, isso aumenta os custos de inferência (computação e memória) e pode fragmentar o processo de raciocínio.
Proxies de Alegações Visuais: Inserir alegações visuais intermediárias durante o treinamento. Isso introduz um "gap de tarefa proxy", pois a supervisão é aplicada a interações auxiliares em vez da trajetória de raciocínio original onde o esquecimento realmente ocorre.

Há uma falta de métodos que forneçam supervisão direta na trajetória de raciocínio original para restringir como a evidência visual é usada e mantida sem alterar o procedimento de inferência.

Metodologia: Remember-R1

Os autores propõem o Remember-R1, um framework de Aprendizado por Reforço (RL) projetado para mitigar o esquecimento visual aplicando supervisão de nível de processo diretamente à trajetória de raciocínio alvo. O framework opera sem modificar o procedimento de inferência.

1. Anotação de Dados

Para permitir a supervisão de nível de processo, os autores aumentam o conjunto de dados ViRL39K com anotações estruturadas de evidência visual:

Extração de Palavras-chave Visuais: Usando Qwen-VL-Max, eles extraem um conjunto de unidades lexicais curtas e fundamentadas (objetos, atributos, quantidades, frases espaciais) da imagem.
Anotação de Caixa de Região-Chave: Eles identificam regiões específicas da imagem (caixas delimitadoras/bounding boxes) relevantes para responder à pergunta.
Verificação: A verificação humana garante a qualidade das palavras-chave e das caixas. O conjunto de dados final contém 38.657 amostras anotadas.

2. Design de Recompensa

O Remember-R1 decompõe a "dependência sustentada de evidência visual" em três aspectos complementares, cada um correspondendo a uma recompensa de processo específica:

Recompensa de Vocabulário Visual ( $r_{voc}$ ): Incentiva a menção explícita de palavras-chave visuais anotadas ao longo da trajetória de raciocínio.
- Mecanismo: Calcula uma média recortada de palavras-chave correspondidas ponderadas pela posição. Recompensa não apenas a presença de palavras-chave, mas seu aparecimento em etapas posteriores da geração, evitando que o modelo mencione fatos visuais apenas no início.
Recompensa de Memória Visual ( $r_{mem}$ ): Incentiva a persistência da atenção visual em etapas posteriores de raciocínio.
- Mecanismo: Mede a massa de atenção agregada atribuída aos tokens visuais ( $\Omega(t)$ ) na etapa de geração $t$ . A recompensa é baseada na diferença entre a média da atenção na janela final de geração versus a janela inicial. Penaliza o declínio significativo da atenção visual conforme a resposta se alonga.
Recomposa de Região-Chave Visual ( $r_{region}$ ): Incentiva a atenção sustentada especificamente em regiões da imagem relevantes para a pergunta.
- Mecanismo: Calcula a razão de atenção atribuída às caixas de regiões-chave anotadas em relação à atenção visual total. Utiliza uma média ponderada temporalmente, atribuindo maior peso às etapas posteriores para garantir que o modelo permaneça focado em regiões relevantes durante todo o processo de raciocínio.

3. Otimização por Aprendizado por Reforço

A recompensa total combina a recompensa padrão de correção da resposta ( $r_{acc}$ ) com as três recompensas de processo visual:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
A política é otimizada usando Otimização de Política Relativa de Grupo (GRPO), amostrando grupos de respostas para calcular vantagens normalizadas.

Principais Contribuições

Framework de Supervisão de Nível de Processo: O artigo propõe uma abordagem inovadora para estudar o esquecimento visual ao supervisionar diretamente a trajetória de raciocínio original, evitando os custos de inferência da reintrodução e os gaps de proxy dos métodos baseados em alegações.
Design de Recompensa de Três Aspectos: Os autores projetam três recompensas específicas que visam a cobertura de palavras-chave visuais, a persistência da atenção visual ao longo do tempo e a localização da atenção em regiões relevantes para a pergunta.
Validação Empírica: O método é validado em duas escalas de modelo (3B e 7B) e sete benchmarks diversos, demonstrando melhorias consistentes em raciocínio, capacidade multimodal geral e percepção visual.

Resultados Experimentais

Os autores avaliaram o Remember-R1 nos modelos base Qwen2.5-VL-3B e Qwen2.5-VL-7B em sete benchmarks:

Raciocínio Matemático e Lógico: MathVision, MathVista, LogicVista.
Capacidade Multimodal Geral: MMVet, MMMB, MMStar.
Percepção Visual: RealWorldQA.

Principais Descobertas:

Ganhos de Desempenho: O Remember-R1 supera consistentemente os modelos base e os recentes MLLMs orientados ao raciocínio (ex: Ocean-R1, VLAA-Thinking) e métodos anteriores de mitigação de esquecimento visual (ex: DeepSketcher, TVC). Melhorias notáveis foram observadas no MathVista (+13,60 para 3B, +7,50 para 7B) e MMVet.
Análise de Fundamentação Visual: A análise da razão de atenção mostra que, embora todos os modelos exibam um declínio na atenção visual ao longo do tempo, o Remember-R1 demonstra um declínio significativamente mais lento, particularmente nas etapas intermediárias e finais da geração.
Estudos de Ablação: A remoção de qualquer uma das três recompensas de nível de processo resultou em degradação do desempenho nos benchmarks.
- A remoção de $r_{voc}$ levou a menos menções de palavras-chave visuais e um raciocínio mais fraco.
- A remoção de $r_{mem}$ resultou em um declínio de atenção mais rápido.
- A remoção de $r_{region}$ reduziu a atenção às áreas relevantes, causando quedas de precisão em todos os tipos de tarefas.
Comparação com RL de Apenas Precisão: Uma variante treinada apenas com a correção da resposta ( $r_{acc}$ ) mostrou melhorias, mas foi inferior ao Remember-R1 completo, indicando que a supervisão da resposta final sozinha é insuficiente para manter a fundamentação visual em contextos longos.

Significância e Alegações

O artigo afirma que o Remember-R1 mitiga efetivamente o esquecimento visual de contexto longo ao supervisionar diretamente o uso de evidência visual na trajetória onde o esquecimento ocorre. A significância reside em demonstrar que:

O aprendizado por reforço de nível de processo pode melhorar o desempenho do raciocínio sem alterar o procedimento de inferência ou aumentar os custos de inferência.
Manter a dependência de evidência visual não é apenas sobre mencionar palavras-chave, mas sobre manter a persistência da atenção e focar em regiões relevantes durante todo o processo de geração.
Essas melhorias generalizam-se através de diferentes escalas de modelos e tipos de tarefas, sugerindo que a supervisão direta da trajetória de raciocínio é uma direção promissora para o raciocínio multimodal de longo horizonte.

Os autores concluem que sua abordagem ajuda os modelos a manterem melhor a dependência de evidência visual conforme a geração se desenrola, abordando uma limitação fundamental nos atuais MLLMs sem o overhead computacional dos métodos anteriores.