💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1 è un framework di apprendimento per rinforzo che mitiga l'oblio visivo nei contesti lunghi nei modelli linguistici di grandi dimensioni multimodali applicando una supervisione a livello di processo per incoraggiare l'uso sostenuto delle prove visive durante traiettorie di ragionamento complesse.

Autori originali: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Pubblicato 2026-08-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot super intelligente come risolvere un mistero guardando un'unica, complessa immagine. Dici al robot: "Guarda questa immagine e dimmi cosa sta succedendo". All'inizio, il robot è un detective in massima allerta, che fissa intensamente ogni dettaglio della foto. Ma man mano che il robot inizia a parlare, scrivendo i suoi lunghi pensieri passo dopo passo, succede qualcosa di strano. Più parla, più sembra dimenticare completamente l'immagine. Inizia a fare affidamento sulle proprie parole precedenti, ipotizzando cosa potrebbe esserci nell'immagine basandosi su come procedono solitamente le storie, piuttosto che su ciò che è effettivamente presente. Questo è un problema per una nuova generazione di "Multimodal Large Language Models" (MLLM), ovvero sistemi di IA che sanno vedere e leggere. Stanno diventando bravi nel ragionamento complesso, ma hanno un difetto: man mano che la loro "catena di pensiero" si allunga, soffrono di "oblio visivo". Si allontanano dalle prove visive, portando a risposte errate anche quando l'immagine contiene la verità. Gli scienziati si preoccupano di questo perché se questi modelli di IA non riescono a tenere gli occhi sull'obiettivo mentre pensano, non possono essere affidati a compiti seri come risolvere problemi matematici con diagrammi o comprendere scansioni mediche.

Entra in scena Remember-R1, un nuovo e intelligente metodo di addestramento progettato per tenere gli occhi del robot incollati all'immagine, indipendentamente da quanto diventi lunga la storia. Pensa al processo di ragionamento dell'IA come a un lungo viaggio in auto. In passato, i ricercatori hanno cercato di risolvere il problema dell'oblio fermando costantemente l'auto per mostrare nuovamente la mappa al conducente (reintroducendo l'immagine), il che era lento e macchinoso. Altri hanno provato a chiedere al conducente di inventare un elenco di cose che pensava di aver visto e di controllare quell'elenco in seguito, ma era come controllare un appunto sostitutivo invece di guardare la strada vera e propria. Remember-R1 adotta un approccio diverso. Invece di cambiare il viaggio o aggiungere soste, agisce come un coach severo ma utile seduto sul sedile posteriore, sussurrando premi al conducente mentre sta guidando.

Il documento propone un sistema chiamato Remember-R1 che utilizza una tecnica chiamata Reinforcement Learning per addestrare questi modelli. L'idea centrale è quella di supervisionare direttamente il "processo di pensiero" del modello, piuttosto che limitarsi a valutare la risposta finale. I ricercatori hanno progettato tre "premi" specifici per incoraggiare il modello a rimanere ancorato all'immagine:

Il premio "Cacciatore di Parole Chiave": Il modello riceve punti per menzionare esplicitamente dettagli specifici, annotati, che ha trovato nell'immagine (come "sfera blu" o "piccolo cubo") durante il suo ragionamento. È come un gioco in cui il conducente riceve un bonus per individuare e nominare ogni specifico punto di riferimento che incontra, assicurandosi di non stare solo inventando cose.
Il premio "Custode della Memoria": Questo premio punisce il modello se inizia a prestare meno attenzione all'immagine man mano che la conversazione si allunga. L'obiettivo è mantenere l' "attenzione visiva" costante dal primo passaggio all'ultimo, impedendo al modello di scivolare in un sogno ad occhi aperti in cui si affida solo al proprio testo.
Il premio "Spotlight" (Faro): Questo assicura che il modello non stia guardando l'immagine in modo casuale; deve concentrare la sua attenzione sulle parti specifiche dell'immagine che rispondono effettivamente alla domanda. Se la domanda riguarda un'auto rossa, il modello viene premiato per mantenere il suo "faro" sull'auto rossa, non sugli alberi sullo sfondo.

Gli autori hanno testato Remember-R1 su due diverse dimensioni di modelli di IA (3 miliardi e 7 miliardi di parametri) attraverso sette diversi benchmark, inclusi matematica, logica e comprensione visiva generale. I risultati suggeriscono che questo metodo funziona. I modelli addestrati con Remember-R1 hanno costantemente ottenuto prestazioni migliori rispetto ai loro controparti non addestrati e ad altri metodi esistenti. Ad esempio, sul benchmark MathVista, il modello da 3B è migliorato da 51.90 a 65.50, e il modello da 7B è passato da 62.30 a 69.80.

Fondamentalmente, il documento mostra che questo miglioramento non riguarda solo l'ottenere la risposta corretta alla fine; riguarda il modo in cui il modello ci arriva. Analizzando l' "attenzione" dei modelli, i ricercatori hanno scoperto che Remember-R1 rallenta il tasso con cui il modello dimentica l'immagine. Mentre i modelli standard tendono a perdere interesse per l'immagine a metà del loro ragionamento, i modelli Remember-R1 mantengono lo sguardo fisso sulle prove visive molto più a lungo. Il documento esclude esplicitamente l'idea che mostrare semplicemente di nuovo l'immagine al modello durante il processo sia la soluzione migliore, notando che è troppo costoso e interrompe il flusso del ragionamento. Invece, sostengono che addestrare il modello a mantenere il proprio focus visivo attraverso questi premi specifici sia la via più efficace.

In breve, Remember-R1 suggerisce che, premiando i modelli di IA per essere bravi "detective visivi" durante tutto il loro processo di pensiero — individuando parole chiave, mantenendo fresca la memoria e concentrandosi sui punti giusti — possiamo impedire loro di dimenticare ciò che stanno guardando. Questo non li rende solo più intelligenti nella matematica o nella logica; li rende osservatori più affidabili del mondo, assicurando che le loro storie lunghe e complesse siano sempre radicate nella verità dell'immagine che stanno vedendo.

Riepilogo Tecnico: Remember-R1

Definizione del Problema

I Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) stanno utilizzando sempre più il ragionamento a catena di pensiero (Chain-of-Thought, CoT) lungo per compiti complessi. Tuttavia, una criticità fondamentale identificata nei modelli attuali è l'oblio visivo nel contesto lungo. Man mano che le sequenze di ragionamento si allungano, i modelli tendono a fare meno affidamento sulle prove visive e di più sul contesto testuale accumulato nei passaggi precedenti. Ciò porta a una deriva in cui la catena di ragionamento diverge dai fatti visivi, particolarmente in compiti di ragionamento matematico, logico e spaziale multi-step.

Le strategie di mitigazione esistenti si dividono in due categorie, entrambe con limitazioni:

Re-introduzione Visiva: Re-inserire l'immagine o le regioni nel contesto durante l'inferenza. Sebbene efficace, questo aumenta i costi di inferenza (computazione e memoria) e può frammentare il processo di ragionamento.
Proxy di Claim Visivi: Inserire claim visivi intermedi durante l'addestramento. Questo introduce un "gap tra proxy e task", poiché la supervisione viene applicata a interazioni ausiliarie piuttosto che alla traiettoria di ragionamento originale dove avviene effettivamente l'oblio.

Manca un metodo che fornisca una supervisione diretta sulla traiettoria di ragionamento originale per vincolare il modo in cui le prove visive vengono utilizzate e mantenute senza alterare la procedura di inferenza.

Metodologia: Remember-R1

Gli autori propongono Remember-R1, un framework di Reinforcement Learning (RL) progettato per mitigare l'oblio visivo applicando la supervisione a livello di processo direttamente sulla traiettoria di ragionamento target. Il framework opera senza modificare la procedura di inferenza.

1. Annotazione dei Dati

Per abilitare la supervisione a livello di processo, gli autori hanno aumentato il dataset ViRL39K con annotazioni strutturate delle prove visive:

Estrazione di Parole Chiave Visive: Utilizzando Qwen-VL-Max, estraggono un insieme di unità lessicali brevi e ancorate (oggetti, attributi, quantità, frasi spaziali) dall'immagine.
Annotazione di Regioni Chiave (Box): Identificano specifiche regioni dell'immagine (bounding box) rilevanti per rispondere alla domanda.
Verifica: La verifica umana assicura la qualità di parole chiave e box. Il dataset finale contiene 38.657 campioni annotati.

2. Design della Ricompensa (Reward Design)

Remember-R1 decompone la "dipendenza sostenuta dalle prove visive" in tre aspetti complementari, ciascuno corrispondente a una specifica ricompensa a livello di processo:

Ricompensa del Vocabolario Visivo ( $r_{voc}$ ): Incoraggia la menzione esplicita delle parole chiave visive annotate durante l'intera traccia di ragionamento.
- Meccanismo: Calcola una media troncata (clipped average) di parole chiave corrispondenti pesate per posizione. Premia non solo la presenza di parole chiave, ma la loro apparizione nei passaggi successivi della generazione, impedendo al modello di menzionare i fatti visivi solo all'inizio.
Ricompensa della Memoria Visiva ( $r_{mem}$ ): Incoraggia la persistenza dell'attenzione visiva nei passaggi di ragionamento successivi.
- Meccanismo: Misura la massa di attenzione aggregata assegnata ai token visivi ( $\Omega(t)$ ) al passaggio di generazione $t$ . La ricompensa si basa sulla differenza tra l'attenzione media nella finestra finale di generazione rispetto alla finestra iniziale. Penalizza il decadimento significativo dell'attenzione visiva man mano che la risposta si allunga.
Ricompensa della Regione Chiave Visiva ( $r_{region}$ ): Incoraggia l'attenzione sostenuta specificamente sulle regioni dell'immagine rilevanti per la domanda.
- Meccanismo: Calcola il rapporto tra l'attenzione assegnata alle box delle regioni chiave annotate rispetto all'attenzione visiva totale. Utilizza una media pesata temporalmente, assegnando un peso maggiore ai passaggi successivi per garantire che il modello rimanga focalizzato sulle regioni rilevanti durante tutto il processo di ragionamento.

3. Ottimizzazione tramite Reinforcement Learning

La ricompensa totale combina la ricompensa standard sulla correttezza della risposta ( $r_{acc}$ ) con le tre ricompense di processo visivo:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
La policy è ottimizzata utilizzando la Group Relative Policy Optimization (GRPO), campionando gruppi di risposte per calcolare gli advantage normalizzati.

Contributi Chiave

Framework di Supervisione a Livello di Processo: Il paper propone un approccio innovativo per studiare l'oblio visivo supervisionando direttamente la traiettoria di ragionamento originale, evitando i costi di inferenza della re-introduzione e i gap dei metodi basati su claim.
Design di Ricompense a Tre Aspetti: Gli autori progettano tre ricompense specifiche che mirano alla copertura delle parole chiave visive, alla persistenza dell'attenzione visiva nel tempo e alla localizzazione dell'attenzione sulle regioni rilevanti per la domanda.
Validazione Empirica: Il metodo è validato su due scale di modelli (3B e 7B) e sette benchmark diversi, dimostrando miglioramenti costanti nel ragionamento, nella capacità multimodale generale e nella percezione visiva.

Risultati Sperimentali

Gli autori hanno valutato Remember-R1 sui modelli base Qwen2.5-VL-3B e Qwen2.5-VL-7B attraverso sette benchmark:

Ragionamento Matematico e Logico: MathVision, MathVista, LogicVista.
Capacità Multimodale Generale: MMVet, MMMB, MMStar.
Percezione Visiva: RealWorldQA.

Risultati Chiave:

Guadagni di Performance: Remember-R1 supera costantemente i modelli base e i recenti MLLM orientati al ragionamento (es. Ocean-R1, VLAA-Thinking) e i precedenti metodi di mitigazione dell'oblio visivo (es. DeepSketcher, TVC). Si sono osservati miglioramenti notevoli su MathVista (+13.60 per 3B, +7.50 per 7B) e MMVet.
Analisi del Grounding Visivo: L'analisi del rapporto di attenzione mostra che, sebbene tutti i modelli presentino un declino dell'attenzione visiva nel tempo, Remember-R1 dimostra un declino significativamente più lento, particolarmente nelle fasi centrali e finali della generazione.
Studi di Ablazione: La rimozione di una qualsiasi delle tre ricompense di processo ha portato a un degrado delle prestazioni in tutti i benchmark.
- Rimuovere $r_{voc}$ ha portato a meno menzioni di parole chiave visive e a un ragionamento più debole.
- Rimuovere $r_{mem}$ ha causato un decadimento dell'attenzione più rapido.
- Rimuovere $r_{region}$ ha ridotto l'attenzione alle aree rilevanti, causando cali di accuratezza in tutti i tipi di task.
Confronto con RL basato solo sull'Accuratezza: Una variante addestrata solo sulla correttezza della risposta ( $r_{acc}$ ) ha mostrato miglioramenti ma è risultata inferiore al pieno Remember-R1, indicando che la supervisione della risposta finale da sola è insufficiente per mantenere il grounding visivo in contesti lunghi.

Significato e Rivendicazioni

Il paper afferma che Remember-R1 mitiga efficacementamente l'oblio visivo nel contesto lungo supervisionando direttamente l'uso delle prove visive sulla traiettoria in cui avviene l'oblio. Il significato risiede nel dimostrare che:

Il reinforcement learning a livello di processo può migliorare le prestazioni di ragionamento senza alterare la procedura di inferenza o aumentare i costi di inferenza.
Sostenere la dipendenza dalle prove visive non riguarda solo il menzionare parole chiave, ma anche il mantenere la persistenza dell'attenzione e il focalizzarsi sulle regioni rilevanti durante l'intero processo di generazione.
Questi miglioramenti si generalizzano attraverso diverse scale di modelli e tipi di task, suggerendo che la supervisione diretta della traiettoria di ragionamento è una direzione promettente per il ragionamento multimodale a lungo termine.

Gli autori concludono che il loro approccio aiuta i modelli a mantenere meglio la dipendenza dalle prove visive man mano che la generazione procede, affrontando un limite fondamentale degli attuali MLLM senza l'overhead computazionale dei metodi precedenti.