💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1 is een reinforcement learning-framework dat visueel vergeten in lange contexten bij multimodale grote taalmodellen vermindert door procesmatige supervisie toe te passen om het voortdurend gebruik van visueel bewijs gedurende complexe redeneertrajecten aan te moedigen.

Oorspronkelijke auteurs: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robot leert om een mysterie op te lossen door naar één enkele, complexe afbeelding te kijken. Je zegt tegen de robot: "Kijk naar deze afbeelding en vertel me wat er gebeurt." In het begin is de robot een detective in hoogste alarmbereidheid, die intens naar elk detail in de foto staart. Maar terwijl de robot begint te praten, zijn lange, stapsgewijze gedachten opschrijft, gebeurt er iets vreemds. Hoe langer de robot praat, hoe meer het de afbeelding lijkt te vergeten. De robot begint te vertrouwen op zijn eigen vorige woorden, waarbij het gokt wat er zou kunnen zijn in de afbeelding op basis van hoe verhalen gewoonlijk verlopen, in plaats van te kijken naar wat er daadwerkelijk aanwezig is. Dit is een probleem voor een nieuwe generatie "Multimodale Large Language Models" (MLLM's)—AI-systemen die kunnen zien en lezen. Ze worden beter in complexe redeneringen, maar ze hebben een foutje: naarmate hun "chain of thought" (keten van gedachten) langer wordt, lijden ze aan "visueel vergeten". Ze drijven weg van het visuele bewijs, wat leidt tot foute antwoorden, zelfs wanneer de afbeelding de waarheid bevat.

Wetenschappers geven erom omdat als deze AI-modellen niet hun ogen op de prijs kunnen houden terwijl ze nadenken, ze niet vertrouwd kunnen worden voor serieuze taken zoals het oplossen van wiskundeproblemen met diagrammen of het begrijpen van medische scans.

Maak kennis met Remember-R1, een slimme nieuwe trainingsmethode die ontworpen is om de ogen van de robot vastgeplakt te houden aan de afbeelding, ongeacht hoe lang het verhaal ook wordt. Denk aan het redeneerproces van de AI als een lange roadtrip. In het verleden probeerden onderzoekers het vergetelheidsprobleem op te lossen door de auto constant te laten stoppen om de bestuurder de kaart opnieuw te laten zien (het opnieuw introduceren van de afbeelding), wat traag en lomp was. Anderen probeerden de bestuurder te vragen om een lijstje te maken van dingen die ze dachten te zien en die lijst later te controleren, maar dat was alsoals het controleren van een vervangend briefje in plaats van de werkelijke weg. Remember-R1 neemt een andere aanpak. In plaats van de reis te veranderen of extra stops toe te voegen, fungeert het als een strikte maar behulpzame coach die op de achterbank zit en de bestuurder beloningen toefluistert terwijl deze aan het rijden is.

Het artikel stelt een systeem voor genaamd Remember-R1 dat een techniek genaamd Reinforcement Learning gebruikt om deze modellen te trainen. De kern van het idee is om het "denkproces" van het model direct te superviseren, in plaats van alleen het uiteindelijke antwoord te beoordelen. De onderzoekers hebben drie specifieke "beloningen" ontworpen om het model aan te moedigen trouw te blijven aan de afbeelding:

De "Keyword Hunter" Beloning: Het model krijgt punten voor het expliciet noemen van specifieke, geannoteerde details die het in de afbeelding heeft gevonden (zoals "blauwe sfeer" of "kleine kubus") gedurende zijn redenering. Het is als een spel waarbij de bestuurder een bonus krijgt voor het spotten en benoemen van elk specifief herkenningspunt dat hij passeert, om ervoor te zorgen dat hij niet zomaar dingen verzint.
De "Memory Keeper" Beloning: Deze beloning straft het model als het minder aandacht aan de afbeelding begint te besteden naarmate het gesprek langer wordt. Het doel is om de "visuele aandacht" stabiel te houden van de eerste stap tot de laatste, om te voorkomen dat het model afdwaalt in een dagdroom waarbij het alleen nog op zijn eigen tekst vertrouwt.
De "Spotlight" Beloning: Deze zorgt ervoor dat het model niet willekeurig naar de afbeelding kijkt; het moet zijn aandacht richten op de specifieke delen van de afbeelding die daadwerkelijk het antwoord op de vraag geven. Als de vraag over een rode auto gaat, krijgt het model een beloning voor het houden van zijn "spotlight" op de rode auto, en niet op de achtergrondbomen.

De auteurs hebben Remember-R1 getest op twee verschillende groottes van AI-modellen (3 miljard en 7 miljard parameters) over zeven verschillende benchmarks, inclus_ief wiskunde, logica en algemeen visueel begrip. De resultaten suggereren dat deze methode werkt. De modellen getraind met Remember-R1 presteren consequent beter dan hun ongetrainde tegenhangers en andere bestaande methoden. Bijvoorbeeld, op de MathVista-benchmark verbeterde het 3B-model zijn score van 51,90 naar 65,50, en het 7B-model sprong van 62,30 naar 69,80.

Cruciaal is dat het artikel laat zien dat deze verbetering niet alleen gaat over het krijgen van het juiste antwoord aan het einde; het gaat over hoe het model daar komt. Door de "aandacht" van de modellen te analyseren, vonden de onderzoekers dat Remember-R1 de snelheid waarmee het model de afbeelding vergeet, vertraagt. Waar standaardmodellen de neiging hebben om halverwege hun redenering de interesse in de afbeelding te verliezen, houden Remember-R1-modellen hun blik veel langer gericht op het visuele bewijs. Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg opnieuw tonen van de afbeelding aan het model tijdens het proces de beste oplossing is, met de opmerking dat dit te duur is en de flow van de redenering doorbreekt. In plaats daarvan betogen zij dat het trainen van het model om via deze specifieke beloningen zijn eigen visuele focus te behouden, de meer effectieve weg is.

Kortom, Remember-R1 suggereert dat door AI-modellen te belonen voor het zijn van goede "visuele detectives" gedurende hun hele denkproces — het spotten van trefwoorden, het vers houden van hun geheugen en het focussen op de juiste plekken — we kunnen voorkomen dat ze vergeten waar ze naar kijken. Dit maakt ze niet alleen slimmer in wiskunde of logica; het maakt ze betrouwbaardere waarnemers van de wereld, waardoor we ervoor zorgen dat hun lange, complexe verhalen altijd geworteld zijn in de waarheid van de afbeelding die ze zien.

Technische Samenvatting: Remember-R1

Probleemstelling

Multimodale Large Language Models (MLLM's) maken steeds vaker gebruik van lange chain-of-thought (CoT) redeneringen voor complexe taken. Echter, een kritiek zwak punt dat bij huidige modellen is geïdentificeerd, is visuele vergetelheid in lange contexten (long-context visual forgetting). Naarmate de redeneersequenties langer worden, neigen modellen minder te vertrouwen op visueel bewijs en meer op de geaccumuleerde tekstuele context die in eerdere stappen is gegenereerd. Dit leidt tot een afwijking waarbij de redeneerketen divergeert van de visuele feiten, met name bij meerstaps wiskundige, logische en ruimtelijke redeneertaken.

Bestaande mitigatiestrategieën vallen uiteen in twee categorieën, die beide beperkingen hebben:

Visuele Herintroductie: Het opnieuw invoegen van de afbeelding of regio's in de context tijdens de inferentie. Hoewel effectief, verhoogt dit de inferentiekosten (rekenkracht en geheugen) en kan het het redeneerproces fragmenteren.
Visuele Claim Proxies: Het invoegen van tussenliggende visuele claims tijdens de training. Dit introduceert een "proxy-taak kloof", aangezien supervisie wordt toegepast op hulp-interacties in plaats van op het oorspronkelijke redeneertraject waar de vergetelheid daadwerkelijk plaatsvindt.

Er is een gebrek aan methoden die directe supervisie bieden op het oorspronkelijke redeneertraject om te controleren hoe visueel bewijs wordt gebruikt en behouden, zonder de inferentieprocedure te wijzigen.

Methodologie: Remember-R1

De auteurs stellen Remember-R1 voor, een Reinforcement Learning (RL) framework ontworpen om visuele vergetelheid te mitigeren door procesniveau-supervisie direct toe te passen op de doelgerichte redeneer-rollout. Het framework werkt zonder de inferentieprocedure te wijzigen.

1. Data Annotatie

Om procesniveau-supervisie mogelijk te maken, hebben de auteurs de ViRL39K dataset uitgebreid met gestructureerde annotaties van visueel bewijs:

Extractie van Visuele Trefwoorden: Met behulp van Qwen-VL-Max extraheren zij een set korte, gegronde lexicale eenheden (objecten, attributen, hoeveelheden, ruimtelijke zinsneden) uit de afbeelding.
Annotatie van Sleutelregio-boxen: Zij identificeren specifieke afbeeldingregio's (bounding boxes) die relevant zijn voor het beantwoorden van de vraag.
Verificatie: Menselijke verificatie waarborgt de kwaliteit van de trefwoorden en boxen. De uiteindelijke dataset bevat 38.657 geannoteerde samples.

2. Reward Design

Remember-R1 deelt "voortdurende afhankelijkheid van visueel bewijs" op in drie complementaire aspecten, elk corresponderend met een specifieke procesniveau-reward:

Visuele Vocabulaire Reward ( $r_{voc}$ ): Moedigt het expliciet noemen van geannoteerde visuele trefwoorden aan gedurende het volledige redeneertraject.
- Mechanisme: Berekent een afgeknipte (clipped) gemiddelde van positie-gewogen gematchte trefwoorden. Het beloont niet alleen de aanwezigheid van trefwoorden, maar ook hun verschijning in latere stappen van de generatie, wat voorkomt dat het model visuele feiten alleen aan het begin van de generatie vermeldt.
Visuele Geheugen Reward ( $r_{mem}$ ): Moedigt het voortbestaan van visuele aandacht aan in latere redeneerstappen.
- Mechanisme: Meet de geaggregeerde aandachtstotaal toegewezen aan visuele tokens ( $\Omega(t)$ ) bij generatiestap $t$ . De reward is gebaseerd op het verschil tussen het gemiddelde aandacht in het laatste venster van de generatie versus het eerste venster. Het straft een significante afname van visuele aandacht af naarmate de respons langer wordt.
Visuele Sleutelregio Reward ( $r_{region}$ ): Moedigt aanhoudende aandacht aan specifiaal op vraag-relevante afbeeldingregio's.
- Mechanisme: Berekent de ratio van de aandacht toegewezen aan geannoteerde sleutelregio-boxen ten opzichte van de totale visuele aandacht. Het gebruikt een temporeel gewogen gemiddelde, waarbij een hogere weging wordt toegekend aan latere stappen om ervoor te zorgen dat het model gedurende het hele redeneerproces gefocust blijft op relevante regio's.

3. Reinforcement Learning Optimalisatie

De totale reward combineert de standaard antwoordcorrectheid reward ( $r_{acc}$ ) met de drie visuele proces-rewards:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
Het beleid (policy) wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO), waarbij groepen responsen worden gesampled om genormaliseerde voordelen (advantages) te berekenen.

Belangrijkste Bijdragen

Procesniveau-supervisie Framework: Het artikel stelt een nieuw proces voor om visuele vergetelheid te bestuderen door direct het oorspronkelijke redeneertraject te superviseren, waardoor de inferentiekosten van herintroductie en de proxy-kloven van claim-gebaseerde methoden worden vermeden.
Drie-aspecten Reward Design: De auteurs ontwerpen drie specifieke rewards die zich richten op de dekking van visuele trefwoorden, het voortbestaan van visuele aandacht over tijd, en de lokalisatie van aandacht naar vraag-relevante regio's.
Empirische Validatie: De methode wordt gevalideerd over twee modelmaten (3B en 7B) en zeven diverse benchmarks, waarbij consistente verbeteringen worden getoond in redeneren, algemene multimodale capaciteit en visuele perceptie.

Experimentele Resultaten

De auteurs evalueerden Remember-R1 op Qwen2.5-VL-3B en Qwen2.5-VL-7B basismodellen over zeven benchmarks:

Wiskundig & Logisch Redeneren: MathVision, MathVista, LogicVista.
Algemene Multimodale Capaciteit: MMVet, MMMB, MMStar.
Visuele Perceptie: RealWorldQA.

Belangrijkste Bevindingen:

Prestatiewinst: Remember-R1 presteert consequent beter dan de basismodellen en recente redeneer-georiënteerde MLLM's (bijv. Ocean-R1, VLAA-Thinking) en eerdere methoden voor het mitigeren van visuele vergetelheid (bijv. DeepSketcher, TVC). Opvallende verbeteringen werden waargenomen op MathVista (+13,60 voor 3B, +7,50 voor 7B) en MMVet.
Visuele Grounding Analyse: De analyse van de aandachtratio laat zien dat hoewel alle modellen een afname van visuele aandacht vertonen over de tijd, Remember-R1 een significant tragere afname vertoont, met name in de middelste en latere stadia van de generatie.
Ablatie-studies: Het verwijderen van een van de drie procesniveau-rewards resulteerde in prestatievermindering over de benchmarks.
- Het verwijderen van $r_{voc}$ leidde tot minder vermeldingen van visuele trefwoorden en zwakker redeneren.
- Het verwijderen van $r_{mem}$ resulteerde in snellere aandacht-decay.
- Het verwijderen van $r_{region}$ verminderde de aandacht voor relevante gebieden, wat tot nauwkeurigheidsdalingen leidde over alle taaktypes.
Vergelijking met Accuracy-Only RL: Een variant die uitsluitend getraind is met antwoordcorrectheid ( $r_{acc}$ ) vertoonde verbeteringen, maar was inferieur aan de volledige Remember-R1, wat aangeeft dat supervisie op het eindantwoord alleen onvoldoende is om visuele grounding in lange contexten te behouden.

Betekenis en Claims

Het artikel claimt dat Remember-R1 visuele vergetelheid in lange contexten effectief mitigeert door het gebruik van visueel bewijs direct te superviseren op het traject waar de vergetelheid optreedt. De betekenis ligt in het aantonen dat:

Procesniveau Reinforcement Learning de redeneerprestaties kan verbeteren zonder de inferentieprocedure te wijzigen of de inferentiekosten te verhogen.
Het handhaven van de afhankelijkheid van visueel bewijs niet alleen gaat over het noemen van trefwoorden, maar over het behouden van aandacht-persistentie en het focussen op relevante regio's gedurende het gehele generatieproces.
Deze verbeteringen generaliseren over verschillende modelmaten en taaltypen, wat suggereert dat directe supervisie van het redeneertraject een veelbelovende richting is voor langdurige (long-horizon) multimodale redenering.

De auteurs concluderen dat hun aanpak de modellen helpt om beter te vertrouwen op visueel bewijs naarmate de generatie vordert, waarmee een fundamentele beperking in huidige MLLM's wordt aangepakt zonder de computationele overhead van eerdere methoden.