Technische Samenvatting: Leren Oplossen, Vergeten Vasthouden: Correct-Set Turnover in RLVR

1. Probleemdefinitie: Correct-Set Turnover

Het artikel identificeert een systematische beperking in Reinforcement Learning with Verifiable Rewards (RLVR) voor Large Language Models (LLMs). Hoewel RLVR-methoden zoals GRPO en DAPO indrukwekkende winsten in nauwkeurigheid boeken, verbergen ze vaak een verborgen kostenpost: correct-set turnover.

Dit fenomeen wordt gedefinieerd als de gekoppelde dynamiek van verwerving (nieuw opgeloste problemen) en regressie (voorheen opgeloste problemen die onoplosbaar worden). De auteurs stellen dat standaard RLVR-pipelines vergeten slechts behandelen als een bijeffect dat geminimaliseerd moet worden. Zij stellen echter voor om het symmetrisch te bekijken: naarmate de training vordert, concentreren beleidswijzigingen (policy updates) de waarschijnlijkheidsmassa op nieuw versterkte oplossingen, waardoor de succeswaarschijnlijkheid van voorheen beheerste prompts omlaag drijft door gradiënt-interferentie.

Belangrijke observaties zijn onder meer:

• Asymmetrie van Herstelkosten: Gebasend op onderzoek naar gespreide herhaling (Ebbinghaus, 1885), stelt het artikel vast dat de kosten voor het herstellen van een geregenereerde prompt scherp toenemen met de vertraging van de interventie. Er bestaat een "herstelvenster" waarin een prompt nog gedeeltelijk beheerst wordt; het beoefenen ervan hier is goedkoop. Zodra de prompt volledig geregenereerd is, vereist het opnieuw leren een inspanning die vergelijkbaar is met het eerste leerproces.
• Beperkingen van Bestaande Methoden: Standaard pipelines bezoeken prompts alleen passief over verschillende epochs heen zonder de status van beheersing bij te houden. Bestaande replay-methoden (bijv. ExGRPO, RLEP) hergebruiken vaste historische trajecten, maar kunnen niet detecteren of een voorheen beheerst monster is geregenereerd, waardoor ze ineffectief zijn tegen dit specifieke type intra-taak vergeten.

2. Methodologie: ReMind

Om correct-set turnover aan te pakken, stellen de auteurs ReMind voor, een retentiebewust beoordelingsmechanisme dat ontworpen is om binnen de standaard RLVR-trainingslus te opereren zonder extra overhead voor rollouts.

Kerncomponenten

1. Gegradeerde Beheersingsmetriek: In tegenstelling tot binaire "correct/incorrect" signalen, maakt ReMind gebruik van de succesratio per prompt ($\hat{q}_t(p)$) afgeleid van $K$ rollouts (reeds berekend voor advantage estimation in GRPO). Een monster wordt als "beheerst" beschouwd als $\hat{q}_t(p) = 1$.
2. Review Queue (FIFO):
   • Wanneer een monster uit de standaard trainingsstroom beheersing bereikt, wordt het met waarschijnlijkheid $p_{add}$ toegevoegd aan een FIFO review queue.
   • De wachtrij slaat alleen monster-identificatoren op; tijdens de review worden verse rollouts gegenereerd vanuit het huidige beleid, wat het opslaan van verouderde trajecten voorkomt.
3. Pre-Rollout Batch Vervanging:
   • Op aangewezen review-stappen (elke $f$ stappen) wordt een fractie $r$ van de trainingsbatch vervangen door monsters getrokken uit de review queue.
   • Dit zorgt ervoor dat het model herinnerd wordt aan voorheen opgeloste problemen voordat ze het goedkope herstelvenster verlaten.
   • Omdat review-monsters de batch vervangen in plaats van deze aan te vullen, blijft het totale rollout-budget identiek aan de baseline.
4. Zelfcorrigerende Update Regel:
   • Nieuw Beheerst: Toegevoegd aan de wachtrij.
   • Behouden: Als een beoordeeld monster volledig correct blijft, wordt het uit de wachtrij verwijderd (retentie bevestigd).
   • Geregenereerd: Als een beoordeeld monster faalt ($\hat{q}_t(p) < 1$), wordt het opnieuw aan de staart van de wachtrij toegevoegd voor toekomstige reparatie.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Formalisering van Correct-Set Turnover: De auteurs definiëren de gezamenlijke dynamiek van verwerving en regressie in RLVR en stellen het herstelvenster-principe vast: de kosten voor het repareren van geregenereerde prompts nemen niet-lineair toe met de vertraging van de interventie.
2. ReMind Algoritme: Een lichtgewicht mechanisme met nul overhead dat een met beheersing gekoppeld reviewgeheugen onderhoudt en pre-rollout vervanging gebruikt om regressie te detecteren en te repareren zonder het rollout-budget te verhogen.
3. Empirische Validatie: Demonstratie dat ReMind de laat-fase nauwkeurigheid en retentie verbetert ten opzichte van standaard RLVR-baselines (GRPO, DAPO) en replay-methoden over 20 benchmarks die variëren van beeld-tekst tot video en tekst-alleen redeneren.

4. Experimentele Resultaten

De auteurs evalueerden ReMind met behulp van Qwen3-VL-8B-Instruct (multimodaal) en Qwen2.5-7B-Math (tekst-alleen) over 20 benchmarks.

• Prestatiewinsten: ReMind presteert consistent beter dan GRPO, DAPO en replay-baselines (ExGRPO, RLEP, RePO).
  • Bij beeld-tekst redeneren verbeterde ReMind de gemiddelde nauwkeurigheid met +3,81% ten opzichte van GRPO en +3,44% ten opzichte van DAPO.
  • De winst was het meest uitgesproken op wiskunde-zware benchmarks (bijv. +5,67% op het gemiddelde van Math Reasoning), wat de hypothese ondersteunt dat langere redeneerketens kwetsbaarder zijn voor beleidsdrift.
• Mechanisme van Verbetering: Analyse van de trainingsdynamiek (Figuur 5) laat zien dat ReMind niet de verwerving van nieuwe oplossingen versnelt (zowel GRPO als ReMind lossen nieuwe monsters met een vergelijkbare snelheid op). In plaats daarvan wordt de verbetering volledig gedreven door verminderd vergeten. ReMind verminderde de accumulatie van vergeten monsters met ongeveer 35 vergeleken met standaard GRPO.
• Entropie Stabiliteit: ReMind verzacht de entropie-instorting die wordt waargenomen in standaard GRPO, waarbij het beleid de waarschijnlijkheidsmassa concentreert op minder generatiepaden. Periodieke review houdt de beleidsentropie in stand, waardoor diverse oplossingsstrategieën behouden blijven.
• Budget Gevoeligheid: De methode is robuust over een breed scala aan review-budgetten. Zelfs een review-budget van 1% is voldoende om de impasse tussen verwerving en regressie te doorbreken, terwijl de prestaties licht dalen bij zeer hoge budgetten (>4%) door de verdringing van verse trainingssignalen.
• Cross-Modale Generalisatie: De voordelen strekken zich uit tot video-begrip en puur tekstuele wiskundige redenering, wat bevestigt dat het mechanisme een modus-agnostische foutmodus aanpakt.

5. Betekenis en Claims

Het artikel concludeert dat een aanzienlijk deel van het potentieel in RLVR niet alleen gaat over "meer leren" maar ook over "minder verliezen".

• Systematische Oorzaak van Plateaus: De auteurs identificeren correct-set turnover als een systematische oorzaak van nauwkeurigheidsplateaus in RLVR, verschillend van cross-task catastrofaal vergeten in continual learning.
• Ontwerpparadigma Verschuiving: Het werk pleit voor het behandelen van monster-niveau retentie als een primaire ontwerpas van redeneer-RL, naast reward-ontwerp en exploratie.
• Efficiëntie: ReMind bereikt deze winsten met verwaarloosbare computationele overhead (slechts ~3% van de wandkloktijd) en vereist geen extra model-replica's of complexe buffers.
• Intrinsieke Aard van Regressie: De auteurs merken bescheiden op dat hoewel ReMind regressie vermindert, het deze niet volledig elimineert. Een zekere mate van correct-set turnover lijkt inherent aan het RLVR-optimalisatieproces, wat suggereert dat resterende regressie een fundamenteel kenmerk is van de methode in plaats van een tijdelijk artefact.

Het artikel beweert niet alle vergetensproblemen op te lossen of de noodzaak voor zorgvuldig reward-ontwerp weg te nemen; het biedt eerder een gerichte, goedkope methode om de "correct set" tijdens de training te stabiliseren.