Technische Samenvatting: Voorbij de Winst in Redeneren: Het Mitigeren van het Verlies van Algemene Capaciteiten in Grote Redeneermodellen

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een standaard post-training paradigma geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's) en Vision-Language Models (VLM's). De auteurs identificeren echter een kritieke foutmodus: het verlies van algemene capaciteiten (general-capability forgetting). Hoewel RLVR de prestaties op specifieke redeneertaken (bijv. wiskunde, logische deductie) effectief verbetert, leidt dit vaak tot een significante regressie in fundamentele vaardigheden verworven tijdens de pretraining, zoals visuele perceptie, feitelijke gronding en robuustheid.

Empirische observaties in het artikel bevestigen dat open-source redeneermodellen vaak ondermaats presteren ten opzichte van hun basis-tegenhangers op niet-redeneerbenchmarks (bijv. beeldesthetiek, spatio-temporele redenering, OCR en robuustheid tegen distributieverschuivingen). De auteurs merken op dat bestaande mitigatiestrategieën, zoals KL-divergentie regularisatie, ontoereikend zijn omdat ze worden berekend op de huidige taak en geen garantie bieden voor het behoud van bredere, heterogene kennis. Voorts staat standaard experience replay over heterogene domeinen voor de uitdaging van objectieve onbalans: het is niet triviaal om de optimale weging te bepalen tussen redeneerbeloningen en algemene capaciteitsverliezen, aangezien verschillende doelstellingen met zeer verschillende snelheden convergeren.

Methodologie: RECAP

Om deze problemen aan te pakken, stellen de auteurs RECAP (Replay-Enhanced CApability Preservation) voor, een end-to-end trainingsstrategie die algemene capaciteitsdata integreert in de RLVR-pipeline met een dynamisch mechanisme voor herweging van doelstellingen.

Kerncomponenten

1. Replay-strategie: RECAP mengt data uit algemene domeinen (bijv. objectdetectie, segmentatie, OCR) met de doelgerichte redeneerdata tijdens de fine-tuning. Dit zorgt ervoor dat het model continu wordt blootgesteld aan niet-redeneertaken om catastrofaal vergeten te voorkomen.
2. Dynamisch Herwegingsmechanisme: In plaats van statische of handmatig afgestemde gewichten te gebruiken, past RECAP de verliescoëfficiënten online aan op basis van het convergentiegedrag en de instabiliteit van individuele doelstellingen.
   • Convergentiesnelheid ($c_k$): Gemeten door het gemiddelde verlies van het huidige glijdende venster te vergelijken met het vorige venster. Een ratio nabij 1 duidt op verzadiging (de doelstelling is geleerd), terwijl een ratio $>1$ duidt op recente verbetering.
   • Instabiliteit ($i_k$): Gemeten als de variatiecoëfficiënt (standaarddeviatie relatief aan het gemiddelde) binnen het glijdende venster. Hoge instabiliteit suggereert dat de doelstelling volatiel is en meer focus vereist.
   • Prioriteitsscore: De prioriteitsscore voor doelstelling $k$ wordt gedefinieerd als $s_k = c_k + i_k$.
   • Softmax Herweging: De gewichten $\lambda_k$ worden berekend met behulp van een temperatuurgecontroleerde softmax over de prioriteitsscores:
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     Deze formulering, afgeleid van een entropie-geregulariseerd prioriteitsallocatieprobleem, verlaagt op natuurlijke wijze de weging van verzadigde, laag-variante doelstellingen (zoals format-compliance, die snel convergeert) en verschuift de capaciteit naar onderpresterende of hoog-variante doelstellingen (zo와 de nauwkeurigheid van redeneren of perceptie).

Theoretische Fundering

Het artikel stelt vast dat de RECAP-herwegingsregel de gesloten vorm is van een entropie-geregulariseerd prioriteitsallocatieprobleem. Dit biedt een theoretische rechtvaardiging voor de softmax-gebaseerde weging, waarbij wordt gegarandeerd dat de allocatie degeneratieve oplossingen vermijdt (het focussen op een enkele doelstelling) terwijl doelstellingen met hoge prioriteitsscores worden geprioriteerd.

Belangrijkste Bijdragen

1. Systematische Herbeoordeling: De auteurs demonstreren systematisch dat de focus op redeneren consequent regressie veroorzaakt in algemene capaciteiten (perceptie, robuustheid) over meerdere open-source modellen (Qwen2.5-VL families).
2. RECAP Algoritme: Zij introduceren een plug-in scheduler die doelstellingen dynamisch herweegt op basis van convergentie- en instabiliteitssignalen. Deze methode vereist geen hulpmodellen, is magnitude-agnostisch en integreert naadloos in bestaande RLVR-pipelines (specifiek GRPO) met verwaarloosbare overhead.
3. Prestatiewinsten: De methode behoudt niet alleen algemene capaciteiten, maar verbetert ook de redeneerprestaties door meer flexibele afwegingen mogelijk te maken tussen in-taak beloningen, waardoor overoptimalisatie van gemakkelijke signalen (zoals format) ten koste van moeilijkere signalen (zoals nauwkeurigheid) wordt voorkomen.

Experimentele Resultaten

De auteurs evalueerden RECAP op Qwen2.5-VL-3B en Qwen2.5-VL-7B in twee settings: een "RLVR-only" setting en een "Hybride" setting (combinatie van RLVR met SFT-stijl training).

• Behoud van Algemene Capaciteiten: In de "RLVR-only" setting behield RECAP de prestaties op perceptie- en robuustheidsbenchmarks (bijv. A-OKVQA, VisOnly, OCRBench) of verbeterde deze zelfs, waar alleen-redeneer baselines een significante degradatie vertoonden. Zo daalde bij de LISA segmentatie benchmark de prestatie bij alleen-redeneer fine-tuning van 65.13 naar 57.58, terwijl RECAP een score van 67.24 handhaafde (wat het basismodel overtrof).
• Redeneerprestaties: RECAP kwam overeen met of overtrof de redeneerprestaties van alleen-redeneer fine-tuning. Op de ScienceQA benchmark behaalde RECAP een score van 71.59, waarmee het basismodel (6.20) en verschillende open-source redeneer baselines versloeg.
• Efficiëntie en Beknoptheid: De dynamische herweging leidde tot efficiënter redeneren. Modellen getraind met RECAP genereerden significant kortere rationale (reductie van gemiddelde denk-lengte van ~67 woorden naar ~27 woorden op redeneertaken) zonder de nauwkeurigheid in gevaar te brengen, wat de inferentie-latentie en computekosten verminderde.
• Vergelijking met Baselines: RECAP presteerde consistent beter dan sterke baselines, waaronder:
  • Alleen-redeneer (Reasoning-only): Welke leed aan ernstig vergeten.
  • Uniform/PropMix: Welke statische weging gebruikte en faalde om zich aan te passen aan convergentiesnelheden.
  • LwF (Learning without Forgetting): Welke KL-regularisatie gebruikte maar lagere redeneerscores behaalde vergeleken met RECAP.
  • MoDoMoDo: Een complexe, computationeel dure baseline die proxy-modellen en handmatige tuning vereist.

Betekenis en Claims

Het artikel claimt dat RECAP een geprincipeerde oplossing met lage overhead biedt voor de "redeneren versus algemene capaciteit" afweging. Door de focus van de post-training te verschuiven van verzadigde doelstellingen (zoals format-compliance) naar volatiele of onderpresterende doelstellingen (zoals nauwkeurigheid en perceptie), stelt RECAP modellen in staat om te "leren redeneren" zonder te "vergeten te waarnemen".

De auteurs benadrukken dat hun methode end-to-end is en geen training van extra beloningsmodellen of zware hyperparameter-tuning vereist. Zij positioneren RECAP als een noodzakelijke evolutie in post-training pipelines, met het argument dat het optimaliseren voor smalle redeneerbeloningen zonder dynamische regularisatie leidt tot broze modellen die falen in real-world, heterogene scenario's. Het werk suggereert dat het "vergeten" dat bij huidige redeneermodellen wordt waargenomen geen onvermijdelijk bijproduct is van RLVR, maar een oplosbaar optimalisatieprobleem door dynamisch doelstellingenbeheer.