🤖 machine learning

Beyond Reasoning Gains: Mitigating General-Capability Forgetting in Large Reasoning Models

Dieses Paper stellt RECAP vor, eine End-to-End-Replay-Strategie mit dynamischer Zielgewichtung, die effektiv das Vergessen allgemeiner Fähigkeiten in großen Reasoning-Modellen, die mittels Reinforcement Learning trainiert wurden, abmildert und gleichzeitig die Reasoning-Leistung durch flexible Reward-Abwägungen steigert.

Ursprüngliche Autoren: Hoang Phan, Xianjun Yang, Yuanshun Yao, Jingyu Zhang, Shengjie Bi, Xiaocheng Tang, Madian Khabsa, Lijuan Liu, Deren Lei

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Hoang Phan, Xianjun Yang, Yuanshun Yao, Jingyu Zhang, Shengjie Bi, Xiaocheng Tang, Madian Khabsa, Lijuan Liu, Deren Lei

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Spezialisten“-Falle

Stellen Sie sich vor, Sie stellen einen brillanten Alleskönner-Koch ein, der alles zubereiten kann: Er kann einen perfekten Kuchen backen, Gemüse mit Präzision schneiden und sogar einen tropfenden Wasserhahn in der Küche reparieren (eine Metapher für die Fähigkeit eines Modells, Mathematik, Vision und Allgemeinwissen zu bewältigen).

Dann entscheiden Sie sich, diesen Koch speziell darauf zu trainieren, einen hochkarätigen Kuchen-Ess-Wettbewerb zu gewinnen. Sie sperren ihn in einen Raum mit nur Kuchenrezepten und strengen Regeln dazu, wie man die Gabel halten muss.

Was passiert?
Nach einigen Wochen intensiven Trainings wird der Koch ein Weltklasse-Kuchenesser. Er befolgt die Regeln für die Gabel perfekt. Aber weil er seine gesamte Zeit mit dem Üben von Kuchen verbracht hat, beginnt er zu vergessen, wie man Gemüse schneidet oder den Wasserhahn repariert. Wenn Sie ihn bitten, eine Zwiebel zu schneiden, starrt er sie vielleicht nur leer an oder versucht, sie im Ganzen zu essen.

In der Welt der KI passiert genau das. Forscher nutzen eine Technik namens RLVR (Reinforcement Learning with Verifiable Rewards), um Large Language Models (LLMs) beizubringen, wie man „schlussfolgert“ (komplexe mathematische Probleme löst oder komplexer Logik folgt). Während die Modelle im Schlussfolgern (Reasoning) fantastisch werden, beginnen sie, ihre anderen Fähigkeiten zu vergessen, wie zum Beispiel das Erkennen von Objekten in einem Bild, das Lesen von Text in einem Bild oder das Sicher und Ehrlich bleiben.

Die Lösung der Arbeit: „RECAP“

Die Autoren schlagen eine neue Methode namens RECAP (Replay-Enhanced CApability Preservation) vor. Denken Sie bei RECAP an einen intelligenten Trainingsplan für diesen Koch.

Anstatt dem Koch nicht nur den ganzen Tag Kuchenrezepte zu füttern, tut RECAP zwei Dinge:

Das Grundlegende wiederholen: Es bringt gelegentlich die alten Rezepte für das „Gemüseschneiden“ und das „Wasserhah-Reparieren“ zurück, damit der Koch sie nicht vergisst.
Dynamische Gewichtung: Es fungiert wie ein intelligenter Coach, der den Fortschritt des Kochs in Echtzeit beobachtet.

Wie der „intelligente Coach“ funktioniert (Die Analogie)

Stellen Sie sich vor, der Koch übt drei Dinge gleichzeitig:

Die Gabel-Regel (Format): Wie man die Gabel hält.
Der Geschmack (Genauigkeit): Schmeckt der Kuchen gut?
Das Aufräumen (Allgemeine Fähigkeiten): Die Küche sauber halten.

In einer normalen Trainingseinheit würde der Coach vielleicht sagen: „Übe alle drei gleichmäßig!“ Aber das ist ineffizient.

Die Gabel-Regel ist einfach. Der Koch beherrscht sie in 5 Minuten. Wenn der Coach ihn zwingt, eine Stunde lang weiter zu üben, ist das Verschwendung von Zeit.
Der Geschmack ist schwer. Der Koch kämpft damit.
Das Aufräumen wird unordentlich, weil der Koch abgelenkt ist.

RECAPs Coach analysiert die Daten und sagt:

„Hey, der Koch hat die Gabel-Regel bereits gemeistert. Hören wir auf, uns darauf zu konzentrieren (senke das Gewicht). Lassen Sie uns mehr Zeit für den Geschmack und das Aufräumen aufwenden, da dies die Bereiche sind, in denen er noch Schwierigkeiten hat oder die instabil werden.“

RECAP erkennt automatisch, welche Fähigkeiten „gesättigt“ (bereits gelernt) und welche „volatil“ (schwierig oder in schneller Veränderung) sind. Es verlagert den Trainingsfokus auf die schwierigen Fähigkeiten, damit das Modell nicht das Einfache überlernt, während es das Schwierige vergisst.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies an leistungsstarken KI-Modellen (speziell der Qwen2.5-VL-Familie). Hier ist, was sie entdeckten:

Das „Vergessen“ ist real: Als sie die Modelle nur auf Reasoning-Aufgaben trainierten, wurden die Modelle besser in Mathematik, verschlechterten sich aber signifikant in Dingen wie dem Lesen von Text in Bildern oder dem Erkennen von Objekten.
RECAP rettet die Situation: Durch die Verwendung ihres dynamischen Zeitplans behielten die Modelle ihre Reasoning-Fähigkeiten hoch (manchmal verbesserten sie sich sogar) und verloren nicht ihre allgemeinen Fähigkeiten. Tatsächlich schnitten sie bei allgemeinen Aufgaben oft besser ab als Modelle, die mit Standardmethoden trainiert wurden.
Effizienz: Die mit RECAP trainierten Modelle wurden nicht nur intelligenter, sondern auch effizienter. Sie begannen, kürzere, direktere Antworten zu geben, anstatt um den heißen Brei herumzureden, weil das System aufhörte, sie auf Aufgaben, die kein langes „Nachdenken“ (Schreiben langer Textketten) erforderten, zu zwingen.

Das Fazit

Die Arbeit argumenttiert, dass wir KI-Modelle nicht einfach nur dazu zwingen sollten, „Reasoning-Maschinen“ zu werden, indem wir alles andere ignorieren. Wenn wir das tun, werden sie zu Ein-Trick-Ponys, die vergessen, wie man in der realen Welt hilfreich ist.

RECAP ist ein einfaches, modular anwendbares Werkzeug, das wie eine ausgewogene Ernährung für das KI-Training wirkt. Es stellt sicher, dass, während das Modell lernt, komplemxe Rätsel zu lösen, es nicht vergisst, die Welt um sich herum zu sehen, zu lesen und zu verstehen. Es geht darum, die KI vielseitig zu halten, während sie gleichzeitig ein Genie in ihrem Job bleibt.

Technisches Resümee: Jenseits von Reasoning-Gewinnen: Abmilderung des Verlusts allgemeiner Fähigkeiten in Large Reasoning Models

Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich zu einem Standard-Post-Training-Paradigma zur Verbesserung der Denkfähigkeiten (Reasoning) von Large Language Models (LLMs) und Vision-Language Models (VLMs) entwickelt. Die Autoren identifizieren jedoch einen kritischen Ausfallmodus: Verlust allgemeiner Fähigkeiten (general-capability forgetting). Während RLVR die Leistung bei spezifischen Denkaufgaben (z. B. Mathematik, logische Deduktion) effektiv steigert, führt es häufig zu einer signifikanten Regression bei grundlegenden Fertigkeiten, die während des Pretrainings erworben wurden, wie etwa visueller Wahrnehmung, faktischer Fundierung und Robustheit.

Empirische Beobachtungen in der Arbeit bestätigen, dass Open-Source-Reasoning-Modelle gegenüber ihren Basis-Pendants bei Nicht-Reasoning-Benchmarks (z. B. Bildästhetik, spatio-temporale Argumentation, OCR und Robustheit gegenüber Verteilungsverschiebungen) häufig schlechter abschneiden. Die Autoren stellen fest, dass bestehende Minderungsstrategien, wie die KL-Divergenz-Regularisierung, unzureichend sind, da sie auf der aktuellen Aufgabe berechnet werden und keine Garantie für die Bewahrung breiterer, heterogener Kenntnisse bieten. Darüber hinaus steht das Standard-Experience-Replay über heterogene Domänen vor der Herausforderung des Objekt-Ungleichgewichts (objective imbalance): Es ist nicht trivial, die optimale Gewichtung zwischen Reasoning-Rewards und Verlusten allgemeiner Fähigkeiten zu bestimmen, da unterschiedliche Ziele mit sehr unterschiedlichen Geschwindigkeiten konvergieren.

Methodik: RECAP

Um diese Probleme anzugehen, schlagen die Autoren RECAP (Replay-Enhanced CApability Preservation) vor, eine End-to-End-Trainingsstrategie, die Daten allgemeiner Domänen mittels eines dynamischen Objekt-Umgewichtungsmechanismus in die RLVR-Pipeline integriert.

Kernkomponenten

Replay-Strategie: RECAP mischt Daten aus allgemeinen Domänen (z. B. Objekterkennung, Segmentierung, OCR) mit Ziel-Reasoning-Daten während des Fine-Tunings. Dies stellt sicher, dass das Modell kontinuierlich Nicht-Reasoning-Aufgaben ausgesetzt ist, um katastrophales Vergessen zu verhindern.
Dynamischer Umgewichtungsmechanismus: Anstatt statische oder manuell abgestimmte Gewichte zu verwenden, passt RECAP die Verlustkoeffizienten online basierend auf dem Konvergenzverhalten und der Instabilität einzelner Ziele an.
- Konvergenzrate ( $c_k$ ): Gemessen durch den Vergleich des durchschnittlichen Verlusts des aktuellen gleitenden Fensters gegen das vorherige Fenster. Ein Verhältnis nahe 1 deutet auf Sättigung hin (das Ziel wurde gelernt), während ein Verhältnis $>1$ auf eine jüngste Verbesserung hindeutet.
- Instabilität ( $i_k$ ): Gemessen als Variationskoeffizient (Standardabweichung im Verhältnis zum Mittelwert) innerhalb des gleitenden Fensters. Hohe Instabilität deutet darauf hin, dass das Ziel volatil ist und mehr Fokus erfordert.
- Prioritätswert (Priority Score): Der Prioritätswert für Ziel $k$ ist definiert als $s_k = c_k + i_k$ .
- Softmax-Ugewichtung: Die Gewichte $\lambda_k$ werden mittels einer temperaturgesteuerten Softmax-Funktion über die Prioritätswerte berechnet:
  $\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$
  Diese Formulierung, die aus einem entropieregularisierten Prioritätsallokationsproblem abgeleitet ist, gewichtet gesättigte, nieder-variante Ziele (wie Formatkonformität, die schnell konvergiert) natürlich ab und verlagert die Kapazität hin zu unterperformenden oder hoch-varianten Zielen (wie Reasoning-Genauigkeit oder Wahrnehmung).

Theoretische Grundlage

Die Arbeit etabliert, dass die RECAP-Umgewichtsregel die geschlossene Lösung eines entropieregularisierten Prioritätsallokationsproblems ist. Dies liefert eine theoretische Rechtfertigung für die Softmax-basierte Gewichtung und stellt sicher, dass die Allokation degenerierte Lösungen (Fokussierung auf ein einzelnes Ziel) vermeidet, während Ziele mit hohen Prioritätswerten priorisiert werden.

Wichtigste Beiträge

Systematische Neubewertung: Die Autoren demonstrieren systematisch, dass fokussiertes Reasoning-Fine-Tuning konsistent zu einer Regression allgemeiner Fähigkeiten (Wahrnehmung, Robustheit) über mehrere Open-Source-Modelle hinweg (Qwen2.5-VL-Familien) führt.
RECAP-Algorithmus: Sie führen einen Plug-in-Scheduler ein, der Ziele dynamisch basierend auf Konvergenz- und Instabilitätsignalen umgewichtet. Diese Methode benötigt keine Hilfsmodelle, ist größenunabhängig (magnitude-agnostic) und lässt sich nahtlos in bestehende RLVR-Pipelines (speziell GRPO) mit vernachlässigbarem Overhead integrieren.
Leistungssteigerungen: Die Methode bewahrt nicht nur allgemeine Fähigkeiten, sondern verbessert auch die Reasoning-Leistung, indem sie flexiblere Abwägungen zwischen In-Task-Rewards ermöglicht und so die Überoptimierung einfacher Signale (wie Format) auf Kosten schwierigerer Signale (wie Genauigkeit) vermeidet.

Experimentelle Ergebnisse

Die Autoren evaluierten RECAP auf Qwen2.5-VL-3B und Qwen2.5-VL-7B in zwei Settings: einem „RLVR-only“-Setting und einem „Hybrid“-Setting (Kombination aus RLVR und SFT-artigem Training).

Bewahrung allgemeiner Fähigkeiten: Im „RLVR-only“-Setting bewahrte RECAP die Leistung in Wahrnehmungs- und Robustheits-Benchmarks (z. B. A-OKVQA, VisOnly, OCRBench), in denen reine Reasoning-Baselines eine signifikante Degradierung zeigten. Beispielsweise sank die Leistung beim LISA-Segmentierungs-Benchmark bei reinem Reasoning-Fine-Tuning von 65,13 auf 57,58, während RECAP einen Wert von 67,24 beibehielt (und damit das Basismodell übertraf).
Reasoning-Leistung: RECAP erreichte oder übertraf die Reasoning-Leistung von reinem Reasoning-Fine-Tuning. Auf dem ScienceQA-Benchmark erreichte RECAP einen Wert von 71,59 und übertraf damit das Basismodell (6,20) sowie mehrere Open-Source-Reasoning-Baselines.
Effizienz und Prägnanz: Die dynamische Umgewichtung führte zu effizienterem Reasoning. Mit RECAP trainierte Modelle generierten signifikant kürzere Rationales (Reduzierung der durchschnittlichen Denkzeit von ~67 Wörtern auf ~27 Wörter bei Reasoning-Aufgaben), ohne die Genauigkeit zu beeinträchtigen, was die Inferenzlatenz und die Rechenkosten senkt.
Vergleich zu Baselines: RECAP übertraf konsistent starke Baselines, einschließlich:
- Reasoning-only: Welches unter schwerem Vergessen litt.
- Uniform/PropMix: Welche statische Gewichtung verwendeten und nicht auf Konvergenzraten reagieren konnten.
- LwF (Learning without Forgetting): Welches KL-Regularisierung nutzte, aber im Vergleich zu RECAP niedrigere Reasoning-Scores erzielte.
- MoDoMoDo: Eine komplexe, rechenintensive Baseline, die Proxy-Modelle und manuelles Tuning erfordert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RECAP eine prinzipielle Lösung mit geringem Overhead für den „Reasoning vs. allgemeine Fähigkeit“-Trade-off bietet. Durch die Verlagerung des Post-Training-Fokus von gesättigten Zielen (wie Formatkonformität) hin zu volatilen oder unterperformenden Zielen (wie Genauigkeit und Wahrnehmung) ermöglicht RECAP es Modellen, „zu lernen zu denken“, ohne „die Wahrnehmung zu verlernen“.

Die Autoren betonen, dass ihre Methode End-to-End arbeitet und keine zusätzlichen Reward-Modelle oder schweres Hyperparameter-Tuning erfordert. Sie positionieren RECAP als notwendige Evolution in Post-Training-Pipelines und argumentieren, dass die Optimierung auf enge Reasoning-Rewards ohne dynamische Regularisierung zu brüchigen Modellen führt, die in realen, heterogenen Szenarien versagen. Die Arbeit legt nahe, dass das beobachtete „Vergessen“ in aktuellen Reasoning-Modellen keine unvermeidliche Nebenwirkung von RLVR ist, sondern ein lösbares Optimierungsproblem durch dynamisches Zielmanagement.