CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

Das Paper stellt CapTrack vor, ein rahmenbasiertes Evaluierungssystem, das Vergessen in nachtrainierten LLMs nicht nur als Wissensverlust, sondern als systematische Verhaltensdrift definiert und in einer groß angelegten Studie zeigt, dass insbesondere Instruction Fine-Tuning zu erheblichen Einbußen bei Robustheit und Standardverhalten führt, während Präferenzoptimierung konservativer wirkt.

Das Wesentliche

Das Problem: Der vergessliche Genie-Coach

Stell dir vor, du hast einen extrem klugen, gut ausgebildeten Coach (ein großes KI-Modell), der alles über Geschichte, Mathematik und Kochen weiß. Er ist dein "Out-of-the-Box"-Modell – also der Standard, so wie er vom Hersteller kommt.

Jetzt willst du ihn spezialisieren. Du möchtest, dass er ein Rechtsanwalt wird oder ein Arzt. Du bringst ihm also neue, fachspezifische Daten bei (das nennt man "Post-Training" oder Feinabstimmung).

Das Problem dabei ist ein altes Phänomen: Vergessen.
Bisher haben Forscher nur geschaut, ob der Coach noch die alten Fakten weiß (z. B. "Wer war der erste Präsident?"). Wenn er das noch kann, dachten sie: "Alles gut!"

Aber die Autoren dieses Papers sagen: Das reicht nicht!
Ein Coach, der plötzlich vergisst, wie man höflich mit Kunden spricht, der zu kurz antwortet, der sich weigert, einfache Fragen zu beantworten, oder der bei komplexen Aufgaben den Faden verliert – der ist für den Alltag nutzlos, auch wenn er die Fakten noch kennt.

Die Lösung: CapTrack (Der "Fähigkeiten-Ticker")

Die Forscher haben ein neues Werkzeug namens CapTrack entwickelt. Stell dir CapTrack nicht wie einen einfachen Test vor, sondern wie einen multifunktionalen Gesundheitscheck für den Coach.

Sie unterteilen die Fähigkeiten des Coaches in drei Kategorien, die sie sich mit einem einfachen Bild merken können:

1. CAN (Was er KANN): Das ist das reine Wissen. Kann er Mathe? Kann er programmieren? Kann er Texte verstehen?
   • Analogie: Hat der Arzt noch sein medizinisches Wissen im Kopf?
2. WILL (Was er WILL): Das ist sein Verhalten und seine Einstellung. Ist er hilfsbereit? Ist er zu wortreich? Weigert er sich, Fragen zu beantworten, die er eigentlich beantworten könnte?
   • Analogie: Ist der Arzt freundlich und geduldig, oder ist er genervt und antwortet nur mit "Ja" oder "Nein"?
3. HOW (Wie er es MACHT): Das ist die Ausführung. Folgt er Anweisungen genau? Schreibt er die Antwort in der richtigen Form (z. B. als Tabelle)? Behält er den Kontext in einem langen Gespräch bei?
   • Analogie: Schreibt der Arzt das Rezept ordentlich auf oder kritzelt er etwas Unleserliches hin?

Was haben sie herausgefunden?

Sie haben viele verschiedene Coaches (Modelle) getestet, die auf Rechts- und Medizin-Themen trainiert wurden. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Das Vergessen geht viel tiefer als gedacht
Wenn man einen Coach spezialisiert, vergisst er nicht nur Fakten. Er verändert sich im Verhalten.

• Beispiel: Ein Coach, der vorher gerne lange, ausführliche Erklärungen gab, wird nach dem Training plötzlich extrem kurz angebunden und verliert seine "Menschlichkeit". Das ist für den Nutzer frustrierend, auch wenn die Fakten stimmen.

2. Nicht alle Trainingsmethoden sind gleich schlimm

• IFT (Instruction Fine-Tuning): Das ist wie ein harter Drill. Der Coach lernt die neuen Regeln sehr schnell, aber dabei verliert er oft seine alten Stärken (Verhalten, Robustheit) am meisten. Er wird zum "Fachidioten", der unflexibel ist.
• DPO (Preference Optimization): Das ist eher wie ein sanftes Coaching durch Feedback ("Das war gut, das war schlecht"). Diese Methode ist viel vorsichtiger. Sie spezialisiert den Coach, ohne ihm so viel von seiner Persönlichkeit und seinen alten Fähigkeiten zu nehmen. Manchmal kann sie sogar helfen, Dinge wiederherzustellen, die beim harten Drill verloren gingen.

3. Größe ist nicht alles
Man dachte vielleicht: "Je größer der Coach (mehr Parameter), desto besser hält er sich die Dinge."
Die Studie zeigt: Nein. Ein riesiger Coach kann genauso leicht sein Verhalten ändern wie ein kleiner. Die Größe allein schützt nicht vor dem "Vergessen" von wichtigen Verhaltensweisen.

4. Es gibt keine magische Lösung
Die Forscher haben verschiedene Tricks ausprobiert, um das Vergessen zu verhindern (z. B. mehr alte Daten beim Training mischen oder die Architektur ändern).
Das Ergebnis? Es gibt keinen kostenlosen Mittagessen.

• Wenn du willst, dass der Coach im neuen Fach (z. B. Medizin) besser wird (Plastizität), musst du oft in Kauf nehmen, dass er im Allgemeinen etwas vergisst (Stabilität).
• Wenn du versuchst, alles zu speichern, lernt er das neue Fach nicht richtig.
  Es ist ein ständiges Abwägen zwischen "Neues lernen" und "Altes behalten".

Fazit: Warum ist das wichtig?

Früher haben wir nur geschaut: "Weiß die KI noch, wie man 2+2 rechnet?"
Heute sagt CapTrack uns: "Schau mal, die KI weiß zwar noch 2+2, aber sie antwortet jetzt so kurz und unfreundlich, dass niemand sie mehr benutzen möchte."

Die Botschaft: Wenn wir KI-Modelle für die echte Welt anpassen (z. B. für Anwälte oder Ärzte), müssen wir nicht nur auf Fakten achten, sondern auch darauf, wie sie sich verhalten und wie sie Anweisungen ausführen. CapTrack ist das Werkzeug, um genau diese "versteckten" Veränderungen sichtbar zu machen, bevor wir die KI bei unseren Kunden einsetzen.

Kurz gesagt: Ein guter Coach muss nicht nur klug sein, er muss auch noch artig, höflich und zuverlässig bleiben, auch wenn er sich spezialisiert.

Technische Zusammenfassung

1. Problemstellung

Das Nachtrainieren (Post-Training) von Large Language Models (LLMs) – beispielsweise durch Instruction Fine-Tuning (IFT) oder Preference Optimization (DPO) – ist entscheidend, um Modelle an spezifische Domänen (wie Recht oder Medizin) anzupassen und Wertvorstellungen abzustimmen. Ein bekanntes Phänomen dabei ist das „Vergessen" (Forgetting).

Bisherige Arbeiten betrachten Vergessen jedoch primär als den Verlust von parametrischem Wissen (faktisches Wissen, Faktenabruf) und messen dies über den Rückgang der Genauigkeit auf Standard-Benchmarks (z. B. MMLU). Die Autoren argumentieren, dass diese rein akkurazenzentrierte Sichtweise für moderne Foundation-Modelle unzureichend ist. Sie übersehen systematische Drifts im Verhalten, die die Benutzererfahrung direkt beeinträchtigen, wie z. B. veränderte Antwortlängen, verminderte Robustheit gegenüber Eingabevariationen oder das Brechen von Interaktionsprotokollen. Das Paper stellt die These auf, dass Vergessen nicht nur ein Wissensverlust, sondern ein systematischer Drift auf Capabilities-Ebene ist.

2. Methodik: CapTrack Framework

Um dieses breitere Verständnis von Vergessen zu messen, stellen die Autoren CapTrack vor, ein capabilities-zentriertes Evaluierungsframework.

A. Taxonomie der Fähigkeiten (Taxonomy)

CapTrack zerlegt das Modellverhalten in drei komplementäre Gruppen, die über reines Faktenwissen hinausgehen:

1. CAN (Latente Kompetenz): Was das Modell unter idealen Bedingungen kann.
   • Umfasst parametrisches Wissen, logisches Schlussfolgern, kontextuelles Verständnis, epistemische Treue (Halluzinationen) und Robustheit (gegenüber Prompt-Änderungen, Domänenwechseln und Mehrsprachigkeit).
2. WILL (Standard-Verhaltenspräferenzen): Was das Modell standardmäßig tut.
   • Umfasst die Bereitschaft zu antworten (auch bei unsicheren oder unsicheren Prompts), Hilfsbereitschaft (Informationsumfang) und Stil/Elaboration (Verbosität, Formatierung, Hedging).
3. HOW (Protokollkonformität und Ausführung): Wie das Modell Anweisungen ausführt.
   • Umfasst das Befolgen von Anweisungen, Format-Treue (z. B. JSON), Tool-Nutzung, Multi-Turn-Konsistenz (Zustandserhaltung), Kontextfenster-Operationen und Zitiermechaniken.

B. Evaluierungs-Suite

Das Framework nutzt eine kuratierte Sammlung von 30 etablierten Benchmarks und gezielten Anpassungen (z. B. umformulierte Prompts für Robustheitstests oder Schema-Wrapping für Format-Treue).

• Relativer Vergleich: Alle Ergebnisse werden als relative Abweichung vom jeweiligen „Out-of-the-Box" (OOB) Basis-Modell gemeldet, nicht als absolute Leistung. Dies isoliert den Effekt des Nachtrainierens.
• Effizienz: Durch Subsampling (Scales++) und gezielte Anpassungen wird die Suite auf ca. 14.500 Samples reduziert, was eine skalierbare Evaluation ermöglicht.
• Bewertung: Es wird eine Kombination aus regelbasierten Metriken und „LLM-as-a-Judge" (unter Verwendung von GPT-4o-mini) verwendet, wobei die Prompts strikt auf atomare Entscheidungen beschränkt sind, um Interpretationsspielraum zu minimieren.

3. Experimentelles Setup

Die Autoren führten eine großangelegte empirische Studie durch:

• Modelle: 7 Modelle aus drei Familien (Qwen 3, LLaMA 3.1/3.3, Gemma 3) mit Größen von 4B bis 80B Parametern.
• Domänen: Recht und Medizin.
• Algorithmen: Instruction Fine-Tuning (IFT) und Direct Preference Optimization (DPO), sowie Kombinationen (IFT+DPO).
• Daten: Curated Mixtures aus domänenspezifischen und allgemeinen Daten (Replay).

4. Wichtige Ergebnisse

A. Vergessen geht über Faktenwissen hinaus

• Das Nachtrainieren verursacht signifikante Drifts in Robustheit und Standardverhalten, die in traditionellen Benchmarks unsichtbar bleiben.
• Beispiel: Ein auf juristische Daten trainiertes Modell zeigte kaum Veränderungen in der faktischen Genauigkeit (+0,4%), verlor aber massiv an mehrsprachiger Robustheit (-16,4%) und Verbosität (-4,3%).

B. Algorithmische Unterschiede

• IFT (Instruction Fine-Tuning): Verursacht den stärksten Drift und das schwerwiegendste Vergessen über alle Capabilities hinweg, insbesondere bei Latenter Kompetenz und Verhaltenspräferenzen.
• DPO (Preference Optimization): Ist deutlich konservativer. Wenn DPO nach IFT angewendet wird, kann es teilweise verlorene Fähigkeiten (insbesondere im Bereich WILL) wiederherstellen.

C. Modellfamilien und Skalierung

• Familienspezifische Muster: Es gibt keine universelle Lösung. LLaMA- und Gemma-Modelle neigten zu stärkerem Drift in Kompetenz und Verhalten, während Qwen-Modelle stabiler waren, aber spezifische Schwächen (z. B. bei mehrsprachiger Robustheit) aufwiesen.
• Modellgröße: Es gibt keinen konsistenten Trend, dass größere Modelle weniger vergessen. Die Größe allein ist kein verlässlicher Prädiktor für Stabilität. Lediglich bei Zitiermechaniken (H6) zeigten kleinere Modelle stärkeres Vergessen.

D. Wirksamkeit von Minderungsstrategien (Mitigation)

Die Autoren untersuchten drei klassische Ansätze aus dem Continual Learning:

1. Daten-zentriert (Allgemeine vs. Domänenspezifische Daten): Der Austausch von Datenquellen (z. B. Tulu 3 vs. juristische Daten) zeigte gemischte, capabilities-spezifische Effekte. Es gibt keine universelle „Replay"-Strategie, die Vergessen für alle Fähigkeiten verhindert.
2. Architektonisch (Model Merging): Das Mergen von adaptierten Modellen mit dem OOB-Modell (z. B. via TIES) offenbart einen klaren Stabilitäts-Plastizitäts-Trade-off. Mehr Stabilität (weniger Vergessen) geht immer mit geringerer Plastizität (schlechtere Anpassung an die neue Domäne) einher.
3. Regularisierung (LoRA): Auch Parameter-Effizientes Fine-Tuning (LoRA) folgt demselben Trade-off. Höhere Ranks verbessern die Domänenleistung, verschlechtern aber die Stabilität.

5. Signifikanz und Beiträge

• Paradigmenwechsel: Das Paper fordert einen Wechsel von einer rein akkurazenzentrierten Bewertung hin zu einer capabilities-zentrierten Analyse von Vergessen.
• CapTrack als Werkzeug: Es bietet ein praktisches, taxonomisches Framework, um verschiedene Formen von Modell-Drift zu isolieren und zu quantifizieren. Dies ermöglicht Entwicklern, fundierte Entscheidungen bei der Modellauswahl und Anpassung zu treffen.
• Fundamentale Einsicht: Vergessen ist ein unvermeidlicher Begleiter effektiven Nachtrainierens, der nicht durch einfache Daten- oder Architektur-Tricks vollständig eliminiert werden kann, ohne die Anpassungsfähigkeit zu opfern.
• Reproduzierbarkeit: Der Code und die Datensätze sind öffentlich verfügbar, was die Community in die Lage versetzt, Vergessen systematisch zu untersuchen.

Fazit: Das Paper zeigt, dass das „Vergessen" in LLMs ein vielschichtiges Phänomen ist, das tiefgreifende Auswirkungen auf die Zuverlässigkeit und das Verhalten von Modellen im Einsatz hat. CapTrack liefert die notwendigen Werkzeuge, um diese Effekte sichtbar zu machen, und deckt auf, dass es keine „kostenlose Mittagessen"-Lösung gibt, die sowohl maximale Anpassung als auch vollständige Stabilität garantiert.