📊 statistics

InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting

InfoSFT ist ein prinzipielles Token-Gewichtungsschema für das überwachte Feinabstimmen, das Lernsignale auf maximal informative Tokens mit mittlerem Konfidenzniveau konzentriert, um die Generalisierung über diverse Aufgaben hinweg zu verbessern und gleichzeitig die bestehenden Fähigkeiten des Modells im Vergleich zu Standard-SFT und bestehenden Minderungsmethoden besser zu erhalten.

Ursprüngliche Autoren: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter neue Tricks beibringen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der bereits viel über die Welt gelernt hat. Jetzt möchten Sie ihm eine spezifische neue Fähigkeit beibringen, wie das Lösen komplexer mathematischer Probleme oder das Schreiben von Computercode. Sie tun dies, indem Sie ihm Beispiele von Experten zeigen, die die Aufgabe ausführen. Dieser Prozess wird als Supervised Fine-Tuning (SFT) bezeichnet.

Das Papier weist jedoch auf ein Problem mit der Standardmethode hin, wie wir dies tun. Es ist wie ein Lehrer, der versucht, einem Schüler beizubringen, jedes einzelne Beispiel in einem Lehrbuch auswendig zu lernen, egal wie einfach oder schwierig es ist.

Das Problem: Die Falle des „Einheitsgröße-für-alle"-Ansatzes

Das Papier identifiziert zwei Hauptprobleme mit dem Standardansatz:

Overfitting (Der Papagei-Effekt): Der Roboter versucht, jedes Beispiel perfekt auswendig zu lernen, sogar die, die sehr seltsam oder unwahrscheinlich sind, um sie zu verstehen. Es ist wie ein Schüler, der die genaue Wortwahl einer Matheaufgabe auswendig lernt, aber die Logik nicht versteht, und daher scheitert, wenn sich die Zahlen ändern.
Katastrophales Vergessen (Der Amnesie-Effekt): Beim Versuch, diese neuen, schwierigen Tricks zu lernen, „vergisst" der Roboter versehentlich die Dinge, die er bereits gut beherrschte. Es ist wie ein Koch, der, während er versucht, ein neues, ausgefallenes Rezept zu lernen, vergisst, wie man Wasser kocht oder Zwiebeln schneidet.

Die alten Lösungen: Zu viel oder zu wenig

Frühere Methoden versuchten, dies zu beheben, indem sie die „schwierigen" Beispiele filterten (die, die der Roboter für unwahrscheinlich hält).

Die Analogie: Stellen Sie sich einen Lehrer vor, der dem Schüler nur erlaubt, an Problemen zu üben, die er bereits leicht lösen kann.
Das Ergebnis: Der Schüler wird sehr selbstbewusst und stabil, lernt aber nie etwas Neues, weil er sich nie mit den schwierigen Konzepten auseinandersetzte, die er beherrschen musste.

Die neue Lösung: InfoSFT (Der „Goldlöckchen"-Lehrer)

Die Autoren schlagen eine neue Methode namens InfoSFT vor. Anstatt alle Beispiele gleich zu behandeln oder die schwierigen zu ignorieren, agiert InfoSFT wie ein weiser Lehrer, der genau weiß, wie sehr er den Schüler fordern muss.

Die Kernidee: Der „Sweet Spot" des Vertrauens
InfoSFT weist jedem Wort, das der Roboter generiert, unterschiedliche „Gewichte" (Bedeutungswerte) zu, basierend darauf, wie sicher sich der Roboter bei diesem Wort ist:

Zu einfach (Hohe Sicherheit): Wenn der Roboter zu 99 % sicher ist, dass ein Wort passt (wie „der" oder „ist"), sagt InfoSFT: „Das weißt du bereits; verschwende keine Zeit damit." Es gibt diesen Wörtern ein Gewicht von null.
Zu schwer (Keine Sicherheit): Wenn der Roboter völlig verloren ist und das Wort extrem unwahrscheinlich ist, sagt InfoSFT: „Das ist gerade zu verwirrend; wir überspringen es vorerst, um dein Gehirn nicht zu überfordern." Es gibt diesen Wörtern ein sehr niedriges Gewicht.
Genau richtig (Mittlere Sicherheit): Wenn der Roboter unsicher ist, aber eine gute Vermutung hat (vielleicht 50–80 % Sicherheit), sagt InfoSFT: „Das ist der perfekte Lernmoment! Konzentriere dich darauf!" Es gibt diesen Wörtern das höchste Gewicht.

Die Analogie:
Denken Sie daran, wie man Fahrradfahren lernt.

Standard-SFT ist wie Sie zu zwingen, auf einem flachen Bürgersteig zu fahren (zu einfach) und Sie dann plötzlich in einen Hurrikan zu werfen (zu schwer). Sie werden entweder gelangweilt oder stürzen.
InfoSFT ist wie ein Trainer, der Sie auf einen sanften Hügel stellt. Sie sind wackelig und unsicher (mittlere Sicherheit), also lernen Sie am meisten. Wenn der Hügel zu steil ist, hält der Trainer Sie an. Wenn der Boden flach ist, lässt der Trainer Sie rollen.

Warum dies besser funktioniert

Das Papier zeigt, dass der Roboter durch die Fokussierung auf diese Momente mit „mittlerer Sicherheit" das neue Verhalten (wie Mathematik oder Programmieren) viel schneller und besser lernt als zuvor.

Bessere Generalisierung: Der Roboter lernt die Logik der Aufgabe, nicht nur die spezifischen Beispiele. Er kann neue Probleme lösen, die er noch nie gesehen hat.
Weniger Amnesie: Da der Roboter nicht gezwungen wird, seine gesamte Persönlichkeit drastisch zu ändern, um seltsame Beispiele auswendig zu lernen, behält er seine ursprünglichen Fähigkeiten (wie Sicherheit und allgemeine Konversation) intakt.

Der „Einzeiler"-Zauber

Die Autoren betonen, dass dies keine massive Umwälzung ist. Es ist eine winzige Anpassung der Mathematik, die zum Trainieren des Roboters verwendet wird. Sie haben einfach die Formel geändert, die entscheidet, wie viel Aufmerksamkeit auf jedes Wort gelegt wird. Es ist wie das Drehen am Lautstärkeregler einer Stereoanlage: Anstatt alle Songs auf gleicher Lautstärke abzuspielen, drehen Sie die Lautstärke bei den Songs hoch, die Sie hören müssen, und runter bei denen, die Sie bereits kennen.

Zusammenfassung

InfoSFT ist eine intelligentere Art, KI zu unterrichten. Es verhindert, dass die KI die einfachen Dinge auswendig lernt und bei den unmöglichen Dingen verwirrt wird. Stattdessen konzentriert sie all ihre Energie auf die „genau richtigen" Momente, in denen tatsächlich Lernen stattfindet. Dies hilft der KI, neue Fähigkeiten zu meistern, ohne die alten zu vergessen.

Technische Zusammenfassung: InfoSFT

Problemstellung

Supervised Fine-Tuning (SFT) ist der Standardansatz, um Large Language Models (LLMs) neue Verhaltensweisen anhand offline verfügbarer Experten-Demonstrationen beizubringen. Das herkömmliche SFT leidet jedoch unter zwei kritischen Einschränkungen:

Schwache Generalisierung zur Laufzeit: Das Standard-SFT passt sich einheitlich an alle Stichproben an, einschließlich solcher mit geringer Wahrscheinlichkeit unter dem Basismodell. Diese Tokens mit geringer Wahrscheinlichkeit verursachen große Verluste im negativen Log-Likelihood-Bereich, was das Modell zwingt, spezifische Stichproben zu überanpassen, anstatt das zugrunde liegende Zielverhalten zu erlernen. Folglich schneidet SFT in Generalisierungs-Benchmarks oft schlechter ab als on-policy-Methoden (wie RL).
Katastrophales Vergessen: Die Anpassung an neue Verhaltensweisen mittels offline verfügbarer Daten mit geringer Wahrscheinlichkeit induziert erhebliche Verschiebungen in der Ausgabeverteilung des Modells. Diese große verteilungstechnische Verschiebung korreliert mit dem Abbau früherer Fähigkeiten (z. B. Sicherheit, Instruktionsbefolgung oder allgemeines Schlussfolgern), ein Phänomen, das als katastrophales Vergessen bekannt ist.

Bestehende Minderungsstrategien, wie das Filtern oder Herabstufen von Daten mit geringer Wahrscheinlichkeit, unterdrücken oft genau die neuen Verhaltensweisen, die das Basismodell erlernen muss, und schaffen einen Zielkonflikt zwischen dem Erlernen neuer Aufgaben und dem Beibehalten alter.

Methodik: InfoSFT

Die Autoren schlagen InfoSFT vor, ein prinzipielles Schema zur Gewichtung von Tokens, das darauf ausgelegt ist, Lernsignale auf „maximal informative Tokens mit mittlerem Konfidenzniveau" zu konzentrieren. Die Methode leitet sich aus einem proximalen Update-Framework ab und optimiert den Zielkonflikt zwischen der Anpassung an die Expertenverteilung und der Nähe zum Basismodell unter einem festen KL-Divergenz-Budget.

Theoretische Herleitung

Die Autoren fassen SFT als Policy-Gradient-Problem auf, bei dem die Gewichtung einer Stichprobe von ihrer Wahrscheinlichkeit $q = \pi_\theta(y^*|x)$ unter dem aktuellen Modell abhängt.

Standard-SFT weist eine einheitliche Gewichtung zu ( $w=1$ ) und behandelt effektiv alle Tokens gleich.
DFT (Likelihood-gewichtetes SFT) weist Gewichte proportional zur Wahrscheinlichkeit zu ( $w \propto q$ ), was das Training stabilisiert, aber informative Stichproben mit geringer Wahrscheinlichkeit untergewichtet.
InfoSFT leitet eine optimale Gewichtsregel ab, die die Anpassung an die Populationsverteilung der Expertendaten priorisiert, anstatt einzelne Stichproben auswendig zu lernen. Das optimale Gewicht für einen Token mit Wahrscheinlichkeit $q$ $q$ wird wie folgt hergeleitet:
$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$
Wo:
- $p$ eine Schätzung der durchschnittlichen Expertenkonfidenz ist (ein Kalibrierungskonstante).
- $\text{logit}(q) = \log(\frac{q}{1-q})$ .
- $(\cdot)_+$ das Clipping bezeichnet, um nicht-negative Gewichte sicherzustellen.

Wesentliche Merkmale

Fokus auf mittleres Konfidenzniveau: Die Gewichtungsfunktion erreicht ihr Maximum für Tokens mit intermediärer Konfidenz. Sie weist Tokens mit hoher Gewichtung zu, die unter dem Basismodell unwahrscheinlich sind (und somit informativ), aber nicht so unwahrscheinlich, dass sie Instabilität verursachen.
Verschwindendes Gewicht für Extreme:
- Für hochkonfidente Tokens ( $q \to 1$ ) entfällt der Korrekturterm, wodurch eine unnötige Verstärkung von Tokens vermieden wird, die das Modell bereits gut vorhersagt.
- Für extrem unwahrscheinliche Tokens ( $q \to 0$ ) verschwindet das Gewicht, was Instabilität verhindert.
Implementierung: InfoSFT erfordert nur eine einzeilige Änderung der Standard-Loss-Funktion auf Token-Ebene. Sie ersetzt das einheitliche Gewicht durch den abgeleiteten Gewichtungsfaktor.

Wesentliche Beiträge

Optimales Update unter KL-Budget: Die Arbeit zeigt theoretisch, dass, wenn man sich darauf beschränkt, nahe am Basismodell zu bleiben (festes KL-Budget), die optimale Update-Strategie die höchsten Gewichte Stichproben mit intermediärer Konfidenz zuweist, anstatt einheitlichen oder proportional zur Wahrscheinlichkeit gewichteten Gewichten.
InfoSFT-Algorithmus: Eine einfache, neuartige SFT-Variante, die diese Gewichtsregel integriert. Sie betont informative Tokens mit geringer Wahrscheinlichkeit, während bereits gelöste Tokens nur geringes Gewicht erhalten.
Komplementarität zu SFT: Die Autoren zeigen, dass InfoSFT und Standard-SFT komplementär sind. SFT ist effektiv für die Einführung sehr unwahrscheinlicher Formate (z. B. neue Reasoning-Tags wie <thought>), während InfoSFT überlegen ist, um das Modell zu verfeinern, sobald diese Formate wahrscheinlicher werden.

Experimentelle Ergebnisse

Die Autoren evaluierten InfoSFT über mathematische, Code- und Chain-of-Thought (CoT)-Reasoning-Aufgaben hinweg unter Verwendung verschiedener Modellfamilien (Qwen-2.5, Llama-3.1) und Größen.

Generalisierungsleistung: InfoSFT übertraf sowohl Vanilla-SFT als auch DFT konsistent auf Testzeit-Benchmarks (MATH500, AMC, HumanEval, MultiPL-E). Bemerkenswerterweise erzielte es höhere pass@8-Scores, was auf eine bessere Vielfalt und Robustheit bei der Generierung korrekter Lösungen unter mehreren Stichproben hinweist.
Katastrophales Vergessen: In Experimenten, die den Zielkonflikt zwischen der Genauigkeit neuer Aufgaben und früheren Fähigkeiten maßen (Science Q&A und Tool Use), erreichte InfoSFT eine überlegene Pareto-Grenze. Es erzielte eine höhere Genauigkeit bei neuen Aufgaben als SFT und DFT, während es frühere Fähigkeiten (z. B. HumanEval, IFEval) effektiver bewahrte.
Entropiekontrolle: Im Gegensatz zu DFT, das oft zu einem Entropie-Kollaps (deterministische Ausgaben) führt, behält InfoSFT eine höhere Ausgabeentropie bei, was für nachgelagertes Alignment und Inferenz auf Stichprobenbasis entscheidend ist.
CoT-Reasoning: Beim CoT-Fine-Tuning ergab ein zweistufiger Ansatz (1 Epoche SFT gefolgt von 1 Epoche InfoSFT) die besten Ergebnisse auf AIME, wobei SFT zum Erlernen des Formats und InfoSFT zur Verfeinerung des Reasonings genutzt wurde.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Token-Gewichtung ein Schlüsselelement für zuverlässiges supervised Post-Training ist. Indem InfoSFT über eine einheitliche Anpassung oder einfache Wahrscheinlichkeitsgewichtung hinausgeht, adressiert es die fundamentale Spannung zwischen dem Erlernen neuer Verhaltensweisen aus Offline-Daten und dem Bewahren bestehender Fähigkeiten. Die Methode bietet eine prinzipielle, aufwendarme Lösung, die die Generalisierung verbessert und katastrophales Vergessen mindert, ohne komplexe Datenfilterung oder On-Policy-Sampling zu erfordern. Die Autoren positionieren InfoSFT als robuste Alternative, die die Lücke zwischen der Stabilität von SFT und den Generalisierungsvorteilen von On-Policy-Methoden schließt.