⚡ electrical engineering

Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints

Dieses Paper schlägt ein neuartiges Framework für das Supervised Fine-Tuning vor, das durch eine gelernte, stichprobenabhängige Relaxation und einen Augmented-Lagrange-Optimierungsansatz pro-Sample-Constraints erzwingt und dadurch die Verletzungen von Randbedingungen in den Ausläufern (Tail Constraints) über diverse Aufgaben wie Sicherheit, Präferenzen und Längensteuerung hinweg effektiv reduziert, während die allgemeine Modellleistung erhalten bleibt.

Ursprüngliche Autoren: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

Veröffentlicht 2026-07-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ignacio Hounie, Ignacio Boero, Alejandro Ribeiro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter-Koch, um das perfekte Sandwich zuzubereiten. Ihr Ziel ist zweifach: Es soll köstlich schmecken (das Hauptziel) und gleichzeitig sicherstellen, dass er niemals Gift verwendet (die Einschränkung).

Lange Zeit war die Standardmethode, diesen Roboter zu lehren, darin, den Durchschnitt aller von ihm zubereiteten Sandwiches zu betrachten. Wenn der Roboter 99 sichere und 1 giftiges Sandwich zubereitete, könnte der „Durchschnitt“ immer noch sicher genug aussehen, um den Test zu bestehen. Das Problem dabei? Dieses eine giftige Sandwich könnte das einzige sein, das ein spezifischer Kunde jemals erhält, und das wäre eine Katastrophe.

Dieses Paper mit dem Titel „Every Sample Counts“ argumentiert, dass wir aufhören müssen, auf den Durchschnitt zu schauen, und stattdessen jedes einzelne Sandwich (jeden einzelnen Input) prüfen müssen, um sicherzustellen, dass keines davon giftig ist.

Das Problem mit der Sicherheit durch den „Durchschnitt“

Die Autoren zeigen, dass aktuelle Methoden wie ein Lehrer sind, der nur den Notendurchschnitt der Klasse prüft. Wenn der Klassendurchschnitt eine Eins ist, ist der Lehrer zufrieden, selbst wenn ein Schüler die Prüfung völlig verhauene hat. In der Welt der KI bedeutet dies, dass Modelle im Durchschnitt zwar „sicher“ sein können, aber bei schwierigen oder seltenen Anfragen (dem „Tail“ der Daten) spektakulär versagen.

Das Paper argumentiert explizit gegen die Abhängigkeit von diesen auf dem Durchschnitt basierenden Einschränkungen oder einfachen, festen Strafen (wie einem „Einheitsmaßstab“ für Bußgelder). Sie fanden heraus, dass selbst wenn man die Regel für den Durchschnitt strenger macht, der Roboter bei den schwierigsten Aufgaben immer noch gelegentlich riesige Fehler macht. Es ist, als würde man das Tempolimit für die gesamte Autobahn verschärfen; die schnellen Autos werden zwar etwas langsamer fahren, aber die rücksichtslosen Fahrer auf den Landstraßen werden immer noch zu schnell fahren.

Die neue Lösung: Ein persönlicher Coach

Die Autoren schlagen ein neues Framework vor, das Pointwise Constrained Fine-Tuning genannt wird. Stellen Sie sich das wie einen persönlichen Coach für den Roboter-Koch vor, der jedes einzelne Sandwich beobachtet, während es zubereitet wird.

Die „Jedes Sample zählt“-Regel: Anstatt nur den Durchschnitt zu prüfen, stellt der Coach sicher, dass jedes einzelne Sandwich den Sicherheitsschwellenwert erfüllt. Wenn der Roboter versucht, auch nur bei einem einzigen Sandwich Gift zu verwenden, stoppt der Coach ihn sofort.
Der Augmented Lagrangian (Die intelligente Strafe): Um diese Mathematik umzusetzen, ohne das Gehirn des Roboters zu überlasten, verwenden sie einen cleveren Trick namens „Augmented Lagrangian“. Stellen Sie sich vor, der Coach schreit nicht einfach nur „Nein!“, sondern passt den Schwierigkeitsgrad des Trainings dynamisch an. Wenn ein Sandwich leicht sicher zuzubereiten ist, ist der Coach entspannt. Wenn ein Sandwich knifflig ist, verschärft der Coach die Regeln genau für diesen speziellen Moment. Dies stellt sicher, dass der Roboter lernt, die schwierigen Fälle zu bewältigen, ohne zu vergessen, wie man die einfachen macht.
Das „Relaxation“-Sicherheitsventil: Manchmal ist eine Anfrage so seltsam oder unmöglich, dass das Befolgen der Regel das Sandwich komplett ruinieren würde (wie die Bitte, ein Sandwich aus Luft zuzubereiten). Die Autoren führen eine „gelernte Relaxation“ (Lockerung) ein. Dies ist wie ein intelligentes Sicherheitsventil: Der Coach erlaubt eine winzige, kalkulierte Ausnahme nur dann, wenn es absolut notwendig ist, berechnet dafür jedoch einen „Preis“. Auf diese Weise stürzt der Roboter nicht ab, versucht aber dennoch sein Bestes, den Regeln zu folgen.

Was sie herausgefunden haben (Die Beweise)

Das Team testete diese Idee in drei verschiedenen „Küchen“ (Aufgaben):

Tool Calling: Dem Roboter beizubringen, wann er ein Werkzeug benutzen soll und wann er sagen muss: „Das kann ich nicht tun“.
Safety (Sicherheit): Sicherzustellen, dass der Roboter schädliche Anfragen ablehnt, ohne harmlose Anfragen abzulehnen.
Re-ranking: Suchergebnisse so zu sortieren, dass sie kürzer und schneller sind, ohne an Qualität zu verlieren.

In ihren Experimenten, die Modelle mit weniger als 7 Milliarden Parametern verwendeten (klein genug, um auf einer einzigen leistungsstarken Grafikkarte zu laufen), haben sie die Ergebnisse sorgfältig gemessen.

Das „Tail“-Problem gelöst: Als sie sich die Verteilung der Fehler ansah, wies ihre Methode (der „pointwise“-Ansatz) fast null große Verstöße auf. Im Gegensatz dazu hatten die alten „Durchschnitts“-Methoden immer noch einen „langen Schwanz“ (Long Tail) an großen Fehlern. In den Sicherheitstests erreichte ihre Methode beispielsweise eine 100%ige Ablehnungsrate bei schädlichen Prompts, während sie die Hilfsbereitschaft nur um etwa 5 % reduzierte. Die alten Methoden senkten bei gleicher Sicherheit die Hilfsbereitschaft um 9 %.
Bessere Kompromisse: Sie zeigten, dass ihre Methode eine bessere Balance (eine „Pare Pareto-Front“) schafft. Es ist, als bekäme man ein schnelleres Auto, das gleichzeitig weniger Benzin verbraucht, während die alten Methoden einen zwang, zwischen Geschwindigkeit und Kraftstoffeffizienz zu wählen.
Keine Magie, nur Mathematik: Die Autoren weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. Sie haben diese Ergebnisse auf spezifischen Datensätzen gemessen (wie dem „When2call“-Datensatz mit 4,5k Beispielen und dem „MS MARCO“-Datensatz mit 50k Trainingsinstanzen). Sie stellten fest, dass die Methode zwar bei diesen spezifischen Aufgaben hervorragend funktioniert, die theoretischen Garantien für alle möglichen Szenarien jedoch noch ausgearbeitet werden müssen, da neuronale Netze komplex und nicht perfekt vorhersehbar sind.

Das Fazit

Das Paper legt nahe, dass man, wenn man eine wirklich zuverlässige KI will, nicht nur auf den Durchschnitt schauen darf. Man muss die Regeln für jedes einzelne Sample durchsetzen. Durch die Verwendung eines intelligenten, dynamischen Systems, das die Strafen für jeden spezifischen Input anpasst, kann man die „seltenen, aber gefährlichen“ Ausfälle stoppen, ohne die KI bei ihrer Hauptaufgabe schlechter zu machen. Es ist ein Wechsel von „gut genug im Durchschnitt“ zu „sicher bei jedem Mal“.

Technisches Resümee: Every Sample Counts – Supervised Fine-Tuning von Sprachmodellen mit punktweisen Nebenbedingungen

1. Problemstellung

Aktuelle Methoden zur Ausrichtung (Alignment) und zum Fine-Tuning von Sprachmodellen (LMs) stützen sich typischerweise auf beschränkte Optimierungsrahmen, die Anforderungen (wie Sicherheit, Längenkontrolle oder Tool-Calling-Präferenzen) lediglich im Erwartungswert über die Eingangsverteilung durchsetzen. Während diese Methoden sicherstellen, dass Nebenbedingungen im Durchschnitt erfüllt werden, leiden sie unter einer kritischen Einschränkung: Sie garantieren keine Einhaltung der Nebenbedingungen für einzelne Eingaben.

Dieser „Durchschnitts-orientierte“ Ansatz führt zu unerwünschten Disparitäten, insbesondere bei Tail-Daten (Eingaben, die in den Trainingsdaten unterrepräsentiert oder inhärent schwieriger sind). Empirische Belege deuten darauf hin, dass Modelle, die Nebenbedingungen im Durchschnitt erfüllen, dennoch signifikante Verstöße bei kritischen Teilmengen von Eingaben aufweisen können. Bestehende Methoden versagen oft dabei, zwischen „einfachen“ und „schwierigen“ Stichproben zu unterscheiden, indem sie einheitliche Strafen anwenden, die entweder einfache Fälle übermäßig bestrafen oder schwierige Fälle nicht ausreichend einschränken.

Das Paper schlägt einen Wechsel von der durchschnittlich beschränkten Lernweise hin zum punktweisen beschränkten Fine-Tuning vor, bei dem Nebenbedingungen für fast jede einzelne Stichprobe in der Eingangsverteilung gelten müssen, anstatt nur im Erwartungswert.

2. Methodik

Der vorgeschlagene Rahmen adressiert die Herausforderungen der Durchsetzung punktweiser Nebenbedingungen in der nicht-konvexen neuronalen Netzwerkoptimierung durch drei Kernkomponenten:

A. Punktweise beschränkte Formulierung

Die Autoren formulieren das Fine-Tuning-Problem als Minimierung eines erwarteten Verlust-Objektivs $\ell_0$ unter der Bedingung, dass Ungleichheitsbeschränkungen $\ell_i \leq \varepsilon$ punktweise (fast überall) über die Datenverteilung $D$ gelten.
$\pi^*_\theta = \arg \min_{\theta} \mathbb{E}_{(x,y)\sim D} [\ell_0] \quad \text{s.t.} \quad \ell_i(\pi_\theta, x, y) \leq \varepsilon_i, \quad D\text{-a.e.}$
Im Gegensatz zu durchschnittlichen Beschränkungen, die einen einzelnen skalaren Multiplikator verwenden, erfordert diese Formulierung einen distinkten Multiplikator für jede Stichprobe, was es ermöglicht, die Strafe an die spezifische Schwierigkeit jeder Eingabe anzupassen.

B. Augmented-Lagrange-Ansatz

Um dieses nicht-konvexe Problem zu lösen, nutzen die Autoren den Dualraum. Da der Standard-Lagrange-Dualität bei nicht-konvexen Problemen (wie tiefen neuronalen Netzen) aufgrund der Dualitätslücke nur schwache Garantien bietet, setzt das Paper auf Augmented-Lagrange-Methoden (AL).

Die AL-Methode ersetzt die lineare Abhängigkeit zwischen dem Lagrange-Multiplikator $\lambda$ und der Verletzung der Nebenbedingung durch einen quadratischen Term.
Dies liefert eine zusätzliche Krümmungskorrektur, die eine starke Dualität und primäre Rückgewinnbarkeit in einem breiteren Spektrum nicht-konvexer Settings ermöglicht, verglichen mit Standard-Lagrange-Ansätzen.
Die Optimierung erfolgt via Empirical Dual Gradient Ascent, wobei der funktionale Multiplikator $\lambda(x,y)$ durch stichprobenweise Multiplikatoren $\lambda_i$ für einen endlichen Datensatz approximiert wird.

C. Gelernte punktweise Relaxation

Punktweise Nebenbedingungen können übermäßig restriktiv sein, insbesondere bei Ausreißern oder wenn Nebenbedingungen mit dem Primärziel kollidieren. Um dies abzumildern, führen die Autoren eine gelernte, stichprobenabhängige Relaxation ein.

Eine Relaxationsfunktion $u(x,y)$ wird eingeführt, um den zulässigen Schwellenwert von $\varepsilon$ auf $\varepsilon + u(x,y)$ zu erhöhen.
Eine konvexe Kostenfunktion $c(u)$ (speziell eine quadratische Strafe $\beta \|u\|^2$ ) wird dem Objektiv hinzugefügt, um die Schwere und Häufigkeit dieser Relaxationen zu bestrafen.
Entscheidend ist, dass die Relaxationsvariable $u$ nicht direkt optimiert werden muss. Durch die Dualität wird ihr Effekt als Regularisierungsterm in das Dualproblem absorbiert und führt zu einer Skalierung der Dualvariablen. Dies ermöglicht es dem Modell, eine benutzerdefinierte Relaxationskosten gegen das Zielobjektiv abzuwägen und so effektiv das „Tail“-Verhalten der Nebenbedingungsverletzungs-Verteilung zu steuern.

3. Wichtigste Beiträge

Punktweiser Beschränkungsrahmen: Das Paper schlägt einen neuartigen Alignment-Rahmen vor, der Nebenbedingungen für einzelne Eingaben statt im Erwartungswert erzwingt und so die Leistungsdisparitäten über die Eingangsverteilung hinweg adressiert.
Augmented-Lagrange für nicht-konvexes Lernen: Die Autoren wenden Augmented-Lagrange-Methoden auf das punktweise beschränkte Fine-Tuning an und überwinden damit den Mangel an starker Dualität in der nicht-konvexen Optimierung neuronaler Netze.
Gelernannter Relaxationsmechanismus: Ein Mechanismus wird eingeführt, der die Lernaufgabe und die Relaxation von Nebenbedingungen gemeinsam löst, indem er die Kosten für die Abweichung minimiert, um Ausreißer und kollidierende Ziele ohne manuelles Tuning der pro-Stichprobe-Schwellenwerte zu handhaben.
Empirische Validierung: Der Rahmen wird anhand von drei verschiedenen Aufgaben des Fine-Tunings kleiner Sprachmodelle (SLMs) validiert:
- Instruktionsbefolgung & Sicherheit: Erzwingung der Verweigerung schädlicher Prompts bei gleichzeitiger Aufrechterhaltung der Hilfsbereitschaft bei sicheren Prompts.
- Tool-Calling-Präferenzen: Erzwingung korrekter Verhaltensentscheidungen (z. B. Aufruf eines Tools vs. Halluzination) mit längennormalisierten Log-Wahrscheinlichkeitsbeschränkungen.
- Re-Ranking & Längenoptimierung: Abwägung zwischen Retrieval-Relevanz und Passagelänge (Token-Effizienz).

4. Ergebnisse

Die Autoren validieren empirisch, dass ihr Ansatz die Tail-Nebenbedingungsverletzungen reduziert und gleichzeitig die Downstream-Performance weitgehend bewahrt:

Reduktion von Tail-Verletzungen: Über alle Aufgaben hinweg reduziert die vorgeschlagene Methode die Häufigkeit und Schwere großer Nebenbedingungsverletzungen im Vergleich zu durchschnittlich beschränkten und festen Penalty-Baselines signifikant. Die kumulative Verteilungsfunktion (CDF) der Nebenbedingungsverletzungen zeigt, dass Durchschnittsmethoden „einfache“ Stichproben mit großen Margen erfüllen, aber bei „schwierigen“ Stichproben versagen; der punktweise Ansatz gewährleistet eine konsistente Leistung.
Verbesserte Trade-offs: Die Methode erreicht bessere Pareto-Fronten zwischen dem Zielobjektiv (z. B. Hilfsbereitschaft, Relevanz) und den Nebenkennzahlen.
- In der Sicherheit erreichte die punktweise Methode eine 100%ige Verweigerungsrate bei unsicheren Prompts bei nur 5 % Reduktion der Hilfsbereitschaft (Win Rate), während durchschnittliche Beschränkungen eine 9 %ige Reduktion der Hilfsbereitschaft benötigten, um eine ähnliche Sicherheit zu erreichen.
- Beim Tool-Calling lieferten punktweise Beschränkungen eine gleichmäßigere Verbesserung über verschiedene Fehlerkategorien hinweg im Vergleich zu Methoden, die die Performance zu spezifischen Kategorien hin verzerrten.
- Beim Re-Ranking reduzierte die Methode erfolgreich die Passagelänge, ohne die Relevanzmetriken (MRR@10) zu verschlechtern – ein Trade-off, den durchschnittliche Beschränkungen ohne Qualitätsverlust nicht erreichen konnten.
Relaxationskontrolle: Der Hyperparameter $\beta$ in den Relaxationskosten steuert effektiv den Kompromiss zwischen strikter Einhaltung der Nebenbedingungen und der Objektiv-Performance, was es Nutzern ermöglicht, das Verhalten des Modells basierend auf spezifischen Risikotoleranzen zu tunen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Durchsetzung von Nebenbedingungen pro Stichprobe eine notwendige Evolution für den Einsatz von LMs in Hochrisikodomänen ist, in denen die Durchschnittsleistung unzureichend ist. Die Bedeutung der Arbeit liegt in:

Adressierung von Verteilungsdisparitäten: Sie bekämpft direkt das Problem, dass Modelle bei Tail-Daten unterperformen, und stellt sicher, dass kritische Nebenbedingungen (wie Sicherheit) nicht für spezifische, potenziell vulnerable Eingaben verletzt werden.
Praktische Optimierung: Durch die Nutzung von Augmented-Lagrange-Methoden und gelernter Relaxation bietet der Rahmen eine praktische, skalierbare Lösung für punktweise Nebenbedingungen, die die Unpraktikabilität der Durchsetzung harter Nebenbedingungen auf jede einzelne Stichprobe ohne Relaxation vermeidet.
Flexibilität: Es wird gezeigt, dass der Rahmen auf diverse Nebenbedingungen (Sicherheit, Präferenzen, Länge) und Aufgaben adaptierbar ist und einen einheitlichen Ansatz für beschränktes Fine-Tuning bietet, der bestehende durchschnittlich beschränkte und feste Penalty-Methoden bei der Reduktion von Worst-Case-Verletzungen übertrifft.

Die Autoren kommen zu dem Schluss, dass durchschnittliche Beschränkungen für die allgemeine Performance ausreichen mögen, punktweise Nebenbedingungen jedoch für einen robusten, gerechten und sicheren Einsatz essenziell sind und überlegene Trade-offs zwischen Nutzen und Nebenbedingungserfüllung bieten.