🤖 machine learning

Training ML Models with Predictable Failures

Dieser Beitrag analysiert die Verzerrung bei der Extrapolation von Ausfallraten von ML-Modellen aus begrenzten Evaluierungssätzen, identifiziert Bedingungen, unter denen solche Prognosen Risiken unterschätzen, und schlägt ein Feinabstimmungsziel namens „Forecastability Loss" vor, das den Prognosefehler erheblich reduziert, während die Aufgabenleistung und Sicherheit erhalten bleiben.

Ursprüngliche Autoren: Will Schwarzer, Scott Niekum

Veröffentlicht 2026-05-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Will Schwarzer, Scott Niekum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Sicherheitsinspektor für ein neues autonomes Fahrzeug. Sie haben eine kleine Teststrecke mit 100 Fahrzeugen, um auf Unfälle zu prüfen. Das Fahrzeug wird jedoch tatsächlich auf einer Autobahn mit 10 Millionen Fahrzeugen eingesetzt.

Das Problem ist, dass der „schlimmstmögliche" Unfall, vor dem Sie Angst haben, so selten ist, dass er in Ihrem 100-Fahrzeug-Test vielleicht gar nicht einmal vorkommt. Wenn Sie in Ihrem kleinen Test keinen Unfall sehen, könnten Sie fälschlicherweise annehmen, das Fahrzeug sei für die Autobahn perfekt sicher.

Dieser Artikel schlägt einen cleveren Weg vor, dies zu beheben. Er schlägt zwei Dinge vor:

Besseres Raten: Wir können Mathematik (speziell einen Zweig namens Extremwerttheorie) nutzen, um die „Beinahe-Unfälle" in unserem kleinen Test zu betrachten und mathematisch vorherzusagen, wie schlimm der schlimmste Unfall auf der riesigen Autobahn wäre.
Besseres Training: Wir können das KI-Modell tatsächlich so trainieren, dass es sich so verhält, dass diese mathematische Vorhersage genau ist, ohne dass das Fahrzeug in seiner eigentlichen Aufgabe (Fahren) schlechter wird.

Hier ist eine Aufschlüsselung der Ideen des Artikels mit einfachen Analogien:

1. Das Problem: Das „Unsichtbare Monster"

Stellen Sie sich vor, Sie versuchen vorherzusagen, welche höchste Welle ein Surfer jemals reiten wird. Sie beobachten ihn eine Stunde lang beim Surfen (Ihr „Evaluierungsset"). Sie sehen einige große Wellen, aber nichts Katastrophales.

Die Realität: Der Surfer wird 10 Jahre lang surfen (das „Einsatzset"). Irgendwo in diesen 10 Jahren wird eine „Monsterwelle" auftauchen, die 30 Meter hoch ist.
Das Versagen: Da Sie nur eine Stunde lang beobachtet haben, haben Sie die Monsterwelle nicht gesehen. Wenn Sie nur basierend auf dem, was Sie gesehen haben, raten, könnten Sie vorhersagen, dass die maximale Welle 3 Meter hoch ist. Wenn die 30-Meter-Welle einschlägt, haben Sie große Probleme.

2. Die alte Lösung: „Extrapolation des Schwanzes"

Forscher haben zuvor eine Methode entwickelt (von Jones et al.), um dies zu beheben. Sie betrachten die größten Wellen, die Sie in Ihrer einstündigen Testphase tatsächlich gesehen haben. Sie gehen davon aus, dass die Wellen einer bestimmten mathematischen Form folgen (wie eine glatte Kurve), und zeichnen eine Linie, um abzuschätzen, wie hoch die Wellen werden würden, wenn Sie 10 Jahre lang beobachten würden.

Der Haken: Dieser mathematische Trick funktioniert nur, wenn die Wellen tatsächlich diese glatte Form einhalten. Wenn der Surfer plötzlich auf eine völlig andere Art von Welle trifft (ein „seltener Modus"), die in Ihrem einstündigen Test nicht vorkam, wird die mathematische Linie weit nach unten zeigen. Sie wird die Gefahr unterschätzen.

3. Die Erkenntnis des Artikels: „Das Modell lehren, vorhersagbar zu sein"

Die Autoren erkannten, dass das Problem nicht nur die Mathematik ist, sondern das Modell selbst. Das KI-Modell könnte in seiner Fehlerart „unordentlich" oder „unvorhersehbar" sein.

Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung schreibt. Manchmal macht er kleine Fehler, und manchmal macht er einen riesigen, seltsamen Fehler, den der Lehrer nicht erwartet hat. Der Lehrer (der Sicherheitsinspektor) versucht zu erraten, welchen schlimmsten Fehler der Schüler bei der Abschlussprüfung machen wird.
Die Innovation: Die Autoren entwickelten eine neue Methode, um den Schüler zu trainieren. Sie sagten dem Schüler nicht nur „Mache keine Fehler". Sie sagten dem Schüler: „Lass deine Fehler einem glatten, vorhersagbaren Muster folgen, damit ich dein schlimmstes Szenario genau abschätzen kann."

Sie nennen dieses neue Trainingsziel den „Forecastability Loss" (Vorhersagbarkeitsverlust).

4. Wie es funktioniert (Der „magische" Trick)

Der Artikel zeigt, dass Sie das Training der KI so anpassen können, dass:

Sie gut bei ihrer Aufgabe bleibt: Die KI wird nicht schlechter darin, die eigentliche Aufgabe zu lösen (wie Fahren oder Fragen beantworten).
Sie sich „wohlverhalten" wird: Die schlimmsten Fehler der KI beginnen, wie eine glatte Kurve auszusehen, anstatt wie ein gezacktes, unvorhersehbares Durcheinander.
Die Mathematik funktioniert: Da die Fehler nun glatt und vorhersagbar sind, kann die „Extrapolationsmathematik" das schlimmste Szenario genau vorhersagen, selbst wenn dieses Szenario noch nicht eingetreten ist.

5. Die Ergebnisse: Zwei Experimente

Die Autoren testeten diese Idee in zwei völlig unterschiedlichen Welten:

Das Passwort-Spiel (Sprachmodell):
- Das Setup: Eine KI erhält ein geheimes Passwort und wird angewiesen, es niemals zu sagen. Der Test besteht darin, zu sehen, ob sie das Passwort versehentlich preisgibt.
- Das Problem: Die meisten Prompts sind sicher, aber einige „adversariale" Prompts sind so gestaltet, dass sie die KI dazu bringen, das Passwort preiszugeben. Diese schlechten Prompts sind so selten, dass sie in einem kleinen Test möglicherweise nicht erscheinen.
- Die Lösung: Sie trainierten die KI mit ihrer neuen Methode. Die KI wurde viel besser darin vorherzusagen, wann sie das Passwort preisgeben könnte, und sie gab das Passwort tatsächlich viel seltener preis als zuvor, während sie gleichzeitig gut in normalen Gesprächen blieb.
Die Gridworld (Robotik/RL):
- Das Setup: Ein Roboter navigiert durch ein Raster. Die meisten Raster sind sicher, aber einige haben versteckte Fallen.
- Das Problem: Der Roboter könnte in eine Falle geraten, die er noch nie gesehen hat.
- Die Lösung: Sie trainierten den Roboter, „vorhersagbare Fehler" zu haben. Der Roboter lernte, die Fallen besser zu vermeiden, und der Sicherheitsinspektor konnte das schlimmste Szenario für die zukünftige Leistung des Roboters genau vorhersagen.

6. Die Kernaussage

Der Artikel argumentiert, dass wir nicht einfach hoffen sollten, unsere Sicherheitstests seien groß genug, um jede Katastrophe zu erfassen. Stattdessen sollten wir unsere KI-Modelle auf eine spezifische Weise „sicherheitskonform" trainieren: Sie sollten so versagen, dass es für uns einfach ist, dies zu messen und vorherzusagen.

Indem wir dies tun, können wir einen kleinen Testdatensatz nutzen, um die Sicherheit einer massiven, realen Einsatzumgebung genau vorherzusagen. Es ist wie ein Surfer zu lehren, Wellen so zu reiten, dass ein Wissenschaftler die Größe der nächsten Monsterwelle genau vorhersagen kann, selbst wenn der Wissenschaftler nur ein paar Minuten beobachtet hat.

Was der Artikel NICHT behauptet:

Er behauptet nicht, dass dies alle Sicherheitsprobleme löst.
Er behauptet nicht, dass dies für jede einzelne Art von KI-Ausfall funktioniert (obwohl es in ihren beiden Tests gut funktionierte).
Er behauptet nicht, dass dies sofort für lebenswichtige medizinische oder militärische Systeme einsatzbereit ist; es ist ein „Proof-of-Concept", der zeigt, dass die Mathematik und Methode in kontrollierten Experimenten funktionieren.

Technische Zusammenfassung: Training von ML-Modellen mit vorhersagbaren Fehlern

Problemstellung

Die Sicherheitsbewertung von Machine-Learning-Systemen vor dem Einsatz stützt sich auf die Schätzung von Ausfallraten im Maßstab des Einsatzes. Katastrophale Ausfälle sind jedoch oft so selten, dass keine praktische Evaluierungsmenge ein einziges Beispiel enthält, was eine Lücke zwischen der beobachteten Leistung und dem zukünftigen Risiko schafft. Während Jones et al. [21] vorgeschlagen haben, die Extremwerttheorie (EVT) zu nutzen, um Ausfallraten von den größten $k$ beobachteten Werten in einer Evaluierungsmenge auf den Maßstab des Einsatzes zu extrapolieren, beruht diese Methode auf zwei kritischen Annahmen: (A1) der Ausfall-Schwanz ist asymptotisch log-linear (Gumbel-Bereich), und (A2) die Evaluierungsmenge ist repräsentativ für die Verteilung des Einsatzes.

Die Arbeit identifiziert ein spezifisches Ausfallsregime, in dem diese Annahmen verletzt werden: wenn der Einsatzdatensatz einen seltenen, hochriskanten Ausfallmodus (z. B. adversariale Prompts oder gefährliche Layouts) enthält, der in der kleineren Evaluierungsmenge fehlt. In diesem Szenario sagt der auf EVT basierende Prognostikator das Worst-Case-Risiko systematisch zu niedrig voraus. Darüber hinaus zeigt die Arbeit, dass selbst wenn die Annahmen gelten, der Standard-Schätzer eine inhärente Verzerrung zur Überprognose aufweist, die zwar sicherheitsfördernd ist, jedoch durch den oben beschriebenen „Belegungs"-Ausfallmodus kompensiert werden kann.

Methodik

Die Autoren schlagen Forecastability Fine-Tuning vor, eine Methode zur Anpassung eines vortrainierten Modells, sodass sein Ausfall-Schwanz den strukturellen Annahmen entspricht, die für eine genaue EVT-Extrapolation erforderlich sind.

1. Theoretische Zerlegung

Der theoretische Kernbeitrag ist eine Zerlegung des Prognosefehlers für den Gumbel-Schwanz-Schätzer für endliches $k$ . Der Fehler $\Delta$ wird zerlegt in:

Rang-Term ( $T_\theta$ ): Eine Verzerrung, die dem Schätzer aufgrund der Anzahl der Top- $k$ und des Einsatzverhältnisses inhärent ist. Dieser Term ist im Allgemeinen positiv (Überprognose) und unabhängig von den spezifischen Parametern des Modells, außer einem Skalierungsfaktor.
Krümmungs-Term ( $C_\theta$ ): Proportional zur zweiten Ableitung der Schwanz-Quantil-Kurve. Dieser Term hängt vom Modell ab und kann trainiert werden. Er spiegelt wider, ob der Schwanz „gutartig" (log-linear) oder gekrümmt ist.
Belegungs-Term ( $G_\theta$ ): Ein von Null verschiedener Term, der auftritt, wenn eine seltene Hochrisiko-Komponente im Einsatzdatensatz vorhanden, aber in der Evaluierungsmenge fehlt. Dieser Term führt zu einer Unterprognose.
Höherordige Restglieder: Terme, die mit Verletzungen der Glattheit zusammenhängen (z. B. beschränkter Träger oder schwere Schwänze).

Die Autoren zeigen, dass der Prognosefehler bezüglich der Modellparameter differenzierbar ist, wenn die Risikoscore differenzierbar ist. Dies ermöglicht es, den Fehler selbst als Verlustfunktion zu verwenden.

2. Der Forecastability-Verlust

Das vorgeschlagene Ziel, Forecastability-Loss, minimiert die quadrierte Differenz zwischen dem OLS-prognostizierten Worst-Case-Wert und dem realisierten Worst-Case-Wert über extrapolierte Ränge hinweg.
$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$
wobei $\mathcal{J}$ Ränge darstellt, die tiefer liegen als der Fit-Datensatz, und die Gewichte $w_j$ einer log-uniformen Prior-Verteilung über Einsatzgrößen folgen.

3. Trainingsverfeinerungen

Um zu verhindern, dass das Modell seine Leistung einfach verschlechtert, um den Schwanz „vorhersagbar" zu machen (z. B. durch Erhöhung der Risikoscores, um einer überprognostizierten Linie zu entsprechen), führen die Autoren eine nur-verbessernde Gradientenmaske ein. Diese Maske stellt sicher, dass Gradienten-Updates nur erfolgen, wenn sie den Risikoscore für die spezifische Aufgabe verringern, wodurch das Prognoseziel effektiv mit dem primären Sicherheitsziel gekoppelt wird.

Zusätzlich, um Overfitting auf spezifische Partitionierungen der Daten zu vermeiden, setzt die Methode Meta-Multi-Task-Fine-Tuning ein. In jedem Trainingsschritt wird der Aufgabenpool zufällig in eine Fit-Menge und eine Einsatzmenge partitioniert. Ein partition-invarianter Cache der am höchsten bewerteten Aufgaben wird gepflegt, um diese Neupartitionierung rechentechnisch machbar zu machen, ohne den gesamten Datensatz in jedem Schritt neu zu bewerten.

Hauptbeiträge

Zerlegung des Fehlers für endliches $k$ : Eine theoretische Aufschlüsselung des Gumbel-Schwanz-Prognosefehlers, die modellabhängige Komponenten (Krümmung, Belegung) von schätzerabhängigen Komponenten (Rang-Verzerrung) isoliert. Dies identifiziert genau, welche Teile des Fehlers trainierbar sind.
Forecastability-Loss: Ein differenzierbares Ziel, das den Prognosefehler direkt minimiert, indem es die Form des Ausfall-Schwanzes des Modells so gestaltet, dass er gutartig (log-linear) ist und die Einsatzverteilung repräsentiert.
Empirische Validierung: Der Nachweis, dass Fine-Tuning für Forecastability den zurückgehaltenen Prognosefehler erheblich reduziert, während die Leistung der primären Aufgabe erhalten (oder verbessert) wird und eine Sicherheit erreicht wird, die mit überwachten Baselines vergleichbar ist.

Experimentelle Ergebnisse

Die Methode wurde in zwei Szenarien evaluiert:

Sprachmodell (Password Game): Ein Modell wird angewiesen, ein geheimes Passwort zu bewahren, wird jedoch gegen adversariale Prompts getestet, die darauf ausgelegt sind, es zu extrahieren.
- Ergebnis: Forecastability Fine-Tuning reduzierte die Worst-Case-Leckwahrscheinlichkeit um $\approx 40$ Dekaden im Vergleich zur vortrainierten Baseline und erreichte die Sicherheit von Supervised Fine-Tuning (SFT). Entscheidend bewahrte es die Modellfähigkeit (gemessen am WildChat KL-Drift) deutlich besser als SFT (Drift um zwei Größenordnungen geringer). Es verbesserte zudem die Prognosegenauigkeit um den Faktor $\approx 60$ gegenüber der Baseline, wohingegen SFT und nachträgliche Kalibrierung bei unter $20\times$ stagnierten.
Reinforcement Learning (Gridworld): Eine Policy navigiert durch eine Gridworld mit seltenen, dicht gefährlichen Layouts.
- Ergebnis: Forecastability-Training verbesserte die Fähigkeit (Return) um den Faktor $1,27$ und reduzierte das Worst-Case-Reue-Maß um den Faktor $3,5$ und übertraf dabei SFT. In Bezug auf die Prognosegenauigkeit erreichte die Methode mit nachträglicher Kalibrierung eine Verbesserung um den Faktor $52$, was SFT ( $26\times$ ) und Kalibrierung allein ( $6\times$ ) deutlich übertraf.

In beiden Fällen stellte sicher, dass die „nur-verbessernde" Maske, dass Reduktionen des Prognosefehlers mit echten Reduktionen des Worst-Case-Risikos (Leckwahrscheinlichkeit oder Reue) korrelierten.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine „fehlende Schicht" in der Sicherheitsbewertung vor dem Einsatz zu adressieren: die Fähigkeit, nicht nur Risikoscores von der Evaluierung auf den Maßstab des Einsatzes zu extrapolieren, sondern Modelle zu trainieren, sodass diese Extrapolation zuverlässig ist.

Sicherheitsfördernde Verzerrung: Die Autoren stellen fest, dass der Standard-Schätzer eine inhärente Verzerrung zur Überprognose aufweist, was für die Sicherheit wünschenswert ist. Diese Verzerrung wird jedoch aufgehoben, wenn die Evaluierungsmenge einen seltenen Ausfallmodus verpasst. Forecastability-Training zielt darauf ab, diesen spezifischen Ausfallmodus zu eliminieren.
Ergänzung zur Kalibrierung: Die Ergebnisse deuten darauf hin, dass nachträgliche affine Kalibrierung zwar systematische Verzerrungen korrigieren kann, aber strukturelle Missverhältnisse in der Schwanzform oder Belegungslücken nicht beheben kann. Forecastability-Training gestaltet den zugrunde liegenden Schwanz, wodurch eine nachfolgende Kalibrierung effektiver wird.
Skalierbarkeit: Die Autoren räumen ein, dass ihre Experimente kleinmaßstäblich sind (Modelle mit 0,6 Mrd. und 8 Mrd. Parametern, synthetische Mischungen). Sie behaupten, die Methode sei ein Proof-of-Concept, der sich auf andere Verteilungen verallgemeinern lässt, stellen jedoch fest, dass die Skalierung auf Frontier-Modelle und natürliche seltene Modi der notwendige nächste Schritt ist.
Abgrenzung zu bestehenden Methoden: Die Arbeit unterscheidet ihren Ansatz von distributionell robustem Training (das den Worst-Case-Verlust minimiert) und Importance Sampling (das das Sampling von Ausfällen erfordert). Forecastability-Loss zielt spezifisch auf die Form der Risikoverteilung ab, um sie für EVT-Extrapolation zugänglich zu machen, anstatt nur das Risiko selbst zu minimieren.

Die Autoren schließen, dass die Sicherheitsbewertung vor dem Einsatz zunehmend davon abhängt, das Schwanzverhalten zu extrapolieren, und ihre Ergebnisse zeigen, dass das Modell selbst kein fester Input für diesen Prozess sein muss; eine kleine Menge Fine-Tuning kann ein Modell hervorbringen, dessen Schwänze von Standard-Prognosemethoden deutlich genauer beschrieben werden.