💬 NLP

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Dieses Paper führt „Fragilität“ ein, eine komplementäre Metrik, die das Aktivierungsrausch-Niveau misst, bei dem die Genauigkeit eines linearen Probes zusammenbricht, um sich entwickelnde Repräsentationsstrukturen und Gradienten der moralischen Kodierung im LLM-Pre-Training offenzulegen, die unsichtbar bleiben, sobald die Standard-Probe-Genauigkeit sättigt.

Ursprüngliche Autoren: Orion Reblitz-Richardson

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Orion Reblitz-Richardson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „zufriedene Schüler“

Stellen Sie sich vor, Sie sind ein Lehrer und versuchen zu verfolgen, wie gut ein Schüler ein Fach über ein ganzes Schuljahr hinweg lernt. Sie geben ihm jede Woche einen einfachen Quiz.

Woche 1: Der Schüler beantwortet 50 % richtig.
Woche 2: Er beantwortet 95 % richtig.
Woche 3 bis Woche 40: Er beantwortet weiterhin 95 % richtig.

Wenn Sie nur auf die Punktzahl (Genauigkeit) schauen, würden Sie denken, dass der Schüler nach Woche 2 aufgehört hat zu lernen. Sie würden sagen: „Toll, er hat es gemeistert!“ und würden nicht mehr aufmerksam werden.

Aber der Schüler lernt tatsächlich immer noch. Er verfeinert sein Verständnis, verknüpft Ideen und baut eine tiefere, robustere Wissensbasis auf. Das einfache Quiz ist einfach nicht schwer genug, um den Unterschied zwischen „gut genug“ und „exzellent“ aufzuzeigen.

Genau das passiert bei KI-Modellen.
Wenn Forscher einen Standardtest namens „Linear Probing“ verwenden, um zu sehen, ob eine KI ein Konzept (wie etwa Moral) versteht, erreicht die Punktzahl der KI sehr früh in ihrem Training ein Plateau (etwa 95 %). Für die verbleibenden 95 % der Trainingszeit bleibt die Punktzahl flach. Der Standardtest wird blind für alle komplexen Veränderungen, die im Inneren des Modells stattfinden.

Das neue Werkzeug: Der „Stresstest“ (Fragilität)

Die Autoren dieser Arbeit sagen: „Hören wir auf, nur auf die Punktzahl zu schauen. Lassen Sie uns sehen, wie stabil das Wissen ist.“

Sie führen eine neue Metrik namens Fragilität ein. Anstatt nur zu fragen: „Kann die KI das beantworten?“, fragen sie: „Wie viel Rauschen kann die KI vertragen, bevor sie verwirrt wird?“

Die Analogie: Stellen Sie sich zwei Personen vor, die einen schweren Karton halten.
- Person A hält ihn vollkommen ruhig. Wenn man sie an der Schulter tippt, lässt sie ihn fallen. (Hohe Genauigkeit, aber fragil).
- Person B hält ihn mit einem breiten, starken Griff, benutzt vielleicht sogar beide Hände und stützt sich mit den Beinen ab. Wenn man sie an der Schulter tippt, wackelt sie nicht einmal. (Hohe Genauigkeit und robust).

Beide Personen halten den Karton (beide haben eine hohe Genauigkeit), aber Person B hat ein viel tieferes, stabileres Verständnis davon, wie man ihn hält.

In der Arbeit fügen sie den „KI-Gehirnen“ während der Beantwortung „Rauschen“ (zufälliges statisches Rischen) hinzu. Sie messen, wie viel Rauschen nötig ist, damit die KI Fehler macht.

Geringe Fragilität (hohe Rauschtoleranz): Die KI ist robust. Sie versteht das Konzept tiefgründig und redundant.
Hohe Fragilität (geringe Rauschtoleranz): Die KI ist brüchig. Sie hat nur einen Trick oder ein bestimmtes Wort auswendig gelernt, und ein klein wenig Verwirrung bringt sie aus dem Konzept.

Was sie herausgefunden haben

Durch die Verwendung dieses „Stresstests“ anstelle des bloßen „Scores“ fanden die Autoren drei wesentliche Dinge heraus, die zuvor unsichtbar waren:

1. Die Lernreihenfolge: Erst Wörter, dann Bedeutung

Sie verfolgten, wie die KI über „Moral“ lernte.

Die alte Sicht: Die KI lernt Moral sehr schnell (um Schritt 1.000).
Die neue Sicht: Die KI lernt tatsächlich in zwei Phasen.
1. Phase 1 (Schritt 1.000): Sie lernt den Vokabular. Sie weiß, dass das Wort „verraten“ schlecht und „grüßen“ gut ist. Dies ist mit einem einfachen Score leicht festzustellen.
2. Phase 2 (Schritt 5.000): Sie lernt die Komposition. Sie versteht, dass dasselbe Wort gut oder schlecht sein kann, je nach Kontext (z. B. „ein Geheimnis verbergen, um ein Geschwisterteil zu schützen" vs. "ein Geheimnis verbergen, um einem Geschwisterteil zu schaden").

Der „Stresstest“ zeigte, dass die KI zwar frühzeitig die Wörter kannte, es aber viel länger dauerte, das robuste, kontextuelle Verständnis dafür aufzubauen, warum diese Wörter wichtig sind.

2. Die „brüchigen frühen Schichten“

Während die KI über tausende Schritte trainiert wurde, enthüllte der „Stresstest“ ein Muster in ihrer Gehirnstruktur:

Die oberen Schichten der KI wurden unglaublich stark und stabil (wie ein tiefes Fundament).
Die unteren Schichten wurden überraschend fragil und brüchig, obwohl der Gesamt-Score immer noch hoch war.

Es ist wie ein Wolkenkratzer, bei dem die oberen Stockwerke mit Stahl verstärkt sind, aber die unteren Stockwerke aus Pappe bestehen. Wenn man das Gebäude schüttelt (Rauschen hinzufügt), könnte das untere Stockwerk zusammenbrechen, selbst wenn das obere gut aussieht. Der Standard-Score sah das nie; der „Stresstest“ schon.

3. Wie man lehrt, spielt eine Rolle (selbst wenn der Score es nicht zeigt)

Die Autoren haben die KI auf drei verschiedene Arten unterrichtet:

Geschichten: Moralische Lektionen innerhalb von Fabeln (wie bei Äsop).
Deklarativ: Das ständige Wiederholen einfacher Sätze wie „Stehlen ist falsch“.
Kontrolle: Allgemeiner Text ohne moralischen Inhalt.

Das Ergebnis: Alle drei Gruppen erhielten exakt dieselbe Punktzahl beim Abschlusstest.
Der Unterschied:

Die Geschichten-Gruppe baute ein stabiles, robustes Verständnis auf.
Die Deklarative-Gruppe (das wiederholte „Stehlen ist falsch“) baute ein fragiles Verständnis auf. Sie haben das Muster perfekt auswendig gelernt, aber wenn man den Satz leicht veränderte, brachen sie zusammen.

Dies beweist, dass die Art und Weise, wie Sie Daten kuratieren, den internen „Muskel“ der KI verändert, selbst wenn der finale Test-Score identisch aussieht.

Das Faz-it

Die Arbeit argumentt, dass Genauigkeit ein schlechtes Maßstab für den Fortschritt ist, sobald ein Modell „gut genug“ ist. Sie erreicht ein Plateau und sagt uns nichts Neues mehr.

Indem Forscher einen Fragilitätstest hinzufügen (die Prüfung, wie viel Rauschen das Modell verträgt), können sie die verborgene Struktur des Lernens sehen:

Wann Konzepte von einfachem Wortabgleich zu tiefem Verständnis übergehen.
Welche Teile des KI-Gehirns stark und welche schwach sind.
Ob die KI es wirklich „verstanden“ hat oder nur ein Muster auswendig gelernt hat.

Kurz gesagt: Fragen Sie nicht nur, ob die KI die richtige Antwort gegeben hat. Fragen Sie, wie schwer es wäre, sie auszutricksen. Dort liegt die wahre Geschichte des Lernens verborgen.

Technisches Resümee: „Wenn die Sondierungsgenauigkeit sättigt, löst Fragilität auf“

1. Das Problem: Die Sättigung der Sondierungsgenauigkeit (Probing Accuracy)

Standardmäßiges lineares Probing ist ein weit verbreitetes Interpretierbarkeitsprotokoll, bei dem ein linearer Klassifikator auf eingefrorenen verborgenen Zuständen trainiert wird, um eine bestimmte Eigenschaft (z. B. Sentiment, Moralität, Syntax) vorherzusagen. Wenn der Klassifikator eine hohe Genauigkeit erreicht, wird die Eigenschaft als „kodiert“ deklariert.

Das Paper identifiziert einen kritischen Fehlermodus dieses Protokolls bei der Anwendung auf Prätraining-Dynamiken. Auf der OLMo-2 1B Trajektorie sättigt die Standard-Sondierungsgenauigkeit für Eigenschaften wie Moralität bereits nach den ersten tausend Schritten (sie erreicht ~~95 % Genauigkeit bei Schritt 4K). Für die verbleibenden ~95 % der Prätraining-Trajektorie (~~33K Schritte) bleibt die Genauigkeitsmetrik flach. Infolgederdessen wird das Instrument blind für die fortgesetzten repräsentativen Veränderungen innerhalb des Modells, wodurch der Großteil des Prätrainings für die Standardanalyse „unsichtbar“ wird.

2. Methodik: Einführung von „Fragilität“

Um die durch Sättigung verlorene Auflösung wiederherzustellen, führen die Autoren eine komplementäre Metrik pro Schicht ein: die Fragilität.

Definition: Fragilität ist definiert als das kritische Rauschniveau ( $\sigma^*_\ell$ ), bei dem die Genauigkeit eines trainierten Probes unter einen spezifischen Schwellenwert (festgesetzt auf 0,6, also Zufall + 0,1) kollabiert.
Verfahren:
1. Trainiere einen Standard-linearen Probe auf sauberen verborgenen Zuständen für eine spezifische Schicht $\ell$ .
2. Injiziere Gaußsches Rauschen ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) in die zwischengespeicherten Testset-Aktivierungen.
3. Re-evaluiere den Probe über eine logarithmische Sweep der Rauschskalen ( $\sigma \in \{0,1; 0,3; 1,0; 3,0; 10,0\}$ ).
4. Identifiziere das kleinste $\sigma$ , bei dem die Genauigkeit unter den Schwellenwert fällt.
Interpretation:
- Niedriges $\sigma^*_\ell$ : Die Repräsentation ist fragil; die Entscheidungsgrenze hat eine schmale Margin oder geringe Redundanz, was dazu führt, dass die Genauigkeit unter kleinen Perturbationen kollabiert.
- Hohes $\sigma^*_\ell$ : Die Repräsentation ist robust; die Unterscheidung ist mit einer breiten Margin und/oder hoher Redundanz kodiert.
Umfang: Diese Metrik wird auf dieselben trainierten Probes angewendet, die für die Genauigkeitskurven verwendet werden, was sie zu einem direkten Komplement macht, das die Geometrie der Separabilität und Redundanz verfolgt, selbst nachdem die Genauigkeit ein Plateau erreicht hat.

3. Wichtigste Beiträge und Experimentelles Setup

Das Paper validiert diese Methodik unter Verwendung der OLMo-2 1B (37 Checkpoints, dichte 1K-Schritt-Abtastung) und OLMo-3 7B (20 Checkpoints) Familien. Die Autoren verwenden vier verschiedene Datensätze für Minimalpaare, um unterschiedliche Fähigkeiten zu sondieren:

Standard Moral: Einzelwort-Austausch von moralisch geladenen Lexemen (z. B. „betrogen“ vs. „begrüßt“).
Sentiment: Einzelwort-Austausch von Adjektiven.
Syntax: Strukturelle Verletzungen der Wohlgeformtheit.
Kompositionelle Moral (Neue Kontribution): Ein neuartiger Datensatz von 200 Paaren, bei denen die moralische Valenz durch die Integration mehrerer Token bestimmt wird (z. B. „schützen“ vs. „demütigen“ in spezifischen Kontexten) anstatt durch ein einzelnes starkes Lexikon. Dieser Datensatz wurde rigoros validiert, um sicherzustellen, dass er nicht allein durch Bag-of-Words-Statistiken gelöst werden kann (er erfordert Multi-Token-Integration).

4. Kernergebnisse

Befund 1: Ein quantitativer lexikalischer $\to$ kompositioneller Gradient
Standardmäßige Sondierungsgenauigkeit legt nahe, dass die moralische Kodierung bei Schritt 1K entsteht. Die Autoren demonstrieren jedoch, dass dies die lexikalische Separabilität misst, nicht das kompositionelle Denken.

Standard Moral Probe: Onset bei Schritt 1K (Einzel-Lexem-Austausch).
Kompositionelle Moral Probe: Onset bei Schritt 5K (Multi-Token-Integration).
Gradient: Das Entstehen folgt einer strikten Ordnung: Lexikalische moralische Detektion (1K) $\to$ Sentiment (2K) $\to$ Kompositionelle moralische Kodierung (5K) $\to$ Syntax (6K).
Validierung: Der kompositionelle Probe transferiert über Konstruktionstypen hinweg (z. B. Training auf „Motiv“-Paaren, Testen auf „Rollen“-Paaren) und schneidet signifikant besser ab als eine Bag-of-Words-Baseline, was bestätigt, dass er echte kompositionelle Kodierung erfasst und nicht nur einen Vokabel-Lookup.

Befund 2: Fragilität löst Struktur auf, wo Genauigkeit flach ist
Während die mittlere Sondierungsgenauigkeit bis Schritt 4K auf ~0,95 sättigt und statisch bleibt, entwickelt sich das mittlere kritische Rauschen (Fragilität) kontinuierlich weiter bis Schritt 36K.

Schicht-Tiefen-Gradient: Es entwickelt sich ein monotoner Gradient, bei dem späte Schichten eine maximale Robustheit (hohes $\sigma^*$ ) beibehalten, während frühe Schichten progressiv brüchiger werden (kritisches Rauschen sinkt von 10,0 auf 1,8).
Replikation: Dieses Muster hält auch für das OLMo-3 7B Modell und ist über vier Random Seeds für den kompositionellen Probe hinweg robust.
Signifikanz: Das Modell durchläuft eine signifikante repräsentative Verfeinerung (Änderung von Robustheit und Redundanz), lange nachdem es die Daten einfach „klassifizieren“ kann.

Befund 3: Datenkuratierung formt Robustheit, ohne die Genauigkeit zu ändern
Die Autoren haben das OLMo-2 1B Modell mittels LoRA auf drei passenden Korpora (Narrative Moral, Declarative Moral, General Control) feinjustiert.

Genauigkeit: Alle drei Bedingungen produzierten eine identische Spitzen-Sondierungsgenauigkeit (~0,74–0,75).
Fragilität: Die Bedingungen produzierten distinkte Fragilitäts-Fingerabdrücke.
- Declarative Moral („Stehlen ist falsch“-Templates) führte zu diffuser Fragilität (10 von 16 Schichten waren fragil; mittleres $\sigma^* = 5,63$ ).
- Narrative/General Bedingungen waren robuster (mittleres $\sigma^* \approx 7,0$ ).
Implikation: Das Auswendiglernen syntaktischer Templates erzeugt schmale, niedrig-marginale Entscheidungsgrenzen, die unter Rauschen kollabieren – eine strukturelle Änderung, die für Genauigkeitsmetriken unsichtbar ist.

5. Signifikanz und Ansprüche

Das Paper stellt einen methodischen Anspruch auf, statt eines spezifischen moralischen Anspruchs: Sondierungsgenauigkeit ist eine schwellenwertbasierte, gedeckelte Metrik, die versagt, Dynamiken zu erfassen, sobald eine Eigenschaft linear dekodierbar ist.

Die Kern-These: In jedem getesteten Vergleich, in dem die Sondierungsgenauigkeit eine flache, uninformative Antwort liefert, liefert die Fragilität eine strukturierte, evolvierende Antwort.
Neubewertung von Emergenz: Das Paper argumentet, dass Behauptungen über „Emergenz“, die allein auf dem Onset des Standard-Probes basieren (z. B. „Moralität emergiert bei Schritt 1K“), oft Artefakte der lexikalischen Zugänglichkeit sind. Wahre kompositionelle Fähigkeiten entstehen später und folgen einer anderen Dynamik (graduell vs. schrittweise).
Nutzen: Fragilität dient als notwendiges Diagnoseinstrument für die Prätraining-Analyse, das die Evolution der Repräsentationsgeometrie (Margin und Redundanz) offenlegt, welche die Standardgenauigkeit verschleiert.

Die Autoren kommen zu dem Schluss, dass das Prätraining-Fenster wesentlich mehr Arbeit leistet, als Standard-Interpretierbarkeitsinstrumente offenbaren, und dass die Hinzunahme eines Fragilitäts-Ausleses essenziell ist, um diese fehlende Auflösung wiederherzustellen.