💬 NLP

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Dit artikel introduceert "fragility" (fragiliteit), een complementaire metriek die het activatie-ruisniveau meet waarbij de nauwkeurigheid van een lineaire probe instort, om evoluerende representationele structuren en gradiënten van morele codering in LLM-pretraining te onthullen die onzichtbaar blijven zodra de standaard probe-nauwkeurigheid verzadigt.

Oorspronkelijke auteurs: Orion Reblitz-Richardson

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Orion Reblitz-Richardson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Tevreden Leerling"

Stel je voor dat je een docent bent die probeert bij te houden hoe goed een leerling een vak leert gedurende een heel schooljaar. Je geeft ze elke week een simpele quiz.

Week 1: De leerling heeft 50% goed.
Week 2: Ze hebben 95% goed.
Week 3 tot Week 40: Ze blijven 95% goed hebben.

Als je alleen naar de score (nauwkeurigheid) kijkt, zou je denken dat de leerling na Week 2 gestopt is met leren. Je zou zeggen: "Geweldig, ze beheersen het!" en stoppen met opletten.

Maar de leerling is eigenlijk nog steeds aan het leren. Ze verfijnen hun begrip, leggen verbanden en bouwen een diepere, robuustere kennisbasis op. De simpele quiz is gewoon niet moeilijk genoeg om het verschil te laten zien tussen "goed genoeg" en "uitstekend".

Dit is precies wat er gebeurt met AI-modellen.
Wanneer onderzoekers een standaardtest gebruiken, genaamd "lineaire probing", om te zien of een AI een concept begrijpt (zoals moraliteit), bereikt de score van de AI heel vroeg in de training een plafond (ongeveer 95%). Gedurende de resterende 95% van de trainingstijd blijft de score vlak. De standaardtest wordt blind voor alle complexe veranderingen die binnen het model plaatsvinden.

Het Nieuwe Instrument: De "Stress Test" (Fragiliteit)

De auteurs van dit artikel zeggen: "Laten we niet alleen naar de score kijken. Laten we kijken hoe stevig de kennis is."

Ze introduceren een nieuwe metriek genaamd Fragiliteit. In plaats van alleen te vragen: "Kan de AI dit beantwoorden?", vragen ze: "Hoeveel ruis kan de AI verdragen voordat hij in de war raakt?"

De Analogie: Stel je twee mensen voor die een zware doos vasthouden.
- Persoon A houdt deze perfect stil. Als je een tikje tegen hun schouder geeft, laten ze de doos vallen. (Hoge nauwkeurigheid, maar fragiel).
- Persoon B houdt deze vast met een brede, sterke grip, misschien zelfs met beide handen en de benen stevig gezet. Als je een tikje tegen hun schouder geeft, wankelen ze niet eens. (Hoge nauwkeurigheid, en robuust).

Beide mensen houden de doos vast (beiden hebben een hoge nauwkeurigheid), maar Persoon B heeft een veel dieper, stabieler begrip van hoe je de doos moet vasthouden.

In het artikel voegen ze "ruis" (willekeurige statische elektriciteit/ruis) toe aan het "brein" van de AI terwijl hij antwoord geeft. Ze meten hoeveel ruis er nodig is voordat de AI fouten begint te maken.

Lage Fragiliteit (Hoge Ruis-tolerantie): De AI is robuust. Hij begrijpt het concept diepgaand en redundant.
Hoge Fragiliteit (Lage Ruis-tolerantie): De AI is broos. Hij heeft slechts een trucje of een specif kind woord gememoriseerd, en een klein beetje verwarring breekt hem.

Wat Ze Ontdekten

Door deze "Stress Test" te gebruiken in plaats van alleen de "Score", ontdekten de auteurs drie belangrijke zaken die voorheen onzichtbaar waren:

1. De Leervolgorde: Eerst Woorden, Dan Betekenis

Ze volgden hoe de AI leerde over "moraliteit".

Het Oude Zicht: De AI leert moraliteit erg snel (rond stap 1.000).
Het Nieuwe Zicht: De AI leert eigenlijk in twee fasen.
1. Fase 1 (Stap 1.000): Het leert vocabulaire. Het weet dat het woord "verraden" slecht is en "groeten" goed. Dit is gemakkelijk op te merken met een simpele score.
2. Fase 2 (Stap 5.000): Het leert compositie. Het begrijpt dat hetzelfde woord goed of slecht kan zijn afhankelijk van de context (bijv. "een geheim bewaren om een broer of zus te beschermen" versus "een geheim bewaren om een broer of zus te kwetsen").

De "Stress Test" liet zien dat hoewel de AI de woorden vroegtijdig kende, het veel langer duurde om het stevige, contextuele begrip te bouwen van waarom die woorden ertoe deden.

2. De "Broze Vroege Lagen"

Terwijl de AI duizenden stappen trainde, onthulde de "Stress Test" een patroon in de hersenstructuur:

De bovenste lagen van de AI werden ongelooflijk sterk en stabiel (als een diepe fundering).
De onderste lagen werden verrassend fragiel en broos, ook al was de algemene score nog steeds hoog.

Het is als een wolkenkrabber waarbij de bovenste verdiepingen zijn versterkt met staal, maar de onderste verdiepingen van karton zijn gemaakt. Als je aan het gebouw schudt (ruis toevoegt), kan de onderkant instorten, zelfs als de bovenkant er goed uitziet. De standaardscore zag dit nooit; de "Stress Test" wel.

3. Hoe Je Leert Is Belangrijk (Zelfs als de Score Dat Niet Laat Zien)

De auteurs leerden de AI op drie verschillende manieren:

Verhalen: Morele lessen binnen fabels (zoals Aesopus).
Declaratief: Het herhalen van simpele zinnen zoals "Stelen is fout" keer op keer.
Controle: Algemene tekst zonder morele inhoud.

Het Resultaat: Alle drie de groepen haalden exact dezelfde score op de eindtest.
Het Verschil:

De Verhalen-groep bouwde een stevig, robuust begrip op.
De Declaratieve groep (het herhalen van "Stelen is fout") bouwde een fragiel begrip op. Ze hadden het patroon perfect gememoriseerd, maar als je de zin lichtjes veranderde, stortten ze in.

Dit bewijst dat hoe je data cureert de interne "spier" van de AI verandert, zelfs als de uiteindelijke testscore identiek lijkt.

De Kern van het Verhaal

Het artikel betoogt dat nauwkeurigheid een slechte liniaal is om vooruitgang te meten zodra een model "goed genoeg" is. Het bereikt een plafond en vertelt ons dan niets nieuws meer.

Door een Fragiliteitstest toe te voegen (controleren hoeveel ruis het model kan verdragen), kunnen onderzoekers de verborgen structuur van het leren zien:

Wanneer concepten overgaan van simpel woordherkenning naar diep begrip.
Welke delen van het AI-brein sterk zijn en welke zwak zijn.
Of de AI het echt "begrijpt" of gewoon een patroon heeft gememoriseerd.

Kortom: Vraag niet alleen of de AI het juiste antwoord gaf. Vraag hoe moeilijk het zou zijn om de AI te misleiden. Daar ligt het echte verhaal van het leren verborgen.

Technische Samenvatting: "Wanneer de nauwkeurigheid van probing verzadigt, lost fragiliteit op"

1. Het Probleem: De Verzadiging van Probing-nauwkeurigheid

Standaard lineaire probing is een veelgebruikt interpretatieprotocol waarbij een lineaire classifier wordt getraind op bevroren verborgen toestanden (hidden states) om een specifieke eigenschap te voorspellen (bijv. sentiment, moraliteit, syntaxis). Als de classifier een hoge nauwkeurigheid bereikt, wordt de eigenschap als "gecodeerd" beschouwd.

Het artikel identificeert een kritieke foutmodus in dit protocol wanneer het wordt toegepast op pre-training dynamiek. Op de OLMo-2 1B traject wordt de standaard probing-nauwkeurigheid voor eigenschappen zoals moraliteit binnen de eerste paar duizend stappen verzadigd (bereikt ~~95% nauwkeurigheid bij stap 4K). Voor de resterende ~95% van het pre-training traject (~~33K stappen) blijft de nauwkeurigheidsmeting vlak. Hierdoor wordt het instrument blind voor de voortdurende representatieve veranderingen die binnen het model plaatsvinden, waardoor het overgrote deel van de pre-training "onzichtbaar" wordt voor standaard analyse.

2. Methodologie: Introductie van "Fragiliteit"

Om de verloren resolutie te herstellen, introduceren de auteurs fragiliteit, een aanvullende metriek per laag.

Definitie: Fragiliteit wordt gedefinieerd als het kritieke ruisniveau ( $\sigma^*_\ell$ ) waarbij de nauwkeurigheid van een getrainde probe instort onder een specifieke drempelwaarde (gesteld op 0,6, oftewel kans + 0,1).
Procedure:
1. Train een standaard lineaire probe op schone verborgen toestanden voor een specifieke laag $\ell$ .
2. Injecteer Gaussische ruis ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) in de gecachte test-set activaties.
3. Evalueer de probe opnieuw over een logaritmische sweep van ruisschalen ( $\sigma \in \{0,1, 0,3, 1,0, 3,0, 10,0\}$ ).
4. Identificeer de kleinste $\sigma$ waar de nauwkeurigheid onder de drempelwaarde zakt.
Interpretatie:
- Lage $\sigma^*_\ell$ : De representatie is fragiel; de beslissingsgrens heeft een smalle marge of lage redundantie, waardoor de nauwkeurigheid instort onder kleine perturbaties.
- Hoge $\sigma^*_\ell$ : De representatie is robuust; het onderscheid is gecodeerd met een brede marge en/of hoge redundantie.
Reikwijdte: Deze metriek wordt toegepast op dezelfde getrainde probes die worden gebruikt voor nauwkeurigheidscurves, wat het een directe aanvulling maakt die de geometrie van scheidbaarheid en redundantie volgt, zelfs nadat de nauwkeurigheid is geplatteerd.

3. Belangrijkste Bijdragen en Experimentele Opzet

Het artikel valideert deze methodologie met behulp van de OLMo-2 1B (37 checkpoints, dichte 1K-stap sampling) en OLMo-3 7B (20 checkpoints) families. De auteurs gebruiken vier verschillende minimal-pair datasets om verschillende vermogens te proberen:

Standaard Moreel: Enkele-token wisselingen van moreel geladen lexemen (bijv. "verraden" vs. "begroeten").
Sentiment: Enkele-token wisselingen van adjectieven.
Syntaxis: Structurele integriteitsschendingen.
Compositioneel Moreel (Nieuwe Bijdrage): Een nieuwe dataset van 200 paren waarbij de morele valentie wordt bepaald door de integratie van meerdere tokens (bijv. "beschermen" vs. "vernederen" in specifieke contexten) in plaats van een enkele sterke lexeem. Deze dataset is rigoureus gevalideerd om te garanderen dat deze niet alleen door bag-of-words statistieken kan worden opgelost (vereist multi-token integratie).

4. Belangrijkste Resultaten

Bevinding 1: Een Kwantitatieve Lexicale $\to$ Compositionele Gradiënt
Standaard probing-nauwkeurigheid suggereert dat morele codering ontstaat bij stap 1K. De auteurs demonstreren echter dat dit lexicale scheidbaarheid meet, en geen compositioneel redeneren.

Standaard Morele Probe: Begint bij stap 1K (enkele lexeme swap).
Compositionele Morele Probe: Begint bij stap 5K (multi-token integratie).
Gradiënt: De opkomst volgt een strikte volgorde: Lexicale morele detectie (1K) $\to$ Sentiment (2K) $\to$ Compositionele morele codering (5K) $\to$ Syntaxis (6K).
Validatie: De compositionele probe is overdraagbaar tussen constructietypes (bijv. trainen op "motief" paren, testen op "rol" paren) en presteert significant beter dan een bag-of-words baseline, wat bevestigt dat het echte compositionele codering vangt, en niet slechts vocabulaire lookup.

Bevinding 2: Fragiliteit Lost Structuur Op Waar Nauwkeurigheid Vlak Is
Terwijl de gemiddelde probing-nauwkeurigheid platteert op ~0,95 bij stap 4K en statisch blijft, blijft de gemiddelde kritieke ruis (fragiliteit) evolueren tot stap 36K.

Laag-diepte Gradiënt: Er ontwikkelt zich een monotone gradiënt waarbij late lagen maximale robuustheid behouden (hoge $\sigma^*$ ), terwijl vroege lagen progressief brosser worden (kritieke ruis daalt van 10,0 naar 1,8).
Replicatie: Dit patroon houdt stand bij het OLMo-3 7B model en is robuust over vier willekeurige seeds voor de compositionele probe.
Significantie: Het model ondergaat significante representatieve verfijning (verandering in robuustheid en redundantie) lang nadat het simpelweg de data correct kan "classificeren".

Bevinding 3: Data Curatie Vormt Robuustheid Tegemoet Zonder de Nauwkeurigheid te Veranderen
De auteurs hebben het OLMo-2 1B model gefinetuned op drie overeenkomstige corpora (Narrative Moral, Declarative Moral, General Control) met behulp van LoRA.

Nauwkeurigheid: Alle drie de condities produceerden een identieke piek probing-nauwkeurigheid (~0,74–0,75).
Fragiliteit: De condities produceerden verschillende fragiliteitsvingerafdrukken.
- Declarative Moral ("Stealing is wrong" sjablonen) resulteerde in diffuse fragiliteit (10 van de 16 lagen waren fragiel; gemiddelde $\sigma^* = 5,63$ ).
- Narrative/General condities waren robuuster (gemiddelde $\sigma^* \approx 7,0$ ).
Implicatie: Het memoriseren van syntactische sjablonen creëert smalle, lage-marge beslissingsgrenzen die instorten onder ruis, een structurele verandering die onzichtbaar is voor nauwkeurigheidsmetingen.

5. Significantie en Claims

Het artikel maakt een methodologische claim in plaats van een specifieke morele domeinclaim: Probing-nauwkeurigheid is een drempelwaarde-gebaseerde, beperkte metriek die faalt om dynamiek te vangen zodra een eigenschap lineair decodeerbaar is.

De Kernthesis: In elke geteste vergelijking, waar probing-nauwkeurigheid een vlak, oninformatief antwoord geeft, geeft fragiliteit een gestructureerd, evoluerend antwoord.
Herformulering van Emergentie: Het artikel betoogt dat claims van "emergentie" gebaseerd op enkel de standaard probe onset (bijv. "moraliteit emergeert bij stap 1K") vaak artefacten zijn van lexicale toegankelijkheid. Ware compositionele vermogens emergeren later en volgen een andere dynamiek (gradueel versus stapgewijs).
Nut: Fragiliteit dient als een noodzakelijke diagnose voor pre-training analyse, waarbij de evolutie van de representatieve geometrie (marge en redundantie) wordt onthuld die standaard nauwkeurigheid verbergt.

De auteurs concluderen dat het pre-training venster aanzienlijk meer werk verricht dan standaard interpretatie-instrumenten onthullen, en dat het toevoegen van een fragiliteits-output essentieel is om deze ontbrekende resolutie te herstellen.