Architecture Determines Observability in Transformers

1. Probleemstelling

Autoregressieve Large Language Models (LLM's) maken regelmatig zekere fouten—situaties waarin het model een token uitvoert met een hoge softmax-kans (hoge zekerheid) die toch onjuist is. Standaard bewakingstechnieken, die vertrouwen op uitvoerzekerheid (bijv. maximale softmax-kans) of getrainde voorspellers op de laatste laag, slagen er niet in om deze fouten te signaleren.

Het paper stelt dat voor activatie-gebaseerde bewaking succesvol te zijn, het model een intern signaal moet behouden over "kwaliteit van per-token beslissingen" dat onderscheidend is en niet volledig herleidbaar is uit het uitvoer-zekerheidssignaal. Het is echter onduidelijk of dit signaal een universele eigenschap van transformers is of afhankelijk is van specifieke architecturale keuzes en trainingsdynamiek. Het kernprobleem is dat standaard probeermethoden vaak "besliskwaliteit" verwarren met "uitvoerzekerheid", wat leidt tot opgeblazen schattingen van bewaakbaarheid.

2. Methodologie

De auteurs stellen een rigoureus kader voor om Bewaakbaarheid te isoleren en te meten, gedefinieerd als de lineaire leesbaarheid van besliskwaliteit uit bevroren mid-laag-activaties na controle voor uitvoerzekerheid.

Belangrijke Definities en Metrieken

• Bewaakbaarheid ($\rho_{partial}$): De partiële Spearman-correlatie tussen een lineaire probe op verborgen toestanden ($h^{(l)}$) en de per-token cross-entropy-verlies ($\ell$), gecontroleerd voor twee verstorende factoren:
  1. Maximale softmax-kans ($\hat{p}_{max}$).
  2. Activatienorm ($\|h\|$).
     Dit isoleert het "zekerheid-geresidualiseerde" signaal.
• Output-gecontroleerd Residu ($r_{OC}$): Een strengere metriek die verder controleert voor een getrainde Multi-Layer Perceptron (MLP)-voorspeller op de laatste laagrepresentatie. Als $r_{OC} > 0$, bevat het mid-laag-signaal informatie over besliskwaliteit die de laatste uitvoerlaag verwaarloost of niet benut.
• Bewaakbaarheidsinstorting: Een staat waarin $\rho_{partial}$ daalt tot een detectiedrempel (ongeveer $\le 0.15$) en $r_{OC}$ naar nul nadert, wat aangeeft dat de architectuur het uitvoer-onafhankelijke foutsignaal niet heeft behouden.

Experimenteel Protocol

• Data: WikiText-103 voor het trainen van probes; downstream-taken (SQuAD, MedQA, TruthfulQA) voor operationele validatie.
• Proberen: Een eenvoudige lineaire kop ($w^T h + b$) getraind op bevroren activaties om een binaire doelstelling te voorspellen: of het residu-verlies ($\ell - \hat{\ell}$) positief is (d.w.z. het model is foutiever dan zijn zekerheid suggereert).
• Controles: Het onderzoek hanteert uitgebreide controles, waaronder niet-lineaire MLP's, logit-entropie-controles en shuffle-tests om artefacten uit te sluiten.
• Datasets: 25 modellen over 6 families (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

3. Belangrijkste Bijdragen

A. De "Zekerheidsvervuiling" van Probes

Het paper toont aan dat standaard lineaire probes zwaar vervuild zijn door uitvoerzekerheid. Over 13 modellen heen, absorbeert het controleren voor maximale softmax en activatienorm 57,7% van het ruwe probesignaal. Dit impliceert dat eerdere studies die "redeneersignalen" in verborgen toestanden beweerden te vinden, mogelijk slechts de eigen zekerheidsniveaus van het model detecteerden.

B. Architectuurconfiguratie Bepaalt Bewaakbaarheid

De meest significante bevinding is dat bewaakbaarheid geen generieke eigenschap van transformers is; het wordt bepaald door specifieke architecturale configuraties en trainingsrecepten.

• Het Instortingsfenomeen: In de Pythia-suite (gecontroleerde training) instorten modellen met de (24 lagen, 16 koppen) configuratieklasse consequent tot $\rho_{partial} \approx 0.10$, ongeacht het aantal parameters (410M tot 1,4B) of de datasetvariant (Pile versus Gededupliceerde Pile).
• Gezonde Band: Andere configuraties (bijv. 16L/8H, 32L/32H) behouden een "gezonde" signaalrange van $\rho_{partial} \in [0.21, 0.38]$.
• LLAMA versus QWEN: Bij vergelijkbare schaal (3B parameters) behoudt QWEN 2.5 sterke bewaakbaarheid ($\rho_{partial} \approx 0.26$), terwijl LLAMA 3.2 instort ($\rho_{partial} \approx 0.09$). De verdelingen van proefzaden overlappen niet, wat wijst op een fundamenteel architecturaal verschil.

C. Instorting door Trainingsdynamiek

Door checkpoint-analyse van Pythia 1B (gezond) versus Pythia 1.4B (instortend), tonen de auteurs aan dat beide configuraties aanvankelijk het signaal vormen vroeg in de training. Echter, tijdens de mid-training wischt de (24L, 16H)-architectuur dit signaal uit terwijl het voorspellende verlies (perplexiteit) blijft verbeteren. De gezonde configuratie herstelt en behoudt het signaal. Dit bewijst dat instorting het resultaat is van trainingsdynamiek die interacteert met de architectuur, en niet een statisch onvermogen van de architectuur om het signaal te representeren.

D. Operationele Nut (Exclusieve Vangst)

Het onderzoek valideert het praktische nut van deze probes op downstream-taken (QA, Medisch, Waarheidsgetrouwheid).

• Exclusieve Vangstpercentage: Bij een vlagpercentage van 20% vangt de waarnemer 10,9%–13,4% van de fouten die zekerheidsbewaking mist.
• Transferbaarheid: Probes getraind op WikiText transfereren naar downstream-taken zonder taak-specifiek hertrainen, en vangen "zekere maar foutieve" antwoorden in Medische QA en Lezingbegrip.
• Beperking: De waarnemer detecteert geen "vloeiende hallucinaties" (TruthfulQA) waarbij het model met zekerheid een onwaarheid bevestigt; het vangt specifiek token-niveau voorspellingstijl waarbij de interne staat in strijd is met de uitvoerzekerheid.

4. Belangrijkste Resultaten

• Niet-lineariteit: Niet-lineaire probes (MLP's) herstellen het signaal niet in instortende configuraties, wat bewijst dat het verlies representatief is en geen beperking van lineaire uitlezingen.
• Schaal-onafhankelijkheid: Binnen een gezonde familie (bijv. QWEN 2.5) is bewaakbaarheid stabiel over een 28x parameterbereik (0,5B tot 14B).
• Recept-afhankelijkheid: De specifieke configuratie die instort, hangt af van het trainingsrecept (bijv. Pythia stort in bij 24L/16H; LLAMA stort in bij 28L/24H).

5. Betekenis en Implicaties

1. Architectuurselectie als Bewakingsbesluit: Het paper stelt dat het kiezen van een modelarchitectuur niet alleen een prestatiebesluit is, maar een bewakingsbesluit. Als een specifieke configuratie (zoals LLAMA 3B of Pythia 24L/16H) wordt gekozen, wordt activatie-gebaseerde bewaking voor zekere fouten onmogelijk, ongeacht hoe verfijnd het bewakingsinstrument is.
2. Herdading van Probevaliditeit: Het onderzoek stelt vast dat toekomstig probe-onderzoek gericht op besliskwaliteit moet controleren voor uitvoerzekerheid. Zonder deze controles worden resultaten waarschijnlijk de "uitvoer-onafhankelijke" signalen met een factor 2–3 overschat.
3. Trainingsdynamiek: De ontdekking dat training actief een signaal wist dat aanvankelijk aanwezig was, suggereert dat het behouden van bewaakbaarheid een niet-triviale optimalisatieprobleem is. Huidige trainingsdoelen (verlies minimaliseren) kunnen onbedoeld de interne signalen vernietigen die nodig zijn voor veiligheidsbewaking.
4. Complementaire Bewaking: De waarnemer biedt een complementair signaal aan uitvoerzekerheid. Waar zekerheidsmonitoren "onzekere" fouten vangen, vangen activatiemonitoren "zekere maar foutieve" fouten. Deze capaciteit is echter begrensd door het vermogen van de architectuur om het signaal te behouden.

Conclusie:
Het paper concludeert dat architectuur bewaakbaarheid bepaalt. Het vermogen van een model om bewaakt te worden op zekere fouten is een upstream-eigenschap die wordt bepaald door de interactie van zijn configuratie en trainingsrecept. Zodra een model is getraind in een "instortende" configuratie, kan geen enkel post-hoc probe-ontwerp het verloren signaal herstellen. Daarom vereist het waarborgen van bewaakbaarheid het selecteren van architecturen en trainingsrecepten die deze interne, zekerheid-onafhankelijke signalen behouden.