Technische Samenvatting: Het Lezen van Gekalibreerde Onzekerheid uit Trajecten van Taalmodellen

1. Probleemstelling

Huidige benaderingen voor Onzekerheidskwantificatie (UQ) bij Groot Taalmodellen (LLM's) met gestructureerde output staan voor een afweging tussen computationele efficiëntie en kalibratie. De standaardmethode, Maximum Softmax Probability (MSP), is computationeel vrij maar vaak slecht gekalibreerd, waarbij hoge zekerheid wordt toegekend aan onjuiste voorspellingen. Omgekeerd behandelen bestaande methoden die interne activaties onderzoeken, verborgen toestanden doorgaans als statische momentopnames (ofwel uit een enkele laag of gemiddeld), waardoor het laag-voor-laag traject waarmee een representatie wordt gevormd, wordt genegeerd. Deze statische visie negeert hoe bewijs zich opbouwt, versterkt of omkeert over de netwerkdiepte, wat mogelijk onzekerheidssignalen verbergt die aanwezig zijn in het computationele pad maar niet in de uiteindelijke outputverdeling.

2. Methodologie

De auteurs stellen een methode voor die modelactivaties niet behandelt als statische toestanden, maar als representatietrajecten. De aanpak omvat drie hoofdbestanddelen:

2.1. Het Substraat: MLP Schrijf-Vectoren

In plaats van ruwe verborgen toestanden te analyseren, richt de methode zich op de MLP schrijf-vectoren ($m_\ell$) die door de Multi-Layer Perceptron (MLP) van elke transformer-blok worden bijgedragen aan de residustroom. Eerdere werk op het gebied van mechanistische interpretatie suggereert dat MLP's cruciale locaties zijn voor de opslag van feitelijke kennis.

• De methode vangt de reeks van deze vectoren op de laatste promptpositie (de uitleespositie) tijdens één enkele forward pass.
• Het construeert een discrete traject in de representatieruimte door de cumulatieve som van deze vectoren te berekenen: $s_\ell = \sum_{k \le \ell} m_k$.
• Het traject wordt gedefinieerd van de initiële staat ($s_0 = 0$) tot het eindpunt ($s_L$).

2.2. Geometrische Kenmerkextractie

Het traject wordt samengevat met behulp van elf schaal-invariante geometrische kenmerken per laag, gegroepeerd in vier categorieën:

1. Diepteverdeling: Meet hoe computationele inspanning (updategrootte) over de lagen is verdeeld (bijvoorbeeld front-loading versus back-loading).
2. Lokaal Trajectvorm: Vangt directionele consistentie (opeenvolgende cosinus), abrupte veranderingen (kromming) en of updates de vorige staat versterken of tegenspreken (update-staat uitlijning).
3. Relatie tot Eindpunt: Meet hoe lagen zich verhouden tot de uiteindelijke richting, inclusief convergentie (richting naar eindpunt), uitlijning van individuele updates (update naar eindpunt) en identificatie van lagen die actief het eindpunt tegenspreken (tegenstrijdige ondersteuning).
4. Efficiëntie: Meet de verhouding van netto verplaatsing tot totale padlengte (cumulatieve coherentie), wat aangeeft hoe rechtstreeks het traject zijn eindpunt bereikt.

2.3. Sparse Lineaire Probe

Deze kenmerken worden ingevoerd in een sparse lineaire probe (sparse logistische regressie) om de waarschijnlijkheid van een fout te voorspellen.

• Input: De vector van 11 kenmerken per laag ($\phi(x)$) en de MSP-score van het model ($p_{msp}$).
• Interactie: Het model bevat interactietermen tussen de kenmerken en MSP, waardoor de probe geometrische signalen verschillend kan wegen op basis van de basale zekerheid van het model.
• Training: De probe wordt getraind om class-gebalanceerde binaire cross-entropy te minimaliseren tegen een foutindicator, geregulariseerd met een elastic-net penalty om sparsiteit af te dwingen. Dit stelt het model in staat om voorspellende kenmerken direct te identificeren zonder een aparte selectiefase.

3. Belangrijkste Bijdragen

1. Traject-gebaseerde UQ: De auteurs stellen een compacte set geometrische kenmerken voor die de evolutie van representaties over de netwerkdiepte beschrijven. Wanneer deze worden ingevoerd in een sparse lineaire probe, presteert deze methode beter dan MSP onder selectief afzien, met prestatiewinsten die schalen met de miscalibratie van de basis (tot 21 AURC-punten verbetering).
2. End-to-End Interpretatie: In tegenstelling tot ondoorzichtige dichte probes op ruwe activaties, heeft elk kenmerk een gesloten-vorm geometrische betekenis. De coëfficiënten van de probe onthullen hoe fouten optreden: het identificeren van welke lagen voortijdig vastleggen, welke de lopende staat tegenspreken en waar trajecten afwijken van hun eindpunt.
3. Uitgebreide Empirische Evaluatie: De methode werd geëvalueerd over 9 instructie-gefineerde LLM's (Qwen, Llama, DeepSeek-families, variërend van 3B tot 72B parameters) op vijf diverse NLP-taken (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. Experimentele Resultaten

• Prestaties: De probe verbeterde op 41 van de 45 model-datasetparen ten opzichte van MSP. De winsten waren het meest significant waar MSP het slechtst presteerde (hoge miscalibratie), met een vermindering van AURC (Area Under the Risk-Coverage curve) met 11,45 tot 21,83 punten in de moeilijkste configuraties.
• Vergelijking met Baselines: De probe kwam overeen met of overtrof een hoge-capaciteit "ruw-activatie probe" (getraind op volledige verborgen toestanden) op 24 configuraties en bleef binnen 2 AURC-punten op 6 andere, ondanks het gebruik van slechts 11 scalair kenmerken.
• Selectiviteit: De probe produceert gladde, monotoon risicodekkingscurves, waardoor de onstabiele lage-dekking pieken die vaak bij MSP worden gezien, worden vermeden. Het scheidt effectief correcte van onjuiste voorspellingen, zelfs wanneer MSP-zekerheidsscores identiek zijn.
• Interpretatiebevindingen:
  • Correct versus Onjuist: Voorspellingen met identieke MSP-scores vertonen distincte trajecthandtekeningen. Bijvoorbeeld, onjuiste voorspellingen tonen vaak voortijdige uitlijning met de uiteindelijke richting in vroege lagen, gevolgd door een "dubbele terugkeer" of afwijking.
  • Taakspecificiteit: De geometrische handtekeningen van fouten variëren per taak. Bij HaluSum manifesteerden fouten zich als voortijdige toewijzing gevolgd door een late, staat-brekende correctie. Bij CosmosQA verschenen fouten als afwijking in het midden van de diepte, orthogonaal aan de antwoordrichting.
  • Coëfficiëntanalyse: De coëfficiënten van de probe lokaliseren foutmechanismen. Bijvoorbeeld, bij HaluSum concentreerden foutsignalen zich in het laatste kwart van het netwerk, terwijl ze bij CosmosQA over de diepte waren verspreid.

5. Betekenis en Claims

Het artikel stelt dat het behandelen van activaties als beweging in plaats van statische momentopnames een "hanterbare middenweg" biedt tussen de ondoorzichtigheid van dichte probes en het beperkte signaal van MSP.

• Auditbare Onzekerheid: Omdat de kenmerken per constructie interpreteerbaar zijn, stelt het resulterende zekerheidssignaal praktici in staat om niet alleen te inspecteren of een model onzeker is, maar waar in zijn berekening die onzekerheid ontstaat (bijvoorbeeld specifieke lagen of geometrische afwijkingen).
• Efficiëntie: De methode voegt verwaarloosbare computationele kosten toe tijdens inferentie, vereist slechts één forward pass en eenvoudige geometrische berekeningen, en vermijdt de hoge kosten van op steekproeven gebaseerde of ensemble-benaderingen.
• Beperkingen: De auteurs merken op dat hun analyse beperkt is tot discrete-keuze situaties (meerkeuzevragen) en dat de probe momenteel per (model, taak) wordt gefit, waarbij de overdraagbaarheid over modellen en taken een open vraag blijft.

Kortom, het werk toont aan dat de geometrie van hoe een taalmodel een voorspelling assembleert, rijke, interpreteerbare signalen bevat over onzekerheid die onzichtbaar zijn voor de uiteindelijke outputverdeling, waardoor betrouwbaardere en auditbaardere selectieve voorspelling mogelijk wordt.