Technische Samenvatting: Self-Attention als Transport: Grenzen van Symmetrische Spectrale Diagnostiek

Probleemstelling

Grote taalmodellen (LLM's) hallucineren door distincte routeringspathologieën: bottleneck-fouten, waarbij attention zich te sterk concentreert op een smal aantal posities, en diffuse fouten, waarbij attention zich zo dun verspreidt dat relevantie wordt verdund. Hoewel deze modi kwantitatief vergelijkbaar lijken onder standaard spectrale lenzen, zijn ze mechanistisch tegengesteld. Bestaande spectrale diagnostiek (bijv. LLM-Check, EigenTrack, LapEigvals) onderscheidt deze vaak niet of verwardt capaciteitsfouten met richtingsfouten. Bovendien erven veel spectrale kenmerken verstorende afhankelijkheden van sequentielengte over, waardoor het ware structurele signaal van attention-routering wordt verduisterd. Dit artikel tracht de structurele grenzen te karakteriseren van wat attention-gebaseerde diagnostiek wel en niet kan meten, met name door de beperkingen van symmetrische spectrale methoden bij het detecteren van informatie-stroomrichting aan te kaarten.

Methodologie

De auteurs formaliseren attention-heads als graad-genormaliseerde bipartiete transportoperatoren ($M$) tussen queries en keys. Deze representatie levert een schaal-invariante operator op waarvan de spectrale eigenschappen routeringskwaliteit coderen. De methodologie rust op drie pijlers:

1. Orthogonale Decompositie: De transportoperator $M$ wordt onder het Hilbert–Schmidt-inproduct ontbonden in een symmetrisch component ($M_{sym}$) dat transportcapaciteit regelt en een antisymmetrisch component ($M_{asym}$) dat transportrichting regelt.
2. Spectrale Diagnostiek:
   • Geleiding ($\phi$): Afgeleid van het symmetrische component via de Cheeger-ongelijkheid, meet $\phi$ de efficiëntie van informatietransport. Een lage $\phi$ duidt op bottlenecks; een hoge $\phi$ duidt op diffuse menging.
   • Asymmetrie-coëfficiënt ($G$): Gedefinieerd als de genormaliseerde Frobenius-afstand van $M$ tot de symmetrische deelruimte ($G = \|M_{asym}\|_F / (\|M\|_F + \epsilon)$), dient $G$ als het minimale complement dat nodig is om richtingsinformatie te herstellen die verloren is gegaan door symmetrische samenvattingen.
   • Spectrale Gap ($1-\sigma_2$): De tweede singuliere waarde van $M$ fungeert als proxy voor geleiding.
3. Lengte-gereguleerde Evaluatie: Om verwarring aan te pakken, introduceren de auteurs een Lengte-gereguleerde AUROC (LC-AUROC)-protocol. Dit omvat het stratificeren van steekproeven op basis van responslengte in bins, het residualiseren van scores tegen lengte binnen bins, en het aggregeren via paar-gewogen AUROC. Dit isoleert structurele routeringsignalen van lengte-afhankelijke artefacten.
4. Theoretische Benchmarks: Het artikel leidt gesloten-vorm geleidingslandschappen af voor canonieke causale architecturen (uniform causaal, window attention) om architecturale "vloeren" en verwachte vormen van foutmodi vast te stellen.

Belangrijkste Bijdragen

1. Structurele Grenzen van Symmetrische Diagnostiek (Oriëntatieblindheid)

Het artikel bewijst Stelling 4 (Oriëntatieblindheid): Elke spectrale diagnostiek die uitsluitend afhankelijk is van singuliere waarden of het symmetrische component van de attention-operator is transpos-invariant. Bijgevolg zijn dergelijke diagnostische middelen structureel "oriëntatieblind" en kunnen ze een operator niet onderscheiden van zijn transpos, waardoor ze onbekwaam zijn om informatie-stroomrichting te detecteren. Een kwantitatieve converse (Propositie 6) stelt dat elke Lipschitz-diagnostiek die gevoelig is voor richting, moet afhankelijk zijn van het antisymmetrische component, met gevoeligheid begrensd door $\|M_{asym}\|_F$.

2. Tweezijdige Geleidingstheorie

In tegenstelling tot metrieken die slechts één foutmodus detecteren, biedt het geleidingskader een tweezijdige diagnostiek:

• Bottlenecks: Lage geleiding ($\phi$) certificeert overgeconcentreerde routering.
• Diffuse Menging: Abnormaal hoge geleiding (relatief aan architecturale baselines) certificeert ondergeconcentreerde routering.
  De auteurs leiden een gesloten-vorm bipartiete-Cheeger-landschap af voor uniform causale attention, waarbij een $n$-onafhankelijke vloer van $\phi \ge 1/5$ wordt bewezen met een worst-case snede bij $t^*/n \approx 0,32$. Window attention wordt aangetoond deze vloer te doorboren als $O(w/n)$.

3. Graadtoereikendheid en Koppelingsstructuur

Stelling 2 (Graadtoereikendheid) formaliseert wanneer koppelingsstructuur bijdraagt aan spectrale eigenschappen boven graadheterogeniteit uit. Het stelt vast dat voor bijna-reguliere attention ($\kappa \approx 1$), de spectrale gap volledig wordt verklaard door graadverdelingen. Alleen wanneer graadheterogeniteit significant afwijkt, biedt de koppelingsstructuur een onafhankelijk signaal.

4. Empirische Polairiteitsvoorspelling

Het kader levert een falsifieerbare voorspelling op: bottleneck-gedomineerde en diffuus-gedomineerde benchmarks moeten tegengestelde polariteit vertonen in geleidingsscores.

• HaluEval: Hallucinaties clusteren in het laaggeleidingsregime (bottleneck).
• MedHallu: Hallucinaties clusteren in het hooggeleidingsregime (diffuus).
  Deze polariteitsomkering wordt empirisch waargenomen onder lengte-gereguleerde evaluatie, wat de tweezijdige theorie valideert.

Empirische Resultaten

• Diagnostische Prestaties: Onder LC-AUROC behouden transportkenmerken interpreteerbaar signaal (0,62–0,84) op modellen tot 8B parameters.
  • Geleiding ($\phi$): Vangt capaciteitsfouten. Het dominante signaal verschuift met modelschaal: bij 70M parameters domineren locatiestatistieken (gemiddelde) (uniforme depressie); bij 1,4B domineren spreidingsstatistieken (std) (routeringsheterogeniteit).
  • Asymmetrie ($G$): Over het algemeen spaarzaam (bij kansprestaties) in decoder-only modellen, wat weerspiegelt dat inhoudsafhankelijke richtingsroutering niet de primaire foutmodus is. Uitzonderingen zijn Flan-T5 (waar $G$ cross-attention-grondslagfouten detecteert) en Pythia (waar $G$ afwijkingen detecteert van RoPE-geïnduceerde positionele verval).
• Basislijnvergelijking:
  • Hidden-state probes (LLM-Check): Bereiken sterke algemene detectie (0,62–0,72 LC-AUROC) maar zijn structureel agnostisch voor foutmodi en vertonen matige lengteverwarring.
  • Supervisie Spectrale Classificatoren (EigenTrack): Vertonen marginaal signaal en slechte generalisatie over datasets, waarschijnlijk door overfitting op dataset-specifieke spectrale handtekeningen en irreduceerbare lengte-afhankelijkheid via aspectverhoudingen.
• Schaling: Transportdiagnostiek blijft bestaan over Pythia-schalen (70M tot 1,4B) en LLaMA 3.1 8B, hoewel de aggregatiemethode die nodig is om het signaal te vangen, verandert van gemiddelde-gebaseerd naar variantie-gebaseerd naarmate modelcapaciteit toeneemt.

Betekenis en Claims

Het artikel claimt een structurele grens voor attention-diagnostiek vast te stellen in plaats van een enkele "beste" hallucinatie-detector voor te stellen. De primaire betekenis ligt in:

1. Decompositie: Het partitioneren van routeringsfouten in orthogonale assen (capaciteit vs. richting) met formele garanties (Cheeger-ongelijkheid, stelling over oriëntatieblindheid).
2. Interpreteerbaarheid: Het bieden van een mechanistische verklaring voor waarom verschillende datasets verschillende foutmodi vertonen (bottleneck vs. diffuus) op basis van de vorm van het geleidingslandschap.
3. Methodologische Strenge: Het aantonen dat lengteverwarring de ruwe AUROC met maximaal 0,28 punten kan inflateren en het vaststellen van een protocol (LC-AUROC) om structurele signalen te isoleren.
4. Architecturale Inzicht: Het tonen aan dat de "sparsiteit" van richtingssignalen ($G$) in decoder-only modellen een architecturale eigenschap is (dominantie van positionele structuur boven inhoudsafhankelijke richting) en geen falen van de diagnostiek.

De auteurs benadrukken dat het kader, hoewel het beschrijft hoe attention-routering faalt, niet claimt hallucinatie-detectie in alle gevallen op te lossen (bijv. kennislacunes zonder routeringspathologie kunnen ondetecteerbaar blijven). De bijdrage is een principieel kader voor het begrijpen van de structurele grenzen van spectrale attention-analyse.