🤖 machine learning

Comparing Linear Probes with Mahalanobis Cosine Similarity

Dit artikel bewijst theoretisch en valideert empirisch dat de Mahalanobis-cosinusgelijkenis met een out-of-distribution referentieprobe de OOD AUROC van een lineaire probe lineair voorspelt onder Gaussische aannames, wat een superieur alternatief biedt voor de standaard cosinusgelijkenis voor het vergelijken van probes.

Oorspronkelijke auteurs: Zhuofan Josh Ying, Peter Hase, Nikolaus Kriegeskorte

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhuofan Josh Ying, Peter Hase, Nikolaus Kriegeskorte

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Waarom werken sommige "probes" wel en andere niet?

Stel je voor dat je een gigantische, complexe machine hebt (zoals een Large Language Model) die denkt in een taal van getallen en patronen die we niet gemakkelijk kunnen zien. Onderzoekers gebruiken "lineaire probes" om in deze machine te gluren. Beschouw een probe als een lichtstraal van een zaklamp. Je schijnt die in een specifieke richting om te zien of de machine over een specifiek concept "denkt", zoals: "Is deze zin waar?" of "Is deze persoon man?".

Het probleem is dat deze zaklampen kwetsbaar zijn. Een lichtstraal die perfect werkt in één kamer (de trainingsdata), kan direct uitgaan zodra je een andere kamer binnenloopt (nieuwe data). Onderzoekers willen een manier vinden om te voorspellen of een zaklamp zal werken in een nieuwe kamer, simpelweg door te kijken naar hoe hij is gebouwd.

De Oude Manier vs. De Nieuwe Manier

Om twee zaklampen (probes) te vergelijken, meten onderzoekers meestal de hoek tussen hen met behulp van Euclidische Cosinus-gelijkenis.

De Analogie: Stel je voor dat je twee kompasnaalden met elkaar vergelijkt. De oude methode kijkt alleen naar de hoek tussen de naalden en behandelt elke richting op de kaart als even belangrijk.
De Fout: Dit is als het vergelijken van kompassen op een kaart waar sommige richtingen "plakkerig" zijn (moeilijk doorheen te bewegen) en andere "glad" (makkelijk doorheen te bewegen). Als je de plakkerige delen negeert, is je vergelijking foutief.

De auteurs stellen een nieuwe methode voor genaamd Mahalanobis Cosine Similarity (MCS).

De Analogie: Dit is als het vergelijken van kompasnaalden terwijl je een speciale bril draagt die rekening houdt met de "plakkerigheid" van het terrein. Het weet dat sommige richtingen in de data belangrijker zijn (waar de data daadwerkelijk varieert) en andere slechts ruis zijn. Het weegt de vergelijking op basis van de vorm van de data zelf.

De Grote Ontdekking: Een Perfecte Lijn

De auteurs ontdekten iets verrassends:
Wanneer zij een probe vergeleken die getraind is op oude data met een probe die getraind is op nieuwe data, met behulp van deze nieuwe "terrein-bewuste" methode (MCS), was het resultaat een perfect rechte lijn.

De Analogie: Stel je voor dat je een liniaal (MCS) hebt die meet hoe vergelijkbaar twee zaklampen zijn. Als je deze liniaal gebruikt, kun je precies voorspellen hoe goed de zaklamp zal presteren in de nieuwe kamer (de "Generalisatieprestatie").
Het Resultaat: Het artikel laat zien dat als de MCS-score hoog is, de prestatie hoog is. Als de MCS-score laag is, is de prestatie laag. Deze relatie is zo sterk dat het eruitziet als een rechte lijn getrokken met een liniaal (mathematisch gezien een $R^2$ van 0,98, wat bijna perfect is).
Het Contrast: Als ze de oude "hoek-alleen" methode (Euclidisch) hadden gebruikt, zouden de punten overal verspreid liggen, als een rommelige wolk, waardoor het onmogelijk is om de prestaties te voorspellen.

Waarom gebeurt dit? (De magie van "S-curves")

Het artikel legt uit waarom deze rechte lijn bestaat met behulp van een beetje wiskunde, maar hier is de eenvoudige versie:

De Signaal-ruisverhouding (SNR): Denk aan dit als hoe luid de "waarheid" is vergeleken met de "ruis" in de data.
Twee Verschillende Vormen:
- De Prestatie (hoe goed de probe werkt) volgt een S-vorm (een sigmoid-curve). Het begint langzaam, versnelt, en vlakt dan af.
- De MCS-score volgt ook een S-vorm, maar het is een iets ander soort curve.
De Annulering: Wanneer je deze twee S-vormen combineert, heffen ze elkaar op! De "bocht" in de ene curve vlakt de "bocht" in de andere curve precies af.
- De Analogie: Stel je voor dat je een heuvel op loopt die naar links buigt, maar je loopt ook op een loopband die precies even snel naar rechts buigt. Het resultaat is dat je in een perfect rechte lijn beweegt.

Vanwege deze mathematische "annulering" wordt de relatie tussen de gelijkenis-score en de werkelijke prestatie een rechte lijn.

Wanneer breekt de regel?

De auteurs hebben ook getest wanneer deze perfecte lijn breekt, wat ons helpt de grenzen van de regel te begrijpen:

Verkeerde Kaart (Verkeerde Covariantie): Als je de oude "hoek-alleen" methode gebruikt (het negeren van het terrein), verdwijnt de lijn. Je moet de "terrein-bewuste" kaart gebruiken.
Slecht Kompas (Niet-Fisher Probes): Als de probe niet is gebouwd met de optimale wiskundige methode (zoals een simpele "verschil van gemiddelden" in plaats van een meer geavanceerde methode), wordt de lijn rommelig.
Zwak Signaal (Kleine Fisher-afstand): Als het signaal zo zwak is dat de "S-curves" nog niet begonnen zijn te buigen, is de relatie niet lineair. (Echter, in de modellen die zij testten, was het signaal sterk genoeg zodat dit niet gebeurde).
Ongelijke Teams: Als één groep data enorm groot is en de andere heel klein (zoals 99% katten en 1% honden), kantelt de lijn en breekt deze.

Samenvatting

Het Probleem: Het is moeilijk te zeggen of een hulpmiddel (probe) zal werken op nieuwe data door er alleen naar te kijken.
De Oplossing: Gebruik Mahalanobis Cosine Similarity, die rekening houdt met de vorm en de "plakkerigheid" van de data.
Het Resultaat: Deze methode creëert een bijna perfecte rechte lijn tussen de gelijkenis-score en de werkelijke prestatie.
De Belangrijkste Les: Je hoeft de probe niet te testen op nieuwe data om te weten of hij zal werken. Je hoeft alleen de gelijkenis van de probe met een referentie-probe te meten met behruik van deze specifieke "terrein-bewuste" liniaal.

Het artikel bewijst dit wiskundig en laat zien dat het werkt over verschillende AI-modellen, verschillende lagen binnen die modellen, en vele verschillende soorten taken (zoals het controleren van waarheid of geslacht). Het verandert een rommelig, onvoorspelbaar probleem in een heldere, voorspelbare lijn.

Technische Samenvatting: Vergelijking van Lineaire Probes met Mahalanobis Cosine Similarity

Probleemstelling

Lineaire probes zijn standaardinstrumenten in interpretatieonderzoek voor het extraheren van concepten uit neurale netwerkrepresentaties. Echter, hun transfergedrag is berucht fragiel; probes die getraind zijn op in-distributie (ID) data falen vaak bij het generaliseren naar out-of-distribution (OOD) scenario's, zelfs onder subtiele verschuivingen zoals negatie of veranderingen in prompt-formattering. Een cruciale uitdaging is bepalen welke probes zullen generaliseren en begrijpen waarom probes die op de ene distributie vergelijkbaar lijken, op een andere distributie uiteenlopen.

Huidige methoden voor het vergelijken van probes vertrouwen doorgaans op Euclidische cosinus-gelijkenis (ECS). ECS behandelt echter alle dimensies als gelijkwaardig, waarbij wordt genegeerd dat alleen de dimensies waar de data significant varieert, de prestaties van de probe beïnvloeden. Hoewel Ying et al. (2026) empirisch observeerden dat de Mahalanobis Cosine Similarity (MCS) — die het inwendig product herweegt met de OOD-datacovariantie — de OOD AUROC lineair voorspelt ( $R^2=0.98$ ) voor waarheidsgetrouwheidsdatasets, ontbrak hiervoor een theoretische verklaring en was het niet gevalideerd over diverse modellen, lagen of conceptdomeinen.

Methodologie

De auteurs stellen een theoretisch en empirisch kader voor om de relatie tussen MCS en OOD-generalisatieprestaties te verklaren en te valideren.

Theoretisch Kader

Het artikel leidt een gesloten relatie af tussen de OOD AUROC van een probe en de MCS tot een referentieprobe getraind op OOD-data. De afleiding rust op drie standaard statistische aannames:

Gebalanceerde Klassen: $Pr(Y=0) = Pr(Y=1) = 0.5$.
Projectie-Gaussianiteit: De projectie van de feature-vector op een willekeurige probe-richting volgt voor elke klasse een Gaussische verdeling.
Covariantiestructuur: De totale covariantie ( $\Sigma_{tot}$ ) wordt ontleed in de gepoolde binnen-klasse covariantie ( $\Sigma_{pool}$ ) en de tussen-klasse component.

Onder deze aannames bewijzen de auteurs dat:

AUROC een sigmoïde-vormige functie is van de signaal-ruisverhouding (SNR) van de probe, $s$ : $AUROC = \Phi(s/\sqrt{2})$ .
MCS (specifiek tegenover de Fisher-discriminantrichting) een soft-sign vormige functie is van $s$ : $MCS \approx s/\sqrt{4+s^2}$ (in het limiet van een grote Fisher-afstand $z_{max}$ ).

Het kerninzicht van de theorie is dat het samenstellen van deze twee functies hun respectieve niet-lineariteiten (de sigmoïde en de soft-sign) opheft, wat resulteert in een bijna lineaire relatie tussen AUROC en MCS. De helling van deze lijn is theoretisch voorspeld als ongeveer $1/\sqrt{\pi}$ wanneer de Fisher-afstand groot is.

Empirische Evaluatie

De auteurs breiden de empirische validatie van deze relatie uit over:

Modellen: Llama-3.3-70B, Llama-3.1-8B, en Qwen2.5-7B.
Lagen: Diverse lagen (bijv. 20, 33, 50, 65) binnen Llama-70B.
Domeinen: 24 datasets variërend van waarheidsgetrouwheid en genderclassificatie tot algemene NLP-benchmarks.
Baselines: Vergelijking met standaard Euclidische Cosine Similarity (ECS) en het gebruik van verschillende covariantieschatters (totaal versus gepoolde).

Belangrijkste Bijdragen

Theoretisch Bewijs van Lineariteit: Het artikel levert een bewijs in gesloten vorm dat aantoont dat, voor gebalanceerde, Gaussian-geprojecteerde klassen, OOD AUROC en MCS lineair gerelateerd zijn. Dit verklaart de eerder geobserveerde bijna perfecte correlatie ( $R^2 \approx 0.98$ ).
Karakterisering van Foutmodi: De theorie voorspelt expliciet de condities waaronder deze lineariteit wegvalt, welke empirisch zijn geverifieerd:
- Het gebruik van gepoolde covariantie ( $\Sigma_{pool}$ ) in plaats van totale covariantie ( $\Sigma_{tot}$ ) vernietigt de lineariteit.
- Kleine Fisher-afstanden ( $z_{max}$ ) resulteren in taakspecifieke hellingen in plaats van een universele lijn.
- Klasse-imbalans maakt de helling steiler.
- Probes die significant afwijken van de Fisher-richting (bijv. eenvoudige verschil-van-gemiddelden probes) vertonen een verminderde lineariteit.
Empirische Generalisatie: De studie valideert de MCS-AUROC lineariteit over een breed scala aan modellen, lagen en conceptdomeinen, waarbij een $R^2 > 0.93$ wordt bereikt in alle geteste condities. In contrast hiermee daalt de prestatie van ECS aanzienlijk, met $R^2$ waarden zo laag als 0.06 in algemene NLP-benchmarks.
Robuustheid tegenover Schatters: De auteurs demonstreren dat het resultaat standhoudt bij volledige steekproefcovariantie en Ledoit-Wolf shrinkage, maar faalt met diagonale benaderingen, wat de noodzaak van de off-diagonaal structuur van de covariantie bevestigt.

Resultaten

Hoge Voorspellende Kracht: Over alle 8 experimentele condities (variërende modellen, lagen en domeinen) levert de lineaire fit van OOD AUROC tegenover MCS een $R^2 \geq 0.93$ .
Superioriteit ten opzichte van ECS: ECS presteert consistent minder goed, met $R^2$ waarden variërend van 0.057 (General NLP) tot 0.723 (Gender), terwijl MCS een hoge voorspellende kracht behoudt.
Theoretische Overeenstemming: De empirische hellingen van de AUROC-MCS curves komen nauw overeen met de theoretische centrale helling van $1/\sqrt{\pi} \approx 0.564$ . Afwijkingen treden primair op bij de verzadigingsuiteinden (hoge AUROC/MCS waarden), wat consistent is met de theorie.
Verificatie van Foutmodi: Simulaties en experimenten met echte data bevestigen dat lineariteit degradeert wanneer aannames worden geschonden (bijv. het gebruik van $\Sigma_{pool}$ vermindert $R^2$ van 0.98 naar 0.83; het gebruik van verschil-van-gemiddelden probes vermindert dit naar 0.79).

Betekenis en Claims

Het artikel claimt dat Mahalanobis Cosine Similarity een theoretisch gefundeerd, taakbewust alternatief biedt voor Euclidische cosine similarity voor het vergelijken van lineaire probes.

Mechanisme: In tegenstelling tot ECS, dat alle dimensies als gelijk behandelt, herweegt MCS het inwendig product door de OOD-datacovariantie, waardoor probes effectief worden vergeleken in de subspace die er specifiek toe doet voor de taak.
Voorspellende Nut: De lineaire relatie stelt onderzoekers in staat om de generalisatieprestatie (OOD AUROC) van een probe getraind op ID-data te voorspellen door simpelweg de MCS te meten ten opzichte van een referentieprobe getraind op OOD-data (of een proxy voor de Fisher-richting).
Breder Implicaties: De auteurs suggereren dat deze aanpak ook andere interpretatiemethoden kan ten goede komen die momenteel afhankelijk zijn van cosine similarity, zoals steering-vector vergelijking, SAE feature alignment en concept-richting clustering.
Beperkingen: De auteurs merken op dat de methode gelabelde OOD-data vereist om de covariantie en de referentierichting te schatten (het is niet label-vrij voor de doelverdeling). Bovendien is de theorie gekalibreerd voor Fisher-stijl probes (Logistische Regressie, LDA); de prestaties verslechteren voor verschil-van-gemiddelden probes. De evaluatie is momenteel beperkt tot binaire classificatie op de residual-stream features van autoregressieve LLM's.

Samenvattend stelt dit werk vast dat het succes van MCS bij het voorspellen van de generalisatie van probes geen toeval is, maar een gevolg van de geometrische interactie tussen signaal-ruisverhoudingen, Gaussian-projecties en covariantie-bewuste gelijkenismetingen.