Technische Samenvatting: Bewijs voor Feature-Specifieke Foutcorrectie in LLM's

Probleemstelling

De interne representaties van Large Language Models (LLM's) blijven slecht begrepen. Een heersende hypothese is dat LLM's gebruikmaken van superpositie om meer features te representeren dan ze dimensies hebben, en potentieel computatie in superpositie (CiS) uitvoeren. Theoretisch werk (Hänni et al., 2024) voorspelt dat voor CiS te functioneren, het netwerk foutcorrectie moet implementeren die specifieke "feature-richtingen" bevoordeelt boven generieke richtingen om interferentieruis te onderdrukken. Echter, deze voorspelling mist empirische validatie. Zonder grondwaarheid van de feature-richtingen is het moeilijk om te testen of LLM's bepaalde richtingen als geprivilegieerd beschouwen. Dit artikel stelt een empirische test voor om te bepalen of LLM's Feature-Specifieke Foutcorrectie (FSEC) vertonen—een eigenschap waarbij het model minder gevoelig is voor perturbaties langs niet-feature-richtingen dan langs feature-richtingen.

Methodologie

De auteurs stellen een perturbatiegebaseerde empirische test voor om de geometrie van activatieplateaus (regio's waar kleine perturbaties een verwaarloosbare downstream-respons opleveren) te meten.

1. Perturbatie-opzet:

   • Residual-stream activaties in een vroege laag ($\ell=2$) worden geperturbeerd door de activatievector te roteren naar een doelrichting $d$, terwijl de norm van de vector behouden blijft (norm-gematchte perturbatie).
   • De downstream-respons wordt gemeten in de voorlaatste laag als de $L_2$-afstand tussen de geperturbeerde en ongeperturbde residual streams.
   • De plateau-doorbrekende hoek ($\alpha$) wordt gedefinieerd als de kleinste perturbatiehoek die nodig is om een specifieke respons-drempel te overschrijden.

2. Type Richtingen:

   • Kandidaat Feature-richtingen: Geconstrueerd via contrastieve prompts (bijv. gender, sentiment, talen), MELBO (ongesuperviseerde optimalisatie voor downstream-respons), en Sparse Autoencoder (SAE) decoderkolommen.
   • Baseline-richtingen: Willekeurige isotrope richtingen, PCA-richtingen en willekeurige verschil-richtingen (verschillen van ongepaarde activaties).

3. De Superellips-test:

   • De auteurs perturberen activaties langs mengingen van twee richtingen ($d_1, d_2$) door een mengingshoek $\phi$ te variëren.
   • Ze modelleren de plateau-doorbrekende hoek $\alpha(\phi)$ als een functie van de projecties op de twee richtingen.
   • De respons wordt gemodelleerd als een $L_p$-norm van de decompositie: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$.
   • Theoretische Voorspelling:
     • Als het model alleen reageert op de magnitude van de perturbatie (isotroop), is de grens een ellips ($p=2$).
     • Als het model individuele feature-richtingen bevoordeelt (FSEC), bolt de grens naar buiten, wat een superellips vormt met $p > 2$. Dit geeft aan dat een menging van features een grotere perturbatie vereist om het plateau te doorbreken dan een pure feature-richting, wat impliceert dat het netwerk interferentie van gemengde richtingen onderdrukt.

Belangrijkste Bijdragen

1. Voorstel van FSEC als een Test: De auteurs formaliseren FSEC als een test voor computatie in superpositie, waarbij de respons van het LLM op perturbaties wordt gemodelleerd via de exponent $p$ van de $L_p$-norm-decompositie.
2. Empirisch Bewijs: Ze leveren het eerste empirische bewijs dat kandidaat feature-richtingen worden bevoordeeld boven hun mengingen.
3. Cross-Model Replicatie: De bevindingen worden gerepliceerd over zes diverse LLM's (Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B, en Yi-1.5-9B).
4. Validatie met Toy Model: De methodologie wordt gevalideerd op een toy denoising-netwerk met bekende grondwaarheid-features, waarmee wordt bevestigd dat $p > 2$ wordt teruggevonden voor ware features en degradeert naar $p \approx 2$ wanneer richtingen ervan worden afgeweken.

Resultaten

• Contrastieve Richtingen: Over 318 paren van contrastieve richtingen (dekend concepten zoals rijkdom, gender en talen), is de gefitte superellips-exponent consistent $p > 2$ (gemiddelde $p \approx 2.42$, mediaan $2.30$).
• MELBO en SAE-richtingen: Deze kandidaat feature-richtingen leveren ook $p > 2$ op (MELBO gemiddelde $2.21$; SAE gemiddelde $2.28$), hoewel iets lager dan contrastieve richtingen.
• Baselines: PCA-, willekeurige en willekeurige-verschil-richtingen clusteren allemaal rond $p \approx 2$ (gemiddelden variërend van $2.03$ tot $2.05$), wat aangeeft dat ze niet geprivilegieerd zijn.
• Rotatie-analyse: Wanneer contrastieve richtingen worden geroteerd naar willekeurige orthogonale richtingen, neemt de exponent $p$ monotoon af van $\approx 2.4$ naar $\approx 2.0$, wat aantoont dat $p$ de uitlijning met feature-richtingen volgt.
• Robuustheid: De resultaten houden stand in diverse ablatiestudies, inclusief verschillende perturbatie-lagen, meetlagen, respons-metrieken (cosine distance, KL-divergence) en token-posities.

Betekenis en Claims

Het artikel claimt het eerste empirische bewijs te leveren dat de hypothese ondersteunt dat LLM's feature-specifieke foutcorrectie implementeren, een noodzakelijke voorwaarde voor computatie in superpositie.

• Interpretatie van $p > 2$: De auteurs argumenteren dat $p=2$ (een kwadratische vorm) niet in staat is om een groot aantal feature-richtingen boven andere te bevoordelen vanwege de beperkte vrijheidsgraden in de dimensie van het model. In tegenstelling hiertoe staat $p > 2$ het netwerk toe om zeer gevoelig te zijn voor specifieke feature-richtingen terwijl het interferentie van hun mengingen onderdrukt.
• Ondergrens: De auteurs merken bescheiden op dat hun gemeten $p \approx 2.3$ voor LLM's waarschijnlijk een ondergrens is. Omdat hun kandidaat-richtingen (contrastief, MELBO, SAE) imperfecte benaderingen zijn van de werkelijke grondwaarheid-features, verzwakt de mismatch de directionele gevoeligheid, waardoor $p$ richting 2 wordt vertekend. Hun toy model experimenten ondersteunen dit, door te laten zien dat zelfs matige mismatch $p$ van de grondwaarheid-range ($3\text{--}3.4$) terugbrengt naar de geobserveerde LLM-range.
• Beperkingen: Het artikel stelt expliciet dat hoewel $p > 2$ een noodzakelijke voorwaarde is voor FSEC, het niet voldoende is om te bewijzen dat een richting een feature is (voorlopige experimenten suggereren dat het maximaliseren van $p$ alleen niet genoeg is om features te herstellen). Bovendien bewijst het bestaan van activatieplateaus niet definitief de aanwezigheid van foutcorrectie; deze kunnen ook voortkomen uit andere robuustheidsmechanismen. Echter, de differentiële behandeling van richtingen ($p > 2$ voor features vs. $p \approx 2$ voor baselines) blijft een robuuste observatie van preferentiële behandeling.

Concluderend stelt het artikel een kwantitatieve metriek ($p$) vast die kandidaat feature-richtingen onderscheidt van niet-features, wat sterke empirische steun biedt voor het theoretische kader van superpositie en foutcorrectie in LLM's.