How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

Titel: Hoeveel Kenmerken Kan een Taalmodel Opslaan onder de Hypothese van Lineaire Representatie?

Auteurs: Nikhil Garg, Jon Kleinberg, Kenny Peng (Cornell University)

---

1. Probleemstelling en Context

De Lineaire Representatie Hypothese (LRH) stelt dat tussenlagen van taalmodellen (LLMs) concepten of "kenmerken" (features) lineair opslaan. Dit betekent dat de activaties van neuronen een lineaire combinatie zijn van onderliggende semantische kenmerken. Hoewel dit empirisch vaak wordt waargenomen (bijv. via lineaire probes), ontbreekt er een strikt wiskundig kader om de capaciteit van deze opslag te kwantificeren.

De centrale vraag van dit paper is:

Hoeveel kenmerken ($m$) kunnen worden opgeslagen en lineair toegankelijk gemaakt door een laag met $d$ neuronen, onder de aanname van lineaire representatie?

Een cruciale nuance die de auteurs introduceren, is het onderscheid tussen twee claims die vaak als equivalent worden beschouwd, maar wiskundig verschillend zijn:

1. Lineaire Representatie: Kenmerken zijn lineair ingebed in neuronactivaties ($f(\ell) = A z(\ell)$).
2. Lineaire Toegankelijkheid (Accessibility): Kenmerken kunnen worden afgeleid (gedecodeerd) met een lineaire functie (een lineaire probe $g(x) = \langle b, x \rangle$).

De auteurs onderzoeken de implicaties van het vereisen van beide voorwaarden, wat het probleem verplaatst van klassieke "compressed sensing" (waar niet-lineaire decoding is toegestaan) naar "lineaire compressed sensing".

---

2. Methodologie en Wiskundig Kader

De auteurs introduceren een formeel wiskundig kader om superpositie (het opslaan van meer kenmerken dan er neuronen zijn) te analyseren.

• Definities:

  • Laat $z \in \mathbb{R}^m$ een vector zijn van $m$ kenmerken, waarbij $z$ $k$-spaarzaam is (maximaal $k$ niet-nul elementen).
  • Encoder (Representatie): $f(z) = Az$, waarbij $A \in \mathbb{R}^{d \times m}$ de representatiematrix is.
  • Decoder (Toegankelijkheid): Een lineaire probe $g(x) = B^T x$, waarbij $B \in \mathbb{R}^{d \times m}$ de probe-matrix is.
  • Vereiste: Voor alle $k$-spaarzame $z$ moet gelden dat $\|B^T A z - z\|_\infty < \epsilon$. Dit betekent dat de lineaire decoding de oorspronkelijke kenmerken met hoge precisie kan reconstrueren.

• Vergelijking met Compressed Sensing:

  • In klassieke compressed sensing (Theorema 1) mag de decoder $g$ niet-lineair zijn (bijv. $\ell_1$-minimalisatie). Hier geldt dat $d = O(k \log(m/k))$ voldoende is.
  • In dit paper wordt de decoder beperkt tot lineair. De auteurs analyseren de minimale $d$ die nodig is voor lineaire reconstructie.

• Bewijstechnieken:

  • Bovenste grens (Upper Bound): Gebruik van willekeurige matrices met ongeveer orthogonale kolommen (incoherent matrices).
  • Onderste grens (Lower Bound): Combinatie van rang-beginselen voor matrices met een eenheid-diagonaal (Alon, 2003) en Turán's theorema uit de grafentheorie om te bewijzen dat er onvermijdelijk interferentie optreedt tussen kenmerken als $d$ te klein is.

---

3. Belangrijkste Resultaten

De paper levert bijna-kwadratische boven- en ondergrenzen voor het aantal benodigde neuronen $d$ in termen van het aantal kenmerken $m$ en de spaarzaamheid $k$.

A. Hoofdbijdrage: Lineaire Compressed Sensing Grenzen

• Bovenste Grens (Theorema 2):
  Er bestaat een constructie waarbij $d = O_\epsilon(k^2 \log m)$ neuronen voldoende zijn om $m$ kenmerken lineair te representeren en lineair af te lezen.

  • Implicatie: Een enkele laag kan een exponentieel aantal kenmerken opslaan ten opzichte van het aantal neuronen ($m \gg d$), mits de kenmerken spaarzaam zijn. Dit ondersteunt de "superpositie-hypothese".

• Onderste Grens (Theorema 3):
  Om $m$ kenmerken lineair te decoderen, is het noodzakelijk dat $d = \Omega_\epsilon\left(\frac{k^2}{\log k} \log \frac{m}{k}\right)$.

  • Kerninzicht: Er is een kwantitatieve kloof tussen klassieke en lineaire compressed sensing.
    • Klassiek (niet-lineair decoderen): $d \propto k$.
    • Lineair (lineair decoderen): $d \propto k^2$.
  • Dit betekent dat lineaire toegankelijkheid een veel sterkere en beperktere hypothese is dan alleen lineaire representatie.

B. Geometrie van Kenmerken (Sectie 4)

De auteurs tonen aan dat de intuïtie dat "onafhankelijke kenmerken orthogonale richtingen moeten hebben" niet strikt noodzakelijk is onder de LRH:

• Het is mogelijk dat de representatievectoren ($a_i$) en de probe-vectoren ($b_i$) van één kenmerk bijna orthogonaal zijn.
• Het is mogelijk dat representatievectoren van verschillende kenmerken sterk gecorreleerd zijn, zolang de probe-vectoren maar goed gekozen zijn om interferentie te compenseren.
• Echter, als men de normen van de vectoren beperkt (bijv. tot 1), dan convergeren de vectoren naar de intuïtieve situatie: representatie- en probe-vectoren vallen samen en verschillende kenmerken worden orthogonaal.

C. Uitbreiding naar Niet-lineaire Activeringen (Sectie 5)

De auteurs onderzoeken of het toevoegen van een bias of een niet-lineaire activeringsfunctie (zoals ReLU) aan de decoder de capaciteit vergroot.

• Resultaat (Theorema 12 & Corollary 13): Het toevoegen van een bias en een monotone activeringsfunctie verandert de asymptotische ondergrens niet significant. De noodzaak van $d \propto k^2$ blijft bestaan, zelfs voor binaire kenmerken.

---

4. Significatie en Implicaties

1. Theoretische Validatie van Superpositie: Het paper biedt wiskundig bewijs dat taalmodellen inderdaad een exponentieel aantal concepten kunnen opslaan in een beperkte ruimte van neuronen, zolang deze concepten spaarzaam zijn. Dit legitimeert het gebruik van Sparse Autoencoders (SAE's) voor interpretatie.
2. Distinction Representation vs. Accessibility: Het paper maakt een fundamenteel onderscheid tussen het opslaan van informatie en het toegang krijgen tot die informatie. Het feit dat lineaire toegankelijkheid een kwadratische kost ($k^2$) met zich meebrengt versus een lineaire kost ($k$) bij niet-lineaire decoding, suggereert dat de efficiëntie van taalmodellen sterk afhankelijk is van hoe goed de volgende laag deze lineaire structuren kan "lezen".
3. Richting voor Toekomstig Onderzoek: De resultaten suggereren dat de LRH een robuust theoretisch fundament kan vormen voor het begrijpen van taalmodellen. Het nodigt uit tot onderzoek naar hoe meerdere lagen samenwerken om deze superpositie te benutten en hoe complexere decoders (meer dan één laag) de grenzen kunnen verschuiven.

Conclusie

Dit werk formaliseert de Lineaire Representatie Hypothese en toont aan dat, hoewel lineaire representatie en toegankelijkheid conceptueel elegant zijn, ze een strikte wiskundige prijs hebben: de noodzaak van een kwadratische schaling van het aantal neuronen met de spaarzaamheid van de kenmerken. Desondanks blijft de capaciteit exponentieel groot, wat aantoont dat superpositie een haalbare en krachtige mechanisme is in moderne taalmodellen.