How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

1. Problématique et Contexte

L'hypothèse de la représentation linéaire (LRH) postule que les couches intermédiaires des modèles de langage stockent des concepts (features) sous forme de directions linéaires dans l'espace des activations. Bien que cette idée soit largement observée empiriquement (via des sondes linéaires ou des auto-encodeurs parcimonieux), elle manque d'un cadre mathématique rigoureux pour quantifier sa capacité de stockage.

La question centrale abordée par les auteurs est la suivante : Combien de caractéristiques ($m$) une couche de $d$ neurones peut-elle stocker tout en permettant leur récupération linéaire ?

Les auteurs identifient une ambiguïté fondamentale dans la littérature : la distinction entre deux concepts souvent confondus mais mathématiquement distincts :

1. Représentation linéaire : Les activations sont une combinaison linéaire des vecteurs de représentation des caractéristiques.
2. Accessibilité linéaire : Les caractéristiques peuvent être extraites (décodées) à l'aide de sondes purement linéaires (produits scalaires).

L'article cherche à déterminer si la simple représentation linéaire implique l'accessibilité linéaire, et comment cette distinction affecte la capacité de « superposition » (superposition), c'est-à-dire la capacité à stocker $m \gg d$ caractéristiques.

2. Cadre Mathématique

Les auteurs formalisent le problème en définissant :

• Entrées : Un langage $L$ et une fonction d'activation $f: L \to \mathbb{R}^d$.
• Caractéristiques : Des fonctions $z_i: L \to \mathbb{R}$.
• Représentation : Il existe une matrice $A \in \mathbb{R}^{d \times m}$ telle que $f(\ell) = A z(\ell)$, où $z(\ell)$ est le vecteur des caractéristiques.
• Accessibilité : Il existe une matrice de sondes $B \in \mathbb{R}^{d \times m}$ telle que l'estimation $\hat{z} = B^T f(\ell)$ approxime $z(\ell)$ avec une erreur $\epsilon$ (norme infinie).

Le problème se divise en deux cas :

• Q1 (Accessibilité Générale) : Le décodeur $g$ peut être non-linéaire. Cela correspond au domaine classique de la compression sensing (sensing comprimé).
• Q2 (Accessibilité Linéaire) : Le décodeur doit être linéaire ($g(x) = B^T x$). Cela définit le nouveau cadre de la compression sensing linéaire.

Les auteurs se concentrent sur des vecteurs $k$-rares (seulement $k$ caractéristiques sont actives par entrée), ce qui reflète l'intuition selon laquelle un texte ne mobilise qu'une petite fraction des concepts possibles.

3. Méthodologie et Preuves

Les auteurs établissent des bornes supérieures et inférieures quasi-optimales pour le nombre de dimensions $d$ nécessaire en fonction de $m$ (nombre de features), $k$ (sparsité) et $\epsilon$ (erreur).

A. Preuve de la Bornes Supérieure (Théorème 2)

• Objectif : Montrer qu'il existe une configuration permettant le stockage de $m$ features avec $d = O(k^2 \log m)$.
• Technique : Utilisation de matrices aléatoires avec des colonnes approximativement orthogonales (matrices $\mu$-incohérentes).
• Logique : Si l'on choisit $A = B$ (les vecteurs de représentation et de sonde sont identiques) et que les colonnes de $A$ sont suffisamment incohérentes (produits scalaires faibles entre colonnes distinctes), alors l'interférence entre les features actives reste bornée. En exploitant la $k$-sparsité, l'erreur totale est contrôlée.
• Résultat : $d = O_\epsilon(k^2 \log m)$. Cela prouve qu'un nombre exponentiel de features peut être stocké.

B. Preuve de la Bornes Inférieure (Théorème 3)

• Objectif : Montrer que $d$ doit être au moins de l'ordre de $\Omega(k^2 \log(m/k) / \log k)$.
• Difficulté : Une approche simple basée sur la corrélation de vecteurs échoue car les vecteurs de représentation ($A$) et de sonde ($B$) peuvent être différents et fortement corrélés entre eux sans violer les conditions.
• Technique :
  1. Réduction de rang : Utilisation d'un résultat d'Alon (2003) montrant que les matrices proches de l'identité (diagonale grande, hors-diagonale petite) doivent avoir un rang élevé.
  2. Sous-matrices : Application de ce résultat aux sous-matrices principales de $B^T A$.
  3. Théorème de Turán : Construction d'un graphe où les arêtes représentent des interférences fortes. L'absence d'ensembles indépendants de taille $r$ dans ce graphe, combinée au théorème de Turán, force l'existence d'un grand nombre d'interférences, ce qui contredit la condition d'erreur faible si $d$ est trop petit.
• Résultat : $d = \Omega_\epsilon(\frac{k^2}{\log k} \log(m/k))$.

C. Géométrie et Généralisations

• Géométrie (Proposition 9 & 11) : Les auteurs montrent que la représentation et la sonde d'une même feature peuvent être orthogonales, et que différentes features peuvent avoir des vecteurs de représentation presque parallèles. Cependant, si l'on impose des contraintes de norme unitaire, les vecteurs de représentation et de sonde doivent s'aligner et les features doivent être orthogonales.
• Fonctions d'activation (Théorème 12) : L'ajout d'une fonction d'activation non-linéaire (comme ReLU) ou d'un biais ne change pas la complexité asymptotique de la borne inférieure. Le problème reste fondamentalement limité par la linéarité de la séparation.

4. Résultats Clés

1. Écart Quantitatif : Il existe un écart significatif entre le compressed sensing classique (décodeur non-linéaire) et le linear compressed sensing.
   • Classique : $d = O(k \log(m/k))$.
   • Linéaire : $d = \Omega(k^2 \log(m/k))$.
   • L'accessibilité linéaire impose une contrainte beaucoup plus forte (quadratique en $k$ au lieu de linéaire).
2. Capacité de Superposition : Malgré la contrainte plus forte, la borne supérieure $O(k^2 \log m)$ confirme que les modèles peuvent stocker un nombre exponentiel de features par rapport au nombre de neurones ($m \gg d$) tout en permettant une récupération linéaire.
3. Distinction Conceptuelle : La représentation linéaire ne garantit pas l'accessibilité linéaire. L'hypothèse de superposition (Elhage et al., 2022) est valide, mais elle nécessite une géométrie spécifique des vecteurs pour fonctionner avec des décodeurs linéaires.

5. Signification et Implications

• Fondation Théorique : Ce travail fournit le premier cadre mathématique rigoureux pour l'hypothèse de représentation linéaire, transformant une intuition empirique en une théorie quantifiable.
• Validité de la Superposition : Il démontre théoriquement que les modèles de langage peuvent effectivement opérer dans un régime de superposition dense, expliquant leur capacité à gérer des concepts vastes avec un nombre limité de paramètres.
• Limites des Sondes Linéaires : L'article clarifie pourquoi les sondes linéaires sont puissantes mais soumises à des limites de capacité plus strictes que les méthodes de décodage non-linéaires.
• Géométrie des Features : Il remet en question l'intuition selon laquelle les features doivent être représentées par des directions orthogonales strictes. La géométrie peut être complexe (vecteurs corrélés), tant que la relation entre les vecteurs de représentation et les vecteurs de sonde est correctement orchestrée.

En conclusion, l'article établit que l'hypothèse de représentation linéaire est non seulement conceptuellement élégante, mais aussi suffisamment expressive pour soutenir le comportement complexe des modèles de langage modernes, tout en définissant précisément les coûts mathématiques (en termes de dimensions) de cette expressivité sous contrainte de linéarité.