How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

Resumen Técnico: Capacidad de Almacenamiento de Características bajo la Hipótesis de Representación Lineal

1. Problema y Contexto

La Hipótesis de Representación Lineal (LRH) postula que las capas intermedias de los modelos de lenguaje (LLMs) almacenan características (como sentimientos, sintaxis o entidades) de manera lineal en sus activaciones neuronales. Aunque empíricamente se ha observado que estas características pueden extraerse mediante clasificadores lineales ("sondas lineales"), existe una falta de claridad teórica sobre los límites fundamentales de esta hipótesis.

La pregunta central que aborda el artículo es: ¿Cuántas características ($m$) puede almacenar una capa con $d$ neuronas bajo la LRH?

El problema radica en que la LRH a menudo se trata como un concepto monolítico, pero los autores la descomponen en dos afirmaciones distintas:

1. Representación Lineal: Las características están incrustadas linealmente en las activaciones neuronales.
2. Accesibilidad Lineal: Las características pueden ser decodificadas (recuperadas) mediante una transformación lineal (una sonda lineal).

El objetivo es determinar los límites de la superposición (el fenómeno donde $m \gg d$) bajo estas restricciones, comparando el caso donde la recuperación puede ser no lineal (compresión clásica) frente al caso donde la recuperación debe ser estrictamente lineal (compresión lineal).

2. Marco Matemático y Metodología

Los autores formalizan el problema utilizando vectores de activación en $\mathbb{R}^d$ y un conjunto de $m$ características.

• Representación: Dado un texto $\ell$, sus activaciones $f(\ell)$ son una combinación lineal de vectores de representación $a_i$:
  $$f(\ell) = \sum_{i=1}^m z_i(\ell) a_i = A z(\ell)$$
  donde $z(\ell)$ es el vector de características (asumiendo que es $k$-escaso, es decir, solo $k$ características están activas a la vez).
• Accesibilidad: Una característica $z_i$ es recuperable linealmente si existe un vector de sonda $b_i$ tal que el producto interno $\langle b_i, f(\ell) \rangle$ aproxima $z_i(\ell)$ con un error $\epsilon$.
• El Problema de Compresión:
  • Caso General (Q1): ¿Cuántas dimensiones $d$ se necesitan para recuperar $m$ características $k$-escasas usando cualquier algoritmo (no lineal)? Esto corresponde a la Teoría de Muestreo Compresivo (Compressed Sensing) clásica.
  • Caso Lineal (Q2): ¿Cuántas dimensiones $d$ se necesitan si la recuperación debe ser lineal (usando una matriz $B$ tal que $B^T A \approx I$)? Esto define el nuevo régimen de Muestreo Compresivo Lineal.

3. Contribuciones Clave

El trabajo establece límites teóricos casi coincidentes (superiores e inferiores) para el Muestreo Compresivo Lineal, demostrando una brecha cuantitativa significativa entre la representación lineal pura y la accesibilidad lineal.

A. Resultados Principales (Teoremas 2 y 3):
Los autores derivan los límites para el número de neuronas $d$ necesarias para almacenar $m$ características con esparsidad $k$ y error $\epsilon$:

1. Límite Superior (Teorema 2):
   $$d = O_\epsilon(k^2 \log m)$$
   Esto demuestra que es posible almacenar un número exponencial de características respecto al número de neuronas ($m \gg d$) incluso bajo la restricción de decodificación lineal. La prueba utiliza construcciones de matrices con columnas aproximadamente ortogonales (matrices incoherentes).

2. Límite Inferior (Teorema 3):
   $$d = \Omega_\epsilon\left( \frac{k^2}{\log k} \log \frac{m}{k} \right)$$
   Este resultado es crucial porque establece que, bajo la restricción de accesibilidad lineal, la dimensión $d$ debe crecer cuadráticamente con la esparsidad $k$ ($d \propto k^2$). En contraste, en el muestreo compresivo clásico (con decodificación no lineal), $d$ solo necesita crecer linealmente con $k$ ($d \propto k$).

B. Brecha Cuantitativa:
La diferencia entre $O(k \log m)$ (clásico) y $O(k^2 \log m)$ (lineal) demuestra que la accesibilidad lineal es una hipótesis significativamente más fuerte que la mera representación lineal. La necesidad de decodificar linealmente impone un costo adicional en la capacidad de almacenamiento.

C. Geometría de las Características:
El artículo analiza la geometría de los vectores de representación ($a_i$) y de sonda ($b_i$):

• Se demuestra que no es necesario que los vectores de representación sean ortogonales entre sí, ni que los vectores de sonda sean ortogonales entre sí.
• Lo que es crítico es que el vector de sonda de una característica sea ortogonal a los vectores de representación de las otras características para minimizar la interferencia.
• Se muestra que es posible tener representaciones y sondas altamente correlacionadas entre sí, siempre que la matriz de producto $B^T A$ tenga entradas fuera de la diagonal pequeñas.

D. Generalización a Funciones de Activación:
El Teorema 12 y el Corolario 13 extienden los resultados a sondas con funciones de activación no lineales (como ReLU) y sesgos. Se demuestra que, para características binarias, añadir estas no linealidades no mejora asintóticamente la capacidad de almacenamiento; el límite inferior de $\Omega(k^2 \log(m/k))$ sigue aplicando.

4. Técnicas de Prueba

• Para el Límite Superior: Utilizan construcciones aleatorias de matrices (como matrices Gaussianas o de Rademacher escaladas) que son $\mu$-incoherentes. Esto garantiza que las columnas sean casi ortogonales, permitiendo que la interferencia entre características activas se cancele o se mantenga por debajo del umbral $\epsilon$.
• Para el Límite Inferior:
  1. Utilizan un resultado de Alon (2003) sobre el rango de matrices con diagonales cercanas a 1 y fuera de la diagonal pequeña.
  2. Aplican el Teorema de Turán de la teoría de grafos. Construyen un grafo donde las aristas representan interferencia fuerte entre características. Demuestran que si $d$ es demasiado pequeño, el grafo debe tener muchas aristas, lo que implica que existe un vector de sonda que sufre interferencia significativa de muchas otras características, violando la condición de recuperación precisa.

5. Significado e Implicaciones

• Validación Teórica de la Superposición: El trabajo proporciona la primera evidencia teórica rigurosa de que la LRH permite la "superposición" (almacenar $m \gg d$ características). Esto respalda la idea de que los LLMs pueden manejar vastos conceptos con un número finito de neuronas.
• Distinción Conceptual: Aclara que la capacidad de un modelo para "tener" una característica linealmente no garantiza que la siguiente capa pueda "leerla" linealmente sin un costo adicional en la dimensión del espacio.
• Fundamento para la Interpretabilidad: Al establecer límites claros sobre la capacidad de almacenamiento y recuperación lineal, el marco matemático ofrece una base sólida para entender por qué los autoencoders dispersos (SAEs) funcionan y cómo se organizan las características en los modelos.
• Límites de la Esparsidad: El hallazgo de que $d$ escala con $k^2$ sugiere que, a medida que los modelos manejan contextos con más características activas simultáneamente (mayor $k$), el costo en términos de neuronas necesarias para mantener la accesibilidad lineal aumenta cuadráticamente, lo que podría explicar ciertas limitaciones en la capacidad de los modelos actuales.

En conclusión, el artículo demuestra que, aunque la accesibilidad lineal impone restricciones más estrictas que la representación lineal pura, la LRH sigue siendo una hipótesis suficientemente expresiva para explicar la complejidad y la riqueza de comportamiento de los modelos de lenguaje modernos, permitiendo un almacenamiento exponencial de características.