Resumen Técnico: ¿Por qué funciona la interpretabilidad lineal?

El Problema: El enigma de la linealidad en sistemas no lineales

Los modelos Transformer son sistemas profundamente no lineales y altamente complejos. Sin embargo, en la práctica de la interpretabilidad, métodos extremadamente simples —como las sondas lineales (linear probes) y los autoencoders dispersos (SAEs)— logran recuperar estructuras semánticas consistentes y estables.

El problema fundamental que aborda este trabajo es teórico: ¿Por qué un sistema no lineal debería permitir un acceso lineal y fiable a su información semántica? Hasta ahora, la literatura se centraba en describir qué se puede extraer, pero no en explicar por qué la arquitectura del Transformer obliga a que la información se organice de esta manera.

---

Metodología y Marco Teórico

Los autores proponen que la estructura lineal no es un accidente del entrenamiento, sino una necesidad arquitectónica. Su marco se basa en tres pilares:

1. Interfaces de Comunicación Lineales: Los Transformers transmiten información a través de componentes que operan mediante transformaciones lineales, específicamente el circuito OV (Output-Value) de la atención y la matriz de unembedding (la capa final que proyecta estados ocultos a logits de tokens).
2. Teorema de la Necesidad de Subespacios Invariantes: Los autores formalizan que, si una característica semántica (por ejemplo, el concepto de "Francia") se decodifica a través de una interfaz lineal, su representación debe residir en un subespacio lineal invariante al contexto. Esto significa que, aunque el contexto cambie (ej. "Fui a París" vs. "Visité Marsella"), la dirección geométrica que representa la característica debe permanecer constante.
3. Propiedad de Autorreferencia (Self-Reference Property): Derivan que los propios tokens actúan como vectores de referencia. Si un token (ej. "Francia") representa una característica, su propio estado oculto proporciona la dirección geométrica necesaria para localizar esa característica en cualquier otro contexto.

Para validar esto, los autores diseñaron experimentos que comparan el uso de cabezales de atención en diversas tareas (taxonómicas, afectivas, lingüísticas, etc.) utilizando tres métodos de extracción: Zero-Shot (usando solo el token), Unsupervised (entrenando una sonda con solo tokens de clase) y SAE (usando autoencoders dispersos).

---

Contribuciones Clave

• Explicación Arquitectónica: Unifican la interpretabilidad lineal y la de SAEs bajo un principio de diseño: la arquitectura constriñe la forma que deben tomar las representaciones.
• Propiedad de Autorreferencia: Establecen que no se necesita entrenamiento supervisado para encontrar direcciones semánticas; los tokens "dicen" dónde buscar.
• Demostración de la Capacidad y Factorización: Demuestran que, debido a que el vocabulario ($|V|$) es mucho mayor que la dimensión oculta ($d$), el modelo está obligado a "factorizar" las representaciones, compartiendo direcciones semánticas entre múltiples tokens para optimizar el espacio.
• Validación de la Invariancia Direccional: Prueban que las características semánticas se comportan como vectores con magnitudes variables según el contexto, pero direcciones constantes.

---

Resultados Principales

1. Éxito de la Clasificación: Los métodos (Zero-Shot, Unsupervised y SAE) lograron clasificaciones altamente precisas en ocho dominios semánticos distintos, demostrando que la estructura es robusta y no depende de un conjunto de datos específico.
2. Convergencia de Métodos: El hecho de que un SAE (entrenado solo para reconstrucción) y una sonda basada en tokens (basada en la propiedad de autorreferencia) encuentren las mismas direcciones confirma que ambos acceden a la misma estructura subyacente.
3. Generalización: La estructura lineal se observó consistentemente en diversas familias de modelos (LLaMA3, Mistral, GPT-2), lo que sugiere que es una propiedad general de la arquitectura Transformer.
4. Análisis de Polisemia: El estudio de la palabra "Apple" demostró que los modelos pueden mantener múltiples direcciones semánticas (fruta y empresa) en superposición, y que el contexto simplemente modula la magnitud de la activación en cada dirección.

---

Significancia e Impacto

Este trabajo cambia el paradigma de la interpretabilidad: pasa de ser una disciplina puramente empírica (observar qué funciona) a una disciplina basada en principios arquitectónicos.

Al demostrar que los Transformers son "interpretables por diseño", el estudio abre la puerta a métodos de descubrimiento de circuitos mucho más escalables y no supervisados. Si los tokens mismos contienen las "llaves" de sus propios conceptos, podemos automatizar la extracción de conocimiento y la intervención en el comportamiento del modelo (steering) sin necesidad de grandes conjuntos de datos etiquetados.