Architecture Determines Observability in Transformers

A continuación se presenta un resumen técnico detallado del artículo "Architecture Determines Observability in Transformers" de Thomas Carmichael.

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) autoregresivos cometen frecuentemente errores seguros: instancias en las que el modelo genera un token con alta probabilidad softmax (alta confianza) que, sin embargo, es incorrecto. Las técnicas de monitoreo estándar, que dependen de la confianza de salida (por ejemplo, la máxima probabilidad softmax) o de predictores entrenados en la capa final, no logran detectar estos errores.

El artículo postula que, para que el monitoreo basado en activaciones tenga éxito, el modelo debe preservar una señal interna sobre la "calidad de la decisión por token" que sea distinta de la señal de confianza de salida y no totalmente recuperable a partir de esta. Sin embargo, no está claro si esta señal es una propiedad universal de los transformadores o si depende de elecciones arquitectónicas específicas y dinámicas de entrenamiento. El problema central es que los métodos de sondeo (probing) estándar suelen confundir la "calidad de la decisión" con la "confianza de salida", lo que lleva a estimaciones infladas de la monitorizabilidad.

2. Metodología

Los autores proponen un marco riguroso para aislar y medir la Observabilidad, definida como la legibilidad lineal de la calidad de la decisión a partir de activaciones de capas medias congeladas, tras controlar la confianza de salida.

Definiciones y Métricas Clave

• Observabilidad ($\rho_{partial}$): La correlación de Spearman parcial entre una sonda lineal sobre los estados ocultos ($h^{(l)}$) y la pérdida de entropía cruzada por token ($\ell$), controlando dos factores de confusión:
  1. Máxima probabilidad softmax ($\hat{p}_{max}$).
  2. Norma de la activación ($\|h\|$).
     Esto aísla la señal "residualizada respecto a la confianza".
• Residuo Controlado por Salida ($r_{OC}$): Una métrica más estricta que controla además un predictor entrenado de Perceptrón Multicapa (MLP) sobre la representación de la capa final. Si $r_{OC} > 0$, la señal de la capa media contiene información sobre la calidad de la decisión que la capa de salida final descarta o no logra utilizar.
• Colapso de la Observabilidad: Un estado en el que $\rho_{partial}$ cae por debajo de un umbral de detección (aprox. $\le 0.15$) y $r_{OC}$ se acerca a cero, indicando que la arquitectura ha fallado en preservar la señal de error independiente de la salida.

Protocolo Experimental

• Datos: WikiText-103 para entrenar sondas; tareas posteriores (SQuAD, MedQA, TruthfulQA) para validación operativa.
• Sondeo (Probing): Una cabeza lineal simple ($w^T h + b$) entrenada sobre activaciones congeladas para predecir un objetivo binario: si la pérdida residual ($\ell - \hat{\ell}$) es positiva (es decir, si el modelo está más equivocado de lo que sugiere su confianza).
• Controles: El estudio emplea controles extensos, incluidos MLPs no lineales, controles de entropía de logits y pruebas de mezcla (shuffle) para descartar artefactos.
• Conjuntos de Datos: 25 modelos de 6 familias (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

3. Contribuciones Clave

A. La "Contaminación por Confianza" de las Sondas

El artículo demuestra que las sondas lineales estándar están fuertemente contaminadas por la confianza de salida. En 13 modelos, el control por la máxima probabilidad softmax y la norma de activación absorbe el 57.7% de la señal cruda de la sonda. Esto implica que estudios anteriores que afirmaban encontrar "señales de razonamiento" en estados ocultos podrían haber estado simplemente detectando los propios niveles de confianza del modelo.

B. La Configuración Arquitectónica Determina la Observabilidad

El hallazgo más significativo es que la observabilidad no es una propiedad genérica de los transformadores; está determinada por configuraciones arquitectónicas específicas y recetas de entrenamiento.

• El Fenómeno de Colapso: En la suite Pythia (entrenamiento controlado), los modelos con la configuración de (24 capas, 16 cabezas) colapsan consistentemente a $\rho_{partial} \approx 0.10$, independientemente del número de parámetros (de 410M a 1.4B) o de la variante del conjunto de datos (Pile vs. Pile desduplicado).
• Rango Saludable: Otras configuraciones (por ejemplo, 16L/8H, 32L/32H) mantienen un rango de señal "saludable" de $\rho_{partial} \in [0.21, 0.38]$.
• LLAMA vs. QWEN: A escalas emparejadas (3 mil millones de parámetros), QWEN 2.5 preserva una fuerte observabilidad ($\rho_{partial} \approx 0.26$), mientras que LLAMA 3.2 colapsa ($\rho_{partial} \approx 0.09$). Las distribuciones de las semillas de las sondas no se superponen, lo que indica una diferencia arquitectónica fundamental.

C. Colapso Emergente del Entrenamiento

Mediante el análisis de puntos de control de Pythia 1B (saludable) frente a Pythia 1.4B (colapsado), los autores muestran que ambas configuraciones forman inicialmente la señal al principio del entrenamiento. Sin embargo, durante la mitad del entrenamiento, la arquitectura (24L, 16H) borra esta señal mientras la pérdida predictiva (perplejidad) sigue mejorando. La configuración saludable se recupera y retiene la señal. Esto demuestra que el colapso es el resultado de la interacción entre las dinámicas de entrenamiento y la arquitectura, y no de una incapacidad estática de la arquitectura para representar la señal.

D. Utilidad Operativa (Captura Exclusiva)

El estudio valida la utilidad práctica de estas sondas en tareas posteriores (Preguntas y Respuestas, Médicas, Veracidad).

• Tasa de Captura Exclusiva: Con una tasa de alerta del 20%, el observador captura entre el 10.9% y el 13.4% de los errores que el monitoreo por confianza pasa por alto.
• Transferibilidad: Las sondas entrenadas en WikiText se transfieren a tareas posteriores sin reentrenamiento específico de la tarea, capturando respuestas "seguras pero incorrectas" en QA médica y Comprensión Lectora.
• Limitación: El observador no detecta "alucinaciones fluidas" (TruthfulQA) donde el modelo afirma con confianza una falsedad; captura específicamente fallos de predicción a nivel de token donde el estado interno contradice la confianza de salida.

4. Resultados Clave

Métrica	Configuraciones Saludables (ej. GPT-2, QWEN, Mistral)	Configuraciones Colapsadas (ej. LLAMA 3B/8B, Pythia 24L/16H)
$\rho_{partial}$	0.21 – 0.38	$\approx$ 0.10 (cerca del suelo de detección)
$r_{OC}$	Positiva (0.09 – 0.17)	Cerca de Cero o Negativa
Fuente de Señal	Independiente de la salida, legible linealmente	Borrada por el entrenamiento; no recuperable por sondas no lineales
Captura Exclusiva	~12–15% de errores (con tasa de alerta del 20%)	Cerca de la línea base aleatoria

• No Linealidad: Las sondas no lineales (MLPs) no recuperan la señal en configuraciones colapsadas, lo que demuestra que la pérdida es representacional, no una limitación de las lecturas lineales.
• Independencia de Escala: Dentro de una familia saludable (por ejemplo, QWEN 2.5), la observabilidad es estable en un rango de parámetros de 28x (de 0.5B a 14B).
• Dependencia de la Receta: La configuración específica que colapsa depende de la receta de entrenamiento (por ejemplo, Pythia colapsa en 24L/16H; LLAMA colapsa en 28L/24H).

5. Significado e Implicaciones

1. Selección de Arquitectura como Decisión de Monitoreo: El artículo argumenta que elegir una arquitectura de modelo no es solo una decisión de rendimiento, sino una decisión de monitorizabilidad. Si se elige una configuración específica (como LLAMA 3B o Pythia 24L/16H), el monitoreo basado en activaciones para errores seguros se vuelve imposible, independientemente de lo sofisticado que sea la herramienta de monitoreo.
2. Redefinición de la Validez del Sondeo: El estudio establece que la investigación futura sobre sondeo dirigida a la calidad de la decisión debe controlar la confianza de salida. Sin estos controles, es probable que los resultados sobreestimen la señal "independiente de la salida" en un factor de 2 a 3.
3. Dinámicas de Entrenamiento: El descubrimiento de que el entrenamiento borra activamente una señal que estaba presente inicialmente sugiere que preservar la observabilidad es un problema de optimización no trivial. Los objetivos de entrenamiento actuales (minimizar la pérdida) pueden destruir inadvertidamente las señales internas necesarias para el monitoreo de seguridad.
4. Monitoreo Complementario: El observador proporciona una señal complementaria a la confianza de salida. Mientras que los monitores de confianza detectan errores "inciertos", los monitores de activación detectan errores "seguros pero incorrectos". Sin embargo, esta capacidad está limitada por la capacidad de la arquitectura para preservar la señal.

Conclusión:
El artículo concluye que la arquitectura determina la observabilidad. La capacidad de un modelo para ser monitoreado en busca de errores seguros es una propiedad previa determinada por la interacción de su configuración y su receta de entrenamiento. Una vez que un modelo se entrena en una configuración "colapsada", ningún diseño de sonda a posteriori puede recuperar la señal perdida. Por lo tanto, garantizar la monitorizabilidad requiere seleccionar arquitecturas y recetas de entrenamiento que preserven estas señales internas independientes de la confianza.