When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Resumen Técnico: "Cuando la precisión de sondeo se satura, la fragilidad resuelve"

1. El Problema: La saturación de la precisión de sondeo

El sondeo lineal estándar es un protocolo de interpretabilidad ampliamente utilizado donde un clasificador lineal se entrena sobre estados ocultos congelados para predecir una propiedad específica (p. ej., sentimiento, moralidad, sintaxis). Si el clasificador alcanza una alta precisión, la propiedad se declara "codificada".

El artículo identifica un modo de falla crítico en este protocolo cuando se aplica a la dinámica de preentrenamiento. En la trayectoria de OLMo-2 1B, la precisión de sondeo estándar para propiedades como la moralidad se satura en los primeros pocos miles de pasos (alcanzando aproximadamente un 95% de precisión en el paso 4K). Para el 95% restante de la trayectoria de entrenamiento (~33K pasos), la métrica de precisión permanece plana. En consecuencia, el instrumento se vuelve ciego a los cambios representacionales continuos que ocurren dentro del modelo, dejando la gran mayoría del preentrenamiento "invisible" para el análisis estándar.

2. Metodología: Introducción de la "Fragilidad"

Para recuperar la resolución perdida debido a la saturación, los autores introducen la fragilidad, una métrica complementaria por capa.

• Definición: La fragilidad se define como el nivel de ruido crítico ($\sigma^*_\ell$) en el cual la precisión de un sondeo entrenado colapsa por debajo de un umbral específico (establecido en 0.6, o azar + 0.1).
• Procedimiento:
  1. Entrenar un sondeo lineal estándar en estados ocultos limpios para una capa $\ell$ específica.
  2. Inyectar ruido gaussiano ($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$) en las activaciones del conjunto de prueba almacenadas en caché.
  3. Re-evaluar el sondeo a través de un barrido logarítmico de escalas de ruido ($\sigma \in \{0.1, 0.3, 1.0, 3.0, 10.0\}$).
  4. Identificar el $\sigma$ más pequeño donde la precisión cae por debajo del umbral.
• Interpretación:
  • $\sigma^*_\ell$ bajo: La representación es frágil; el límite de decisión tiene un margen estrecho o baja redundancia, lo que provoca que la precisión colapse ante pequeñas perturbaciones.
  • $\sigma^*_\ell$ alto: La representación es robusta; la distinción está codificada con un margen amplio y/o alta redundancia.
• Alcance: Esta métrica se aplica a los mismos sondos entrenados utilizados para las curvas de precisión, lo que la convierte en un complemento directo que rastrea la geometría de la separabilidad y la redundancia incluso después de que la precisión se estanca.

3. Contribuciones clave y configuración experimental

El artículo valida esta metodología utilizando las familias OLMo-2 1B (37 checkpoints, muestreo denso de 1K pasos) y OLMo-3 7B (20 checkpoints). Los autores emplean cuatro conjuntos de datos de pares mínimos distintos para sondear diferentes capacidades:

1. Moral Estándar: Intercambios de un solo token de lexemas con carga moral (p. ej., "traicionado" frente a "saludado").
2. Sentimiento: Intercambios de un solo token de adjetivos.
3. Sintaxis: Violaciones de la formación estructural.
4. Moral Composicional (Nueva Contribución): Un nuevo conjunto de datos de 200 pares donde la valencia moral se determina por la integración de múltiples tokens (p. ej., "proteger" frente a "humillar" en contextos específicos) en lugar de un solo lexema fuerte. Este conjunto de datos ha sido rigurosamente validado para asegurar que no puede ser resuelto mediante estadísticas de bolsa de palabras (bag-of-words) por sí solo (requiriendo la integración de múltiples tokens).

4. Resultados clave

Hallazgo 1: Un gradiente cuantitativo de Léxico $\to$ Composicional
La precisión de sondeo estándar sugiere que la codificación moral emerge en el paso 1K. Sin embargo, los autores demuestran que esto mide la separabilidad léxica, no el razonamiento composicional.

• Sondeo Moral Estándar: Comienza en el paso 1K (intercambio de un solo lexema).
• Sondeo Moral Composicional: Comienza en el paso 5K (integración de múltiples tokens).
• Gradiente: La emergencia sigue un orden estricto: detección moral léxica (1K) $\to$ sentimiento (2K) $\to$ codificación moral composicional (5K) $\to$ sintaxis (6K).
• Validación: El sondeo composicional se transfiere entre tipos de construcción (p. ej., entrenar en pares de "motivo", probar en pares de "rol") y supera significativamente a una línea base de bolsa de palabras, confirmando que captura una codificación composicional genuina y no solo una búsqueda de vocabulario.

Hallazgo 2: La fragilidad resuelve la estructura donde la precisión es plana
Mientras que la precisión media de sondeo se estanca en ~0.95 para el paso 4K y permanece estática, la media del ruido crítico (fragilidad) continúa evolucionando a través del paso 36K.

• Gradiente de profundidad de capa: Se desarrolla un gradiente monotónico donde las capas tardías mantienen la máxima robustez (alto $\sigma^*$), mientras que las capas tempranas se vuelven progresivamente más frágiles (el ruido crítico cae de 10.0 a 1.8).
• Replicación: Este patrón se mantiene en el modelo OLMo-3 7B y es robusto a través de cuatro semillas aleatorias para el sondeo composicional.
• Significado: El modelo experimenta un refinamiento representacional significativo (cambiando la robustez y la redundancia) mucho después de que simplemente pueda "clasificar" los datos correctamente.

Hallazgo 3: La curación de datos reconfigura la robustez sin cambiar la precisión
Los autores ajustaron finamente el modelo OLMo-2 1B en tres corpora emparejados (Moral Narrativa, Moral Declarativa, Control General) usando LoRA.

• Precisión: Las tres condiciones produjeron una precisión de sondeo máxima idéntica (~0.74–0.75).
• Fragilidad: Las condiciones produjeron huellas de fragilidad distintas.
  • La Moral Declarativa (plantillas de "Robar es malo") resultó en una fragilidad difusa (10 de 16 capas fueron frágiles; $\sigma^*$ medio = 5.63).
  • Las condiciones Narrativa/General fueron más robustas ( $\sigma^*$ medio $\approx$ 7.0).
• Implicación: La memorización de plantillas sintácticas crea límites de decisión de margen estrecho y bajo que colapsan ante el ruido, un cambio estructural invisible para las métricas de precisión.

5. Significado y Reivindicaciones

El artículo realiza una reivindicación metodológica más que una reivindicación específica de un dominio moral: la precisión de sondeo es una métrica umbralizada y limitada que falla en capturar la dinámica una vez que una propiedad es linealmente decodificable.

• La Tesis Central: En cada comparación probada, donde la precisión de sondeo devuelve una respuesta plana y poco informativa, la fragilidad devuelve una respuesta estructurada y evolutiva.
• Reencuadre de la Emergencia: El artículo argumenta que las afirmaciones de "emergencia" basadas únicamente en el inicio del sondeo estándar (p. ej., "la moralidad emerge en el paso 1K") son a menudo artefactos de la accesibilidad léxica. Las capacidades composicionales verdaderas emergen más tarde y siguen una dinámica diferente (gradual frente a escalonada).
• Utilidad: La fragilidad sirve como un diagnóstico necesario para el análisis de preentrenamiento, revelando la evolución de la geometría de la representación (margen y redundancia) que la precisión estándar oculta.

Los autores concluyen que la ventana de preentrenamiento realiza significativamente más trabajo de lo que revelan los instrumentos de interpretabilidad estándar, y que añadir una lectura de fragilidad es esencial para recuperar esta resolución faltante.