Resumen Técnico: Transiciones Fantasma en el Ajuste Fino de Modelos de Lenguaje

Planteamiento del Problema

Los modelos de lenguaje sometidos a un ajuste fino (fine-tuning) en contextos donde el competidor sinónimo cercano es la respuesta correcta exhiben un "fallo silencioso". En estos casos, la pérdida de entropía cruzada (CE) disminuye de forma monótona y la probabilidad del token correcto aumenta, pero el token correcto nunca logra superar al competidor en el ranking del modelo. Los diagnósticos estándar, que se basan en vectores de probabilidad y en la pérdida CE, no logran detectar esto porque tratan el vocabulario como una base ortonormal, ignorando el solapamiento geométrico entre las incrustaciones (embeddings). Cuando las incrustaciones son no ortogonales (por ejemplo, vergüenza y culpa), las actualizaciones de gradiente que aumentan la probabilidad del token correcto refuerzan simultáneamente al competidor a través de direcciones de incrustación compartidas, saboteando efectivamente el objetivo de optimización.

Metodología

El autor propone un marco de matriz de densidad para analizar la predicción de tokens, tratando las incrustaciones de tokens normalizadas como estados cuánticos $|\psi_i\rangle$ y la salida softmax como una matriz de densidad $\hat{\varrho} = \sum p_i |\psi_i\rangle\langle\psi_i|$. Este enfoque permite un esquema de puntuación que tiene en cuenta la geometría no ortogonal.

Constructos Analíticos Clave

1. El Parámetro de Orden ($\Phi$): Definido como la "brecha de Born", $\Phi = P_{Born}(g) - P_{Born}(c^*)$, donde $P_{Born}(g) = \sum p_i G_{ig}^2$ es la puntuación ponderada por el cuadrado del solapamiento. Esto distingue entre la incertidumbre genuina (tokens ortogonales) y la degeneración geométrica (sinónimos cercanos).
2. Factor de Autosabotaje: El autor deriva que un paso de gradiente que aumenta la probabilidad del token de verdad fundamental $g$ avanza la brecha de Born solo en $(1 - G_{max}^2)\delta p$. Este factor representa el "acelerador" (throttle) del progreso de la optimización.
3. Descomposición de Señal y Arrastre: $\Phi$ se descompone en:
   • Señal: La ventaja de probabilidad de $g$ sobre $c^*$, escalada por el factor de autosabotaje.
   • Arrastre de Fondo (Background Drag): Un término determinado por cómo el resto del conjunto de incrustaciones se proyecta sobre $g$ frente a $c^*$.
4. Observables Geométricos:
   • Ratio de Participación ($PR$): Un ratio de participación inversa geométricamente corregido que mide el número efectivo de tokens distintos.
   • Longitud de Localización ($\xi$): La dispersión angular de la nube de predicción.
   • Profundidad de Enterramiento ($B$): La relación entre la longitud de localización inicial y la distancia angular entre $g$ y $c^*$. $B > 1$ implica que la nube de predicción es demasiado amplia para discriminar geométricamente los tokens.
5. Cantidades Adimensionales: La trayectoria se caracteriza por unidades reducidas, incluyendo el campo reducido $H = G_{max}\eta / \theta^*$, donde $\eta$ es la tasa de aprendizaje y $\theta^*$ es un umbral de saturación específico del modelo.

Configuración Experimental

El estudio abarca cinco arquitecturas de transformadores (distilgpt2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) que cubren un rango de parámetros de seis veces mayor y dos clases distintas de geometría de incrustación. Se experimenta con el ajuste fino de diez contextos de sinónimos cercanos seleccionados a mano utilizando tanto el Ajuste Fino Completo (Full FT) como la Adaptación de Bajo Rango (LoRA).

Resultados Clave

1. Transiciones de Fase Fantasma

El parámetro de orden $\Phi$ exhibe saltos bruscos que se asemejan a transiciones de fase. Sin embargo, el autor falsea la interpretación de estos como ruptura espontánea de simetría (SSB) o transiciones de fase geométricas.

• Evidencia: Bajo LoRA, donde la matriz de incustaciones está congelada, los saltos bruscos persisten. Dado que la geometría de la incrustación no puede moverse, la discontinuidad debe residir enteramente en la lectura (readout) del softmax.
• Mecanismo: La brecha de logit evoluciona suavemente. El "salto" ocurre cuando la brecha de logit cruza la escala de saturación del softmax (aproximadamente 1.5–2.0 nats), causando un cambio rápido en la masa de probabilidad. La transición es cinemática, no estructural.

2. Dos Modos de Fallo

El marco aísla dos modos de fallo distintos en el ajuste fino:

• Fallo Cinemático: La señal es demasiado pequeña para superar el arrastre de fondo. El modelo no logra comprometerse porque la tasa de aprendizaje o el factor de autosabotaje son insuficientes.
• Fallo Estructural: El arrastre de fondo empeora activamente durante el entrenamiento. Incluso cuando la brecha de logit crece, el sesgo geométrico del conjunto de incrustaciones preentrenado (por ejemplo, los parientes morfológicos del competidor) extrae la probabilidad del token correcto. Esto se observa en modelos con masas densas de incrustaciones (Clase A).

3. Clases de Arquitectura y Suficiencia de LoRA

El autor identifica dos clases de arquitecturas basadas en la distribución de los solapamientos de incrustaciones por pares (el "bulk"):

• Clase A (Bulk Gaussiano Denso): Modelos como GPT-2 y SmolLM. El espacio de incrustaciones está congestionado; los sinónimos cercanos son valores atípicos en una cola poblada. LoRA suele fallar al resolver la competencia de sinónimos cercanos porque suprimir un competidor simplemente desplaza la masa hacia otro token geométricamente similar.
• Clase B (Bulk Exponencial Disperso): Modelos como Pythia. El espacio de incrustaciones es casi ortogonal. LoRA es suficiente para resolver la competencia porque la interferencia geométrica es localizada.
• Criterio: El Profundidad de Enterramiento ($B$) medido tras LoRA predice la suficiencia. Los modelos de Clase B logran $B < 1$ (resuelto), mientras que los modelos de Clase A permanecen en $B > 1$ (no resuelto).

4. Escalamiento Universal y Predicción Ciega

• Consistencia del Campo Reducido: Bajo Full FT, el campo reducido $H_{FT}$ es consistente en las cinco arquitecturas en aproximadamente $10.0 \pm 0.9$, lo que sugiere que las tasas de aprendizaje estándar de la comunidad están aproximadamente diez veces por encima del umbral de saturación.
• Predicción Ciega: Utilizando el $H_{LoRA} \approx 1.70$ de la Clase A derivado de tres modelos, el autor predijo la tasa de aprendizaje crítica para un modelo no probado (gpt-neo-125m). La predicción ($5.71 \times 10^{-5}$) coincidió con la verdad fundamental medida ($5.83 \times 10^{-5}$) con un 2.1% de error.

5. Criterio de Parada

Detener el ajuste fino cuando el parámetro de orden $\Phi$ se satura (en lugar de esperar a la convergencia de la pérdida CE) ahorra aproximadamente un 30% de cómputo sin degradar la calidad del ranking, ya que el ranking se consolida antes de que la pérdida converja totalmente.

Significado y Reivindicaciones

El artículo afirma proporcionar una explicación mecánica para los fallos silenciosos en el ajuste fino que los diagnósticos estándar pasan por alto. Sus contribuciones principales son:

1. Marco Diagnóstico: Una formulación de matriz de densidad que revela el autosabotaje geométrico y distingue entre fallos cinemáticos y estructurales.
2. Falsificación de la SSB: Demostrar que los saltos bruscos en el ranking son artefactos de la lectura del softmax, no transiciones de fase en la geometría interna del modelo.
3. Poder Predictivo: La capacidad de clasificar arquitecturas en clases de suficiencia de LoRA y de insuficiencia de LoRA basándose únicamente en la geometría de la incrustación preentrenada (bulk) y de predecir tasas de aprendizaje críticas para arquitecturas no vistas con alta precisión.
4. Limitación de Alcance: El autor establece explícitamente que estos hallazgos cuantitativos son específicos del mecanismo geométrico de sinónimos cercanos estudiado y no deben extrapolarse a conjuntos de datos generales de instrucción sin recalibración. El trabajo sirve como un análisis controlado, de estilo físico, de un modo de fallo específico en lugar de un benchmark amplio para todas las tareas de ajuste fino.