Resumen Técnico: La Brecha de Convergencia en Modelos de Lenguaje Ajustados a Instrucciones

1. Declaración del Problema

Los diagnósticos actuales de comparación de modelos a menudo reducen las comparaciones entre puntos de control preentrenados (PT) y ajustados a instrucciones (IT) a puntuaciones de salida final (por ejemplo, precisión o perplejidad). Este enfoque oscurece cuándo un modelo se compromete con una predicción durante el paso hacia adelante. El artículo postula que los puntos de control de seguimiento de instrucciones publicados no terminan simplemente en distribuciones diferentes; siguen trayectorias de estabilización distintas, asentándose potencialmente en sus predicciones finales del siguiente token más tarde en la pila de la red que sus contrapartes preentrenadas. El problema central es la falta de un diagnóstico que mida el momento de la estabilización de la predicción en lugar de solo el resultado final.

2. Metodología

2.1 La Métrica de la Brecha de Convergencia

Los autores introducen la brecha de convergencia, un diagnóstico por capas definido como la divergencia de Kullback-Leibler (KL) entre la distribución del siguiente token decodificada en la capa $l$ ($p_l$) y la distribución final del siguiente token del propio modelo ($p_L$):
$$\text{Brecha de Convergencia}_l = \text{KL}(p_l || p_L)$$
Esta métrica cuantifica qué tan lejos está una capa específica de la predicción final del modelo. Una brecha mayor en capas tardías indica que el modelo sigue cambiando significativamente de opinión a medida que atraviesa la pila.

2.2 Configuración Experimental

• Modelos: Se analizaron seis pares de puntos de control PT/IT: Gemma 3 4B, Llama 3.1 8B, Qwen 3 4B, Mistral 7B, OLMo 2 7B y DeepSeek-V2-Lite.
• Historiales: Todas las comparaciones utilizaron historiales de tokens coincidentes. Las curvas de descubrimiento agregaron lecturas de capas por token a lo largo de cientos de miles de pasos de token.
• Controles:
  • Coincidencia de Puntos Finales: Los pasos de tokens PT e IT se emparejaron basándose en la confianza final, la entropía y los márgenes top-1/top-2 para asegurar que la brecha no sea un artefacto de diferentes niveles de confianza en el punto final.
  • Verificaciones Libres de Puntos Finales: Comparaciones de distribuciones de salida nativas de la misma capa bajo historiales idénticos forzados por el profesor, evitando cualquier referencia al punto final final.
  • Reproducción de Historial Fijo: Las plantillas de chat nativas se reprodujeron a través de modelos crudos y ajustados para controlar los efectos de serialización inducidos por la plantilla.

2.3 Intervenciones (Injertos/Intercambios de MLP con Prefijo Coincidente)

Para identificar el locus arquitectónico de este fenómeno, los autores realizaron intervenciones causales simétricas:

• Injertos: Reemplazo de ventanas específicas de MLP (Tempranas, Medias, Tardías) en un host PT con los pesos correspondientes de IT.
• Intercambios: Reemplazo de ventanas específicas de MLP en un host IT con los pesos correspondientes de PT.
• Ventanas: Definidas como aproximadamente el 40% de la profundidad del modelo, centradas en regiones tempranas, medias y tardías (por ejemplo, para Llama 3.1 8B, la región tardía son las capas 19–31).
• Controles Aleatorios: Se aplicaron perturbaciones aleatorias coincidentes de proyección residual a capas tardías para probar si cualquier gran perturbación, en lugar de la actualización específica de IT, causaba el efecto.

3. Resultados Clave

3.1 Los Modelos Ajustados a Instrucciones se Estabilizan Más Tarde

En las seis familias de modelos, los puntos de control ajustados a instrucciones exhiben una brecha de convergencia tardía mayor. Las curvas de IT permanecen más altas (más lejos de la distribución final) más profundamente en la pila en comparación con los modelos PT.

• Coincidencia de Puntos Finales: La brecha persiste incluso al controlar la confianza y la entropía del punto final (Crudo: +0.425 nats; Ajustado: +0.762 nats).
• Libres de Puntos Finales: El movimiento adyacente entre capas (divergencia JS) y las tasas de inversión futura top-1 son más altas en los modelos IT, confirmando que cambian sus predicciones más tarde en el paso hacia adelante.
• Efectos de Plantilla: Si bien la reproducción sin plantilla/atenuada atenúa la firma, el efecto permanece positivo y significativo bajo la reproducción de historial fijo de plantillas de chat nativas.

3.2 Los MLP Tardíos son el Punto de Apalancamiento Principal

Los experimentos de intervención identificaron las ventanas de MLP tardías como el mecanismo bidireccional más fuerte sobre el retraso de estabilización:

• Host PT + Injerto IT Tardío: Aumenta la brecha de KL tardía en +0.34 nats (vs. -0.03 para temprana, -0.05 para media).
• Host IT + Intercambio PT Tardío: Reduce el retraso de IT en -0.51 nats (vs. -0.10 para temprana, -0.23 para media).
• Controles Aleatorios: Las perturbaciones tardías aleatorias coincidentes no lograron reproducir el efecto (+0.003 nats vs. +0.327 nats para injertos reales), descartando explicaciones simples basadas en la magnitud.

3.3 Estudio de Caso Conductual (Gemma)

Un estudio de caso preseleccionado sobre Gemma 3 4B probó el impacto aguas abajo del intercambio PT tardío:

• Preferencia: La evaluación ciega por pares prefirió el IT nativo sobre el intercambio PT tardío en el 94.7% de los prompts de registro de asistente.
• Puntuaciones: La puntuación de registro de asistente cayó de 4.733 (nativo) a 3.929 (intercambio tardío), mientras que los intercambios tempranos tuvieron un impacto insignificante.
• Robustez: Las verificaciones programáticas (MMLU, razonamiento) no mostraron un colapso total, lo que sugiere que el efecto es específico de la dinámica de seguimiento de instrucciones en lugar de una degradación general de la capacidad.

4. Contribuciones y Significado

El artículo hace tres contribuciones principales, enmarcadas como un cambio en cómo se analiza el post-entrenamiento:

1. Un Objetivo de Dinámica de Predicción: La brecha de convergencia proporciona un objeto medible para "cuándo se asienta un modelo", yendo más allá de las comparaciones estáticas de puntos finales para analizar la ruta hacia la predicción.
2. Controles Rigurosos: Al emplear lecturas coincidentes de puntos finales y verificaciones de mismo historial libres de puntos finales, el artículo demuestra que la estabilización retrasada es una firma robusta del ajuste a instrucciones, no un artefacto de niveles de confianza o formato de plantillas.
3. Localización Causal: Las intervenciones con prefijo coincidente aíslan las ventanas de MLP tardías como el mecanismo bidireccional probado más grande sobre la estabilización retrasada. Esto identifica una región arquitectónica específica donde las dinámicas de "seguimiento de instrucciones" son más moldeables.

5. Alcance y Limitaciones (Voz del Autor)

Los autores declaran explícitamente el alcance y las limitaciones de sus afirmaciones:

• No es un Mecanismo Completo: El artículo no afirma explicar el mecanismo completo del seguimiento de instrucciones ni proporcionar una dirección de dirección universal.
• No es un Predictor de Benchmark: El estudio de caso de Gemma es un "puente orientado al comportamiento" para la familia más clara, no una afirmación de que la brecha de convergencia predice el rendimiento del benchmark en todas las tareas o familias.
• Sin Características Nombradas: El trabajo identifica una firma robusta por capas y el mecanismo de MLP más fuerte, pero no reconstruye el circuito completo ni identifica características dispersas nombradas (por ejemplo, mediante SAE o crosscoders).
• Dependencia de Plantillas: El efecto se modula por plantillas de chat; el artículo trata la indicación sin plantilla como una serialización fuera de distribución que atenúa, pero no borra, la firma.
• Advertencia MoE: DeepSeek-V2-Lite se incluyó en las curvas de descubrimiento pero se excluyó de los promedios causales porque el enrutamiento MoE complica la interpretación de los intercambios de ventanas de MLP densas.

Conclusión: El artículo concluye que los puntos de control ajustados a instrucciones publicados tienden a asentarse más tarde en el paso hacia adelante, y el cálculo de MLP tardío es el mecanismo bidireccional probado más fuerte sobre ese retraso bajo historiales coincidentes. Esto reencuadra el post-entrenamiento como un cambio en la ruta hacia una predicción, no solo en el punto final.