Resumen Técnico: Colapso de la Representación en el Post-entrenamiento Secuencial de Modelos de Lenguaje de Gran Escala

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) contemporáneos rara vez se adaptan mediante una única etapa de ajuste de instrucciones. En su lugar, pasan por cadenas secuenciales de etapas de post-entrenamiento, que incluyen ajuste de instrucciones general, optimización de preferencias, alineación de seguridad, especialización de dominio (matemáticas/código) y ajuste de cadena de pensamiento largo (CoT). Mientras que las prácticas de evaluación actuales se centran en los resultados conductuales (por ejemplo, puntuaciones de benchmarks, tasas de rechazo), este artículo sostiene que tal visión es incompleta.

El problema central investigado es el colapso de la representación: la hipótesis de que el post-entrenamiento secuencial comprime gradualmente el espacio de características interno del modelo hacia variedades (manifolds) de bajo rango, anisotrópicas y homogéneas. Los autores postulan que, si bien las etapas individuales pueden mejorar el rendimiento en tareas específicas, la concentración excesiva de las representaciones puede degradar la "plasticidad" del modelo, dificultando la adaptación futura a nuevos dominios. Este colapso se caracteriza por:

• Pérdida de rango efectivo en la covarianza de los estados ocultos.
• Alineación de las muestras con unas pocas direcciones dominantes (anisotropía).
• Reducción de la separabilidad entre dominios y tipos de tokens.
• Logits sobreconfiados y reducción de la calibración.
• Reutilización de los mismos subespacios de bajo rango para las actualizaciones de adaptadores (por ejemplo, LoRA) a través de diferentes etapas.

El artículo enmarca esto no como una pérdida total de capacidad, sino como un "modo de fallo silencioso" donde un modelo se vuelve mejor en su tarea objetivo más reciente pero menos capaz de aprender tareas subsecuentes debido al estrechamiento geométrico.

2. Metodología

Configuración Experimental

El estudio emplea un benchmark de post-entrenamiento secuencial controlado utilizando modelos de pesos abiertos de tamaño pequeño y mediano (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B y una verificación de escala de 7B). Los experimentos utilizan LoRA (rango 16, alfa 32) como el mecanismo de adaptación principal, con ajuste fino completo (full fine-tuning) en los modelos de 1B para verificar que los efectos no sean artefactos de la propia adaptación de bajo rango.

El flujo de entrenamiento involucra secuencias distintas de etapas, tales como:

• Cadena de Especialización: SFT General $\to$ SFT de Matemáticas $\to$ SFT de Código $\to$ SFT de Seguridad/Rechazo.
• Razonamiento y Preferencia: SFT General $\to$ SFT de CoT Largo $\to$ Optimización de Preferencias tipo DPO.
• Seguridad Primero: SFT de Seguridad/Rechazo $\to$ SFT General $\to$ Especialización de Dominio.

Suite de Medición

Se aplica un corpus de sondeo fijo ($X_{probe}$) de 12,000 textos de prompt-respuesta (balanceados entre dominios) a cada checkpoint para asegurar que los cambios geométricos no se vean confundidos por cambios en las distribuciones de evaluación. El artículo define una suite de medición integral que cubre:

1. Métricas Espectrales:
   • Rango Efectivo y Ratio de Participación: Mide qué tan concentrada está la covarianza del estado oculto.
   • Varianza Top-k: Visualiza la concentración en dimensiones dominantes.
2. Métricas Geométricas:
   • Anisotropía: Similitud de coseno promedio (centrada y no centrada).
   • Deriva CKA: Alineación de Kernel Centrado comparando los checkpoints con el modelo base y las etapas previas.
   • Separabilidad de Dominio: Puntuaciones de silueta y ratios de covarianza para la separación de dominios.
3. Dinámicas de Tokens:
   • Análisis de rango y diversidad a través de tramos específicos: prompts, respuestas tempranas, respuestas tardías, tramos de CoT y tramos de rechazo.
4. Métricas Funcionales:
   • Espacio de Logits: Entropía, tamaño de soporte del vocabulario, márgenes de los dos mejores (top-two) y Error de Calibración Esperado (ECE).
5. Métricas de Actualización:
   • Solapamiento de LoRA: Solapamiento del ángulo principal entre las bases de los vectores singulares de las actualizaciones de LoRA a través de diferentes etapas.

Estrategia de Evaluación

La evaluación se basa en trayectorias en lugar de puntos finales. Después de cada etapa, el modelo se evalúa en:

• Rendimiento Objetivo: Ganancia inmediata en el dominio entrenado.
• Retención/OOD: Rendimiento en tareas no contenidas y datos fuera de la distribución (out-of-distribution).
• Aprendizaje Futuro: Una prueba crítica donde cada checkpoint se somete a una adaptación de presupuesto fijo a una nueva tarea de dominio no vista. La eficiencia de la muestra y la puntuación final de esta adaptación futura sirven como el proxy de la plasticidad.

3. Resultados Clave

Hallazgos Empíricos

1. El Post-entrenamiento Secuencial es una Trayectoria: El colapso no es uniforme; se concentra en capas específicas (a menudo en los bloques transformadores medios y tardíos) y varía según la etapa. Por ejemplo, el ajuste de matemáticas reduce el rango en bandas específicas, mientras que el ajuste de seguridad concentra las representaciones de las respuestas tardías.
2. Firmas de Colapso Dependientes del Objetivo:
   • Ajuste de Seguridad/Rechazo: Produce direcciones de plantillas de respuesta fuertes y logits más nítidos.
   • Ajuste de CoT Largo: Crea una dirección de formato de razonamiento que afecta a los tokens generados tardíamente.
   • Optimización de Preferencias (DPO): Amplifica la anisotropía al aumentar los márgenes de preferencia relativos.
   • Matemáticas/Código: Son más matizados; especializan ciertas capas mientras preservan la separabilidad de dominio en otras partes.
3. El Colapso Predice la Plasticidad Futura: Existe una correlación negativa directa entre la salud de la representación (rango efectivo, anisotropía) y el rendimiento del aprendizaje futuro. A medida que el rango efectivo disminuye y la anisotropía aumenta durante la secuencia, la eficiencia de la muestra y la puntuación final de la adaptación a una nueva tarea se degradan, incluso si el rendimiento de la tarea objetivo inmediata mejora.
4. Dependencia de la Ruta: El orden de las etapas importa. Por ejemplo, el ajuste de seguridad seguido de instrucción general produce métricas de colapso diferentes que la instrucción general seguida de seguridad.

Estrategias de Mitigación

El artículo pone a prueba intervenciones ligeras para preservar la capacidad de aprendizaje futuro sin sacrificar las ganancias en la tarea objetivo:

• Replay de Dominios Mixtos: Mezclar una pequeña fracción (5–20%) de datos de dominio general en las etapas especializadas.
• Refresco de Características (Feature Refresh): Insertar etapas cortas de instrucción general después de las etapas de alto colapso.
• Regularización de la Diversidad de Representación: Penalizar la alineación de los estados ocultos a nivel de lote ($L_{cos}$).
• Descorrelación de Actualizaciones de LoRA: Penalizar el solapamiento entre las bases de las actualizaciones de LoRA actuales y las anteriores ($L_{decorr}$).

Los resultados indican que estos métodos pueden mejorar la frontera de Pareto, permitiendo una mejor adaptación futura mientras se mantiene el rendimiento objetivo, aunque no eliminan el colapso por completo.

4. Contribuciones

El artículo realiza tres contribuciones principales:

1. Un Protocolo de Medición por Capas: Una suite de diagnósticos (espectrales, geométricos, de nivel de token, funcionales y del espacio de actualización) diseñado específicamente para detectar el colapso de la representación en el post-entrenamiento secuencial.
2. Un Benchmark Secuencial Controlado: Una matriz experimental estandarizada que cubre instrucción general, matemáticas, código, seguridad, CoT y datos de preferencia con presupuestos de tokens coincidentes y un corpus de sondeo fijo.
3. Validación Predictiva: Evidencia de que las métricas de colapso (medidas antes de la adaptación futura) predicen la dificultad de aprender nuevas tareas, y que las intervenciones que preservan la diversidad pueden mitigar esta pérdida de plasticidad.

5. Significancia y Reivindicaciones

El artículo afirma que el colapso de la representación no es meramente una curiosidad geométrica, sino un diagnóstico práctico para la capacidad de aprendizaje futuro. Los autores argumentan que el enfoque actual en los benchmarks conductuales pasa por alto un modo de fallo crítico: un modelo puede volverse conductualmente competente en una tarea específica mientras se vuelve geométricamente frágil para la adaptación futura.

La significancia radica en redefinir la alineación y la especialización como problemas de aprendizaje continuo. La suite de medición propuesta permite a los profesionales distinguir entre la especialización beneficiosa y el estrechamiento frágil. El artículo concluye que, si bien el post-entrenamiento no debe maximizar la diversidad a toda costa (ya que cierta especialización es necesaria), preservar suficientes grados de libertad representacionales es esencial para mantener la capacidad del modelo para adaptarse a requisitos futuros e imprevistos.

Limitaciones señaladas por los autores:

• Los experimentos se realizan en modelos de 1B–7B; el comportamiento a escala de frontera puede diferir.
• Se utiliza DPO como un proxy para el RLHF/RLAIF de producción.
• Las mediciones son sensibles a la elección del corpus de sondeo y a los tramos de tokens, aunque el estudio controla esto mediante múltiples tipos de sondeo.
• Las afirmaciones causales están respaldadas por evidencia de intervención (mitigaciones) más que por una derivación puramente teórica.