CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

El artículo presenta CapTrack, un marco de evaluación centrado en capacidades que redefine el olvido en la post-entrenamiento de modelos de lenguaje grandes como una deriva conductual sistemática y revela, mediante un estudio a gran escala, que este fenómeno afecta significativamente la robustez y los comportamientos predeterminados más allá del conocimiento paramétrico, con variaciones notables según el algoritmo y la familia del modelo.

Lo esencial

Imagina que tienes un chef de cocina increíble (esto es un Modelo de Lenguaje Grande o LLM) que ya sabe cocinar de todo: desde pasteles hasta salsas complejas. Este chef ha aprendido de miles de libros de cocina (es el modelo "pre-entrenado").

Ahora, quieres que este chef se especialice en cocina legal o cocina médica. Para lograrlo, le das un curso intensivo (esto es el "post-entrenamiento"). El objetivo es que aprenda los términos legales o los consejos médicos.

El problema es que, al aprender estas nuevas habilidades, el chef empieza a olvidar cosas.

El problema: ¿Qué es realmente el "olvido"?

Antes, los científicos pensaban que el olvido era como si el chef olvidara recetas específicas (por ejemplo, ya no supiera hacer un pastel de chocolate). Solo miraban si el chef seguía acertando en preguntas de cultura general.

Pero este paper, llamado CapTrack, dice: "¡Eso no es suficiente!".

El paper argumenta que el olvido es mucho más sutil y peligroso. No es solo que el chef olvide recetas; es que cambia su personalidad y su forma de trabajar.

• Quizás antes era muy amable y hablaba mucho, y ahora es seco y cortante.
• Quizás antes era valiente y respondía a todo, y ahora se niega a responder preguntas inocentes por miedo.
• Quizás antes seguía las instrucciones al pie de la letra, y ahora empieza a inventar cosas o a ignorar reglas simples.

CapTrack es como una caja de herramientas de diagnóstico nueva. En lugar de solo preguntar "¿Sabes cocinar?", la caja de herramientas pregunta:

1. ¿QUÉ PUEDE HACER (CAN)? (¿Sigue sabiendo cocinar bien si le das las instrucciones perfectas?)
2. ¿QUÉ QUIERE HACER (WILL)? (¿Cómo se comporta por defecto? ¿Es amable? ¿Es útil?)
3. ¿CÓMO LO HACE (HOW)? (¿Sigue las reglas del formato? ¿Usa los utensilios correctos? ¿Mantiene la conversación coherente?)

Lo que descubrieron (La historia de la investigación)

Los autores probaron esta caja de herramientas con varios chefs (modelos como LLaMA, Gemma y Qwen) y les dieron cursos intensivos en derecho y medicina.

Aquí están sus hallazgos principales, explicados con analogías:

1. El olvido va más allá de la memoria
Aunque el chef sigue acertando en preguntas de cultura general (sabe qué es la capital de Francia), ha perdido su "brújula".

• Ejemplo: Un chef que antes era muy detallado y usaba emojis para ser amable, después del curso de medicina se vuelve un robot seco y aburrido. O peor aún, un chef que antes era valiente, ahora se niega a responder preguntas simples porque cree que son peligrosas.
• La lección: Si solo miras si sabe "datos", no ves que ha perdido su personalidad y su utilidad para el usuario.

2. El tipo de curso importa mucho

• Aprendizaje por Instrucción (IFT): Es como gritarle al chef: "¡Haz esto! ¡Haz aquello!". Es muy efectivo para aprender, pero es el que más olvido causa. Cambia drásticamente la personalidad del chef.
• Optimización de Preferencias (DPO): Es como decirle al chef: "De estas dos respuestas, me gustó más la A". Es más suave. El chef aprende, pero olvida menos y mantiene mejor su personalidad original. Incluso, si primero le gritas (IFT) y luego le das preferencias (DPO), el chef recupera parte de lo que había perdido.

3. No todos los chefs son iguales
Algunos modelos (como Qwen) son como chefs veteranos que resisten bien el estrés y olvidan menos. Otros (como LLaMA o Gemma) son más sensibles y cambian drásticamente su comportamiento tras el curso. No importa si el chef es gigante (80B parámetros) o pequeño; el tamaño no garantiza que no olvide.

4. Las soluciones mágicas no existen (La trampa del equilibrio)
Los autores probaron tres formas de intentar que el chef no olvide:

• Mezclar datos: Darle al chef libros generales además de los legales. Resultado: A veces ayuda, a veces empeora. No es una solución mágica.
• Fusionar modelos: Mezclar al chef nuevo con el chef original. Resultado: Funciona un poco, pero tienes que elegir: o el chef es muy bueno en leyes (pero olvida todo lo demás) o es muy equilibrado (pero ya no es tan bueno en leyes).
• Regularización (LoRA): Limitar cuánto puede cambiar el chef. Resultado: Igual que arriba. Si quieres que aprenda mucho, olvidará más. Si quieres que no olvide, aprenderá menos.

La conclusión final

El paper nos dice que el olvido en la IA no es solo perder datos, es perder capacidades y comportamientos.

Para saber si un modelo es bueno después de entrenarlo, no basta con hacerle un examen de cultura general. Necesitamos mirar cómo se comporta: ¿Es amable? ¿Sigue las reglas? ¿Es robusto?

CapTrack es la nueva lupa que nos permite ver estos cambios sutiles. Nos ayuda a elegir al chef adecuado para el trabajo y a entender que, cuando adaptamos una IA, siempre hay un intercambio: ganas especialización, pero arriesgas perder parte de su esencia original.

En resumen: No solo preguntes si el modelo "sabe" las cosas, pregúntale cómo "actúa" cuando las sabe.

Resumen técnico

Aquí tienes un resumen técnico detallado del paper "CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training" en español:

1. El Problema: Una visión insuficiente del olvido en LLMs

El post-entrenamiento (fine-tuning, ajuste de preferencias, etc.) es fundamental para adaptar los Grandes Modelos de Lenguaje (LLMs) a dominios específicos y alineación de valores. Sin embargo, este proceso induce un fenómeno conocido como "olvido" (forgetting).

La literatura actual define el olvido principalmente como la pérdida de conocimiento paramétrico o factual (ej. disminución de precisión en benchmarks de conocimiento general como MMLU). Los autores argumentan que esta visión centrada en la precisión es insuficiente para los modelos fundacionales modernos. Un modelo puede mantener su precisión factual pero sufrir una degradación crítica en:

• Robustez: Capacidad de manejar variaciones en el prompt o cambios de dominio.
• Comportamiento por defecto: Cambios en la voluntad de responder, estilo, tono o nivel de detalle.
• Cumplimiento de protocolos: Capacidad de seguir instrucciones complejas, mantener el estado en conversaciones multi-turno o formatear salidas correctamente.

Estas degradaciones afectan directamente la experiencia del usuario y la fiabilidad del despliegue, pero a menudo pasan desapercibidas si solo se evalúa el conocimiento factual.

2. Metodología: CapTrack

Para abordar esta brecha, los autores introducen CapTrack, un marco de evaluación centrado en las capacidades que va más allá del conocimiento paramétrico.

A. Taxonomía de Capacidades (CAN, WILL, HOW)

CapTrack descompone el comportamiento del LLM en tres grupos complementarios:

1. CAN (Competencia Latente): Lo que el modelo puede hacer bajo un prompt ideal. Incluye conocimiento paramétrico (C1), razonamiento (C2), comprensión contextual (C3), fidelidad epistémica (C4) y robustez (C5).
2. WILL (Preferencias Conductuales por Defecto): Lo que el modelo tenderá a hacer sin instrucciones específicas. Incluye la voluntad de responder (W1), la utilidad y alcance informativo (W2), y el estilo/elaboración (W3).
3. HOW (Cumplimiento de Protocolos y Ejecución): Cómo el modelo ejecuta las instrucciones. Incluye seguimiento de instrucciones (H1), fidelidad de formato (H2), uso de herramientas (H3), mantenimiento de estado multi-turno (H4), operaciones de ventana de contexto (H5) y mecánicas de citación (H6).

B. Suite de Evaluación

CapTrack utiliza una suite de 30 benchmarks establecidos y adaptaciones dirigidas para medir estas capacidades.

• Enfoque Relativo: Evalúa la desviación relativa de los modelos post-entrenados frente a sus versiones base "out-of-the-box" (OOB), en lugar de medir el rendimiento absoluto.
• Eficiencia: Utiliza muestreo inteligente (Scales++) para reducir la carga computacional a ~14.5k muestras totales.
• Métricas: Combina métricas basadas en reglas (exactitud) y evaluaciones con "LLM-as-a-judge" para aspectos cualitativos (razonamiento, estilo, seguridad).

3. Configuración Experimental

• Modelos: 7 modelos de 3 familias (Qwen 3, Gemma 3, LLaMA 3.1/3.3) con tamaños desde 4B hasta 80B parámetros.
• Dominios: Legal y Médico.
• Algoritmos: Fine-tuning supervisado (IFT) y Optimización de Preferencias Directa (DPO).
• Mitigación: Se probaron estrategias de datos (datos generales vs. específicos), arquitectura (fusión de modelos) y regularización (LoRA).

4. Resultados Clave

A. El Olvido se extiende más allá del conocimiento factual

El estudio revela que el olvido es un fenómeno sistémico que afecta significativamente a las capacidades de robustez y preferencias conductuales.

• IFT (Fine-tuning): Induce la mayor degradación relativa, especialmente en robustez multilingüe (hasta -29.4% en LLaMA), estilo (reducción drástica de verbosidad) y cumplimiento de instrucciones.
• DPO (Optimización de Preferencias): Es más conservador. A menudo puede recuperar parcialmente capacidades perdidas tras un IFT, especialmente en el grupo WILL (comportamiento).
• Variabilidad Familiar: Los patrones de olvido varían significativamente entre familias de modelos. Qwen tiende a ser más estable en competencia latente, mientras que LLaMA y Gemma muestran mayor deriva en preferencias conductuales.
• Tamaño del Modelo: No existe una dependencia consistente con el tamaño del modelo. Los modelos más grandes no son uniformemente más estables; de hecho, en ciertas capacidades (como la precisión de citas), los modelos más pequeños sufren más.

B. Análisis de Mitigación (Trade-off Estabilidad-Plasticidad)

Los autores evaluaron estrategias comunes para mitigar el olvido y encontraron que no existe una solución universal:

1. Datos (General vs. Específico): Cambiar a datos generales o añadir datos de "replay" no mitiga consistentemente el olvido. Los efectos son mixtos y dependen de la capacidad específica.
2. Arquitectura (Fusión de Modelos): Fusionar el modelo post-entrenado con el modelo base (ej. TIES, DARE) reduce el olvido pero sacrifica el rendimiento en el dominio objetivo.
3. Regularización (LoRA): Limitar los parámetros entrenables (LoRA) actúa como un regularizador global. Mejorar la estabilidad (reducir olvido) siempre conlleva una reducción en la plasticidad (rendimiento en el nuevo dominio).

Conclusión de la mitigación: Existe un trade-off fundamental entre estabilidad y plasticidad. Las estrategias actuales no pueden desacoplar la adaptación del olvido de manera selectiva; proteger una capacidad a menudo degrada otra o reduce la capacidad de aprendizaje.

5. Contribuciones Principales

1. Redefinición del Olvido: Extiende el concepto de olvido en LLMs para incluir la deriva a nivel de capacidades, comportamientos y fiabilidad de ejecución, no solo la pérdida de conocimiento factual.
2. Marco CapTrack: Presenta una taxonomía estructurada (CAN, WILL, HOW) y una suite de evaluación completa para medir este olvido multifacético.
3. Análisis Empírico a Gran Escala: Desentraña cómo los algoritmos, datos, familias de modelos y escalas moldean el olvido, revelando que el IFT es el principal motor de deriva y que DPO es más conservador.
4. Evaluación de Mitigación: Demuestra que las estrategias actuales (datos, fusión, regularización) exponen un trade-off estabilidad-plasticidad inherente, sugiriendo la necesidad de intervenciones específicas para cada capacidad en lugar de soluciones globales.

6. Significado e Impacto

El trabajo es crucial porque cambia el paradigma de evaluación de los LLMs post-entrenados.

• Para la Industria: Advierte que un modelo puede parecer "correcto" en benchmarks estándar pero ser inútil o peligroso en producción debido a cambios en su comportamiento por defecto (ej. negarse a responder preguntas seguras, perder capacidad de razonamiento en contextos multilingües o fallar en formatos de salida).
• Para la Investigación: Proporciona una herramienta diagnóstica (CapTrack) para identificar qué capacidades se degradan, permitiendo desarrollar estrategias de mitigación más dirigidas y conscientes de las capacidades, en lugar de tratar el olvido como un problema monolítico de conocimiento factual.
• Transparencia: Facilita la toma de decisiones informada sobre la selección de modelos y estrategias de adaptación, evitando la ilusión de estabilidad basada únicamente en métricas de precisión.

En resumen, CapTrack demuestra que el olvido en el post-entrenamiento es un fenómeno complejo y multifacético que requiere una evaluación holística para garantizar la fiabilidad y seguridad de los LLMs en aplicaciones del mundo real.