💬 NLP

Where does output diversity collapse in post-training?

El estudio demuestra que el colapso de la diversidad en los modelos de lenguaje post-entrenados se determina principalmente durante el entrenamiento por la composición de los datos, y no por el formato de generación o métodos de inferencia, lo que implica que este problema no puede resolverse únicamente en tiempo de inferencia.

Autores originales: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Publicado 2026-04-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina (el modelo de lenguaje) que es increíblemente creativo y sabe cocinar de todo. Al principio, si le pides un plato, puede darte mil versiones diferentes: una con salsa picante, otra con hierbas, otra con un toque de chocolate, etc. Es un chef muy versátil.

Pero, para que este chef sea más "útil" y "seguro" para los clientes, los dueños del restaurante deciden darle un entrenamiento especial (lo que los expertos llaman "post-entrenamiento"). Le enseñan recetas específicas, le dicen qué sabores gustan más a la gente y le corrigen cuando se equivoca.

El problema que descubren los autores de este estudio es que, después de este entrenamiento, el chef pierde su magia. Ahora, si le pides el mismo plato diez veces, te dará diez versiones casi idénticas. Ya no es creativo; es un robot que repite lo mismo. A esto los científicos lo llaman "colapso de la diversidad".

Aquí te explico cómo llegaron a esta conclusión y qué descubrieron, usando analogías sencillas:

1. ¿Dónde se rompió el chef? (El origen del problema)

Los investigadores probaron tres tipos de entrenamiento diferentes para ver cuál era el culpable:

El entrenamiento "Pensador" (Think): Aquí le enseñaron al chef a pensar paso a paso (como un razonamiento lógico) usando solo dos maestros muy estrictos.
El entrenamiento "Instruido" (Instruct): Aquí le enseñaron usando muchos maestros diferentes y de muchas fuentes distintas.
El entrenamiento "Cero" (RL-Zero): Aquí no le dieron maestros, solo le dijeron: "Haz lo que sea que te dé puntos".

El hallazgo clave:

En el grupo "Pensador", el chef perdió su creatividad casi de inmediato, justo cuando le enseñaron las recetas de los dos maestros estrictos. Fue como si le pusieran un corsé muy apretado al principio.
En el grupo "Instruido", el chef mantuvo un poco más de variedad al principio, pero la perdió más tarde, cuando le corrigieron las preferencias (DPO).
La lección: No importa cómo lo entrenes (la receta), sino qué ingredientes (datos) usas. Si los ingredientes son muy limitados (solo dos maestros), el chef se vuelve aburrido muy rápido.

2. ¿Es culpa de la forma de hablar? (El mito del "Pensamiento en voz alta")

Mucha gente pensaba que el chef se volvía aburrido porque le obligaban a "pensar en voz alta" (escribir todo su proceso de razonamiento antes de dar la respuesta). Pensaban que si le quitábamos esa parte, volvería a ser creativo.

La prueba:
Los investigadores le dijeron al chef: "Oye, no escribas tu proceso de pensamiento, solo dame la respuesta final".
El resultado: ¡No funcionó! El chef seguía siendo igual de aburrido.
La analogía: Imagina que tienes un actor que siempre actúa igual de mal. Si le quitas el guion y le dices "actúa sin leer", sigue actuando mal. El problema no es el guion (el formato de pensamiento), es que el actor ya ha aprendido a actuar así en su mente (en sus "pesos" o memoria). La falta de variedad está grabada en su cerebro, no en lo que escribe.

3. ¿Es malo perder variedad? (Depende del plato)

Aquí es donde se pone interesante. No toda la pérdida de variedad es mala.

En matemáticas o código: A veces, el chef daba 16 respuestas diferentes, pero 15 eran incorrectas y solo una era buena. Al entrenarlo, el chef aprendió a eliminar las 15 respuestas malas y quedarse con la buena. Aquí, el "colapso" es bueno: es como un filtro de calidad. El chef ahora es más preciso, aunque menos variado.
En creatividad o opiniones: Si le pides al chef que escriba una historia o que opine sobre un tema controvertido, el colapso es malo. Ahora, en lugar de darte 10 puntos de vista diferentes, te da 10 veces la misma opinión. Es como si el restaurante solo sirviera un solo tipo de pizza, aunque te pidan sabores distintos.

4. ¿Qué podemos hacer?

El estudio nos dice dos cosas importantes para el futuro:

No intentes arreglarlo al final: No sirve de nada intentar que el chef sea más creativo en el momento de servir el plato (en la "inferencia"). El daño ya está hecho en la cocina (durante el entrenamiento).
Mejora los ingredientes: Si quieres un chef creativo, no le des recetas de solo dos maestros. Dale recetas de muchos chefs diferentes, con estilos variados. Si mezclas bien los ingredientes desde el principio, el chef mantendrá su variedad.

En resumen

Este papel nos dice que cuando las IAs se vuelven "demasiado correctas" y aburridas, no es un error del sistema, es una consecuencia de cómo las alimentamos. Si les damos una dieta muy estrecha, se vuelven aburridas. Si queremos que sigan siendo creativas y útiles, necesitamos darles una dieta más variada desde el principio, no intentar arreglarlas después.

Resumen Técnico: Colapso de la Diversidad de Salida en el Post-Entrenamiento

1. El Problema

Los modelos de lenguaje grandes (LLM) sufren un fenómeno conocido como colapso de la diversidad de salida tras su fase de post-entrenamiento (alineación). Aunque estos modelos son más seguros y siguen mejor las instrucciones, producen respuestas más uniformes y menos variadas que sus contrapartes base.

Impacto: Este colapso socava métodos de escalado en tiempo de inferencia (como self-consistency o muestreo pass@k), reduce la utilidad en tareas creativas y de valor pluralista, y homogeneiza las perspectivas de los modelos.
Brecha de conocimiento: La investigación previa ha atribuido este colapso a algoritmos específicos (como DPO o RLHF) sin aislar el papel de la composición de los datos de entrenamiento frente al método, ni separar el formato de generación (ej. razonamiento en cadena de pensamiento) de los pesos del modelo.

2. Metodología

Los autores diseñaron un estudio controlado utilizando la familia de modelos Olmo 3 (escala 7B) para rastrear la diversidad a través de tres linajes de post-entrenamiento paralelos, evaluando 13 checkpoints en 15 tareas distintas.

Linajes de Entrenamiento:
1. Think: Utiliza Supervised Fine-Tuning (SFT) con ~2.3M trazas de razonamiento sintético (Chain-of-Thought, CoT) de dos "maestros" (QwQ-32B y DeepSeek-R1), seguido de DPO y RL.
2. Instruct: Comparte la receta de tres etapas (SFT $\to$ DPO $\to$ RL), pero el SFT se entrena con ~2.2M ejemplos de múltiples fuentes (GPT-3.5/4) y sin trazas de razonamiento explícitas.
3. RL-Zero: Aplica RL directamente sobre el modelo base, omitiendo SFT y DPO.
Intervención de Formato (Think-not-thinking): Para aislar el efecto del formato CoT, evaluaron los modelos "Think" suprimiendo la generación de la cadena de pensamiento en la inferencia (rellenando el bloque de pensamiento vacío), forzando respuestas directas.
Métricas de Diversidad: Se utilizaron cuatro métricas complementarias:
- EAD: Diversidad léxica (n-gramas únicos).
- SBERT: Diversidad semántica (distancia coseno en embeddings).
- NLI: Diversidad lógica (clasificador de inferencia natural).
- Vendi Score: Número efectivo de modos distintos (basado en entropía de autovalores).
Descomposición de Calidad: Se separó la pérdida de diversidad en dos componentes:
1. Control de calidad: Eliminación de respuestas incorrectas.
2. Colapso residual: Achatamiento genuino entre las respuestas correctas.

3. Contribuciones Clave

La composición de los datos determina el momento del colapso: Se demuestra que el mismo algoritmo de post-entrenamiento produce resultados de diversidad diferentes dependiendo de los datos de entrada.
El colapso reside en los pesos, no en el formato: Se prueba que suprimir el formato CoT en la inferencia no recupera la diversidad, confirmando que la homogeneización se aprende durante el entrenamiento.
Trade-off dependiente de la tarea: La pérdida de diversidad no es uniforme; en algunas tareas es principalmente un filtro de calidad (eliminar errores), mientras que en otras es una homogeneización genuina de respuestas correctas.

4. Resultados Principales

Ubicación del Colapso (Dependiente de los Datos):
- Linaje Think: Sufre un colapso masivo (62% de pérdida de diversidad SBERT) durante la etapa de SFT. Esto se debe a la distilación estrecha de solo dos maestros. El DPO tiene un impacto menor porque la diversidad ya se ha agotado.
- Linaje Instruct: Mantiene más diversidad tras el SFT (pérdida del 38%), pero sufre una caída drástica (23% adicional) durante la etapa de DPO.
- RL-Zero: Al omitir SFT y DPO, retiene la mayor diversidad (medianamente 94% de la diversidad base), demostrando que las etapas supervisadas y de preferencia son las principales culpables.
Formato vs. Pesos (Think-not-thinking):
- Suprimir el CoT en los modelos "Think" no recupera la diversidad. La diversidad semántica sigue colapsada igual que en los modelos con CoT.
- Sin embargo, la supresión de CoT reduce drásticamente la precisión en tareas difíciles (ej. -28% en MATH-Algebra), lo que indica que el CoT es crucial para la fiabilidad, pero no es la causa del colapso de la diversidad. El modelo ha aprendido una distribución de respuestas estrecha en sus pesos.
Descomposición de Calidad:
- En tareas de razonamiento matemático, gran parte de la reducción de diversidad se debe a la eliminación de respuestas incorrectas (componente de calidad).
- Sin embargo, incluso entre respuestas correctas, existe un colapso residual. Los modelos post-entrenados tienden a converger en 1.3–1.6 modos efectivos de respuesta correcta, limitando la eficacia del muestreo múltiple (majority voting).
- En tareas creativas y de valores (ej. PRISM, WritingPrompts), el colapso es más dañino, ya que impone una única perspectiva sobre temas donde la diversidad es deseable.
Calidad vs. Diversidad:
- Los modelos alineados (Think/Instruct) superan significativamente a los modelos base en calidad (win rates >90% en tareas de resumen y código), pero a costa de una diversidad semántica severa.
- Los modelos RL-Zero mantienen alta diversidad pero sufren una caída significativa en la calidad (precisión) en tareas que requieren alineación estricta.

5. Significado e Implicaciones

Origen del Problema: El colapso de la diversidad no es un defecto inevitable de los algoritmos de alineación (como DPO o RL), sino una consecuencia directa de la composición de los datos de entrenamiento. La distilación de un número reducido de maestros o fuentes de datos estrechas es el principal impulsor del colapso temprano.
Implicaciones para la Práctica:
- Datos de SFT: Para preservar la diversidad, es crucial utilizar conjuntos de datos de SFT con múltiples fuentes y estilos, evitando la distilación de uno o dos maestros.
- Inferencia: Cambiar el formato de generación (ej. desactivar CoT) no es una solución viable para recuperar la diversidad perdida; el daño ya está incrustado en los pesos del modelo.
- Estrategias de Mitigación: Se sugiere que las intervenciones algorítmicas (como optimización Forward-KL o eliminación de penalizaciones KL en RL) son necesarias para elevar el "suelo" de diversidad, pero la composición de los datos es el primer punto de control.
Conclusión Final: La diversidad de salida se determina durante el entrenamiento. La homogeneización observada en modelos alineados es un trade-off estructural entre la fiabilidad (eliminar errores) y la variedad, y su gestión requiere intervenciones en la fase de preparación de datos, no solo en la inferencia.