💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

El artículo presenta Diverse-NS, una estrategia de selección de datos con control de longitud que mitiga el sesgo sistemático hacia salidas más cortas en los modelos de lenguaje, mejorando así significativamente la diversidad y expresividad de las respuestas en diversas tareas creativas mientras mantiene la calidad.

Autores originales: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Publicado 2026-02-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: La trampa de lo "Corto y Aburrido"

Imagina que tienes un escritor muy talentoso (un Modelo de Lenguaje Grande o LLM) que ha sido entrenado para ser útil, seguro y educado. Le pides que escriba una historia.

El problema es que, al intentar ser "perfecto" y seguro, el escritor ha empezado a actuar como un estudiante nervioso haciendo un examen. Tiene miedo de escribir demasiado porque piensa que las respuestas cortas son mejores respuestas.

¿Por qué? Porque las herramientas utilizadas para calificar su trabajo (métricas de diversidad) están rotas. Estas herramientas son como un juez que piensa que una oración de 3 palabras es más "creativa" que un párrafo de 30 palabras simplemente porque es más corta. El escritor nota esto y empieza a darte respuestas cortas, seguras y repetitivas para obtener una buena calificación.

Los autores llaman a esto el "Sesgo de Brevedad" (Brevity Bias). Es como un chef que deja de añadir especias porque el catador solo acepta comida sosa. El resultado es que la IA se vuelve menos creativa, menos expresiva y, eventualmente, todos los resultados de la IA empiezan a sonar exactamente iguales (un fenómeno llamado "colapso del modelo").

La Solución: "Diversidad, no Brevedad" (Diverse-NS)

Los autores crearon una nueva estrategia llamada Diverse, not Short (Diverse-NS). Piensa en esto como un nuevo programa de entrenamiento para el escritor que arregla el sistema de calificación defectuoso.

Así es como funciona, paso a paso:

El juego de los "Dos Borradores":
Los investigadores le piden a la IA que escriba una historia dos veces.
- Borrador A: La IA escribe de forma natural (su estilo por defecto, que suele ser aburrido).
- Borrador B: Se le pide a la IA que reescriba la historia con una regla específica: "Hazla más interesante y variada, pero mantén exactamente la misma longitud que el Borrador A".
El filtro del "Juez Justo":
Normalmente, si pides más creatividad, el texto se vuelve más largo. Pero los investigadores tienen una regla estricta: Si el Borrador B es más largo que el Borrador A, deséchalo.
Solo conservan los pares donde la versión "más creativa" tiene aproximadamente la misma longitud que la versión "aburrida". Esto le enseña a la IA: "Puedes ser creativa sin ser redundante".
El truco del "Pequeño Maestro":
Los investigadores descubrieron algo sorprendente. Un modelo de IA más pequeño y económico (como uno de 7 mil millones de parámetros) puede actuar como un "maestro de diversidad" para un modelo mucho más grande y costoso (como uno de 13 mil millones de parámetros).
- Analogía: Imagina a un artista local, pequeño y modesto, enseñando a un famoso estudio de gran presupuesto a pintar de forma más única. El pequeño artista sabe cómo romper las reglas de forma creativa, y el gran estudio aprende de él. Esto ahorra mucho dinero y potencia de cómputo.

Los Resultados: Más Sabor, Mismo Tamaño

Los investigadores probaron esto en cuatro tareas creativas diferentes:

Asociaciones Divergentes: Listar palabras que son muy diferentes entre sí.
Generación de Personajes: Crear perfiles de personajes únicos (nombres, trabajos, ciudades).
Usos Alternativos: Pensar en formas extrañas de usar un objeto común (como un ladrillo).
Escritura Creativa: Escribir historias cortas usando tres palabras aleatorias.

¿Qué pasó?

Más Variedad: Los modelos entrenados con "Diverse, not Short" produjeron resultados mucho más variados e interesantes. Utilizaron palabras e ideas más únicas.
Sin Pérdida de Calidad: Normalmente, cuando haces las cosas más diversas, la calidad empeora (como una historia desordenada y caótica). Pero aquí, la calidad se mantuvo alta. En algunos casos, incluso mejoró.
Eficiencia: Solo necesitaron 3,000 ejemplos para enseñar al modelo esta nueva habilidad. Eso es como enseñar a un estudiante durante unas pocas horas en lugar de durante años.

La Nueva Herramienta: El "Decil de Diversidad"

Los autores también se dieron cuenta de que las herramientas antiguas para medir la creatividad eran injustas con las respuestas largas. Así que inventaron una nueva regla llamada Decil de Diversidad (Diversity Decile).

La Analogía: Imagina una carrera. La regla antigua solo medía qué tan rápido corrías, pero ignoraba que algunos corredores llevaban mochilas pesadas (texto largo) y otros no (texto corto).
La Nueva Regla: El "Decil de Diversidad" observa qué tan rápido corriste en relación con otros corredores que tienen la misma mochila. Pregunta: "¿Es esta historia larga más creativa que otras historias largas?". Esto asegura que las respuestas largas y expresivas reciban el crédito que merecen.

Resumen

El artículo argumenta que los modelos de IA se han vuelto demasiado cortos y repetitivos porque la forma en que medimos la "creatividad" accidentalmente premia la brevedad.

Mediante el uso de una estrategia llamada Diverse, not Short, los autores enseñaron a los modelos a ser creativos sin hacer que sus respuestas sean más largas. Lo lograron:

Comparando un borrador aburrido con un borrador creativo de la misma longitud.
Usando una IA más pequeña y barata para enseñar a una IA más grande a ser diversa.
Creando una regla nueva y más justa para medir la creatividad que no penaliza las respuestas largas.

El resultado es una IA más expresiva, más creativa y de alta calidad, todo ello mientras es más barata y rápida de entrenar.

Resumen Técnico: Diversidad, no Brevedad (Diverse-NS)

Planteamiento del Problema

Si bien las técnicas de alineación (ajuste de instrucciones y optimización de preferencias) han hecho que los Modelos de Lenguaje Extensos (LLMs) sean más seguros y útiles, a menudo reducen inadvertidamente la diversidad de los resultados del modelo. Esta reducción en la diversidad obstaculiza la ideación creativa, aumenta la homogeneidad de los resultados y puede conducir al "colapso del modelo" cuando los modelos son entrenados repetidamente con sus propios resultados alineados.

Un factor de confusión crítico, y a menudo pasado por alto, en este problema es la longitud del texto. El artículo argumenta que las métricas de diversidad estándar (por ejemplo, entropía, Relación Tipo-Token) e incluso los modelos de recompensa utilizados para la optimización de preferencias (como ArmoRM) exhiben un sesgo sistemático hacia los resultados más cortos. Debido a que estas métricas a menudo asignan puntuaciones más altas a pasajes más cortos, la optimización para ellas incentiva a los modelos a ser concisos en lugar de expresivos. Este "sesgo de brevedad" socava la propia creatividad que estos modelos están destinados a cultivar, particularmente en tareas de respuesta abierta donde se requiere profundidad y matiz.

Metodología: Diversidad, no Brevedad (Diverse-NS)

Los autores proponen Diversidad, no Brevedad (Diverse-NS), una estrategia de selección de datos controlada por longitud diseñada para mejorar la diversidad de las respuestas manteniendo la paridad de longitud entre las respuestas preferidas y las rechazadas. El marco opera dentro de un bucle de autoaprendizaje que involucra tres etapas principales:

1. Generación de Datos

Los autores utilizan una tarea de escritura creativa (generar historias de 5 frases que contengan tres palabras específicas) para provocar respuestas diversas.

Prompting Secuencial: En lugar de una única inferencia, el proceso utiliza dos pasos. Primero, el modelo genera una respuesta natural ( $r_1$ ). Segundo, se le pide al modelo que redacte de nuevo la historia con restricciones adicionales destinadas a reducir la repetición y aumentar la diversidad, generando una segunda respuesta ( $r_2$ ).
Escala: Este proceso genera 200,000 tuplas de (prompt, $r_1$ , $r_2$ ) tanto para LLaMA-3.1-8B como para Olmo-2-7B.

2. Filtrado de Datos (La Innovación Central)

Para crear pares de preferencias de alta calidad para la Optimización de Preferencias Directas (DPO), los autores filtran los datos generados basándose en cuatro criterios estrictos aplicados en orden:

Umbral de Calidad: La calidad de $r_2$ debe ser mayor o igual al percentil 50 de todas las puntuaciones de calidad de $r_1$ .
Mejora de Calidad: La calidad de $r_2$ debe ser estrictamente mayor que la de $r_1$ .
Mejora de Diversidad: La diversidad de $r_2$ debe ser estrictamente mayor que la de $r_1$ .
Paridad de Longitud: La diferencia absoluta en el recuento de palabras entre $r_1$ y $r_2$ debe ser de, como máximo, cinco palabras.

Esta restricción de longitud es crucial para evitar la selección de respuestas diversas que sean más cortas y "fáciles".

Métricas: El método principal utiliza la Entropía para la diversidad y las puntuaciones de ArmoRM para la calidad.
Diverse-NS-Lite: Para reducir el costo computacional (ya que calcular la entropía y ArmoRM requiere múltiples pasadas de inferencia), los autores introducen una variante ligera. Esta reemplaza la Entropía con la Relación Tipo-Token (TTR) y ArmoRM con el índice MAAS, que mostró la mayor correlación con las métricas originales en su análisis.

3. Ajuste de Preferencias

El conjunto de datos filtrado se limita a 3,000 pares de preferencias (seleccionados mediante la clasificación por ganancia de entropía) para ajustar el modelo base utilizando la Optimización de Preferencias Directas (DPO). Los autores también exploran la transferencia "de pequeño a grande", utilizando datos generados por un modelo más pequeño (Olmo-7B) para entrenar a uno más grande (Olmo-13B).

4. Evaluación Ajustada por Longitud

Para abordar el sesgo de evaluación, los autores introducen el Decil de $\Delta$ Diversidad ( $\Delta$ DD).

Construyen un mapa de deciles basado en 800,000 historias, agrupando las respuestas por recuento de palabras y calculando los umbrales de diversidad para cada longitud.
Durante la evaluación, a una nueva respuesta se le asigna un rango de decil basado en su longitud y puntuación de diversidad relativa al mapa.
El $\Delta$ DD se calcula como la diferencia entre la puntuación de decil del modelo ajustado y la del modelo base, asegurando que las ganancias de diversidad no sean simplemente artefactos del aumento de la longitud.

Contribuciones Clave

Estrategia Diverse-NS: Un método de selección de datos que mejora significamente la diversidad de las respuestas para LLaMA-3.1-8B y Olmo-2-7B utilizando solo 3,000 pares de preferencias, controlando explícitamente el sesgo de longitud.
Diverse-NS-Lite: Una variante computacionalmente eficiente que utiliza métricas proxy (TTR y MAAS) que logra un rendimiento comparable al método completo mientras reduce drásticamente los costos de filtrado.
Transferencia de Pequeño a Grande: Evidencia de que los modelos más pequeños (por ejemplo, Olmo-2-7B) pueden servir como "maestros de diversidad" efectivos para modelos más grandes (por ejemplo, Olmo-2-13B), permitiendo un alineamiento de diversidad de bajo costo.
Métrica Controlada por Longitud: La introducción del Decil de Diversidad, una métrica que ajusta las puntuaciones de diversidad según la longitud del texto para prevenir el sesgo de brevedad en la evaluación.
Lanzamiento de Dataset: Un conjunto de datos de alta calidad de 6,000 pares de preferencias generado a partir de LLaMA-3.1-8B y Olmo-2-7B.

Resultados

Los autores evaluaron el método en cuatro tareas de generación creativa: Asociaciones Divergentes (DAT), Generación de Personas (PGT), Usos Alternativos (AUT) y Escritura Creativa (CWT).

Ganancias de Diversidad: Tanto Diverse-NS como Diverse-NS-Lite superaron consistentemente a los modelos base y al baseline DivPO (un método reciente que no controla la longitud) en todas las tareas y tamaños de modelo.
- En las tareas DAT y PGT, los métodos produjeron significativamente más palabras únicas, nombres, ciudades y ocupaciones.
- En CWT, Diverse-NS logró las puntuaciones más altas de Integración Semántica Divergente (DSI) y diversidad de 4-gramas.
Significancia Estadística: Pruebas t independientes confirmaron que D-NS y D-NS-Lite producen respuestas significativamente más diversas que el modelo base y DivPO (p < 0.001 para D-NS vs. Base). La diferencia entre D-NS y D-NS-Lite no fue estadísticamente significativa, validando la eficiencia de la versión Lite.
Preservación de la Calidad: Aunque la diversidad y la calidad a menudo presentan un compromiso, Diverse-NS mantuvo o mejoró ligeramente la calidad (medida por ArmoRM) en varios casos (por ejemplo, Olmo-7B y Olmo-13B). En los casos donde la calidad cayó ligeramente, los valores absolutos de diversidad superaron al modelo base, y la evaluación humana confirmó que las ganancias de diversidad eran perceptibles y preferidas.
Evaluación Humana: En comparaciones por pares en CWT, los anotadores humanos prefirieron D-NS sobre el modelo base y DivPO en la mayoría de los casos (tasas de victoria de hasta el 72.73% contra DivPO).

Significancia y Reivindicaciones

El artículo afirma que, al abordar explícitamente el sesgo de longitud inherente tanto en la selección de datos de entrenamiento como en las métricas de diversidad, Diverse-NS ofrece una solución práctica y escalable para potenciar la diversidad en los LLMs alineados sin sacrificar la calidad.

Eficiencia: El método logra mejoras sustanciales con un conjunto de datos muy pequeño (3k pares) y un tiempo de entrenamiento mínimo (menos de dos horas en una sola GPU).
Accesibilidad: Al demostrar que los modelos más pequeños pueden actuar como maestros de diversidad y al ofrecer una variante de filtrado ligera, este trabajo reduce la barrera de recursos para el alineamiento consciente de la diversidad.
Cambio Fundamental: Los autores argumentan que los fallos previos para mejorar la diversidad pueden provenir del no abordado sesgo de brevedad en las métricas. Su trabajo establece una base para una generación de lenguaje más expresiva al desacoplar la diversidad de la brevedad.

Los autores señalan modestamente las limitaciones, incluyendo la dependencia de una única métrica de diversidad para el filtrado, el enfoque en una sola tarea (escritura de historias) y la investigación de una sola ronda de autoentrenamiento. Sugieren que el trabajo futuro debería explorar la optimización de múltiples métricas y el autoaprendizaje de múltiples rondas.