💬 NLP

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Este trabajo identifica que el colapso de la diversidad en los modelos de lenguaje grandes se debe principalmente a una mala calibración del orden y la forma en sus distribuciones de probabilidad durante la decodificación, y no a limitaciones en las heurísticas de muestreo, lo que conduce a una compensación entre la validez y la diversidad de la salida.

Autores originales: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Publicado 2026-05-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le pides a un Modelo de Lenguaje Grande (LLM) que cuente una historia, escriba un poema o sugiera una ciudad al azar. Esperas una amplia variedad de respuestas creativas. En cambio, el modelo a menudo se queda atascado en un carril, dándote las mismas pocas frases hechas una y otra vez (como "Érase una vez..." o "Valparaíso, Chile").

Este artículo investiga por qué ocurre esto. Los autores argumentan que el problema no es solo que el modelo sea "aburrido" o que nuestras herramientas actuales para elegir palabras (métodos de muestreo) sean deficientes. Por el contrario, el problema está incrustado en la forma en que el modelo organiza su propio mapa de probabilidades interno. Lo denominan un "Cuello de Botella de Calibración".

Para explicar esto, imagina que el modelo es un Bibliotecario de pie frente a un muro masivo de libros (todas las palabras siguientes posibles). El Bibliotecario debe elegir la siguiente palabra para continuar una historia.

Los Dos Problemas Principales

El artículo identifica dos formas específicas en las que este Bibliotecario está "mal calibrado" (desalineado con la realidad), lo que provoca el colapso de la diversidad.

1. Calibración de Orden: El Bibliotecario No Puede Ordenar los Libros

La Analogía:
Imagina que le pides al Bibliotecario que elija un libro "bueno". Esperas que el Bibliotecario coloque todos los libros "buenos" en la parte superior de la estantería y todos los libros "malos" en la parte inferior.

Lo que hace el modelo: El Bibliotecario coloca algunos libros buenos en la parte superior, pero luego mezcla un montón de libros malos justo en el medio. Luego, más abajo en la estantería, hay más libros buenos escondidos entre los malos.
La Consecuencia: Si le dices al Bibliotecario: "Solo dame los 10 libros superiores", podrías obtener 5 buenos y 5 malos. Si dices: "Dame los 100 superiores para estar seguro", obtienes 90 libros malos.
La Afirmación del Artículo: El modelo falla en la Calibración de Orden. No puede clasificar de manera confiable las palabras "válidas" (correctas/significativas) por encima de las palabras "inválidas" (sin sentido). Dado que las palabras válidas e inválidas están mezcladas en la clasificación, cualquier herramienta que intente filtrar la lista (como "Top-K" o "Top-P") se ve obligada a tomar una decisión terrible: o bien cortar buenas ideas para evitar las malas, o incluir demasiadas malas ideas para salvar las buenas.

2. Calibración de Forma: El Bibliotecario Está Obsesionado con Un Solo Libro

La Analogía:
Ahora imagina que el Bibliotecario sí logra separar los libros buenos de los malos. Pero al mirar la pila de "Buenos", el Bibliotecario está obsesionado con un solo libro específico.

Lo que hace el modelo: El Bibliotecario pone el 90% de su atención en un libro "bueno" específico (por ejemplo, "Érase una vez"). Los otros 99 libros "buenos" reciben solo una pequeña, diminuta porción de atención. Mientras tanto, los libros "malos" están dispersos en una cola larga y delgada en la parte inferior.
La Consecuencia: Incluso si intentas agitar las cosas (usando "Temperatura", que es como decirle al Bibliotecario que sea más aleatorio), el Bibliotecario simplemente desplaza su obsesión ligeramente. Podría dejar de obsesionarse con "Érase una vez" y empezar a obsesionarse con "En un mundo donde...", pero aún ignora las otras 98 opciones buenas. Peor aún, hacer que el Bibliotecario sea más aleatorio a menudo simplemente lo lleva a elegir un libro "malo" de la cola larga en lugar de uno "bueno" raro.
La Afirmación del Artículo: El modelo falla en la Calibración de Forma. La probabilidad está demasiado concentrada en unas pocas opciones válidas específicas, dejando al resto de las opciones válidas hambrientas de atención.

El Efecto Dominó: Por Qué Un Error Se Convierte en un Desastre

El artículo explica que estos problemas empeoran cuanto más larga es la historia.

La Analogía:
Imagina que estás caminando por un laberinto.

Paso 1: En el primer giro, tienes un 90% de probabilidad de elegir el camino correcto y un 10% de probabilidad de elegir un callejón sin salida. Eso parece bien.
Paso 2: En el siguiente giro, nuevamente tienes un 90% de probabilidad de estar en lo correcto.
El Resultado: Si tienes que hacer 20 giros, la probabilidad de acertar todo el camino sin tropezar con un solo callejón sin salida cae a casi cero.

El artículo demuestra matemáticamente que, dado que el modelo comete pequeños errores en cada paso individual (elegir la mezcla incorrecta de palabras o enfocarse demasiado en una palabra), estos errores se acumulan. Para cuando el modelo termina una oración o un párrafo, la probabilidad de que haya explorado un camino verdaderamente diverso y válido es exponencialmente diminuta.

¿Qué Hicieron?

Los investigadores no solo adivinaron; construyeron un "kit de diagnóstico":

Pruebas Controladas: Les dieron a los modelos tareas simples donde conocían la lista exacta de respuestas correctas (como generar números aleatorios o nombrar estados de EE. UU.).
La Prueba del "Oráculo": Crearon un filtro perfecto que sabía exactamente qué palabras eran válidas. Incluso con este filtro perfecto, los modelos aún luchaban por ser diversos debido al problema de "Forma" (la obsesión con una palabra).
El Veredicto: Probaron 14 modelos diferentes (desde pequeños hasta enormes). Descubrieron que los modelos más grandes no solucionaron el problema. Incluso los modelos más inteligentes aún tenían estos problemas de ordenamiento y concentración.

La Conclusión

El artículo concluye que la falta de diversidad en la IA no es solo un error en las herramientas de "selección" (como la temperatura o el muestreo top-k). Es un defecto fundamental en la forma en que el modelo distribuye su confianza.

No puede ordenar las palabras válidas por encima de las inválidas de manera confiable.
No puede distribuir su atención uniformemente entre todas las palabras válidas.

Hasta que el modelo aprenda a organizar su propia biblioteca interna de manera diferente, simplemente ajustar la configuración no desbloqueará la verdadera creatividad o diversidad. El "cuello de botella" es la propia distribución del modelo, no las herramientas que usamos para leerlo.

Resumen Técnico: Muestrear Más, Obtener Menos: La Calibración es el Cuello de Botella de la Diversidad en los LLM

Declaración del Problema

A pesar del papel crítico de la diversidad en aplicaciones que van desde la generación creativa hasta el descubrimiento científico, los Modelos de Lenguaje Grandes (LLM) modernos exhiben frecuentemente un "colapso de modos", generando salidas que se contraen en un subconjunto estrecho de respuestas plausibles. Mientras que trabajos anteriores han establecido puntos de referencia para medir esta falta de diversidad, las causas subyacentes dentro de las distribuciones de probabilidad en tiempo de inferencia permanecen poco comprendidas. Las heurísticas de muestreo estándar (por ejemplo, escalado de temperatura, top-k, top-p, min-p) a menudo fallan en recuperar una diversidad significativa; o bien desplazan la masa de probabilidad hacia continuaciones inválidas o sin sentido, o bien truncan alternativas válidas. Este artículo postula que el cuello de botella no es meramente una limitación de las estrategias de decodificación, sino una propiedad fundamental de la distribución condicional del propio LLM, específicamente en cuanto a cómo se asigna la masa de probabilidad entre tokens válidos e inválidos.

Metodología

Los autores introducen un marco de validez-diversidad para analizar la compensación entre generar salidas válidas y explorar alternativas válidas diversas. Descomponen el colapso de la diversidad en dos formas complementarias de mala calibración: Calibración de Orden y Calibración de Forma.

1. Marco Teórico

Validez: Definida como la masa de probabilidad total asignada al conjunto de respuestas válidas ( $V$ ).
Diversidad: Definida como el tamaño efectivo de soporte normalizado (exponencial de la entropía) de la distribución del modelo restringida al conjunto válido.
Calibración de Orden: La suposición de que los tokens válidos están ordenados de manera fiable por encima de los tokens inválidos. El artículo argumenta que esto se viola frecuentemente, con tokens válidos intercalados a lo largo de la distribución ordenada.
Calibración de Forma: La suposición de que la masa de probabilidad se distribuye uniformemente entre los tokens válidos. El artículo argumenta que las distribuciones a menudo están excesivamente concentradas en unos pocos tokens válidos (cabeza aguda) con una cola pesada de tokens mezclados válidos e inválidos.

2. Diagnósticos Empíricos

Para sondear estos cuellos de botella, los autores desarrollaron herramientas de diagnóstico controladas:

Etiquetado de Validez de Tokens: Utilizando un LLM como juez (Qwen3.5-35B) para evaluar la validez de completados voraces iniciados por tokens candidatos específicos. Esto permite la construcción de curvas de precisión-recall para estrategias de corte.
Bancos de Pruebas Controlados: Utilizando tareas con conjuntos válidos exactamente conocidos (por ejemplo, generación de números aleatorios, nombrar estados de EE. UU.) para calcular métricas exactas de validez y diversidad sin depender de juicios semánticos ruidosos.
Líneas Base Oráculo: Implementando estrategias de corte "oráculo" que conocen el número exacto de tokens válidos en cada paso pero no su identidad, aislando el impacto del filtrado basado en rango de la forma subyacente de la distribución.
Análisis Multi-paso: Extendiendo los diagnósticos de un solo paso a una profundidad $d > 1$ para observar cómo los errores locales se acumulan a lo largo de la generación de secuencias.

Contribuciones Clave

Marco de Validez-Diversidad: Un análisis formal de la compensación a nivel de token y de secuencia, atribuyendo el colapso de la diversidad a propiedades distribucionales y no solo a heurísticas de decodificación.
Identificación de Cuellos de Botella de Calibración:
- Mala Calibración de Orden: Los tokens válidos no se ordenan consistentemente por encima de los inválidos. Esto crea una compensación inherente para cualquier regla de filtrado basada en rango: expandir el corte para recuperar tokens válidos inevitablemente admite inválidos, mientras que ajustarlo excluye alternativas válidas.
- Mala Calibración de Forma: La masa de probabilidad se concentra de manera no uniforme en un pequeño número de continuaciones válidas, mientras que la cola contiene una mezcla pesada de tokens válidos e inválidos. El escalado de temperatura aplan la cabeza pero aumenta desproporcionadamente la masa de la cola inválida.
Pruebas Teóricas de Pérdida Compuesta:
- Orden: El Teorema 4.2 demuestra que las compensaciones locales de precisión-recall se componen multiplicativamente. Incluso fallos locales pequeños y constantes en la separación de tokens válidos/inválidos conducen a un decaimiento exponencial en el conjunto válido alcanzable a medida que aumenta la longitud de la secuencia.
- Forma: El Teorema 5.2 muestra que, bajo suposiciones de decaimiento geométrico, mantener una alta validez requiere una distribución aguda, lo que inherentemente reduce la entropía (diversidad) sobre los tokens válidos. Esta pérdida de diversidad se compone exponencialmente con el número de pasos de ramificación ( $m$ ).
Diagnósticos Empíricos: Desarrollo de configuraciones controladas (generación de números aleatorios, nombrado de estados) y líneas base oráculo para rastrear sistemáticamente la fuente de fallos de diversidad en 14 modelos de lenguaje de diversas familias y escalas.

Resultados

Fallo de Calibración de Orden: Experimentos en 14 modelos (familias Qwen, Llama, Olmo) muestran que los tokens válidos están frecuentemente intercalados con inválidos en la distribución ordenada. La compensación precisión-recall empeora significativamente a medida que aumenta la profundidad de decodificación. Incluso la estrategia de corte óptima no puede separar perfectamente los tokens válidos de los inválidos.
Fallo de Calibración de Forma: En tareas controladas (por ejemplo, generación de números aleatorios), aumentar la temperatura mejora la diversidad solo a costa de la validez. La cola inválida crece más rápido que la recuperación de alternativas válidas raras.
La Escala No Resuelve el Problema: Aunque los modelos más grandes muestran una ligera mejora en la calibración de orden (mayor AUC de las fronteras de precisión-recall), no eliminan la compensación. La recuperación a alta precisión permanece baja y no monótona a través de los tamaños de modelo.
Las Heurísticas de Decodificación son Insuficientes: Ningún método estándar de filtrado de tokens superiores (top-k, top-p, min-p) recupera eficazmente la diversidad. Incluso un corte oráculo (conociendo el recuento exacto de tokens válidos) falla en lograr una diversidad ideal en tareas con mala calibración de forma, indicando que la forma de la distribución, no solo el rango, es el factor limitante.
Intervención Oráculo: Aplicar un filtro oráculo (muestrear solo desde tokens etiquetados como válidos por el diagnóstico) mejora significativamente tanto la diversidad de incrustaciones como la diversidad léxica (menor Self-BLEU), demostrando que existen alternativas válidas en la distribución pero que son pasadas por alto por las reglas estándar basadas en rango.

Significado y Afirmaciones

El artículo afirma que el colapso de la diversidad es una consecuencia de la mala calibración de orden y forma en la distribución del LLM, y no un fallo de algoritmos de muestreo específicos.

Resultado de Dureza: Los autores establecen un resultado teórico de dureza para cualquier estrategia de decodificación que dependa únicamente del filtrado de tokens superiores: si los tokens válidos e inválidos están intercalados, mantener una alta validez a nivel de secuencia requiere sacrificar una fracción constante de continuaciones válidas en cada paso, lo que conduce a un colapso exponencial en la diversidad.
Valor Diagnóstico: El marco propuesto proporciona una lente para diagnosticar por qué fallan los métodos existentes, avanzando más allá de la evaluación de puntos de referencia de caja negra hacia la comprensión de las fuentes mecánicas de la pérdida de diversidad.
Implicaciones para el Trabajo Futuro: Los hallazgos sugieren que las soluciones futuras deben ir más allá del ajuste de hiperparámetros de decodificación. Una mitigación efectiva puede requerir:
- Desarrollar decodificadores conscientes de la calibración que incorporen señales de validez auxiliares más allá del rango de probabilidad.
- Investigar objetivos de entrenamiento (preentrenamiento, alineación, seguridad) que afecten la agudeza de la distribución y el ordenamiento de rangos para preservar un soporte válido más amplio sin sacrificar la calidad.

Los autores mantienen una postura modesta, señalando que su trabajo diagnostica el cuello de botella en lugar de resolverlo, y que sus experimentos controlados sirven como diagnósticos para mecanismos distribucionales específicos en lugar de una explicación completa de todos los fallos de diversidad en la generación compleja y abierta.