💬 NLP

Sampling More, Getting Less: Calibration is the Diversity Bottleneck in LLMs

Este artigo identifica que o colapso da diversidade em modelos de linguagem de grande escala é causado principalmente por uma miscalibração de ordem e forma nas suas distribuições de probabilidade durante a decodificação, e não por limitações em heurísticas de amostragem, levando a um trade-off entre validade e diversidade da saída.

Autores originais: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amin Banayeeanzade, Qingchuan Yang, Dhruv Tarsadiya, Fatemeh Bahrani, Leonardo Blas, Alfy Samuel, Robin Jia, Meisam Razaviyayn, Sai Praneeth Karimireddy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você pede a um Modelo de Linguagem de Grande Escala (LLM) para contar uma história, escrever um poema ou sugerir uma cidade aleatória. Você espera uma ampla variedade de respostas criativas. Em vez disso, o modelo frequentemente fica preso em uma rotina, oferecendo as mesmas poucas clichês repetidamente (como "Era uma vez..." ou "Valparaíso, Chile").

Este artigo investiga por que isso acontece. Os autores argumentam que o problema não é apenas que o modelo é "entediante" ou que nossas ferramentas atuais para escolher palavras (métodos de amostragem) são ruins. Em vez disso, o problema está embutido na forma como o modelo organiza seu próprio mapa de probabilidade interno. Eles chamam isso de "Gargalo de Calibração".

Para explicar isso, imagine que o modelo é um Bibliotecário em pé diante de uma parede massiva de livros (todas as palavras possíveis seguintes). O Bibliotecário precisa escolher a próxima palavra para continuar uma história.

Os Dois Principais Problemas

O artigo identifica duas maneiras específicas pelas quais esse Bibliotecário está "mal calibrado" (desalinhado com a realidade), o que faz a diversidade colapsar.

1. Calibração de Ordem: O Bibliotecário Não Consegue Organizar os Livros

A Analogia:
Imagine que você pede ao Bibliotecário para escolher um livro "bom". Você espera que o Bibliotecário coloque todos os livros "bons" no topo da estante e todos os livros "ruins" na parte inferior.

O que o modelo faz: O Bibliotecário coloca alguns livros bons no topo, mas depois mistura um monte de livros ruins bem no meio. Então, mais abaixo na estante, há mais livros bons escondidos entre os ruins.
A Consequência: Se você disser ao Bibliotecário: "Apenas me dê os 10 primeiros livros", você pode receber 5 bons e 5 ruins. Se você disser: "Me dê os 100 primeiros para garantir", você recebe 90 livros ruins.
A Alegação do Artigo: O modelo falha na Calibração de Ordem. Ele não consegue classificar de forma confiável palavras "válidas" (corretas/significativas) acima de palavras "inválidas" (sem sentido). Como palavras válidas e inválidas estão misturadas na classificação, qualquer ferramenta que tente filtrar a lista (como "Top-K" ou "Top-P") é forçada a fazer uma escolha terrível: ou cortar boas ideias para evitar as ruins, ou incluir muitas ideias ruins para salvar as boas.

2. Calibração de Forma: O Bibliotecário é Obcecado por Um Único Livro

A Analogia:
Agora imagine que o Bibliotecário consegue separar os livros bons dos ruins. Mas, ao olhar para a pilha "Boa", o Bibliotecário está obcecado por apenas um livro específico.

O que o modelo faz: O Bibliotecário coloca 90% de sua atenção em um único livro "bom" específico (por exemplo, "Era uma vez"). Os outros 99 livros "bons" recebem apenas uma fatia minúscula, minúscula de atenção. Enquanto isso, os livros "ruins" estão espalhados em uma cauda longa e fina na parte inferior.
A Consequência: Mesmo que você tente agitar as coisas (usando "Temperatura", que é como dizer ao Bibliotecário para ser mais aleatório), o Bibliotecário apenas desvia sua obsessão ligeiramente. Ele pode parar de se obcecar com "Era uma vez" e começar a se obcecar com "Em um mundo onde...", mas ainda ignora as outras 98 boas opções. Pior, tornar o Bibliotecário mais aleatório frequentemente faz com que ele escolha um livro "ruim" da cauda longa em vez de um "bom" raro.
A Alegação do Artigo: O modelo falha na Calibração de Forma. A probabilidade está muito concentrada em algumas opções válidas específicas, deixando o resto das opções válidas famintas de atenção.

O Efeito Dominó: Por Que Um Erro Vira um Desastre

O artigo explica que esses problemas pioram quanto mais longa a história fica.

A Analogia:
Imagine que você está caminhando por um labirinto.

Passo 1: Na primeira curva, você tem 90% de chance de escolher o caminho certo e 10% de chance de escolher um beco sem saída. Isso parece bom.
Passo 2: Na próxima curva, você novamente tem 90% de chance de estar certo.
O Resultado: Se você tiver que fazer 20 curvas, a chance de acertar o caminho inteiro sem bater em um único beco sem saída cai para quase zero.

O artigo prova matematicamente que, como o modelo comete pequenos erros em cada etapa (escolhendo a mistura errada de palavras ou focando demais em uma palavra), esses erros se acumulam. Quando o modelo termina uma frase ou um parágrafo, a chance de ter explorado um caminho verdadeiramente diverso e válido é exponencialmente pequena.

O Que Eles Fizeram?

Os pesquisadores não apenas chutaram; eles construíram um "kit de ferramentas de diagnóstico":

Testes Controlados: Eles deram aos modelos tarefas simples onde conheciam a lista exata de respostas corretas (como gerar números aleatórios ou nomear estados dos EUA).
O Teste do "Oráculo": Eles criaram um filtro perfeito que sabia exatamente quais palavras eram válidas. Mesmo com esse filtro perfeito, os modelos ainda lutavam para ser diversos por causa do problema de "Forma" (a obsessão por uma palavra).
O Veredito: Eles testaram 14 modelos diferentes (de pequenos a enormes). Eles descobriram que modelos maiores não resolveram o problema. Mesmo os modelos mais inteligentes ainda tinham esses problemas de classificação e concentração.

A Conclusão Final

O artigo conclui que a falta de diversidade na IA não é apenas um bug nas ferramentas de "escolha" (como temperatura ou amostragem top-k). É uma falha fundamental na forma como o modelo distribui sua confiança.

Ele não consegue classificar palavras válidas acima das inválidas de forma confiável.
Ele não consegue distribuir sua atenção uniformemente entre todas as palavras válidas.

Até que o modelo aprenda a organizar sua própria biblioteca interna de forma diferente, simplesmente ajustar as configurações não desbloqueará verdadeira criatividade ou diversidade. O "gargalo" é a própria distribuição do modelo, não as ferramentas que usamos para lê-lo.

Resumo Técnico: Amostrando Mais, Obtendo Menos: A Calibração é o Gargalo da Diversidade em LLMs

Declaração do Problema

Apesar do papel crítico da diversidade em aplicações que vão desde a geração criativa até a descoberta científica, os Modelos de Linguagem de Grande Escala (LLMs) modernos frequentemente exibem "colapso de modo", gerando outputs que se contraem para um subconjunto estreito de respostas plausíveis. Embora trabalhos anteriores tenham estabelecido benchmarks para medir essa falta de diversidade, as causas subjacentes dentro das distribuições de probabilidade no momento da inferência permanecem pouco compreendidas. Heurísticas de amostragem padrão (por exemplo, escalonamento de temperatura, top-k, top-p, min-p) frequentemente falham em recuperar diversidade significativa; elas ou deslocam a massa de probabilidade para continuações inválidas ou sem sentido, ou truncam alternativas válidas. Este artigo postula que o gargalo não é meramente uma limitação das estratégias de decodificação, mas uma propriedade fundamental da própria distribuição condicional do LLM, especificamente no que diz respeito à forma como a massa de probabilidade é alocada entre tokens válidos e inválidos.

Metodologia

Os autores introduzem um framework de validade–diversidade para analisar o trade-off entre gerar outputs válidos e explorar alternativas válidas diversas. Eles decompõem o colapso da diversidade em duas formas complementares de miscalibração: Calibração de Ordem e Calibração de Forma.

1. Framework Teórico

Validade: Definida como a massa de probabilidade total atribuída ao conjunto de respostas válidas ( $V$ ).
Diversidade: Definida como o tamanho do suporte efetivo normalizado (exponencial da entropia) da distribuição do modelo restrita ao conjunto válido.
Calibração de Ordem: A suposição de que tokens válidos são classificados de forma confiável acima de tokens inválidos. O artigo argumenta que isso é frequentemente violado, com tokens válidos intercalados ao longo da distribuição classificada.
Calibração de Forma: A suposição de que a massa de probabilidade é distribuída uniformemente entre tokens válidos. O artigo argumenta que as distribuições são frequentemente excessivamente concentradas em alguns tokens válidos (cabeça afiada) com uma cauda pesada de tokens mistos válidos/inválidos.

2. Diagnósticos Empíricos

Para investigar esses gargalos, os autores desenvolveram ferramentas de diagnóstico controladas:

Rotulagem de Validade de Token: Utilizando um LLM como juiz (Qwen3.5-35B) para avaliar a validade de completagens gananciosas iniciadas por tokens candidatos específicos. Isso permite a construção de curvas de precisão-recall para estratégias de corte.
Ambientes de Teste Controlados: Utilização de tarefas com conjuntos válidos exatamente conhecidos (por exemplo, geração de números aleatórios, nomeação de estados dos EUA) para calcular métricas exatas de validade e diversidade sem depender de julgamentos semânticos ruidosos.
Baselines de Oráculo: Implementação de estratégias de corte de "oráculo" que conhecem o número exato de tokens válidos em cada etapa, mas não sua identidade, isolando o impacto do filtragem baseada em classificação da forma subjacente da distribuição.
Análise Multi-etapa: Extensão de diagnósticos de etapa única para profundidade $d > 1$ para observar como erros locais se acumulam ao longo da geração de sequências.

Principais Contribuições

Framework de Validade–Diversidade: Uma análise formal do trade-off em níveis de token e sequência, atribuindo o colapso da diversidade a propriedades distribucionais e não apenas a heurísticas de decodificação.
Identificação de Gargalos de Calibração:
- Miscalibração de Ordem: Tokens válidos não são consistentemente classificados acima dos inválidos. Isso cria um trade-off inerente para qualquer regra de filtragem baseada em classificação: expandir o corte para recuperar tokens válidos inevitavelmente admite inválidos, enquanto apertá-lo exclui alternativas válidas.
- Miscalibração de Forma: A massa de probabilidade é concentrada de forma não uniforme em um pequeno número de continuações válidas, enquanto a cauda contém uma mistura pesada de tokens válidos e inválidos. O escalonamento de temperatura achata a cabeça, mas aumenta desproporcionalmente a massa da cauda inválida.
Provas Teóricas de Perda Acumulativa:
- Ordem: O Teorema 4.2 demonstra que os trade-offs locais de precisão-recall se acumulam multiplicativamente. Mesmo falhas locais pequenas e constantes na separação de tokens válidos/inválidos levam a um decaimento exponencial no conjunto válido alcançável à medida que o comprimento da sequência aumenta.
- Forma: O Teorema 5.2 mostra que, sob suposições de decaimento geométrico, manter alta validade requer uma distribuição afiada, o que inerentemente reduz a entropia (diversidade) sobre tokens válidos. Essa perda de diversidade acumula-se exponencialmente com o número de etapas de ramificação ( $m$ ).
Diagnósticos Empíricos: Desenvolvimento de configurações controladas (geração de números aleatórios, nomeação de estados) e baselines de oráculo para rastrear sistematicamente a fonte de falhas de diversidade em 14 modelos de linguagem de famílias e escalas variadas.

Resultados

Falha na Calibração de Ordem: Experimentos em 14 modelos (famílias Qwen, Llama, Olmo) mostram que tokens válidos são frequentemente intercalados com inválidos na distribuição classificada. O trade-off de precisão-recall piora significativamente à medida que a profundidade de decodificação aumenta. Mesmo a estratégia de corte ótima não consegue separar perfeitamente tokens válidos de inválidos.
Falha na Calibração de Forma: Em tarefas controladas (por exemplo, geração de números aleatórios), aumentar a temperatura melhora a diversidade apenas ao custo da validade. A cauda inválida cresce mais rápido do que a recuperação de alternativas válidas raras.
Escalonamento Não Resolve o Problema: Embora modelos maiores mostrem uma leve melhoria na calibração de ordem (maior AUC das fronteiras de precisão-recall), eles não eliminam o trade-off. O recall em alta precisão permanece baixo e não monotônico entre os tamanhos dos modelos.
Heurísticas de Decodificação são Insuficientes: Nenhum método padrão de filtragem de top-token (top-k, top-p, min-p) recupera efetivamente a diversidade. Mesmo um corte de oráculo (conhecendo a contagem exata de tokens válidos) falha em alcançar diversidade ideal em tarefas com miscalibração de forma, indicando que a forma da distribuição, e não apenas a classificação, é o fator limitante.
Intervenção de Oráculo: Aplicar um filtro de oráculo (amostrando apenas de tokens rotulados como válidos pelo diagnóstico) melhora significativamente tanto a diversidade de embeddings quanto a diversidade lexical (menor Self-BLEU), provando que alternativas válidas existem na distribuição, mas são perdidas por regras padrão baseadas em classificação.

Significado e Alegações

O artigo alega que o colapso da diversidade é uma consequência da miscalibração de ordem e forma na distribuição do LLM, e não uma falha de algoritmos de amostragem específicos.

Resultado de Dificuldade: Os autores estabelecem um resultado teórico de dificuldade para qualquer estratégia de decodificação que dependa exclusivamente de filtragem de top-token: se tokens válidos e inválidos estão intercalados, manter alta validade em nível de sequência exige sacrificar uma fração constante de continuações válidas em cada etapa, levando a um colapso exponencial na diversidade.
Valor Diagnóstico: O framework proposto fornece uma lente para diagnosticar por que os métodos existentes falham, indo além do benchmarking de caixa-preta para entender as fontes mecânicas da perda de diversidade.
Implicações para Trabalhos Futuros: As descobertas sugerem que soluções futuras devem ir além do ajuste de hiperparâmetros de decodificação. A mitigação efetiva pode exigir:
- Desenvolvimento de decodificadores conscientes da calibração que incorporem sinais de validade auxiliares além da classificação de probabilidade.
- Investigação de objetivos de treinamento (pré-treinamento, alinhamento, segurança) que afetam a nitidez da distribuição e a ordenação de classificação para preservar um suporte válido mais amplo sem sacrificar a qualidade.

Os autores mantêm uma postura modesta, observando que seu trabalho diagnostica o gargalo em vez de resolvê-lo, e que seus experimentos controlados servem como diagnósticos para mecanismos distribucionais específicos, e não como uma conta completa de todas as falhas de diversidade em geração complexa e aberta.