Resumo Técnico: Antes e Depois da Temperatura: Uma Visão Distribuicional da Geração Criativa de LLMs

Declaração do Problema

Avaliar a criatividade das gerações de Grandes Modelos de Linguagem (LLMs) em tarefas de código aberto sem texto de referência é um desafio persistente. Métricas tradicionais sem referência, como a perplexidade, frequentemente falham porque recompensam textos fluentes e de alta frequência, levando à "degeneração de texto neural" (saídas sem graça e repetitivas). Embora abordagens recentes utilizando embeddings de modelos ou prompts de LLM-como-juiz tenham melhorado a avaliação, elas operam na forma superficial do texto gerado, em vez da distribuição de probabilidade subjacente da qual o texto foi amostrado. Métodos existentes que analisam distribuições tipicamente as colapsam em valores escalares (ex: entropia, margem) ou dependem da comparação de múltiplas amostras, ignorando a transformação estrutural específica aplicada pela temperatura de amostragem ($T$) antes de um token ser emitido.

Metodologia

Os autores propõem um framework que trata a lacuna entre a distribuição de crença bruta do modelo e a distribuição remodelada pela temperatura como um sinal primário para avaliação.

Configuração Experimental

• Modelo e Prompts: Experimentos foram conduzidos utilizando o Llama-3.1-8B-Instruct em 500 prompts criativos de código aberto extraídos do WritingPrompts, da Tarefa de Usos Alternativos (Alternative Uses Task) e do HellaSwag.
• Condições de Amostragem: Gerações foram produzidas em três temperaturas: $T \in \{0.3, 0.8, 1.5\}$.
• Captura de Logits: Para cada token gerado, os top-$K$ logits brutos foram capturados antes da amostragem. $K=100$ para $T \le 0.8$ e $K=200$ para $T=1.5$. Crucialmente, o sistema garante que o token amostrado seja incluído no conjunto capturado (anexado se necessário), assegurando análises bem definidas mesmo em altas temperaturas onde a distribuição é plana.
• Construção da Distribuição: Duas distribuições são computadas por token:
  1. Pré-temperatura ($p$): A crença bruta do modelo, $p = \text{softmax}(z)$.
  2. Pós-temperatura ($q$): A distribuição remodelada, $q = \text{softmax}(z/T)$, da qual o token foi efetivamente amostrado.
• Verdade Fundamental (Ground Truth): O ranking de avaliação foi estabelecido via:
  • Um ensemble de LLM-juiz (média dos rankings de gpt-4o e gemini-2.5-pro) em todos os 500 prompts.
  • Um ranking de maioria humana (três avaliadores independentes) em um subconjunto de 150 prompts.
  • Ambos os ground truths utilizaram uma regra de "coerência em primeiro lugar", penalizando a incoerência e o jargão desconectado.

Métricas

O estudo computa um conjunto de características distribuicionais comparando $p$ e $q$, incluindo:

• Divergências de Teoria da Informação: KL, Jensen-Shannon.
• Distâncias Geométricas: Variação Total, L2, Hellinger.
• Propriedades do Topo: Deslocamentos na probabilidade e identidade do top-1.
• Largura de Massa Cumulativa ($n_\alpha$): O número de tokens necessários para cobrir uma massa de probabilidade $\alpha$ (ex: $n_{90}$).
• Vazamento de Massa (Mass Leakage): A fração da massa pós-temperatura que permanece no conjunto plausível pré-temperatura (ex: $S(p)_{90}$).
• Agregação: As características são agregadas por resposta usando percentis (p10, p90), máximo e média para capturar diferentes aspectos do traço de geração.

Principais Contribuições e Resultados

1. Poder Preditivo Superior de Características Pré-vs-Pós

A principal descoberta é que uma única característica por token derivada da remodelagem de temperatura pré-vs-pós supera significativamente as linhas de base (baselines) padrão sem referência.

• Melhor Característica: O 10º percentil da largura do top-90% pré-temperatura ($n_{90}(p)_{\text{p10}}$) alcançou uma correlação de Spearman ($\rho$) de 0.918 contra o juiz LLM médio e 0.870 contra a maioria humana.
• Comparação com Baselines: Quatro baselines padrão (auto-perplexidade, entropia preditiva média, margem top-1 e razão de compressão gzip) estagnaram em $|\rho| \approx 0.76$.
• Gap: O método proposto supera o melhor baseline em +0.165 (juiz LLM) e +0.110 (maioria humana), uma margem significativamente maior do que a variância entre os próprios baselines.

2. Insight Mecanístico: A Assinatura de Incoerência

O ganho de desempenho é impulsionado por uma assinatura distribuicional nítida que distingue o "regime de incoerência" ($T=1.5$) dos regimes coerentes ($T=0.3, 0.8$).

• Vazamento de Massa: Em $T=1.5$, aproximadamente 13 pontos percentuais de massa de probabilidade "vazam" do conjunto plausível top-90% pré-temperatura. A massa pós-temperatura restante no conjunto plausível original cai de ~0.982 ($T=0.8$) para ~0.868 ($T=1.5$).
• Inflação de Largura: A largura de massa cumulativa ($n_{95}(q)$) infla de $\sim 1$ token para $\sim 131$ tokens em $T=1.5$.
• Uniformidade: Esta distorção é uniforme através do traço de geração, não limitada a tokens isolados.

3. Limitações de Agregados por Token

Embora o método se destaque ao separar gerações incoerentes ($T=1.5$) de gerações coerentes, os agregados por token falham em distinguir entre os dois regimes coerentes ($T=0.8$ vs. $T=0.3$). As distribuições $p$ e $q$ mantêm formas semelhantes nesses regimes, sugerindo que a distinção "médio-vs-sem graça" depende de características de nível de sequência (novidade de conteúdo, trajetória) e não da remodelagem distribuicional de passo único.

Significância e Alegações

O artigo afirma que a "visão pré-vs-pós temperatura" oferece uma métrica barata, de passagem única e sem referência que captura o impacto estrutural da temperatura de amostragem na qualidade da geração.

• Eficiência: Ao contrário de métodos que exigem múltiplas amostragens (ex: entropia semântica) ou referências externas, esta abordagem extrai sinal da mesma passagem direta (forward pass) usada para gerar o texto.
• Interpretabilidade: O mecanismo é interpretável: alta criatividade (ou, neste caso, incoerência) correlaciona-se com um vazamento específico de massa do conjunto plausível original do modelo para a cauda.
• Benchmarking: O estudo estabelece que o juiz LLM médio (gpt-4o/gemini-2.5-pro) é um proxy confiável para o julgamento humano neste contexto, alcançando uma correlação de $\rho=0.832$ com os avaliadores humanos, superando o teto de concordância inter-humana de $\rho=0.771$.

Os autores concluem que, embora os desvios distribuicionais por token sejam um indicador poderoso da fronteira de incoerência, distinguir entre variações sutis de criatividade coerente provavelmente requer uma abordagem híbrida combinando estas características distribuicionais com análise de nível de sequência.