Resumo Técnico: Calibração Probabilística é uma Capacidade Treinável em Modelos de Linguagem

Declaração do Problema

Os modelos de linguagem (LMs) são cada vez mais implantados em cenários que exigem aleatoriedade especificada pelo usuário, como gerar saídas diversas, equilibrar probabilidades de escolha ou amostrar de distribuições matemáticas específicas. No entanto, os LMs autoregressivos padrão são geradores estocásticos nativos deficientes. Suas distribuições de saída induzidas frequentemente colapsam em subconjuntos estreitos, violam restrições de suporte e falham em alinhar-se com distribuições-alvo solicitadas. Soluções alternativas existentes de prompting (por exemplo, injeção de raciocínio ou sementes) podem mitigar parcialmente esses problemas, mas introduzem custos no tempo de inferência, sensibilidade ao prompt e sobrecarga computacional sem alterar fundamentalmente o comportamento de amostragem do modelo.

A questão central abordada é se a calibração probabilística — a capacidade de um LM gerar amostras que refletem uma distribuição-alvo conhecida — pode ser aprendida diretamente por meio de ajuste fino, em vez de depender de heurísticas no tempo de inferência.

Metodologia: Ajuste Fino de Calibração

Os autores propõem um framework para treinar LMs a atuarem como amostradores probabilísticos calibrados, utilizando prompts sintéticos que solicitam explicitamente a amostragem de distribuições matemáticas (por exemplo, "Gere exatamente UM número aleatório de uma distribuição [distribuição] com parâmetros [parâmetros]").

Duas estratégias distintas de ajuste fino são comparadas, ambas utilizando Adaptação de Baixo Rank (LoRA) em modelos base congelados:

1. Ajuste Fino com Alvo Suave:

   • Mecanismo: A distribuição-alvo é discretizada em um espaço de saída canônico finito. Um trie de prefixos é construído a partir de todas as saídas numéricas válidas, onde cada nó representa um prefixo de token.
   • Supervisão: Para qualquer prefixo dado, o método computa uma distribuição de próximo-token alvo normalizando a massa de probabilidade restante de todas as continuições válidas no trie.
   • Objetivo: O modelo minimiza a divergência de Kullback-Leibler (KL) entre sua distribuição prevista de próximo-token e a distribuição-alvo derivada do trie em cada prefixo visitado. Isso fornece supervisão densa ao nível do prefixo.

2. Ajuste Fino com Alvo Rígido:

   • Mecanismo: O modelo é treinado em conclusões amostradas diretamente da distribuição-alvo.
   • Supervisão: Para cada prompt, uma resposta numérica é amostrada da distribuição-alvo, tokenizada e usada como a conclusão de verdade fundamental.
   • Objetivo: O modelo minimiza a entropia cruzada autoregressiva mascarada padrão na conclusão amostrada. Isso fornece supervisão esparsa ao nível do caminho, exigindo mais etapas de treinamento (mais amostras por prompt) para alcançar cobertura comparável.

Configuração Experimental:

• Modelos: 12 modelos em quatro famílias (Qwen3, Gemma-3, Llama-3.2, GPT-OSS) variando de 0,6B a 27B parâmetros.
• Dados: 30 famílias de distribuições (24 vistas para treinamento, 6 mantidas de fora para teste Fora de Distribuição (OOD)).
• Avaliação:
  • Amostragem Estruturada: Medida via distância Wasserstein-1 (W1) e divergência KL ao nível de logit contra distribuições-alvo.
  • Benchmarks de Transferência: Geração aberta aleatória (suporte à diversidade), equilíbrio de posição de resposta em MCQs e NoveltyBench (diversidade semântica).
  • Retenção: Retenção de capacidade em TinyBenchmarks (MMLU, GSM8K, etc.) e ajuste de modelagem de linguagem em PALOMA.

Contribuições Principais

1. Treinabilidade da Calibração: O artigo demonstra que a calibração probabilística é uma capacidade treinável. Tanto o ajuste fino com alvo suave quanto com alvo rígido melhoram substancialmente a fidelidade da amostragem estruturada em famílias de distribuições mantidas de fora e configurações de parâmetros não vistas.
2. Análise Comparativa de Estratégias:
   • Alvo Rígido: Geralmente alcança desempenho superior no benchmark de amostragem numérica estruturada no domínio, particularmente para parâmetros não vistos. Destaca-se na fidelidade numérica exata.
   • Alvo Suave: Embora competitivo em tarefas numéricas, demonstra superior transferência para configurações mais amplas de geração estocástica. Consistentemente amplia o suporte estocástico na geração aberta, melhora o equilíbrio de posição de resposta em MCQs e produz maior utilidade no NoveltyBench.
3. Compensações e Custos: O estudo destaca que os ganhos em calibração frequentemente vêm com compensações. Especificamente, o raciocínio aritmético (GSM8K) tende a regredir, com custos variando conforme o tamanho do modelo e a variante de ajuste fino. No entanto, o ajuste de modelagem de linguagem (perplexidade PALOMA) é frequentemente preservado ou melhorado, sugerindo que os modelos não apenas achatam as probabilidades de tokens, mas aprendem comportamentos estocásticos específicos.

Resultados

• Amostragem Estruturada: Ambos os métodos reduzem significativamente o W1 normalizado e o KL de logit em comparação com checkpoints base. O ajuste fino com alvo rígido é tipicamente o melhor desempenho em benchmarks numéricos, reduzindo erros em uma ordem de magnitude em muitos casos.
• Geração Aberta: O ajuste fino com alvo suave consistentemente aumenta o tamanho do suporte top-90% (o número de tokens necessários para cobrir 90% da massa de probabilidade) em todos os modelos, frequentemente em uma a duas ordens de magnitude. Isso leva a saídas mais diversas e menos concentradas em categorias como cidades, animais e nomes.
• MCQ e Novelty: Configurações com alvo suave geralmente produzem melhor equilíbrio de posição de resposta na geração de MCQs e pontuações de utilidade mais altas no NoveltyBench, indicando que o comportamento estocástico aprendido transfere-se para restrições implícitas de linguagem natural.
• Retenção: O impacto nas capacidades gerais é misto. Enquanto alguns modelos de médio a grande porte mantêm ou melhoram pontuações agregadas no TinyBenchmarks, modelos menores e tarefas específicas (notavelmente GSM8K) mostram degradação. Isso sugere que o objetivo de treinamento (conclusões curtas e diretas sem traços de raciocínio) pode entrar em conflito com tarefas pesadas em raciocínio.

Significado e Afirmações

O artigo afirma que a calibração probabilística não é uma limitação inerente dos modelos de linguagem, mas uma capacidade que pode ser explicitamente treinada. Ao enquadrar o problema como aprender tanto o espaço de saída válido quanto a alocação de massa de probabilidade sobre ele, os autores mostram que os LMs podem ser transformados em amostradores probabilísticos controlados.

O significado reside em ir além do prompting no tempo de inferência para soluções no tempo de treinamento que alteram fundamentalmente o comportamento distribucional do modelo. Os autores observam que, embora os ganhos sejam seletivos e não melhorem universalmente todas as tarefas downstream (sendo o raciocínio aritmético uma exceção notável), a capacidade de ajustar modelos para comportamentos estocásticos específicos abre novas vias para aplicações que exigem diversidade, equidade ou adesão estrita a restrições estatísticas. O trabalho sugere que pesquisas futuras devem focar nos mecanismos aprendidos por esses objetivos e no desenvolvimento de variantes conscientes de retenção para mitigar a degradação de capacidades.