Resumo Técnico: Modelos de Linguagem Ajustados por Instrução Não Conseguem Amostrar de Distribuições que Conseguem Descrever

1. Declaração do Problema

O artigo aborda uma falha fundamental no "silicon sampling" (amostragem de silício), uma metodologia onde Grandes Modelos de Linguagem (LLMs) são usados como substitutos para respondentes humanos em pesquisas. Em pipelines padrão (ex: Argyle et al., 2023), um modelo é estimulado com uma persona específica e uma pergunta, e cada chamada do modelo é tratada como uma extração independente da distribuição de resposta dessa persona. Essas extrações são então agregadas para estimar estatísticas ao nível populacional.

Os autores argumentam que esse pipeline se baseia em uma suposição falsa: a de que modelos ajustados por instrução realmente amostram de uma distribuição condicional. Em vez disso, eles demonstram que esses modelos sofrem de um colapso categórico, onde a mesma persona, diante da mesma pergunta, retorna consistentemente a exata mesma resposta em chamadas repetidas. Essa falha leva a uma má calibração sistemática, onde o output agregado do modelo falha em capturar a variância e a forma da distribuição dos dados humanos reais.

2. Metodologia

Os autores empregam uma abordagem experimental de múltiplas camadas para caracterizar essa falha, rastrear sua origem e propor mitigações.

A. Caracterizando a Falha de Amostragem

• Alvos Sintéticos: Os autores testaram os modelos em alvos categóricos sintéticos controlados (ex: inteiros aleatórios uniformes de 1 a 100, distribuições binárias enviesadas, distribuições bimodais).
• Análise de Logits: Eles examinaram os logits internos do modelo em temperatura zero para determinar se o colapso era devido a restrições de decodificação ou a um problema estrutural mais profundo.
• Scaffolding de Cadeia de Pensamento (CoT): Eles testaram se o suporte algorítmico (ex: pedir ao modelo para simular internamente um gerador de números aleatórios) poderia corrigir o problema de amostragem.

B. Rastreando a Origem (Base vs. Ajustado por Instrução)

• Comparação Controlada: O estudo comparou modelos ajustados por instrução contra seus equivalentes base pré-treinados através de três famílias distintas de modelos: Llama-3.1-8B (baseado em RLHF), Mistral-7B-v0.3 (baseado em SFT, sem RLHF) e Qwen2.5-7B (baseado em DPO).
• Métrica: A Distância de Variação Total (TV) entre a distribuição empírica de 200 chamadas e a distribuição alvo foi usada para quantificar a falha.

C. A Divisão KNOWS/DOES (SABE/FAZ)

• Caminho DOES (FAZ): O modelo é solicitado a produzir uma única amostra por chamada (amostragem padrão).
• Caminho KNOWS (SABE): O modelo é solicitado a descrever a distribuição de resposta completa em uma única chamada (ex: via probabilidades em JSON ou uma lista de exemplares).
• Comparação: Os autores compararam a precisão desses dois caminhos contra dados de pesquisas humanas (OpinionQA/Pew Research Center).

D. Mitigações Propostas

• Caminho Describe (Descreve): Usar uma única chamada para gerar a distribuição completa diretamente.
• Argyle Perturbado por Prompt (PPA): Uma modificação para aplicações que exigem outputs por respondente. O PPA randomiza características superficiais do prompt (ordem das opções, fraseamento da pergunta e posicionamento da persona) entre as chamadas para induzir variação sem alterar o conteúdo semântico.

3. Resultados Principais

O Colapso Categórico

• Alta Repetição: Em alvos sintéticos, os modelos ajustados por instrução produziram uma única resposta em mais de 94% das chamadas, independentemente da forma da distribuição alvo (ex: uniforme, bimodal, enviesada).
• Gap de Logits: A falha é estrutural. Em temperatura zero, o gap entre os dois principais logits excedeu 14 nats em alguns alvos. Esse gap é grande demais para ser superado pelas temperaturas de decodificação padrão de APIs (máx ~2.0), o que significa que o modelo não está "amostrando", mas selecionando deterministicamente um único token.
• Primitiva Degenerada: Ao serem solicitados a gerar um número aleatório sem um alvo específico, os modelos favoreceram consistentemente valores específicos (ex: "42" para inteiros de 1 a 100, "7" para 1 a 10). Essa "primitiva de amostragem degenerada" persiste mesmo quando o modelo é solicitado a simular um gerador de números aleatórios via CoT, pois o número "aleatório" interno gerado pelo modelo é, ele próprio, não uniforme.

A Divisão KNOWS/DOES

• Falha do DOES: Todas as intervenções "DOES" (amostragem padrão, CoT, enquadramento de viés) falharam em produzir a distribuição alvo (TV > 0.20).
• Sucesso do KNOWS: Quando solicitado a descrever a distribuição em uma única chamada (KNOWS), o modelo recuperou com precisão a forma do alvo (TV < 0.05).
• Mecanismo: O modelo possui o conhecimento distributivo, mas não consegue executá-lo através de amostragem por chamada. O caminho "DOES" falha porque o modelo colapsa para um output determinístico único; o caminho "KNOWS" tem sucesso porque contorna a primitiva de amostragem, efetivamente convertendo a tarefa em uma operação de contagem ou especificação.

O Alinhamento como Causa

• Base vs. Instruct: Modelos base exibiram distâncias TV significativamente menores (melhor amostragem) do que seus equivalentes ajustados por instrução em todas as três famílias de modelos.
• Indução: A falha parece ser induzida em modelos treinados apenas com SFT (Mistral) e também naqueles com RLHF/DPO, sugerindo que a falha é causada pelo alinhamento de forma ampla, não apenas pelo RLHF.

Aplicação ao Silicon Sampling (OpinionQA)

• Agregação Padrão: Em 100 itens da OpinionQA, a agregação de personas padrão resultou em uma distância TV de 0.46 em relação aos dados humanos da Pew. 57% dos pares (persona, item) retornaram exatamente a mesma resposta em 50 chamadas repetidas.
• Correspondência Demográfica: Combinar personas com as demografias reais da Pew não melhorou significamente os resultados (TV 0.484), descartando a incompatibilidade de persona como a causa primária.
• Caminho Describe: Uma descrição da distribuição populacional em uma única chamada reduziu a distância TV para 0.22, cortando o erro pela metade.
• Performance do PPA: Para aplicações que exigem outputs individuais, o PPA reduziu a distância TV para 0.36 (uma redução relativa de 21%) sem custo adicional de API.
• Correlação de Entropia: A melhoria do PPA foi diretamente correlacionada com um aumento na entropia por chamada. Perturbações não semânticas (espaços em branco, pontuação) que não aumentaram a entropia falharam em melhorar a precisão, confirmando que o mecanismo é a indução de variação, e não a variação do prompt em si.

4. Significância e Alegações

O artigo afirma identificar uma "falha mais básica" subjacente à má calibração do silicon sampling: o output por chamada de modelos ajustados por instrução não é uma amostra de uma distribuição, mas um colapso para um único output.

• A Divisão KNOWS/DOES: Os autores definem um gap onde os modelos conseguem descrever uma distribuição (KNOWS), mas não conseguem amostrar dela (DOES). Isso é atribuído a uma primitiva de amostragem degenerada visível nos logits e induzida pelo treinamento de alinhamento.
• Implicações Práticas:
  • Para estimativa populacional, o caminho "describe" é superior à agregação, oferecendo maior precisão com menor custo.
  • Para simulações por respondente, o PPA oferece um método sem custo para recuperar parte da variância ao perturbar as características superficiais do prompt.
  • A suposição de que os outputs de LLMs são extrações independentes de uma distribuição alvo deve ser verificada em vez de herdada em qualquer pipeline dependente de agregação (ex: agentes generativos, geração de dados sintéticos, LLM-as-judge).
• Limitações: Os autores observam que a precisão do caminho "describe" serve como um teto de mesma sessão e pode degradar em populações fora da distribuição de treinamento do modelo. Eles também reconhecem que sua comparação base-vs-instruct é limitada a modelos de 8B parâmetros devido à disponibilidade de dados, embora as tendências qualitativas se repliquem em escalas de fronteira.

Em resumo, o artigo argumenta que modelos ajustados por instrução perderam a capacidade de funcionar como amostradores estocásticos devido ao treinamento de alinhamento, necessitando de uma mudança de metodologia de "amostragem e agregação" para "descrição e especificação" ou "perturbação para induzir entropia".