The One-Word Census: Answer-Choice Conformity Across 44 Language Models

Resumo Técnico: O Censo de Uma Palavra Só

Definição do Problema
O artigo aborda o fenômeno da "genericidade" na IA conversacional, especificamente a tendência de modelos de linguagem (LLMs) de convergirem para respostas idênticas quando apresentados com um vasto espaço de opções igualmente válidas. Embora a literatura prévia tenha documentado que os modelos produzem saídas homogêneas e que essa convergência é exacerbada pelo pós-treinamento (RLHF) e pelo treinamento recursivo em dados sintéticos, houve uma carência de um instrumento barato, mecânico e por modelo para quantificar essa conformidade. As métricas de diversidade existentes frequentemente confundem forma e conteúdo ou dependem de juízes de LLM caros e embeddings. O artigo busca medir o grau em que modelos independentes colapsam sobre a mesma resposta "modal" e caracterizar a estrutura dessa convergência através de um painel diversificado de modelos.

Metodologia: O Censo de Uma Palavra Só
Os autores introduzem um instrumento minimalista consistindo de 31 prompts de turno único. Trinta prompts pedem ao modelo para nomear uma categoria específica (ex: "Nomeie uma árvore", "Nomeie um condimento") com a restrição "Responda com apenas uma palavra". O 31º prompt remove a restrição de categoria inteiramente ("Escolha uma palavra").

• Painel: 44 modelos abrangendo cinco anos de lançamentos e mais de uma dúzia de laboratórios (incluindo laboratórios de fronteira dos EUA, laboratórios chineses, modelos empresariais e modelos de persona ajustados) foram consultados via OpenRouter em julho de 2026.
• Amostragem: Cada modelo foi consultado quatro vezes por prompt com uma temperatura solicitada de 1.0.
• Processamento de Dados: As respostas são normalizadas para um único token (letras minúsculas, remoção de pontuação/emoji, redução à palavra alfabética final). A validade é aplicada via um "filtro de lixo" (junk guard) que descarta artefatos de chat, respostas longas e reconhecimentos vazios.
• Métrica: A métrica primária é a Surpresa de Escolha de Resposta (Answer-Choice Surprisal). Para um determinado modelo $m$ e categoria $c$, a surpresa de uma resposta $a$ é calculada como o logaritmo negativo da probabilidade dessa resposta sob a distribuição agregada de todos os outros modelos (deixar um de fora), com suavização de adição de um.
  • $s(a) = -\log_2 \frac{\text{count}_{F_{-m,c}}(a) + 1}{|F_{-m,c}| + V_c}$
  • A pontuação principal de um modelo é a média da surpresa entre todas as suas respostas válidas. Pontuações mais baixas indicam maior conformidade (previsibilidade pelo campo); pontuações mais altas indicam divergência.
• Estatísticas Complementares: O estudo também rastreia a "evitação do modo" (fração de respostas que diferem do modo do campo) e a "taxa de novidade" (fração de respostas únicas do modelo) e a "autodistintividade" (dispersão interna das respostas).

Resultos Principais

1. Convergência Extrema: O campo exibe um "modo sem fricção" onde uma única resposta domina. Em 7 de 31 categorias, a resposta modal representa mais de 80% de todas as respostas (ex: "oak" [carvalho] para árvores com 94%, "hammer" [martelo] para ferramentas com 94%). Mesmo no prompt não restrito "Escolha uma palavra", "serendipity" capturou 41% do pool.
2. Variação Estruturada na Conformidade: A conformidade varia significativamente entre os modelos (1.05 a 3.21 bits).
   • Mais Divergentes: Modelos com pouco pós-treinamento, ajustes de persona e mantidos pela comunidade (ex: Hermes 4, WizardLM-2) apresentam a maior divergência.
   • Mais Conformistas: Os novos modelos principais (flagships) de linha de frente (ex: Claude Sonnet 5, GPT-5) são os mais conformistas, frequentemente produzindo zero respostas que nenhum outro modelo produziu.
3. Trajetórias Geracionais: Dentro de grandes linhagens (Claude, GPT, Qwen, Grok), lançamentos posteriores tendem geralmente para uma maior conformidade. No entanto, uma reversão é observada nos últimos modelos de elite: GPT-5.6 e Claude Fable 5 mostram aumento de divergência em comparação com seus predecessores imediatos, sugerindo um potencial reposicionamento no topo do nível.
4. O Consenso do Segundo Lugar: A divergência não é aleatória. Quando os modelos evitam a resposta modal, eles convergem esmagadoramente para a mesma resposta "segundo lugar" (ex: "mustard" [mostarda] toma 95% das respostas não-ketchup). Não há afinidade pairwise significativa entre modelos além dessas propensões compartilhadas para "evitação do modo" e "profundidade" (o quão longe o modelo chega na distribuição).
5. Comparação com Humanos: Contra as normas de produção de categoria humana (Battig-Montague/Van Overschelde), o campo de modelos é mais concentrado em 18 de 20 categorias compartilhadas. A resposta modal do modelo captura 66% do campo em média, comparado a 36% para as primeiras respostas humanas.

Significância e Alegações
O artigo alega que sua principal contribuição é o próprio instrumento — um método de baixo custo, correspondência exata e reproduzível para pontuar a conformidade de modelos sem depender de embeddings ou juízes de LLM.

• Insight de Mecanismo: Os resultados apoiam a hipótese de que o pós-treinamento (especificamente a otimização de preferência e RLHF) colapsa a distribuição de saída. O fato de a divergência ser uma propriedade por lançamento (variando mesmo dentro do mesmo laboratório e geração) sugere que ela é impulsionada por escolhas de treinamento, e não pela arquitetura inerente ou "DNA de linhagem".
• Modelos Relíquia (Heirloom Models): O estudo identifica uma classe de "modelos relíquia" (ex: modelos antigos ajustados pela comunidade) que mantêm padrões estáveis fora do consenso. Esses modelos são funcionalmente distintos do consenso intercambiável dos novos modelos de elite, e sua preservação pelas comunidades é enquadrada como uma forma de conservação não remunerada do "pool genético" da população.
• Loop de Dados Sintéticos: O artigo destaca um experimento natural dentro da linhagem DeepSeek, onde um modelo treinado em dados sintéticos de um irmão (v3-0324) mostrou um colapso extremo de cauda (0% de respostas novas), enquanto um lançamento subsequente (v3.2) com diferente pós-treinamento mostrou alta divergência. Isso apoia a teoria de que o treinamento recursivo em dados sintéticos acelera o colapso distributivo.
• Monitoramento: Os autores argumentam pela necessidade de um instrumento fixo e público executado em cada lançamento para detectar mudanças na conformidade, particularmente conforme a indústria potencialmente se move em direção a um pós-treinamento consciente da diversidade. A atual falta de tal rastreamento deixa o fenômeno do "colapso do conhecimento" invisível aos benchmarks de capacidade padrão.

O artigo conclui que, embora os modelos sejam individualmente capazes, a população como um todo retorna uma estimativa pontual em vez de uma distribuição, oferecendo erros correlacionados sem o sinal diagnóstico de discordância encontrado em populações humanas.