💬 NLP

More Is Not More: What Matters for Diversity in LLM Opinions?

Este artigo utiliza um experimento fatorial para demonstrar que o aumento da diversidade de opiniões em LLMs depende menos do escalonamento de fatores únicos, como o detalhamento da persona ou a temperatura, e mais da combinação estratégica de arquiteturas de interação distintas e do reconhecimento dos retornos decrescentes de uma elaboração excessiva da persona.

Autores originais: Qiyang Yao

Publicado 2026-07-24✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qiyang Yao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando organizar um jantar virtual massivo, onde cada convidado é uma pessoa diferente, com seus próprios pensamentos, memórias e opinições únicas. Você quer ouvir uma mistura selvagem de ideias, desde opiniões polêmicas sobre política até teorias estranhas sobre o futuro. Mas aqui está o detalhe: você não está convidando humanos reais. Em vez disso, você está pedindo a um programa de computador superinteligente, chamado Modelo de Linguagem de Grande Escala (ou LLM), para fingir ser esses convidados. Esses modelos são como atores brilhantes que podem ler toda a internet e imitar a fala humana perfeitamente. No entanto, quando você pede para eles interpretarem uma multidão, eles frequentemente começam a soar todos iguais. Eles concordam demais, usam as mesmas frases e acabam gerando uma conversa monótona e sem graça. Isso é um problema porque, se você quer entender o que as pessoas reais pensam, você precisa de uma multidão que realmente pareça uma multidão, e não um coro cantando em perfeita uníssono.

Cientistas têm tentado resolver esse problema da "festa chata". Eles tentaram dar ao computador mais detalhes sobre quem ele está fingindo ser (como dizer: "Você é uma professora de 45 anos chamada Sarah") ou mudar a forma como os convidados conversam entre si (como fazê-los discutir em grupo em vez de apenas responderem um por um). Eles também tentaram aumentar o "dial de criatividade" do computador para ver se isso o tornava mais aleatório e diverso. Mas, até agora, ninguém tinha um mapa claro de qual truque realmente funciona melhor. Era como tentar assar um bolo misturando todos os ingredientes de uma vez e esperando que desse certo, sem saber se a farinha, os ovos ou a temperatura do forno eram o que realmente dava o sabor.

Este artigo, intitulado "More Is Not More" (Mais Não é Mais), é como um gigantesco teste de sabor científico que finalmente separa os ingredientes para ver o que realmente importa. Os pesquisadores montaram um experimento massivo com 100 perguntas diferentes e 7 modelos de computador diferentes. Eles testaram duas formas principais de tornar as opiniões mais diversas: Condicionamento de Entrada (quanto detalhe você dá ao computador sobre quem ele está fingindo ser) e Arquitetura de Interação (como os convidados de computador conversam entre si). Eles também testaram alguns "truques baratos" que as pessoas costumam tentar, como simplesmente dizer ao computador para "ser diverso" ou aumentar o botão de aleatoriedade.

Aqui está o que eles descobriram, e o resultado é um pouco surpreendente:

1. A Armadilha do "Mais Detalhes"
Muitas pessoas pensavam que, quanto mais história de fundo você desse ao computador, mais únicas seriam suas opiniões. Você poderia pensar: "Se eu disser ao computador que ela é uma mulher negra de 34 anos chamada Sarah, que mora em Atlanta, vai à igreja e ganha 78.000 dólares por ano, ela agirá de forma super única!". Mas o estudo descobriu que isso não é verdade. O maior salto na diversidade aconteceu com apenas um pouquinho de informação — como simplesmente dizer: "Você é uma professora". Assim que você adicionou essa única frase, o computador começou a agir mais como uma pessoa. Adicionar todos os detalhes extras (idade, raça, renda, hobbies) não ajudou muito mais. Na verdade, para alguns modelos, dar detalhes demais tornou as opinições menos diversas, como se o computador ficasse confuso ou começasse a se prender a estereótipos. É como tentar tornar um personagem interessante dando a ele uma biografia de 10 páginas; às vezes, apenas saber a profissão dele é suficiente para despertar uma voz única, e o resto apenas polui o roteiro.

2. O Poder do Chat em Grupo
Os pesquisadores também observaram como os convidados de computador interagem. Eles compararam três estilos:

O Artista Solo: O computador responde a uma pergunta uma vez e sai.
A Entrevista Profunda: O computador responde, depois recebe uma pergunta de acompanhamento, depois outra, construindo uma longa conversa consigo mesmo.
O Grupo de Foco: Cinco pessoas de computador diferentes conversam entre si em um chat de grupo.

Os resultados mostraram que o estilo "Entrevista Profunda" e o "Grupo de Foco" criaram opiniões muito mais diversas do que o "Artista Solo". Mas aqui está o detalhe: eles não apenas tornaram as mesmas opiniões melhores; eles exploraram mundos de pensamento completamente diferentes. O estilo "Entrevista Profunda" mergulhou em ângulos mais pessoais e introspectivos, enquanto o estilo "Grupo de Foco" encontrou ângulos diferentes e mais comparativos. O estudo sugere que, se você quiser a gama mais ampla de opiniões, não deve apenas escolher o "melhor" método. Em vez disso, você deve executar ambos os métodos e combinar suas respostas. É como ter um poeta solo e uma equipe de debate escrevendo sobre o mesmo tópico; as respostas deles não serão muito sobrepostas, então você obtém uma coleção muito mais rica de ideias ao ler ambos.

3. Os "Truques Baratos" Não Funcionam
Finalmente, o artigo testou os hacks de baixo esforço que muitas pessoas tentam primeiro. Eles tentaram aumentar a "temperatura" (uma configuração que torna o computador mais aleatório e menos previsível) e adicionar instruções como "Por favor, dê-nos perspectivas diversas". O resultado? Esses truques mal fizeram diferença. Aumentar a aleatoriedade não criou novas ideias; apenas fez as mesmas ideias antigas soarem um pouco mais caóticas. Dizer ao computador para "ser diverso" era como dizer a uma pessoa tímida para "ser engraçada" — isso não mudou sua personalidade de fato. O estudo descobriu que uma simples descrição de cargo de uma frase (como "Você é um professor") foi 2,5 vezes mais eficaz em criar opiniões diversas do que o melhor "truque barato".

A Conclusão Principal
A mensagem principal deste artigo é que a diversidade não é sobre fazer mais do mesmo. Não é sobre escrever biografias mais longas ou girar o botão de aleatoriedade. Em vez disso, é sobre a estrutura de como você faz as perguntas. Para obter um conjunto verdadeiramente diverso de opiniões de um computador, você precisa dar a ele uma identidade simples para começar e, em seguida, deixá-lo explorar o tópico de diferentes maneiras — como fazê-lo conversar consigo mesmo em uma longa entrevista e fazê-lo conversar em um grupo de amigos. Se você quer uma simulação real da opinião humana, você precisa de uma mistura de estratégias, não apenas um monte maior de instruções.

Resumo Técnico: Mais Não é Mais: O Que Importa para a Diversidade em Opiniões de LLMs?

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados para simular opiniões humanas diversas para tarefas como pesquisas sintéticas, modelagem de grupos de foco e previsão de opinião pública. No entanto, esses sistemas exibem uma homogeneização de opinião sistemática, onde os outputs convergem para pontos de vista semelhantes, estreitando a distribuição de posicionamentos em comparação com as populações humanas.

Esforços atuais para mitigar este problema são fragmentados. Profissionais empregam várias intervenções — que variam de prompting de persona detalhado a arquiteturas de debate multi-agente — mas estas são tipicamente avaliadas isoladamente ou atualizadas simultaneamente dentro de um único sistema. Esta "coevolução diagonal" do condicionamento de entrada e da arquitetura de interação torna impossível atribuir ganhos de diversidade a componentes específicos. Além disso, o campo carece de um padrão de avaliação unificado, com estudos utilizando métricas incomparáveis (ex: repetição lexical vs. dispersão de embedding semântico).

Metodologia

Para abordar estas lacunas, os autores projetam um experimento fatorial que desacopla as duas dimensões primárias dos sistemas de simulação de LLM: Condicionamento de Entrada e Arquitetura de Interação.

Design Experimental

O estudo avalia 19 condições distintas através de 7 modelos de chat (de provedores incluindo DeepSeek, OpenAI, Google, Moonshot, Meta, xAI e Alibaba) usando 100 perguntas abertas do mundo real extraídas do dataset WildChat.

Condicionamento de Entrada (Profundidade da Persona):
- Nenhum: Prompt de sistema padrão.
- Papel (Role): Ocupação de uma única frase (ex: "professor de ensino fundamental").
- Básico: Papel + demografia central (nome, idade, raça, gênero, localização).
- Médio (Mid): Básico + atributos estruturados (educação, renda, estado civil, religião, política).
- Pro: Médio + narrativa biográfica de ~150 palavras.
- Nota: O estudo utiliza 20 perfis de persona distintos, cobrindo variação demográfica.
Arquitetura de Interação:
- Chamada Única (Single-Call): Chamada de API independente por persona (20 respostas/pergunta).
- Auto-Prompting de Múltiplos Turnos: Conversa de três rodadas por persona com sondagens de acompanhamento neutras (60 respostas/pergunta).
- Discussão Multi-Agente: Uma discussão de grupo de 3 rodadas entre 5 personas diversas (15 respostas/pergunta).
Controles de Baixo Custo:
- Avaliados no baseline Single-Call × Nenhum: Prompt Melhorado (instruções de diversidade), Temperatura Alta (T=1.0), Indução Demográfica (listagem de dimensões sem personas) e Atribuição de Traços (rótulos de personalidade aleatórios).

Pipeline de Avaliação

O pipeline transforma respostas brutas em métricas comparáveis através de três estágios:

Extração de Opinião: Utilizando DeepSeek v3.2 para extrair declarações de opinião atômicas (julgamentos, posicionamentos, reivindicações de valores) enquanto filtra declarações factuais, expressões sociais e autodescrições de persona.
Embedding: Mapeando opiniões extraídas para um espaço vetorial de 1536 dimensões usando text-embedding-3-small.
Computação de Métricas:
- $\alpha$ -diversidade (Dentro da condição): Mede a dispersão usando Distância Pareada Média (MPD), Contagem de Clusters (CC) e Vendi Score (VS). CC e VS são rarefatos para controlar variações no número de opiniões.
- $\beta$ -diversidade (Entre condições): Mede a complementaridade usando $\beta$ -Vendi Score e Razão de Cluster Único (UCR) para determinar se diferentes condições cobrem regiões distintas do espaço de opinião.

Principais Descobertas

1. Retornos Decrescentes da Profundidade da Persona

Ao contrário da intuição de que "mais detalhes equivalem a mais diversidade", o estudo descobre que a profundidade da persona não aumenta a diversidade monotonicamente.

O passo inicial de Papel (ocupação de uma única frase) captura a maior parte do ganho de diversidade (ex: $\delta \ge 0.62$ entre os modelos).
Adicionar atributos demográficos (Básico) não melhora consistentemente o Papel; em alguns modelos (Gemini, Kimi, GPT-mini), ele na verdade reduz a diversidade.
Elaborações adicionais (Médio e Pro) geram ganhos negligenciáveis ou marginais.
Amplitude sobre Profundidade: Expandir o número de personas (de 5 para 20) é mais eficaz para cobertura do que enriquecer as descrições das personas individuais.

2. Regiões de Opinião Não Sobrepostas em Arquiteturas

Diferentes arquiteturas de interação exploram regiões de opinião amplamente não sobrepostas.

Embora as arquiteturas de Múltiplos Turnos e Multi-Agente superem ambas a Chamada Única, elas não apenas replicam os outputs uma da outra.
A Razão de Cluster Único (UCR) entre Múltiplos Turnos e Multi-Agente é de aproximadamente 79% (após calibração de baseline), o que significa que cerca de 80% dos clusters de opinião em uma arquitetura estão ausentes na outra.
Conclusão: Combinar múltiplas arquiteturas gera uma cobertura mais ampla do que otimizar uma única uma.

3. Ineficácia de Atalhos de Baixo Custo

Intervenções de baixo custo comumente tentadas produzem efeitos negligenciáveis em comparação com intervenções estruturadas.

Aumentar a temperatura de amostragem, adicionar instruções como "considere perspectivas diversas" ou inserir palavras-chave demográficas sem personas resulta em ganhos mínimos de diversidade.
Uma simples descrição de Papel supera o melhor truque de baixo custo (Atribuição de Traços) em aproximadamente 2.5x no ganho de MPD.

4. Efeitos de Interação

As duas dimensões (condicionamento e arquitetura) operam de forma amplamente independente em relação à dispersão (MPD), mas interagem em relação à riqueza de categorias.

O condicionamento de persona aumenta as categorias de opinião significativamente em Múltiplos Turnos (+82%), mas tem um efeito contido em Multi-Agente (+15%).
Em configurações Multi-Agente, a visibilidade de outros agentes parece comprimir categorias distintas impulsionadas pela persona em uma narrativa de consenso, mesmo sem instruções explícitas para concordar.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

Framework de Atribuição: Ele reformula a diversidade de opinião de LLM como um problema de atribuição, fornecendo um design experimental fatorial que isola os efeitos do condicionamento de entrada e da arquitetura de interação, indo além da "coevolução diagonal" das práticas atuais.
Protocolo de Avaliação Unificado: Introduz um protocolo reutilizável composto por extração de opinião, métricas de $\alpha$ -diversidade (dispersão) e $\beta$ -diversidade (complementaridade), permitindo a comparabilidade entre estudos.
Auditoria Empírica: Fornece uma auditoria sistemática através de 7 modelos e 100 perguntas, desafiando a suposição de que "mais é mais". As descobertas sugerem que a diversidade não é um produto da escala de uma única dimensão (ex: personas mais longas), mas é altamente sensível à forma estrutural e combinação das intervenções.

Os autores concluem que o campo deve passar da exploração baseada em suposições para o design de estratégia de diversidade empiricamente fundamentado. Para profissionais, o estudo recomenda começar com uma descrição de ocupação de uma única frase, evitar o ajuste de temperatura ou instruções genéricas, e implantar múltiplas arquiteturas de interação para maximizar a cobertura de opiniões.