Can AI Truly Represent Your Voice in Deliberations? A Comprehensive Study of Large-Scale Opinion Aggregation with LLMs

Resumo Técnico: Representatividade e Avaliação de LLMs em Deliberações Públicas

1. O Problema

As deliberações públicas em larga escala (como assembleias de cidadãos e debates parlamentares) geram milhares de contribuições em texto livre que precisam ser sintetizadas em resumos representativos e neutros para uso em políticas públicas. Embora os Grandes Modelos de Linguagem (LLMs) sejam ferramentas promissoras para essa síntese, existem riscos críticos:

• Viés de Representatividade: LLMs tendem a super-representar as visões da maioria e negligenciar perspectivas minoritárias, comprometendo a equidade em contextos de alto risco.
• Falha na Avaliação: A prática atual de usar LLMs genéricos como "juízes" para avaliar a qualidade desses resumos mostra baixa alinhamento com julgamentos humanos, sendo inconsistente e enviesada.
• Falta de Escala: Não existem benchmarks em larga escala baseados em dados humanos para avaliar sistematicamente a capacidade dos LLMs de realizar resumos deliberativos justos e informativos.

2. Metodologia

Os autores propõem um framework completo que envolve a criação de um novo benchmark, o treinamento de um avaliador especializado e uma avaliação abrangente de múltiplos modelos.

A. DELIBERATIONBANK (O Benchmark)
Um conjunto de dados em larga escala e fundamentado em humanos, construído em três etapas:

1. Coleta de Opiniões: 3.000 opiniões livres foram coletadas de 300 participantes dos EUA para cada uma de 10 questões deliberativas (cobrindo tópicos como tecnologia, mídia social e políticas públicas). As questões incluem tanto formatos binários (apoio/oposição) quanto abertos.
2. Geração de Resumos: 750 resumos foram gerados por 5 LLMs diferentes (incluindo GPT-5, Claude-4, Gemini-2.5, DeepSeek e Qwen3) usando subconjuntos de opiniões de tamanhos variados (de 10 a 300 entradas).
3. Anotação Humana: 4.500 anotações foram realizadas por um novo grupo de participantes (totalizando 7.500 participantes no estudo). Cada anotador forneceu sua própria opinião sobre a questão e avaliou os resumos gerados em quatro dimensões:
   • Representatividade: Grau em que a opinião individual é capturada semanticamente.
   • Informatividade: Qualidade e diversidade das informações.
   • Neutralidade: Ausência de linguagem tendenciosa.
   • Aprovação de Política: Adequação do resumo para tomada de decisão.

B. DELIBERATIONJUDGE (O Avaliador)
Para superar as limitações dos "LLMs como juízes", os autores desenvolveram o DELIBERATIONJUDGE:

• Arquitetura: Um modelo baseado em DeBERTa-v3 (fine-tuned).
• Treinamento: Supervisionado com as 4.500 anotações humanas, normalizando tarefas de classificação (rating) e comparação (ranking) em uma escala unificada.
• Objetivo: Fornecer avaliações mais confiáveis, alinhadas com humanos e 100x mais eficientes computacionalmente do que LLMs generativos.

C. Avaliação Sistemática
O framework foi utilizado para benchmarkar 18 LLMs (proprietários e open-weight) e analisar fatores como tamanho do modelo, configuração de entrada e tipo de tópico.

3. Principais Contribuições

1. DELIBERATIONBANK: O primeiro dataset de benchmark em larga escala para resumo de deliberações, contendo 3.000 opiniões e 4.500 instâncias de julgamento humano, cobrindo múltiplas dimensões de qualidade.
2. DELIBERATIONJUDGE: Um modelo de avaliação especializado que supera os LLMs de propósito geral em alinhamento com humanos (correlação de Spearman de ~0.48 vs. ~0.20 para os melhores LLMs) e em eficiência (0.03s por item vs. >8s).
3. Descoberta de Viés Sistemático: Evidência robusta de que LLMs, mesmo os mais avançados, falham sistematicamente em representar opiniões minoritárias, tanto definidas subjetivamente (auto-relato) quanto objetivamente (detecção de outliers semânticos).

4. Resultados Chave

• Desempenho dos Modelos:

  • Modelos como GPT-5, Claude-4 e Qwen3-32B lideraram o ranking geral, com pontuações médias entre 0.61 e 0.62 nas quatro dimensões.
  • Modelos menores (ex: Qwen3-0.6B) performaram pior, seguindo tendências de escala.
  • A diferença de desempenho entre o melhor e o pior modelo foi modesta (<0.1), indicando que a maioria dos modelos atinge um nível de qualidade similar, mas com falhas comuns.

• Viés de Minorias (Descoberta Crítica):

  • Sub-representação: Em todas as 18 modelos testados, as opiniões de minorias receberam pontuações de representatividade significativamente mais baixas do que as da maioria.
  • Magnitude do Viés: O viés de representatividade para minorias foi 34,4 vezes maior do que o viés observado em amostras aleatórias de controle.
  • Tipos de Minorias: O estudo identificou duas categorias distintas de minorias com baixa sobreposição (<10%):
    1. Subjetivas: Pessoas que sentem que sua opinião é minoritária (muitas vezes expressas com incerteza ou isolamento pessoal).
    2. Objetivas: Opiniões semanticamente únicas (outliers) que não são necessariamente percebidas como minoritárias pelo autor, mas são raras no espaço vetorial.
  • Ambos os tipos são negligenciados pelos LLMs, embora por razões diferentes (falta de clareza vs. raridade semântica).

• Fatores de Influência:

  • Tamanho de Entrada: O desempenho melhora à medida que o número de opiniões de entrada aumenta (de 10 até ~100), mas estagna além desse ponto, sugerindo que os LLMs atuais não conseguem escalar eficientemente para contextos de milhares de opiniões sem mecanismos de agregação melhores.
  • Tipo de Pergunta: Modelos tendem a performar melhor em perguntas binárias (que restringem a respostas a dois lados) do que em perguntas abertas, onde a diversidade de opiniões é mais difícil de sintetizar.

5. Significado e Impacto

Este trabalho é fundamental para o desenvolvimento de ferramentas de IA para governança democrática e participação cívica:

• Validação de Justiça: Demonstra que o uso atual de LLMs para síntese de opiniões públicas pode perpetuar desigualdades ao silenciar vozes minoritárias.
• Infraestrutura de Avaliação: O DELIBERATIONJUDGE oferece uma base escalável e confiável para desenvolver e testar futuros sistemas de IA que priorizem a equidade e a diversidade de perspectivas.
• Direção Futura: Sugere que a próxima geração de modelos de resumo para deliberações deve incorporar restrições explícitas de justiça e mecanismos que forcem a captura de outliers semânticos, além de depender de avaliadores especializados treinados em dados humanos, e não apenas em LLMs genéricos.

Em suma, o artigo conclui que, embora os LLMs sejam úteis, eles não representam verdadeiramente a voz de todos nas deliberações atuais, e que a correção desse viés requer tanto novos dados de treinamento quanto novas arquiteturas de avaliação.