Resumo Técnico: Polistemics – Avaliando LLMs como Mediadores de Informação em Política e Eleições

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) funcionam cada vez mais como mediadores primários de informação para os cidadãos — substituindo ou aumentando os motores de busca tradicionais e as Aplicações de Aconselhamento de Voto (VAAs) — não existe um framework padronizado para avaliar se eles medeiam a informação política de forma responsável. Avaliações anteriores trataram majoritariamente esta tarefa como reprodução (verificar se um LLM recorda corretamente a posição de um partido) em vez de mediação (como o modelo seleciona, enquadra e comunica a informação sob condições imperfeitas). Esta omissão deixa dimensões epistêmicas críticas sem tratamento: especificamente, como os modelos lidam com informações ausentes, vagas ou contraditórias, e se preservam a agência epistêmica dos cidadãos ao evitar uma confiança imotivada ou um direcionamento persuasivo.

Metodologia: O Benchmark POLISTEMICS

Os autores introduzem o POLISTEMICS, um benchmark fundamentado teoricamente, concebido para avaliar LLMs como mediadores de informação política em contextos eleitorais. A metodologia envolve três componentes principais:

1. Framework Teórico: Modéstia Epistêmica

A avaliação baseia-se no padrão normativo de Modéstia Epistêmica, derivado do conceito de agência epistêmica do cidadão. Este framework define três traços comportamentais essenciais necessários para uma mediação responsável:

• Fidelidade (Faithfulness): Representar o contexto fornecido com precisão, sem fabricação, distorção ou omissão.
• Imparcialidade (Impartiality): Comunicar a informação sem direcionamento avaliativo, enquadramento ou julgamento normativo imotivado (preservando o caráter pluralista da retórica política).
• Calibração Epistêmica (Epistemic Calibration): Expressar níveis de certeza que correspondam aos limites da evidência (ex: abster-se ou sinalizar incerteza quando a evidência está ausente ou é vaga).

2. Desenho Experimental

O benchmark operacionaliza estes traços através de experiências controladas que simulam as complexidades do mundo real na recuperação de informação.

• Fonte de Dados: Dados oficiais de posições partidárias das eleições alemãs de 2025 para o Bundestag (7 partidos, 38 declarações) e das eleições holandesas de 2025 para o Tweede Kamer (8 partidos, 30 declarações), extraídos do Wahl-O-Mat e StemWijzer.
• Ambientes de Informação (IEs): Os autores constroem cinco variantes controladas do contexto para testar a robustez do modelo:
  • Baseline: Evidência clara e de fonte única.
  • Condições Inconclusivas: Ausente (sem evidência), Vaga (posição obscurecida por evasão retórica) e Contraditória (evidência conflitante de partidos opostos).
  • Condições de Interferência: Ruidosa (evidência enterrada entre distratores) e Contrafactual (evidência que conflita com os priors internos do modelo).
• Modelos Avaliados: Três modelos de última geração que alimentam chatbots públicos: Qwen3.6 Flash, GPT-5.4 e Claude Sonnet 4.6.
• Protocolo de Avaliação: Um framework de LLM-as-Judge utilizando um painel de três modelos juízes distintos (Gemini 3 Flash, DeepSeek V4, MiMo-V2.5) para pontuar outputs em 13 sub-questões (SQs) através dos três rubros. As pontuações são agregadas num Índice de Adesão por rubro e num Índice de Modéstia Epistêmica (EMI) final.

3. Estudos de Ablação

Para isolar os impulsionadores do viés, os autores realizaram ablações direcionadas:

• Anonimização de Rótulos: Substituição de nomes de partidos por rótulos genéricos para testar se as disparidades são impulsionadas pela identidade do partido (priors) em vez da evidência.
• Língua de Saída: Forçar o output em inglês mantendo a evidência na língua nativa para testar se a tradução afeta a "sanitização" da retórica política.

Resultados Principais

A avaliação dos três modelos nos contextos das eleições de 2025 na Alemanha e nos Países Baixos revela que, embora as pontuações agregadas sejam elevadas, estas mascaram falhas sistemáticas sob condições específicas.

1. Desempenho Geral

• O Claude alcançou o maior Índice de Modéstia Epistêmica (92,6%), seguido pelo GPT (91,2%) e pelo Qwen (87,1%).
• A Imparcialidade foi o rubro com maior pontuação (98%), enquanto a Calibração Epistêmica foi o desafio mais difícil (87%).
• Os modelos apresentaram níveis próximos ao teto nas condições de Interferência (Ruidosa, Contrafactual), sugerindo que os modelos atuais são robustos a distrações e evidências externas conflitantes.

2. Modos de Falha em Ambientes Inconclusivos

Ocorreram quedas significativas de desempenho em condições Inconclusivas, revelando modos de falha distintos:

• Evidência Ausente: O GPT demonstrou a Modéstia Epistêmica ideal ao abster-se totalmente. O Claude e o Qwen reconheceram a evidência ausente, mas frequentemente recorreram ao conhecimento paramétrico interno para responder de qualquer forma, coincidindo com a verdade de base (ground truth) em muitos casos, mas violando as fronteiras epistêmicas.
• Evidência Vaga: O desempenho caiu principalmente devido a falhas na Calibração Epistêmica (falha em sinalizar incerteza) e na Fidelidade (fabricação de posições). Os modelos responderam com confiança apesar de a evidência ser não determinável.
• Evidência Contraditória: Os modelos tiveram dificuldade em representar ambos os lados. O GPT e o Qwen frequentemente resolveram contradições comprometendo-se com o primeiro bloco de evidência, enquanto o Claude referenciou ambas as posições, mas falhou em cobrir totalmente qualquer uma delas.

3. Equanimidade e Priors Partidários

• Disparidades Partidárias: Sob condições de baseline, os modelos foram amplamente equânimes. No entanto, as disparidades aumentaram sob condições inconclusivas, particularmente para partidos específicos (ex: Die Linke na Alemanha, SP nos Países Baixos).
• Papel dos Priors: Estudos de ablação sugerem que estas disparidades são impulsionadas pelos priors partidários. Quando os nomes dos partidos foram anonimizados, as disparidades diminuíram. Os modelos pareceram depender do conhecimento interno para preencher lacunas para partidos com forte representação nos dados de treino, enquanto tiveram dificuldades com partidos mais novos ou menos proeminentes (ex: BSW, BBB).
• Sanitização: Uma fraqueza recorrente foi a Sanitização I4, onde os modelos (particularmente GPT e Qwen) suavizaram a intensidade e a distintividade da linguagem política, puxando a retórica para um registo neutro. Este efeito foi mais pronunciado para partidos cuja retórica estava longe do "baseline" neutro implícito do modelo (ex: AfD).

Significância e Alegações

O artigo afirma que o POLISTEMICS fornece o primeiro auditoria padronizada e fundamentada teoricamente para LLMs como mediadores de informação política. As suas principais contribuições são:

1. Mudança do Paradigma de Avaliação: Ir além da simples precisão de posição (reprodução) para avaliar o processo de mediação (fidelidade, imparcialidade, calibração) sob informação imperfeita.
2. Identificação de Riscos Sistémicos: Demonstrar que pontuações agregadas elevadas podem ocultar falhas localizadas onde elas mais importam: quando a evidência está ausente, é vaga ou contraditória. Nestes cenários, os modelos frequentemente apresentam evidência ambígua como algo resolvido, criando uma "ilusão de certeza" que mina a agência epistêmica do cidadão.
3. Destaque para o Papel dos Priors: Mostrar que o comportamento do modelo não é puramente impulsionado pela evidência, mas é moldado por priors partidários internos e pela proeminência nos dados de treino, levando a uma mediação desigual entre diferentes atores políticos.

Os autores concluem que, embora uma mediação fiável seja alcançável (como demonstrado pela abstenção do GPT em condições de ausência), nenhum modelo atual a entrega de forma consistente em todos os ambientes de informação. Eles argumentam que a mediação de informação democrática requer modelos que não sejam apenas politicamente imparciais, mas também fiéis à evidência e epistemicamente calibrados perante a incerteza. O artigo não alega que os LLMs sejam inerentemente inseguros, mas sim que o seu atual deployment em infraestruturas cívicas sem auditoria padronizada acarreta riscos para a qualidade do discurso público e para a tomada de decisão eleitoral.