🤖 AI

When Roles Fail: Epistemic Constraints on Advocate Role Fidelity in LLM-Based Political Statement Analysis

Este artigo apresenta o primeiro teste empírico sistemático da fidelidade de papéis em pipelines de LLMs multiagentes para análise de discurso político, revelando que os modelos frequentemente falham em manter os papéis adversários atribuídos devido a mecanismos como a Supressão Epistêmica de Papéis, com variações significativas nos modos de falha e na fidelidade dependendo do modelo específico, do idioma e das ferramentas de verificação de fatos utilizadas.

Autores originais: Juergen Dietrich

Publicado 2026-05-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Juergen Dietrich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está organizando uma assembleia pública para discutir uma nova lei controversa. Para obter uma visão justa, você contrata três especialistas diferentes para dar suas opiniões:

O Crítico: Alguém que procura falhas e tenta desmontar o argumento.
O Neutro: Alguém que apenas lista os fatos sem tomar partido.
O Defensor: Alguém que tenta encontrar a melhor interpretação possível, buscando a intenção de "boa-fé" por trás do argumento.

É assim que funciona o sistema TRUST. Ele utiliza três modelos de IA diferentes (robôs) para desempenhar esses papéis simultaneamente. A ideia é que, ao forçar os robôs a argumentarem a partir desses ângulos específicos, você obtenha uma visão completa e equilibrada de declarações políticas.

No entanto, este artigo faz uma pergunta simples, mas assustadora: E se os robôs esquecerem suas funções?

O Problema Central: Quando os Robôs "Quebram o Personagem"

O autor, Juergen Dietrich, testou se esses robôs de IA conseguiam realmente manter seus papéis atribuídos. Ele descobriu que eles frequentemente falham, mas não aleatoriamente. Eles falham de maneiras muito específicas e previsíveis quando encontram fatos que contradizem suas instruções.

Pense nisso como um ator em uma peça de teatro a quem foi dito para interpretar um vilão. Se o roteiro diz que o vilão é um assassino, o ator interpreta o vilão. Mas se o roteiro revela subitamente que o vilão é, na verdade, um santo, o ator pode parar de interpretar o vilão e começar a agir como um herói, mesmo que o diretor tenha dito para ele manter o personagem.

As Duas Formas como os Robôs Falham

O artigo identifica duas maneiras principais pelas quais essa "quebra de personagem" ocorre, que o autor chama de Sobreposição de Papel Epistêmico.

1. O Efeito "Chão" (O Dilema do Defensor)
Imagine que o robô Defensor está tentando ser gentil e encontrar o lado bom em uma declaração.

Cenário: A declaração diz: "Comer pedras cura o câncer."
O Conflito: O "verificador de fatos" do robô (uma ferramenta separada) diz imediatamente: "Não, isso é falso e perigoso."
O Resultado: O robô Defensor desiste. Ele não consegue fingir ser benevolente com algo que sabe ser factualmente errado. Ele abandona seu papel "gentil" e, de repente, começa a soar como o Crítico, apontando a mentira.
A Metáfora: É como um advogado tentando defender um cliente que foi pego em flagrante segurando a arma do crime. Não importa o quanto o advogado tente ser "benevolente", os fatos são tão esmagadores que a defesa do advogado colapsa. O artigo chama isso de Efeito Chão Epistêmico: os fatos criam um chão duro abaixo do qual o robô não pode descer.

2. O Conflito "Prioritário" (O Dilema do Crítico)
Agora imagine que o robô Crítico está tentando ser rigoroso e encontrar falhas.

Cenário: A declaração diz: "O sol nasce no leste."
O Conflito: O Crítico recebe a ordem de encontrar problemas, mas o verificador de fatos diz: "Isso é 100% verdadeiro."
O Resultado: O robô Crítico luta. Seu conhecimento interno (treinado em toda a história humana) grita que isso é verdadeiro, então ele não consegue realmente criticar. Às vezes, ele acidentalmente troca de papel e começa a soar como o Defensor, validando a declaração em vez de atacá-la.
A Metáfora: É como um detetive contratado para provar que um suspeito é inocente, mas as evidências são tão claras que o detetive acidentalmente começa a provar que o suspeito é culpado.

A Descoberta do "Espelho"

A descoberta mais fascinante é que essas duas falhas são imagens espelhadas uma da outra.

Se os fatos são ruins, o robô "Gentil" quebra.
Se os fatos são bons, o robô "Mau" quebra.
O artigo chama isso de Sobreposição de Papel Epistêmico. O conhecimento interno do robô sobre "o que é verdadeiro" é mais forte do que as instruções dizendo a ele "qual papel desempenhar".

O Confronto dos Robôs: Mistral vs. Claude

O autor testou dois modelos de IA diferentes para ver qual era melhor em manter o personagem: Mistral Large e Claude Sonnet.

Claude Sonnet: Este robô era muito ruim em manter o papel de "Defensor". Quando via uma declaração factualmente errada, ele mudava completamente sua personalidade, transformando-se de um apoiador em um crítico severo. Era como um camaleão que mudava de cor com muita facilidade.
Mistral Large: Este robô era muito melhor. Quando via uma declaração errada, ele não virava para o lado oposto; apenas parava silenciosamente de tentar ser um defensor. Ele "desistiu" do papel, mas não se tornou o inimigo.
O Vencedor: O Mistral foi significativamente mais confiável (cerca de 28% melhor) em cumprir sua função atribuída do que o Claude.

A Virada da Linguagem e do Verificador de Fatos

O estudo também analisou se a linguagem (inglês vs. alemão) ou a ferramenta de "verificação de fatos" usada importavam.

Linguagem: Os robôs comportaram-se de forma semelhante tanto em inglês quanto em alemão, o que é uma boa notícia.
Verificadores de Fatos: É aqui que ficou complicado. Se você usasse uma ferramenta específica de verificação de fatos (Perplexity) com o robô Claude em declarações em alemão, o robô falhava ainda mais frequentemente. É como usar uma lupa que é forte demais; faz o robô ver tantos erros que ele não consegue fazer seu trabalho de forma alguma.

A Grande Conclusão

O artigo conclui que, se você construir um sistema que depende de robôs de IA para desempenhar diferentes papéis (como uma equipe de debates), não pode simplesmente assumir que eles farão o que você diz.

Fatos são mais fortes que instruções: Se os fatos contradizem o papel, o robô geralmente seguirá os fatos.
Nem todos os robôs são iguais: Alguns modelos (como o Mistral) são melhores em manter um papel do que outros (como o Claude).
Validação é fundamental: Você não pode apenas verificar se o robô deu uma resposta; você tem que verificar se ele manteve o personagem. Se você não medir isso, seu sistema pode parecer estar oferecendo um debate equilibrado, mas pode ser apenas um robô gritando sua própria opinião enquanto finge ser outra pessoa.

Em resumo: Você pode pedir a um robô para ser um advogado do diabo, mas se os fatos forem muito óbvios, o robô deixará de interpretar o diabo e começará a dizer a verdade.

1. Declaração do Problema

O artigo aborda uma vulnerabilidade crítica em pipelines de Modelos de Linguagem de Grande Escala (LLM) multiagente projetados para análise de discurso democrático. Sistemas como o pipeline TRUST dependem da atribuição de papéis adversários distintos (Crítico, Equilibrado, Caridoso) a diferentes agentes LLM para gerar avaliações estruturadas e multiperspectivas de declarações políticas.

A premissa central é que esses agentes manterão de forma confiável suas posições epistêmicas atribuídas. No entanto, pesquisas anteriores sugeriram alta variabilidade na pontuação, levantando a questão de se essa variabilidade decorre de ruído estocástico ou de desvio sistemático de papel (drift). O artigo investiga se os LLMs conseguem manter papéis adversários atribuídos quando esses papéis entram em conflito com o conhecimento interno do modelo sobre a realidade factual, especificamente quando fornecidos com dados de verificação de fatos.

2. Metodologia

Configuração Experimental

Conjunto de Dados: 60 declarações políticas (30 em inglês, 30 em alemão) categorizadas em:
- Categoria A: Alegações empiricamente mensuráveis (ex.: política econômica).
- Categoria B: Alegações empiricamente contestadas (evidências divididas).
- Categoria C: Posições ideologicamente carregadas.
Arquitetura do Pipeline:
- Verificação de Fatos: As declarações foram processadas por verificadores de fatos (Gemini 2.5 Flash ou Perplexity sonar-pro) para gerar relatórios sobre fatos verificáveis e contradições.
- Defensores: Um "Defensor Caridoso" (testado com Claude Sonnet 4.6 e Mistral Large) avaliou as declarações utilizando os relatórios de verificação de fatos como contexto.
- Prompting: Duas versões de prompt foram testadas: uma Linha de Base (prioridade estrita à verificação de fatos) e um prompt Simétrico (instruindo explicitamente o modelo a encontrar um núcleo legítimo mesmo que os fatos contradigam).
Classificador de Fidelidade de Papel: Uma instância do Mistral Large foi treinada para classificar a posição epistêmica do texto de raciocínio do defensor (Crítico, Equilibrado ou Caridoso) independentemente do vocabulário superficial. Este classificador alcançou alta precisão (80–89%) para os papéis Crítico e Equilibrado, mas revelou falha sistemática no papel Caridoso.

Métricas

Os autores introduziram quatro métricas complementares para quantificar o desvio de papel:

Índice de Desvio de Papel (RDI): Mede a gravidade do desvio especificamente do Caridoso em direção ao Crítico.
Distância de Desvio Esperada (EDD): A distância ordinal absoluta média entre o papel previsto e o papel atribuído real (0 = perfeito, 2 = desvio máximo).
Índice de Desvio Direcional (DDI): A distância média assinada, indicando se o desvio é em direção ao polo Crítico (negativo) ou Caridoso (positivo).
Estabilidade de Papel Baseada em Entropia (ERS): Mede a consistência das previsões em múltiplas execuções.

3. Principais Contribuições

Classificador de Posição Epistêmica: Desenvolvimento de um classificador que identifica papéis de defensores com base na lógica de raciocínio em vez de palavras-chave, alcançando 89% de precisão para o papel Equilibrado e 80% para o papel Crítico.
Identificação de Modos de Falha:
- Efeito de Piso Epistêmico (EFE): Um fenômeno onde os resultados de verificação de fatos criam um limite inferior absoluto; se uma declaração for factualmente contradita (Logos = -1), o papel "Caridoso" colapsa completamente (0% de fidelidade), independentemente da engenharia de prompts.
- Conflito Papel-Prioridade (RPC): O conhecimento do modelo durante o treinamento substitui as instruções de papel quando os fatos suportam uma declaração que o defensor "Crítico" deveria desafiar.
Mecanismo Unificador (ERO): O artigo propõe a Sobrecarga de Papel Epistêmico (ERO) como o mecanismo subjacente. Quando a evidência factual entra em conflito com o papel atribuído, a convicção epistêmica do modelo substitui a instrução. Isso manifesta-se como um perfil de precisão simétrico em espelho entre os papéis.
Quadro Quantitativo: Introdução do RDI, EDD, DDI e ERS para medir sistematicamente a frequência, magnitude, direção e consistência do desvio de papel.

4. Principais Resultados

Desempenho do Modelo e Comparação

Mistral Large vs. Claude Sonnet: O Mistral Large superou significativamente o Claude Sonnet na manutenção do papel Caridoso.
- Precisão: O Mistral alcançou 67% (inglês) e 68% (alemão) de fidelidade, comparado aos 39% e 48% do Claude.
- Desvio: O Claude exibiu um DDI negativo forte (-0,993), indicando um colapso sistemático no papel Crítico. O Mistral mostrou desvio muito menor (-0,438).
- Diferença no Modo de Falha: O Claude tendeu a inverter a polaridade (alternando para a posição oposta), enquanto o Mistral tendeu ao abandono de papel (tornando-se neutro ou crítico sem inverter completamente). A reversão de polaridade é considerada mais prejudicial para sistemas de discurso democrático.

O Efeito de Piso Epistêmico

Restrição Absoluta: Para o papel Caridoso, quando a pontuação Logos da Verificação de Fatos era -1 (contradita), a conformidade caiu para 0% no Claude e 31% no Mistral.
Ineficácia do Prompt: Mesmo com o "Prompt Simétrico" (instruindo o modelo a ignorar contradições), o EFE persistiu em Logos = -1, provando que é uma limitação estrutural de modelos que seguem instruções, e não um artefato de engenharia de prompts.

Interações entre Idioma e Provedor de Verificação de Fatos

Robustez Linguística: O Mistral Large mostrou desempenho robusto entre inglês e alemão (sem diferença significativa na precisão).
Sensibilidade ao Provedor de Verificação de Fatos: A escolha do verificador de fatos não foi neutra.
- O Perplexity reduziu significativamente a fidelidade de papel do Claude em declarações alemãs (a precisão caiu de 48% para 33%, $p=0,007$ ) porque gerou mais contradições, desencadeando o Efeito de Piso Epistêmico com mais frequência.
- O desempenho do Mistral não foi afetado pela escolha do provedor de verificação de fatos.

Análise Dimensional

Dominância do Logos: A qualidade da argumentação factual (Logos) foi o preditor mais forte do desvio de papel.
Ethos/Pathos: Declarações com alto Ethos (respeito) e Pathos (emoção positiva) forneceram alguma ancoragem, mas o Logos permaneceu como o principal motor do Efeito de Piso Epistêmico.

5. Significado e Implicações

Validação do Sistema: O artigo argumenta que validar sistemas de LLM multiagente baseando-se apenas em precisão ou pontuações agregadas é insuficiente. Os sistemas podem passar na validação enquanto retêm distorções epistêmicas sistemáticas (ex.: a incapacidade de ser caridoso sobre alegações factualmente disputadas).
Restrições de Design: A Sobrecarga de Papel Epistêmico (ERO) é uma característica estrutural dos LLMs atuais, não um defeito. Os designers devem tratar o conflito entre "papel atribuído" e "realidade factual" como uma restrição rígida.
Assimetria Popperiana: Os resultados espelham a filosofia da ciência de Karl Popper: A falsificação é uma restrição mais forte do que a verificação. Um único fato contraditório destrói o papel Caridoso (0% de fidelidade), enquanto o suporte factual não destrói completamente o papel Crítico (78% de fidelidade permanece mesmo quando os fatos contradizem a postura crítica).
Limites de Anonimização: O estudo constatou que "impressões digitais estilométricas" (ex.: frases específicas como "não verificável conforme declarado") permitem que os modelos sejam identificados mesmo quando os nomes são removidos dos prompts, complicando os esforços para anonimizar agentes em sistemas multiagente.
Recomendações:
1. Validar empiricamente as escolhas de modelos para papéis específicos (Mistral > Claude para papéis Caridosos neste contexto).
2. Utilizar métricas de desvio direcional (DDI) e métricas de estabilidade (ERS) juntamente com a precisão.
3. Validar combinações de provedor de verificação de fatos e defensor, pois elas não são universalmente intercambiáveis.

Em conclusão, o artigo demonstra que a fidelidade de papel não é binária, mas depende fortemente do alinhamento entre o papel atribuído e a realidade factual da entrada. Para aplicações críticas em qualidade, como a análise de discurso democrático, ignorar essas restrições epistêmicas corre o risco de criar sistemas que distorcem sistematicamente a diversidade de perspectivas políticas que foram projetados para capturar.