AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Este artigo apresenta um pipeline inovador baseado em LLMs agênticos para a tarefa 10 do SemEval-2026, que utiliza uma arquitetura decoplada com "Dynamic Discriminative Chain-of-Thought" para extração de marcadores e um sistema "Anti-Echo Chamber" para detecção de endosso de teorias da conspiração, alcançando desempenho superior ao baseline e estabelecendo um novo paradigma para NLP interpretável e fundamentado psicolinguisticamente.

O essencial

Imagine que você é um detetive tentando descobrir se alguém está contando uma teoria da conspiração (como "o governo escondeu a verdade") ou apenas noticiando que alguém disse isso ("o jornal disse que o governo escondeu a verdade").

O desafio é que as pessoas usam a mesma linguagem para as duas coisas. É como tentar distinguir entre alguém que está realmente assustado e alguém que está apenas atendendo um filme de terror.

A equipe AILS-NTUA criou um sistema inteligente para resolver esse problema no concurso SemEval-2026. Em vez de usar um único "robô" para ler tudo, eles criaram uma equipe de especialistas (chamada de "Agentes") que trabalham juntos como um júri humano.

Aqui está como funciona, explicado de forma simples:

1. O Problema: A "Armadilha do Repórter"

Muitos sistemas de IA falham aqui. Se um texto diz: "O cientista disse que a Terra é plana", a IA pode achar que o texto está apoiando a teoria da Terra Plana. Na verdade, o texto apenas está relatando o que o cientista disse.

• Analogia: É como se você lesse um jornal que diz "O ladrão fugiu" e a IA achasse que o jornal é um cúmplice do ladrão. O sistema precisa saber a diferença entre acusar e contar a história.

2. A Solução: Uma Equipe de Detetives (Agentes)

A equipe criou dois "departamentos" principais:

Departamento 1: O Caçador de Pistas (Extração de Marcadores)

O primeiro trabalho é achar as frases exatas no texto que indicam uma conspiração.

• O Desafio: A IA costuma errar quem é o "vilão" e quem é a "vítima". Em frases passivas como "O povo foi enganado pelo governo", a IA pode achar que "O povo" é o agente (o vilão) só porque está no início da frase.
• A Solução (DD-CoT): Eles criaram um método onde a IA é obrigada a pensar em voz alta e debater consigo mesma.
  • Analogia: Imagine um advogado que precisa defender uma tese, mas é obrigado a argumentar contra si mesmo antes de decidir. Ele diz: "Eu acho que 'O povo' é o vilão, mas espere... se eu pensar no contrário, 'O governo' é quem está agindo. Então, 'O povo' é a vítima."
  • Isso evita erros de interpretação e localiza exatamente onde a frase começa e termina no texto.

Departamento 2: A Câmara Anti-Eco (Detecção de Apoio)

Aqui, o sistema decide se o texto apoia a teoria ou apenas fala sobre ela.

• O Problema: Se todos os robôs pensarem igual, eles podem cair na mesma armadilha (o "Eco").
• A Solução (Conselho de Jurados): Eles criaram um júri com 4 personalidades diferentes que não conversam entre si até o final:
  1. O Promotor: Tenta achar provas de que o texto apoia a conspiração.
  2. O Advogado de Defesa: Tenta achar provas de que o texto não apoia (ex: "olha, ele usou a palavra 'alegadamente'").
  3. O Literalista: Lê apenas o que está escrito, sem imaginar intenções ocultas.
  4. O Perfilador: Analisa o tom, se a pessoa está gritando, usando palavras de ódio ou se está apenas fazendo perguntas.
• O Juiz Calibrado: No final, um "Juiz" ouve todos os argumentos. Se o Promotor e o Advogado de Defesa estiverem brigando, o Juiz olha para as pistas forenses (como o uso de palavras de certeza ou dúvida) para decidir.
  • Analogia: É como um tribunal onde o Promotor quer condenar, o Defensor quer absolver, e o Juiz tem que ser justo, olhando para as evidências reais e não apenas para quem grita mais alto.

3. O Resultado: Por que funcionou?

• Precisão: Ao separar a "leitura" da "localização exata da frase", eles evitaram que a IA inventasse trechos que não existiam.
• Justiça: Ao usar o "Conselho de Jurados", o sistema aprendeu a não condenar textos que apenas relatam notícias.
• Desempenho: O sistema deles ficou em 3º lugar na fase de testes e superou as expectativas, mostrando que ter uma equipe organizada é melhor do que ter apenas um robô superpoderoso trabalhando sozinho.

Resumo em uma frase

Em vez de deixar um único robô tentar adivinhar se alguém está mentindo ou apenas contando uma história, a equipe criou um sistema de tribunal onde diferentes especialistas debatem, checam os fatos e decidem juntos, evitando que a IA seja enganada por palavras bonitas ou armadilhas de interpretação.

Resumo técnico

Resumo Técnico: AILS-NTUA na SemEval-2026 Task 10

1. O Problema

O artigo aborda a Task 10 da SemEval-2026, que se divide em dois subproblemas críticos na detecção de teorias da conspiração:

• S1 (Extração de Marcadores): Identificar e localizar spans textuais que representam marcadores psicolinguísticos específicos (Agente, Ação, Efeito, Vítima, Evidência) baseados na psicologia evolutiva. O desafio reside na ambiguidade semântica (ex: distinguir quem é o agente em construções passivas) e na precisão de localização em nível de caractere.
• S2 (Detecção de Endosso): Classificar se um comentário do Reddit endossa uma teoria da conspiração ou se apenas a relata, debate ou satiriza.

Desafios Principais:

• Armadilha do Repórter (Reporter Trap): Modelos tradicionais tendem a confundir a menção de uma conspiração (ex: "O artigo afirma que...") com o endosso da mesma, gerando muitos falsos positivos.
• Fragilidade de Localização: Grandes Modelos de Linguagem (LLMs) são bons em raciocínio semântico, mas frequentemente falham na localização exata de spans (erros de índice "off-by-one" ou alucinação de texto).
• Viés Cognitivo: LLMs podem ser manipulados por linguagem persuasiva ou apresentar vieses cognitivos que prejudicam a verificação factual.

2. Metodologia

Os autores propõem um pipeline agente baseado em LLMs que desacopla o raciocínio semântico das operações determinísticas, utilizando uma arquitetura de dois estágios:

A. Extração de Marcadores (S1): DD-CoT + Verificador Determinístico

• DD-CoT (Dynamic Discriminative Chain-of-Thought): Uma extensão do Chain-of-Thought adaptativo. Para cada candidato a marcador, o modelo deve gerar não apenas a justificativa do rótulo escolhido, mas também um contra-argumento explícito contra rótulos confusos (ex: "Por que este span é um 'Agente' e não uma 'Vítima'?"). Isso força a discriminação semântica.
• Loop de Auto-refinamento (Self-Refine): Um ciclo iterativo onde um Critic audita a extração e um Refiner aplica correções mínimas.
• Ancoragem Determinística: O LLM gera a string do marcador, mas a localização exata (índices de início/fim) é calculada por um Verificador Determinístico que realiza correspondência exata no texto original. Isso elimina alucinações de spans e erros de contagem de caracteres.

B. Detecção de Endosso (S2): "Anti-Echo Chamber" (Câmara Anti-Eco)
Para combater a "Armadilha do Repórter", o sistema não usa um classificador único, mas sim um conselho adversarial:

• Forensic Profiler: Um nó determinístico que extrai sinais linguísticos leves (ex: densidade de atribuição, uso de maiúsculas, padrões de "apenas perguntando" - JAQing) antes da deliberação do LLM.
• Conselho Paralelo (Parallel Council): Quatro "jurados" (personas) analisam o texto independentemente, sem ver os votos uns dos outros:
  1. Promotor: Busca evidências de endosso.
  2. Advogado de Defesa: Busca evidências de neutralidade, reportagem ou sátira.
  3. Literalista: Verifica a implicação literal e o ônus da prova.
  4. Perfilador de Postura: Analisa pistas de postura (certeza, enquadramento).
• Juiz Calibrado (Calibrated Judge): Um agente final que agrega os votos do conselho, aplicando regras conservadoras de confiança. Se houver ambiguidade ou conflito, o sistema tende a classificar como "não endosso" para evitar falsos positivos.

Otimização e Recuperação:

• Recuperação Contrastiva (Few-Shot): O sistema recupera exemplos de contexto que incluem "negativos difíceis" (textos que contêm vocabulário de conspiração mas têm postura oposta) para ensinar o modelo a distinguir tópico de postura.
• GEPA: Uso de um algoritmo evolutivo (Genetic Evolution Prompt Algorithm) para otimizar automaticamente os prompts dos agentes, melhorando a precisão e a robustez.

3. Principais Contribuições

1. Primeiro Método Agente para Tarefa: Introdução de uma abordagem baseada em agentes LLM para extração de marcadores psicolinguísticos e detecção de endosso.
2. DD-CoT: Proposta de um mecanismo de raciocínio que exige contra-argumentação explícita para resolver ambiguidades semânticas.
3. Arquitetura Híbrida: Desacoplamento do raciocínio do LLM da localização determinística de spans, garantindo precisão de caractere.
4. Câmara Anti-Echo: Uma arquitetura de conselho adversarial que supera a "Armadilha do Repórter", distinguindo eficazmente entre reportagem neutra e endosso de conspiração.
5. Análise Empírica Abrangente: Estudos de ablação, perfis de latência e testes de transferibilidade para modelos de pesos abertos (8B).

4. Resultados

O sistema demonstrou desempenho superior em relação à linha de base (zero-shot GPT-5.2 sem estrutura de agentes):

• Subtask 1 (Extração):
  • F1 Macro: 0.24 no conjunto de desenvolvimento (um aumento de 100% sobre a linha de base de 0.12).
  • Ranking: 3º lugar no conjunto de desenvolvimento.
  • Ganho Específico: O DD-CoT melhorou a identificação de "Agente" (ACTOR) em +2.7 pontos F1, resolvendo viés de posição gramatical.
• Subtask 2 (Detecção):
  • F1 Macro: 0.79 no conjunto de desenvolvimento (aumento de 49% sobre a linha de base de 0.53).
  • Redução de Falsos Positivos: A taxa de falsos positivos em "negativos difíceis" caiu pela metade (de 0.160 para 0.080) graças à recuperação contrastiva e ao conselho.
  • Ranking: 10º lugar no conjunto de teste (dentro de 0.05 F1 do sistema vencedor).
• Portabilidade: O sistema manteve desempenho competitivo (0.16 F1 em S1 e 0.63 em S2) ao ser adaptado para o modelo aberto Qwen-3-8B, demonstrando que a arquitetura agente é transferível.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para NLP psicolinguístico, demonstrando que a estruturação do fluxo de trabalho (workflow engineering) pode substituir a necessidade de escalar modelos maiores.

• Interpretabilidade: Ao forçar o modelo a justificar decisões e contra-argumentar, o sistema torna o raciocínio sobre conspirações mais transparente.
• Robustez: A arquitetura "Anti-Echo Chamber" resolve um problema fundamental na detecção de desinformação: a distinção entre falar sobre uma teoria e acreditar nela.
• Limitações: O sistema ainda enfrenta desafios com ironia de alto contexto e sarcasmo (Lei de Poe), onde a postura implícita é difícil de detectar sem contexto de discurso mais amplo (histórico do usuário, estrutura do thread).

Em suma, a abordagem dos autores valida que sistemas multi-agentes com raciocínio discriminativo e verificação determinística são superiores a prompts simples para tarefas complexas de análise de discurso e detecção de viés.