Multi-Agentic System Leveraging Open-Source LLMs to Mitigate Disinformation Threats

Resumo Técnico: Sistema Multiagente Utilizando LLMs de Código Aberto para Mitigar Ameaças de Desinformação

Definição do Problema
A proliferação da desinformação, acelerada pelas redes sociais e pela inteligência artificial, tornou a verificação de fatos manual inadequada devido à escala e velocidade da disseminação de informações. Embora a detecção automatizada seja necessária, a dependência de modelos de Linguagem de Grande Escala (LLMs) únicos muitas vezes carece da nuance da tomada de decisão colaborativa humana. Além disso, muitas soluções existentes dependem de modelos proprietários e fechados (ex: GPT-4), o que limita a transparência e a reprodutibilidade. Há uma necessidade crítica de sistemas automatizados que não apenas detectem a desinformação, mas que também emulem o consenso e as bases de conhecimento diversas de equipes de anotação humanas, particularmente em idiomas com disponibilidade de recursos variada (alta, média e baixa).

Metodologia
Os autores propõem um novo Sistema Multiagente (MAS) projetado para emular os processos cognitivos de tomada de decisão de anotadores humanos. O sistema opera em uma topologia "hub-and-spoke" (cubo e raios) composta por quatro agentes:

1. Agente Líder: Funciona como um moderador central responsável pela atribuição de tarefas, iniciação de debates e síntese das decisões finais. O líder pode adjudicar caso o consenso não seja alcançado.
2. Três Agentes Anotadores Especialistas: Operam como iguais, fornecendo anotações iniciais e justificativas.

Principais Características Arquiteturais:

• Integração de LLMs Heterogêneos: Diferente de sistemas que utilizam um modelo uniforme para todos os agentes, este MAS utiliza diversos modelos de código aberto (ex: LLaMA-3.1-405B, Kimi, Deepseek, Qwen, LLaMA-Nemotron) para simular a diversidade natural de conhecimentos e capacidades cognitivas encontradas em equipes humanas.
• Debate Baseado em Consenso: O sistema mimetiza fluxos de trabalho humanos onde as decisões são alcançadas através da convicção coletiva.
  • Cenário 1 (Consenso Imediato): Se todos os agentes concordarem, o líder formata o resultado imediatamente.
  • Cenário 2 (Debate): Se as opiniões divergirem, o líder modera um debate iterativo (até 20 rodadas) onde os agentes revisam suas justificativas e decisões com base no input de seus pares.
  • Cenário 3 (Adjudicação): Se o consenso falhar, o líder toma uma decisão final autônoma baseada nos argumentos acumulados.
• Configuração Fechada: O sistema baseia-se estritamente no conhecimento interno e nas capacidades de raciocínio dos LLMs, deliberadamente excluindo ferramentas de busca na internet externa. Isso é projetado para prever a desinformação antes que verificadores profissionais a desmintam.
• Transparência: Todo o registro do debate é arquivado, permitindo a observação e análise humana do processo de raciocínio.

Principais Contribuições
O artigo identifica cinco contribuições primárias:

1. Arquitetura MAS Abrangente: Um sistema capaz de abordar diversas tarefas de desinformação, incluindo detecção direta, identificação de alegações dignas de verificação e detecção de alegações fáticas verificáveis.
2. Generalização: O sistema demonstra desempenho robusto em idiomas de alto recurso (Inglês), médio recurso (Polonês) e baixo recurso (Eslovaco, Búlgaro) sem a necessidade de ajuste fino (fine-tuning) específico para a tarefa.
3. Consenso Inspirado no Humano: O design fundamenta a tomada de decisão no princípio do consenso, espelhando como os anotadores humanos fortalecem a precisão através do acordo coletivo.
4. Representação de Conhecimento Heterogêneo: O uso de diversos modelos de código aberto garante que as justificativas sejam fundamentadas em bases de conhecimento e metodologias de raciocínio variadas.
5. Interpretabilidade: O fornecimento de transcrições de debates oferece um mecanismo de relatório inovador para analisar a deliberação dos agentes.

Resultados Experimentais
O sistema foi avaliado em quatro tarefas em quatro idiomas usando conjuntos de dados de referência (MIPD, CLEF23, CLEF22 e um conjunto de dados eslovaco coletado pelos próprios autores):

• Tarefa 1 (Detecção de Desinformação em Polonês): O MAS alcançou 0,88 de acurácia e 0,87 de F1-macro. Notavelmente, alcançou um recall de 0,98 para instâncias de desinformação, superando o GPT-4 e o GPT-3.5 isolados, embora tenha ficado ligeiramente atrás de uma linha de base GPT-5.2 realizada.
• Tarefa 2 (Alegações Dignas de Verificação em Inglês): O sistema alcançou 0,80 de acurácia e 0,79 de F1-macro. Demonstrou um recall superior (0,89) para alegações dignas de verificação em comparação com modelos únicos, indicando alta sensibilidade na identificação de conteúdo que requer verificação.
• Tarefa 3 (Alegações Dignas de Verificação em Eslovaco): Em um pequeno conjunto de dados não visto anteriormente, o MAS alcançou um recall de 0,967, validando sua capacidade preditiva em cenários de baixo recurso.
• Tarefa 4 (Alegações Fáticas Verificáveis em Búlgaro): O sistema alcançou 0,80 de acurácia e 0,79 de F1-macro, superando configurações de LLM único (incluindo LLaMA-3.1-405B e GPT-5.2) no mesmo conjunto de dados.

Significância e Alegações
Os autores afirmam que este trabalho oferece uma alternativa valiosa aos modelos ajustados (fine-tuned) e sistemas proprietários fechados. Embora o sistema não pretenda atingir o estado da arte em todas as métricas comparado a modelos fortemente ajustados, ele destaca pontos fortes significativos:

• Robustez em Dados Pequenos: O sistema opera efetivamente sem a necessidade de grandes conjuntos de dados de treinamento específicos para a tarefa, evitando os custos e vieses associados ao ajuste fino.
• Transparência e Ética: Ao utilizar modelos de código aberto e fornecer logs de debate, o sistema aumenta a reprodutibilidade e a responsabilidade ética.
• Mimetismo de Nível Humano: A análise qualitativa das transcrições de debate confirma que o sistema modela com sucesso os mecanismos de consenso humano e a diversidade de conhecimento.
• Utilidade Prática: As altas taxas de recall sugerem que o sistema é particularmente eficaz como uma ferramenta de triagem para identificar textos dignos de verificação humana, potencialmente reduzindo a carga de trabalho dos anotadores humanos enquanto minimiza o risco de negligenciar a desinformação.

O artigo conclui que, embora o MAS não seja um substituto perfeito para todas as soluções de ajuste fino, sua capacidade de generalizar entre idiomas, operar sem recuperação de dados externos e fornecer raciocínio transparente o torna uma ferramenta robusta e prática na luta contra a desinformação.