💬 NLP

Counter with Evidence! A Multi-Agent Memory Efficient Reasoning Framework for Hate Category Informed Counterspeech Generation

O artigo apresenta o FIRE, um framework multiagente que melhora a geração de contra-discurso ao discurso de ódio ao categorizar o abuso em cinco tipos distintos e mapeá-los para estratégias direcionadas, apoiado por um novo conjunto de dados (FactualCS) e demonstrando precisão factual superior e toxicidade reduzida em comparação com as linhas de base existentes.

Autores originais: Sujoy Nath, Aswini Kumar, Tanmoy Chakraborty

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sujoy Nath, Aswini Kumar, Tanmoy Chakraborty

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O discurso de ódio online é um problema onipresente que envenena a conversa digital, causando danos psicológicos reais a comunidades vulneráveis. Embora as redes sociais conectem o mundo, elas também são frequentemente instrumentalizadas para disseminar abusos. Para combater isso, pesquisadores há muito buscam uma maneira de gerar "contra-discurso" — respostas educadas e baseadas em fatos que neutralizem a hostilidade sem simplesmente deletar o conteúdo ofensivo. O desafio tem sido que o discurso de ódio não é algo único e uniforme. Ele assume muitas formas: alguns posts espalham mentiras verificáveis, outros baseiam-se em estereótipos prejudiciais, enquanto outros utilizam teorias da conspiração ou linguagem desumanizante para retirar a dignidade das pessoas. Tratar todos esses como o mesmo problema leva a respostas fracas. Uma resposta que funciona para desmentir uma estatística falsa falhará em abordar um insulto cruel, assim como um argumento moral não pode corrigir um erro factual. A questão central para os cientistas nesta área é como construir um sistema que possa distinguir entre esses diferentes tipos de abuso e responder com a estratégia específica que cada um exige.

Uma equipe de pesquisadores do Instituto Indiano de Tecnologia de Deli desenvolveu uma nova abordagem para resolver este problema, afastando-se da ideia de um único programa de computador onisciente. Em vez disso, eles criaram um sistema chamado FIRE, que significa Factuality Informed Multi-Agent REasoning Framework (Estrutura de Raciocínio Multiagente Informada pela Factualidade). Em vez de tentar forçar um único grande modelo de computador a fazer tudo de uma vez, o FIRE divide a tarefa em etapas menores e especializadas. Ele opera como uma pequena equipe de especialistas trabalhando em conjunto. Primeiro, um "Analista de Discurso de Ódio" examina a mensagem abusiva para determinar exatamente que tipo de ódio ela é. É um estereótipo? Uma teoria da conspiração? Uma mentira? Uma vez identificado o tipo, o sistema decide a melhor maneira de combater. Se o discurso de ódio contiver uma afirmação falsa, o sistema busca automaticamente na internet evidências reais para provar que ela está errada. Finalmente, um "Gerador de Contra-discurso" utiliza esta análise e as evidências reunidas para escrever uma resposta que seja adaptada à situação específica.

Para ensinar este sistema a trabalhar, os pesquisadores tiveram que criar um novo tipo de material de treinamento, porque os conjuntos de dados existentes não eram detalhados o suficiente. Eles curaram uma coleção chamada FactualCS, que contém quase 4.800 exemplos de discurso de ódio pareados com contra-discursos de alta qualidade. O que torna este conjunto de dados único é que cada exemplo é cuidadosamente rotulado com a categoria específica de ódio, o raciocínio por trás da resposta escolhida e a evidência real usada para apoiar a refutação. Isso permite que o sistema aprenda não apenas o que dizer, mas por que uma determinada resposta é eficaz para um determinado tipo de abuso. Os pesquisadores treinaram seu sistema usando modelos de computador muito pequenos, cada um com menos de dois bilhões de parâmetros, o que é minúsculo comparado aos modelos massivos frequentemente usados em inteligência artificial hoje. Apesar de seu tamanho reduzido, esses modelos foram capazes de realizar raciocínios complexos porque foram guiados pelos passos estruturados do framework FIRE e pelas informações ricas do novo conjunto de dados.

Quando os pesquisadores testaram seu sistema contra outros métodos líderes, os resultados foram impressionantes. O sistema FIRE superou significamente as ferramentas existentes na geração de respostas que eram tanto factualmente precisas quanto apropriadas para o tipo específico de discurso de ódio que estava abordando. Ele melhorou a precisão na identificação da estratégia de resposta adequada em cerca de 11 por cento e aumentou a correção factual das respostas em aproximadamente 12 por cento. Talvez o mais importante seja que as respostas geradas pelo FIRE foram menos tóxicas e mais respeitosas do que as de outros sistemas. Em testes onde especialistas humanos compararam os resultados, eles preferiram consistentemente as respostas do FIRE em relação às de modelos muito maiores e mais poderosos. O sistema conseguiu alcançar esses resultados utilizando muito menos poder computacional, provando que uma abordagem inteligente e organizada pode ser mais eficaz do que simplesmente usar um computador maior e mais caro.

Os pesquisadores também testaram o que aconteceria se removessem partes do sistema para ver a importância de cada peça. Quando removeram a ferramenta que busca evidências na web, a capacidade do sistema de dizer a verdade caiu significativamente, mostrando que ter acesso a fatos reais é crucial para desmentir mentiras. Quando removeram a memória que ajuda o sistema a lembrar de exemplos passados, as respostas tornaram-se menos coerentes e mais repetitivas. Isso confirmou que o sucesso do projeto depende da combinação de todas as suas partes: a capacidade de analisar o problema, a capacidade de encontrar evidências e a capacidade de lembrar como falar de forma eficaz. O estudo sugere que, ao decompor a tarefa complexa de combater o ódio em etapas menores e gerenciáveis, e ao fundamentar cada resposta em evidências, podemos criar ferramentas que sejam mais seguras e eficazes para o uso no mundo real. Embora o sistema não seja perfeito e ainda enfrente desafios com linguagem muito ambígua ou nuances culturais, ele representa um passo significativo no sentido de criar ferramentas automatizadas que possam lidar com o ódio online de uma forma inteligente, factual e centrada no ser humano.

Resumo Técnico: FIRE – Um Framework de Raciocínio Multiagente Eficiente em Memória para Geração de Contra-discurso Informado por Categorias de Ódio

1. Declaração do Problema

Os atuais sistemas automatizados de geração de contra-discurso (CS - counterspeech) enfrentam uma limitação crítica: eles tratam amplamente o discurso de ódio (HS - hate speech) como uma entidade homogênea. Embora trabalhos anteriores tenham avançado no controle estilístico (ex: polidez, emoção), eles frequentemente falham em distinguir as distintas estruturas lógicas do conteúdo abusivo. O ódio online se manifesta através de diversas categorias — como desinformação (alegações falsas verificáveis), estereótipos (generalizações simplificadas), teorias da conspiração, desumanização e asserções não fatuais — cada uma exigindo estratégias de refutação fundamentalmente diferentes.

Modelos de Linguagem de Grande Escala (LLMs) monolíticos lutam para realizar simultaneamente o raciocínio semântico profundo (distinguir tipos de ódio), a verificação factual e a coerência estilística. Sem uma decomposição de tarefa explícita, esses modelos frequentemente alucinam fatos ou geram respostas descontextualizadas que falham em abordar a premissa central do abuso. Além disso, os conjuntos de dados existentes carecem dos rastros de raciocínio intermediários e dos mapeamentos de evidências necessários para supervisionar a lógica de um agente, baseando-se apenas em pares simples de entrada-saída.

2. Metodologia: O Framework FIRE

Para abordar essas lacunas, os autores introduzem o FIRE (Factuality Informed Multi-Agent REasoning Framework). O FIRE emprega um paradigma multiagente hierárquico usando modelos compactos (<2B de parâmetros) para desacoplar o raciocínio da geração, evitando a necessidade de ajuste fino (fine-tuning) de modelos grandes.

Componentes Principais:

Dataset FactualCS: Um novo conjunto de dados de 4.784 pares de ódio-contra-discurso anotados em 14 comunidades alvo. Diferente de recursos anteriores, ele inclui anotações densas para categorias de ódio, rastros de raciocínio, consultas de busca e mapeamentos de evidências.
Módulo de Memória: Um codificador contrastante leve e treinado (22M de parâmetros) que mapeia entradas de discurso de ódio para embeddings. Ele agrupa instâncias por tipo de ódio, permitindo a recuperação de exemplares top- $k$ (padrões de raciocínio e exemplos estilísticos) de um índice fixo sem a necessidade de fine-tuning dos modelos de linguagem.
Fluxo de Trabalho Agêntico de Duas Fases:
1. Fase 1: Explicação de Ódio com Análise e Busca (HEAL - Hate Explanation with Analysis and Lookup):
  - Analista de Discurso de Ódio (HSA - Hate Speech Analyst): Um agente especializado (<2B) que analisa o discurso de ódio de entrada ( $h$ ) e os exemplares recuperados ( $E$ ). Ele prevê o grupo alvo ( $g$ ), o tipo de ódio ( $t$ ), o rastro de raciocínio ( $r$ ) e uma consulta de busca ( $q$ ).
  - Pontuação de Pureza ( $\rho$ ): O sistema calcula a homogeneidade dos vizinhos recuperados. Se a pontuação for baixa (indicando ambiguidade), o HSA é instruído a escolher entre os principais candidatos de tipos de ódio com justificativa.
  - Ferramenta de Busca na Web: Se o tipo de ódio detectado se enquadrar em categorias factuais (desinformação, estereótipo, conspiração), o sistema aciona uma busca externa na web usando a consulta gerada ( $q$ ) para recuperar evidências de suporte ( $e$ ). Para ódio não factual, $e$ é definido como vazio.
2. Fase 2: Mecanismo de Resposta Agêntica Consciente de Categoria (CARE - Category-aware Agentic Response Engine):
  - Gerador de Contra-discurso (CSG - Counterspeech Generator): Um segundo agente (<2B) sintetiza a resposta final ( $c$ ). Ele é condicionado pela entrada original, pela análise estruturada do HSA, pelas evidências recuperadas e pelos padrões estilísticos dos exemplares da memória. Isso garante que a resposta seja fundamentada em fatos e adaptada ao tipo específico de ódio.

Escolha de Design Chave: O framework baseia-se em aprendizado em contexto (in-context learning) via módulo de memória e prompts estruturados, em vez de ajuste fino supervisionado (SFT) dos modelos de linguagem. Apenas o pequeno codificador para o módulo de memória é treinado usando uma perda contrastiva supervisionada para separar os tipos de ódio.

3. Principais Contribuições

Framework FIRE: Um sistema de raciocínio multiagente que decompõe a geração de contra-discurso em análise de intenção e síntese fundamentada, utilizando agentes especializados para lidar com a diversidade semântica e a verificação factual.
Dataset FactualCS: Um recurso curado de 4.784 instâncias que fornece as primeiras anotações abrangentes para categorias de ódio, rastros de raciocínio e mapeamentos de evidências, abordando a escassez de dados para geração fundamentada.
Desempenho com Modelos Compactos: Demonstra que um sistema usando dois agentes de <2B parâmetros pode superar modelos monolíticos maiores (ex: LLaMA-3.1-8B) ao alavancar a decomposição de tarefas e a recuperação de conhecimento externo.

4. Resultados Experimentais

Os autores avaliaram o FIRE contra 28 configurações de linha de base (baselines), incluindo prompting zero-shot/few-shot, RAG baseado em recuperação e ajuste fino supervisionado (SFT) de várias arquiteturas (BART, T5, LLaMA, Mistral, Qwen).

Métricas Quantitativas: O FIRE alcançou desempenho de estado da arte em 9 de 13 métricas.
- Precisão Factual: Alcançou uma Pontuação Factual (FSc) de 0,969, uma melhoria de ~12,2% sobre a linha de base mais forte.
- Precisão de Categoria: Alcançou 0,702, uma melhoria de ~11,1%, indicando um melhor alinhamento entre o tipo de ódio e a estratégia de refutação.
- Segurança: Reduziu a toxicidade em ~11% (pontuação 0,016) em comparação com as linhas de base.
- Alinhamento Semântico: Liderou em BERTScore (0,886) e METEOR (0,247).
Eficiência: Apesar de usar agentes menores, o FIRE reduziu o uso de pico de VRAM em 75% (~4GB vs. ~16GB para modelos de 8B) mantendo latência de inferência comparável.
Estudos de Ablação: Remover a Ferramenta de Busca na Web causou uma queda de 14,1% na Pontuação Factual. Remover o Módulo de Memória causou uma queda de 14,5% na Precisão de Categoria. Remover o HSA (simulando um modelo de passagem única) resultou em uma queda de 36,0% na Pontuação Factual, confirmando a necessidade da decomposição multiagente.
Avaliação Humana: Em um estudo com 30 anotadores especialistas, o FIRE foi preferido em relação ao LLaMA-3.1-8B-Instruct (SFT), HiPPrO e CoARL em 86–98% das instâncias em métricas como Eficácia Argumentativa e Relevância Contextual.

5. Significância e Alegações

O artigo afirma que decompor a intenção subjacente do discurso de ódio é essencial para gerar contra-discursos seguros, eficazes e contextualmente precisos. A significância do FIRE reside em demonstrar que:

Especialização sobre Escala: Agentes colaborativos, centrados em raciocínio e usando modelos compactos, podem superar LLMs monolíticos maiores quando a tarefa exige estratégias lógicas específicas e fundamentação factual.
Geração Fundamentada: Mapear explicitamente as categorias de ódio para a recuperação de evidências e rastros de raciocínio é crítico para reduzir alucinações e melhorar a validade lógica do contra-discurso.
Escalabilidade: A abordagem eficiente em memória e sem fine-tuning oferece um caminho viável para implantar sistemas de contra-discurso que sejam tanto factualmente precisos quanto computacionalmente viáveis.

Os autores mantêm uma postura modesta, reconhecendo limitações como a cobertura do dataset (limitada a 14 comunidades e 5 categorias), o potencial de falhas na busca na web e a dependência de dados em língua inglesa. Eles enfatizam que, embora o FIRE melhore a qualidade imediata da resposta, o impacto conversacional de longo prazo e a escalada de conflitos permanecem como áreas para investigações futuras.