Resumo Técnico: SoftHateBench

Definição do Problema

Os atuais sistemas de moderação de conteúdo online são amplamente otimizados para detectar "discurso de ódio duro" (hard hate speech) — abuso explícito caracterizado por insultos, ameaças e toxicidade evidente. Embora esses sistemas funcionem razoavelmente bem em hostilidade explícita, eles têm dificuldade em detectar o "discurso de ódio suave" (soft hate speech). O ódio suave é definido como um discurso que parece razoável na superfície, utilizando enquadramentos neutros e argumentos baseados em valores (ex: apelos à segurança, tradição ou justiça) para direcionar audiências ao excluir ou culpar um grupo alvo.

O problema central identificado é que os benchmarks existentes não medem sistematicamente a lacuna entre a detecção de toxicidade explícita e a detecção de hostilidade baseada em raciocínio. Consequentemente, os modelos de moderação frequentemente falham em sinalizar conteúdos que são conformes às políticas na superfície (carecendo de insultos explícitos), mas que carregam um posicionamento discriminatório através de cadeias de inferência implícitas. Isso cria uma vulnerabilidade onde a hostilidade codificada em raciocínio, em vez de vocabulário, contorna os filtros atuais.

Metodologia

Estrutura Teórica

O artigo integra duas teorias complementares para modelar e gerar o ódio suave:

1. Modelo de Tópicos de Argumentação (AMT - Argumentum Model of Topics): Fornece uma estrutura formal para o raciocínio defeatível. Um argumento é decomposto em:
   • Superfície Visível: Endoxon ($E$, crenças compartilhadas) e Datum ($D$, afirmações específicas).
   • Maquinaria Implícita: Premissa ($P$, conclusão intermediária), Locus ($L$, padrão de raciocínio abstrato), Máxima ($M$, regra instanciada) e Posicionamento/Standpoint ($S$, conclusão hostil final).
     O ódio suave depende de a audiência inferir $P$ e $S$ a partir de $E$ e $D$ sem que essas etapas sejam explicitamente declaradas.
2. Teoria da Relevância (RT - Relevance Theory): Guia a geração para maximizar o "Efeito" (impacto persuasivo via valores compartilhados) enquanto minimiza o "Custo" (esforço cognitivo). Isso garante que o texto gerado seja fluente, plausível e negável, mimetizando o discurso humano natural.

Pipeline de Geração do SoftHateBench

Os autores introduzem o SoftHateBench, um benchmark generativo construído via um pipeline de quatro estágios:

1. Extração de Sementes (Seed Extraction): Agrega 265.959 postagens relacionadas ao ódio de corpora públicos (ex: HateXplain, Gab Hate Corpus) e as filtra para 16.426 instâncias de alta qualidade. Os Posicionamentos ($S$) e Grupos-Alvo ($[TG]$) são extraídos usando DeepSeek-V3.1.
2. Geração AMT Reversa (Reverse AMT Generation): Em vez de gerar o ódio do zero, o sistema trabalha de trás para frente a partir de um posicionamento hostil conhecido ($S$) e um grupo-alvo. Ele utiliza a Geração AMT Reversa para construir a cadeia completa do argumento ($E, D, P, L, M, S$).
   • O processo começa com $(S, L)$, instancia uma Máxima ($M$) para derivar uma Premissa ($P$), e então decompõe $P$ em afirmações de superfície $(E, D)$.
   • Apenas $(E, D)$ são apresentados no texto final; os componentes procedimentais permanecem latentes.
3. Busca de Feixe Guiada por RT (RT-Guided Beam Search): Para garantir que o texto gerado seja persuasivo e em conformidade com as políticas, os autores empregam uma busca de feixe guiada por uma função de recompensa baseada em relevância.
   • Modelagem de Recompensa: A pontuação é baseada em $\text{Rel} \propto \text{Efeito} / \text{Custo}$.
   • Efeito: Estimado via probabilidades de implicação de Inferência de Linguagem Natural (NLI) entre premissas e conclusões.
   • Custo: Estimado via múltiplos sinais de LLM, incluindo surpresa (log-verossimilhança negativa), incerteza preditiva (entropia), resistência (contradição) e redundância.
   • A busca seleciona caminhos que maximizam a relevância enquanto aderem a restrições de segurança (sem insultos explícitos).
4. Aumento de Dificuldade (Difficulty Augmentation): Para criar um espectro de sutileza, as instâncias base são aumentadas em dois níveis adicionais:
   • GrupoVago (SoftGV - GroupVague): Substitui menções explícitas ao grupo-alvo por referências codificadas ou descritores vagos.
   • HostilidadeVaga (SoftHV - HostilityVague): Transforma o texto em postagens naturais de redes sociais usando avisos de autodefesa, sarcasmo ou alertas morais para obscurecer ainda mais a hostilidade.

Estatísticas do Conjunto de Dados

O benchmark final compreende 18.980 instâncias:

• 4.745 Ódio Duro (Hard Hate): Comentários originais das fontes.
• 4.745 SoftBase: As instâncias centrais de ódio suave derivadas de AMT.
• 9.490 Variantes Soft: Versões GroupVague e HostilityVague das instâncias centrais.
• Cobertura: Abrange 7 domínios sociocultural (ex: etnia, religião, gênero) e 28 grupos-alvo específicos.

Principais Contribuições

1. Benchmark Fundamentado em Teoria: O SoftHateBench é o primeiro benchmark que gera e avalia sistematicamente o ódio suave ao fundamentar a geração nas estruturas de argumento AMT e nos princípios pragmáticos da RT, indo além da simples paráfrase ou aumento baseado em templates.
2. Geração Controlável: A introdução da Geração AMT Reversa com busca de feixe guiada por RT permite a construção de instâncias com raciocínio explícito e sutileza calibrada. Este método preserva o posicionamento hostil enquanto gera um texto de superfície neutro, abordando a dificuldade de gerar ódio sem violar as próprias políticas de segurança durante o processo de geração.
3. Avaliação Abrangente: O artigo fornece um teste de estresse rigoroso para detectores baseados em encoders, LLMs de propósito geral (proprietários e de código aberto) e modelos alinhados com segurança ao longo do espectro de "duro para suave".

Resultados Experimentais

Degradação de Desempenho

A avaliação em todas as categorias de modelos revela uma queda consistente e acentuada na capacidade de detecção conforme o conteúdo se move dos níveis "duros" para os "suaves":

• Média Geral: A Taxa de Sucesso de Ódio (HSR - Hate Success Rate) cai de 76,8% no ódio Duro para 43,5% no SoftBase, 32,9% no SoftGV e 21,2% no SoftHV.
• Modelos Baseados em Encoder: Modelos como HateBERT e HateRoBERTa, que dependem de pistas lexicais superficiais, sofrem uma falha catastrófica no SoftHV, com a HSR média caindo para 6,8%.
• LLMs e Modelos de Segurança: Embora os LLMs (ex: GPT-5-mini, DeepSeek-V3.1) tenham um desempenho melhor no Ódio Duro (HSR > 87%), eles ainda experimentam uma degradação significativa no SoftHV (HSR ~21–50%). Notavelmente, modelos orientados ao raciocínio não resolvem automaticamente o problema; o chain-of-thought genérico é insuficiente para detectar a hostilidade impulsionada pelo raciocínio e em conformidade com as políticas.

O Papel dos Andaimes de Raciocínio (Reasoning Scaffolds)

Um estudo de ablação crítico testou se os modelos falham devido à incapacidade de reconhecer o ódio ou à incapacidade de reconstruir a cadeia de raciocínio.

• Método: Os modelos foram instigados com o texto de superfície ($E, D$) isoladamente, depois com a superfície mais a Premissa inferida ($P$), e finalmente com a Premissa mais a Máxima ($M$).
• Resultado: Fornecer as etapas intermediárias do AMT ($P$ e $M$) melhorou dramaticamente a detecção. Por exemplo, o Qwen3-4B* melhorou sua HSR no SoftHV de 23,0% (apenas superfície) para 94,2% quando recebeu a cadeia completa de raciocínio ($E, D, P, M$).
• Implicação: O principal modo de falha dos sistemas atuais não é a falta de "reconhecimento de ódio", mas a falha em reconstruir os elos inferenciais implícitos que conectam premissas de aparência neutra a conclusões discriminatórias.

Verificação Humana

A avaliação humana confirmou a qualidade do benchmark:

• Fidelidade Estrutural: 85,0% das instâncias de SoftBase foram verificadas como cadeias AMT logicamente coerentes.
• Validade Perceptiva: Os anotadores conseguiram distinguir entre instâncias hostis e não hostis com 85,7% de concordância.
• Validade Ecológica: Em uma tarefa de discriminação cega, os anotadores conseguiram distinguir o ódio suave gerado de exemplos do mundo real com apenas 57,1% de precisão, indicando que o texto gerado mimetiza de perto o discurso online real.

Significância e Alegações

O artigo alega que o SoftHateBench expõe um ponto cego crítico na moderação de conteúdo atual: sistemas otimizados para toxicidade superficial não são robustos à hostilidade impulsionada pelo raciocínio. Os autores argumentam que a lacuna entre o texto "em conformidade com a política" e o conteúdo "prejudicial" é preenchida pela inferência, não apenas pelo vocabulário.

A significância do trabalho reside em demonstrar que:

1. Os modelos atuais são vulneráveis: Mesmo LLMs avançados e modelos de segurança falham em detectar o ódio suave quando este é enquadrado como senso comum ou raciocínio baseado em valores.
2. A detecção consciente do raciocínio é necessária: Os ganhos substanciais de desempenho observados ao fornecer etapas intermediárias de raciocínio ($P$ e $M$) sugerem que os futuros sistemas de moderação devem ser capazes de reconstruir estruturas argumentativas, não apenas classificar o texto de superfície.
3. Um novo benchmark é necessário: Datasets existentes são insuficientes para avaliar este vetor de ameaça específico. O SoftHateBench fornece um ambiente controlado e fundamentado em teoria para testar e desenvolver ferramentas de moderação conscientes do raciocínio.

Os autores concluem que, sem abordar a capacidade de detectar a hostilidade baseada em raciocínio e em conformidade com as políticas, os sistemas de moderação permanecerão ineficazes contra o cenário evolutivo do ódio online.