Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Este artigo demonstra que a combinação de dados não rotulados em escala da web com anotações sintéticas geradas por um ensemble de grandes modelos de linguagem (LLMs) melhora significativamente a detecção de discurso de ódio multilíngue, especialmente para modelos menores e idiomas com poucos recursos.

O essencial

Imagine que você é um detetive encarregado de encontrar mensagens de ódio na internet. O problema é que a internet é um oceano gigante, e a maioria das pessoas que poderiam ajudar a treinar esse detetive (os "rotuladores humanos") está ocupada demais, ou é muito cara para contratar. Além disso, o que uma pessoa considera "ódio", outra pode achar apenas "brincadeira".

Este artigo é como um manual de instruções para construir um super-detetive que funciona em quatro idiomas (Inglês, Alemão, Espanhol e Vietnamita), usando duas estratégias inteligentes para contornar a falta de ajuda humana.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Falta de "Alunos"

Para ensinar um computador a detectar ódio, você precisa mostrar a ele milhares de exemplos. Mas conseguir esses exemplos com rótulos humanos (alguém dizendo: "Isso é ódio", "Isso não é") é caro e demorado. É como tentar ensinar um aluno a tocar piano, mas você só tem 10 minutos de aula por semana.

2. A Primeira Estratégia: "Ler o Diário do Mundo" (Pré-treinamento Contínuo)

Os pesquisadores pegaram uma quantidade gigantesca de textos da internet (milhões de posts de fóruns e comentários) que não tinham rótulos. Eles não usaram para ensinar o que é ódio, mas para dar um "curso de atualização" para o modelo.

• A Analogia: Imagine que você tem um estudante de medicina (o modelo BERT) que já sabe anatomia básica. Antes de começar a estudar casos específicos de doenças raras (discurso de ódio), você o manda ler milhões de diários médicos genéricos e artigos de saúde da internet.
• O Resultado: Ao ler esses textos, o modelo aprende como as pessoas realmente falam, gírias e contextos específicos de cada idioma. Quando finalmente ele vai estudar os casos de "ódio", ele já é muito mais esperto.
• A Lição: Esse "curso de atualização" funcionou muito bem, especialmente para idiomas com poucos dados (como o Vietnamita), dando um salto de qualidade de cerca de 3% a 6% na detecção.

3. A Segunda Estratégia: O "Conselho de Juízes" (Anotação com IA)

Como não temos humanos suficientes para rotular tudo, os pesquisadores usaram quatro IAs diferentes (como Mistral, Llama, Gemma e Qwen) para ler os textos e decidir se eram de ódio ou não.

• A Analogia: Em vez de confiar na opinião de um único juiz (uma IA), eles criaram um tribunal com quatro juízes.
  • Votação Maioritária: Se 3 dos 4 juízes disserem "É ódio", então é ódio.
  • Média: Eles somam a "certeza" de cada um e tiram a média.
  • O "Mestre de Cerimônias" (LightGBM): Esta foi a estrela do show. Em vez de tratar todos os juízes como iguais, eles treinaram um "super-gerente" (um algoritmo chamado LightGBM) para aprender quem é o melhor juiz para cada tipo de caso. O gerente sabe, por exemplo: "O Juiz A é ótimo em inglês, mas erra muito em vietnamita; o Juiz B é ótimo em alemão".
• O Resultado: O "Mestre de Cerimônias" (LightGBM) foi o mais preciso, conseguindo filtrar os erros dos outros juízes e criar um conjunto de dados sintéticos (rotulados por IA) de alta qualidade.

4. Quem se Beneficia Mais? (O Tamanho Importa)

Aqui está a parte mais interessante: quem ganha mais com essa ajuda?

• O "Estudante" Pequeno (Modelo Llama 1B): Quando um modelo pequeno e rápido recebe esses dados rotulados pela IA, ele dá um salto enorme de performance (+11%). É como se um estudante mediano recebesse um tutor particular de elite e se tornasse um gênio.
• O "Gênio" Já Formado (Modelo Qwen 14B): Um modelo já muito grande e inteligente quase não melhorou (+0,6%). Ele já sabia quase tudo o que precisava saber. Dar mais dados sintéticos a ele foi como tentar ensinar física quântica para um professor de física: ele já sabia, e os dados novos até confundiram um pouco.

5. O Desafio Escondido: O Desequilíbrio

Havia um problema: a internet é majoritariamente "normal". Dos 240.000 textos que as IAs leram, mais de 97% eram inofensivos. Era como tentar ensinar um bombeiro a apagar incêndios, mas mostrando a ele 100 fotos de salas de estar e apenas 3 fotos de incêndios.
Isso dificultou a detecção de ódio em idiomas com poucos dados, porque o modelo aprendeu que "quase tudo é normal" e ficou com medo de acusar algo errado.

Resumo Final

O estudo nos diz que:

1. Ler a internet ajuda: Usar dados brutos da web para "educar" o modelo antes de ensinar o ódio funciona muito bem.
2. Um time de IAs é melhor que uma só: Usar várias IAs e um "gerente" inteligente para combinar as opiniões cria dados de treinamento excelentes.
3. Para modelos pequenos, é ouro: Essa técnica é a salvação para modelos menores e para idiomas com poucos dados, permitindo que eles aprendam muito rápido sem precisar de humanos.
4. Para modelos gigantes, é pouco: Modelos já muito grandes não precisam tanto dessa ajuda.

Em suma, os pesquisadores criaram um método para "turbinar" a detecção de ódio na internet, tornando-a mais justa e eficiente, especialmente para idiomas que costumam ser esquecidos pela tecnologia.

Resumo técnico

Resumo Técnico: Detecção de Discurso de Ódio Generalizada e Multilíngue

1. Problema e Motivação

A construção de detectores robustos de discurso de ódio enfrenta dois gargalos principais:

1. Escassez de dados rotulados: A anotação manual de grandes volumes de texto é custosa e introduz viés subjetivo.
2. Limitações de generalização cruzada: Modelos treinados em um único idioma ou domínio frequentemente falham ao generalizar para outros idiomas ou contextos culturais.

Embora existam crawls web em escala (como OpenWebSearch.eu - OWS), a melhor forma de aproveitar esses dados não rotulados e o potencial de Grandes Modelos de Linguagem (LLMs) como anotadores sintéticos para detecção multilíngue ainda é uma questão em aberto. O trabalho investiga se a combinação de dados web não rotulados em larga escala e anotações sintéticas via ensemble de LLMs pode melhorar a detecção de discurso de ódio em quatro idiomas: Inglês, Alemão, Espanhol e Vietnamita.

2. Metodologia

Os autores propõem um pipeline end-to-end que opera em duas vias complementares, conforme ilustrado na Figura 1 do artigo:

A. Pré-treinamento Contínuo (Continued Pre-training) com Dados OWS

• Coleta de Dados: Utilizaram o OpenWebSearch.eu (OWS) para coletar aproximadamente 12,5 milhões de textos não rotulados (6M em inglês, 3M em alemão, 3M em espanhol e 0,5M em vietnamita).
• Filtragem: Os dados foram filtrados para manter apenas conteúdo conversacional e gerado por usuários (ex: fóruns, comentários, posts), utilizando palavras-chave de URL e esquemas schema.org.
• Adaptação de Domínio: Aplicaram o paradigma de Domain-Adaptive Pre-training (DAPT) em modelos da família BERT. Os modelos foram submetidos a Masked Language Modeling (MLM) nos textos do OWS antes do fine-tuning supervisionado.
• Variações: Foram treinados quatro modelos: três monolíngues (OwsEng, OwsDeu, OwsSpa) e um multilíngue (Ows4L).

B. Anotação Sintética via Ensemble de LLMs

• Anotadores: Quatro LLMs de código aberto foram utilizados para gerar anotações sintéticas: Mistral-7B, Llama3.1-8B, Gemma2-9B e Qwen2.5-14B.
• Estratégias de Ensemble: Para combinar as previsões dos quatro modelos, três estratégias foram testadas:
  1. Votação Majoritária (Vote): Se 2 ou mais modelos votarem em "Ódio".
  2. Média (Mean): Média das probabilidades de todas as classes.
  3. Meta-aprendiz LightGBM (LGB): Um classificador LightGBM treinado nas saídas de probabilidade dos 4 LLMs usando os dados rotulados por humanos como supervisão. Esta estratégia aprende a ponderar a confiabilidade de cada anotador.
• Ajuste Fino (Fine-Tuning): Os dados sintéticos foram usados para fazer fine-tuning (via LoRA) em modelos menores (Llama3.2-1B) e maiores (Qwen2.5-14B), além de serem usados para augmentar o treinamento de modelos BERT.

3. Contribuições Principais

1. Validação de Dados Web em Escala: Demonstração de que o pré-treinamento contínuo em corpora não rotulados do OWS melhora consistentemente o desempenho de modelos BERT, especialmente em cenários de poucos dados (low-resource).
2. Estratégia de Ensemble Superior: Evidência de que um meta-learner (LightGBM) supera abordagens simples como média ou votação majoritária, conseguindo calibrar melhor os LLMs e reduzir viéses compartilhados.
3. Análise de Capacidade do Modelo: Descoberta de que o valor dos dados sintéticos é inversamente proporcional à capacidade do modelo: modelos pequenos (1B) beneficiam-se drasticamente, enquanto modelos grandes (14B+) saturam rapidamente.
4. Benchmark Multilíngue: Avaliação rigorosa em 16 conjuntos de dados de teste cobrindo quatro idiomas, superando a maioria dos trabalhos anteriores focados apenas em inglês.

4. Resultados Chave

Sobre o Pré-treinamento Contínuo (RQ1):

• Ganhos Gerais: Os modelos OWS-BERT superaram as linhas de base (BERT padrão e HateBERT) em todos os 16 conjuntos de teste.
• Desempenho Multilíngue: O modelo Ows4L (multilíngue) alcançou o melhor desempenho médio global (Macro-F1 de 77,0%), superando o BERT padrão em +3% e o HateBERT em +6,3%.
• Cenários de Poucos Dados: O ganho foi mais pronunciado em idiomas com poucos dados rotulados (ex: Vietnamita), onde o Ows4L melhorou o F1 em +6,6% sobre o HateBERT.
• Generalização: Modelos monolíngues treinados apenas em alemão (OwsDeu) mostraram ganhos inesperados em inglês e vietnamita, sugerindo que o crawl web contém conteúdo multilíngue que ajuda na generalização.

Sobre Anotações Sintéticas (RQ2):

• Impacto em Modelos Pequenos (Llama3.2-1B): O uso de dados sintéticos (especialmente com a estratégia H+LGB, combinando dados humanos e sintéticos) resultou em um aumento massivo de +10,6% no F1 agregado.
• Impacto em Modelos Grandes (Qwen2.5-14B): O ganho foi modesto (+0,6%), indicando que modelos grandes já possuem priors fortes e saturam com dados sintéticos desbalanceados.
• Eficácia do LightGBM: A estratégia LGB foi a única a superar a linha de base humana em cenários zero-shot (sem dados de treinamento no idioma alvo, como no caso do Espanhol), demonstrando capacidade de calibração agnóstica ao idioma.
• Desafio de Imbalanceamento: Os dados sintéticos apresentaram um desbalanceamento severo (97% neutro), o que limitou a detecção de classes minoritárias em idiomas com poucos exemplos sintéticos (como o Vietnamita).

5. Significado e Conclusão

O estudo conclui que a combinação de dados web não rotulados em larga escala e anotações sintéticas via ensemble de LLMs é uma estratégia poderosa, mas sua eficácia depende criticamente do tamanho do modelo alvo e da cobertura linguística dos dados sintéticos.

• Para modelos pequenos e idiomas de baixos recursos: A abordagem proposta é transformadora, permitindo atingir níveis de desempenho competitivos com muito menos dados rotulados humanos.
• Para modelos grandes: Os ganhos são marginais, sugerindo que a otimização deve focar na qualidade da anotação e no balanceamento de classes.
• Limitações: O viés inerente aos LLMs (centrados em inglês) e a dificuldade de filtrar conteúdo de ódio específico em crawls gerais permanecem desafios.

Este trabalho estabelece um novo padrão para a detecção de discurso de ódio multilíngue, demonstrando que a adaptação de domínio com dados web e a inteligência coletiva de múltiplos LLMs podem mitigar a escassez de dados rotulados.