Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection

Título: Ainda precisamos de humanos no loop? Comparando anotação humana e por LLM em Aprendizado Ativo para Detecção de Hostilidade

1. Problema e Motivação

O artigo aborda um dilema central na atualidade da NLP (Processamento de Linguagem Natural): com a capacidade de LLMs (Large Language Models) instruídos de rotular milhares de instâncias a um custo insignificante, a anotação humana ainda é necessária?
Especificamente, os autores investigam duas questões no contexto de Aprendizado Ativo (Active Learning - AL):

1. As etiquetas geradas por LLMs podem substituir as humanas dentro do loop de AL sem perda significativa de desempenho?
2. O AL ainda é necessário quando é possível rotular um corpus inteiro de uma só vez usando LLMs?

O foco do estudo é a detecção de hostilidade anti-imigrante em comentários políticos no TikTok alemão. Esta tarefa é particularmente desafiadora devido à necessidade de distinguir entre hostilidade direcionada a grupos (xenofobia) e críticas legítimas a políticas de imigração, uma distinção culturalmente sensível e subjetiva.

2. Metodologia

Conjunto de Dados e Pré-processamento

• Fonte: 467.660 comentários públicos de seis partidos políticos alemães principais (CDU/CSU, Grüne, SPD, FDP, AfD, Die Linke) coletados entre janeiro de 2024 e setembro de 2025.
• Filtragem: Um pipeline de quatro etapas removeu duplicatas, conteúdo não informativo (emojis, URLs, menções) e comentários não em alemão, resultando em 277.902 comentários.
• Construção do Pool de Rotulagem:
  • Fase 1 (Pré-filtragem): Um modelo Llama-3.3-70B foi usado para filtrar apenas comentários relevantes para imigração, reduzindo o corpus para 25.974 instâncias.
  • Fase 2 (Anotação LLM): O GPT-5.2 rotulou essas 25.974 instâncias como "ANTI-IMMIGRANT" ou "NOT ANTI-IMMIGRANT".

Estudo de Anotação Humana

• Participantes: 6 trabalhadores de crowdsourcing (Prolific) nativos ou fluentes em alemão.
• Interface: Utilizou-se um framework de duas perguntas para decompor a tarefa:
  1. O comentário refere-se a imigrantes/refugiados/política de imigração?
  2. Esses grupos são retratados negativamente (hostilidade, estereótipos, retórica de deportação)?
• Estrutura: 5.000 comentários foram amostrados do pool. Desses, 1.200 tiveram anotação múltipla (para criar um "gold standard" de avaliação) e 3.800 tiveram anotação única (para treinamento).

Configuração Experimental

Os autores compararam 7 condições experimentais variando três eixos:

1. Fonte de Anotação: Humana vs. LLM.
2. Estratégia de Amostragem: Aprendizado Ativo (AL) vs. Aleatória vs. Pool Completo.
3. Volume de Dados: De 530 instâncias (AL) até 25.974 (Pool Completo LLM).

• Modelos: Quatro codificadores pré-treinados foram testados (german-bert, ModernGBERT, gbert-base, xlm-r-base).
• Métricas: F1-Macro (principal), F1-Anti (classe específica) e Análise de Custos.
• Custos: A anotação humana custou ~$0.083/etiqueta, enquanto a pipeline LLM custou ~$0.002/etiqueta.

3. Principais Contribuições

1. Novo Dataset: Liberação de um conjunto de dados de 277.902 comentários políticos alemães do TikTok, com 25.974 rotulados por LLM e 5.000 rotulados por humanos.
2. Análise de Custo-Eficiência: Demonstração empírica de que a anotação LLM em escala pode atingir desempenho comparável ao humano a 1/7 do custo.
3. Análise de Perfis de Erro: Identificação de que, embora as métricas agregadas (F1) sejam similares, a estrutura de erro é sistematicamente diferente. Modelos treinados com LLM tendem a ter maior recall (menos falsos negativos) mas menor precisão (muitos falsos positivos), especialmente em discussões ambíguas.
4. Reavaliação do Aprendizado Ativo: Evidência de que, em pools pré-enriquecidos (já filtrados por tópicos), o Aprendizado Ativo oferece pouca vantagem sobre a amostragem aleatória, especialmente quando comparado ao custo de anotação humana.

4. Resultados Chave

Desempenho e Custo (RQ1)

• Custo vs. Desempenho: Um classificador treinado com 25.974 rótulos do GPT-5.2 ($43 USD) alcançou um F1-Macro comparável a um treinado com 3.800 rótulos humanos ($316 USD).
• Aprendizado Ativo: O AL com anotação humana não superou significativamente a amostragem aleatória no pool pré-enriquecido. Além disso, o custo do AL humano (para 530 instâncias) foi virtualmente idêntico ao custo de rotular todo o pool com LLM, mas com desempenho inferior.
• Conclusão de Custo: A anotação LLM em escala é a opção mais eficiente em termos de custo, superando tanto o AL humano quanto a anotação humana completa.

Estrutura de Erro e Confiança (RQ2)

• Viés de Falsos Positivos: Modelos treinados com LLM (FULL-LLM-26K) apresentaram uma assimetria drástica: 243 falsos positivos vs. 21 falsos negativos (para o modelo german_bert), comparado a um equilíbrio mais próximo no modelo humano (124 FP vs. 87 FN).
• Confiança nos Erros: O modelo treinado com LLM manteve alta confiança (probabilidade > 0.9) em seus falsos positivos. Isso é crítico para moderação de conteúdo, pois erros "confiantes" são mais difíceis de serem filtrados por sistemas de triagem baseados em confiança.
• Causa: O prompt único do LLM tende a interpretar críticas a políticas de imigração como hostilidade contra o grupo, enquanto o framework humano de duas perguntas separa explicitamente a referência ao tema da valência negativa.

Discrepância Temática (RQ3)

• A divergência entre humanos e LLM concentra-se em tópicos onde a linha entre "hostilidade ao grupo" e "crítica à política" é tênue.
• Exemplos:
  • Controle de Fronteiras: LLMs rotulam perguntas retóricas sobre quem abriu as fronteiras como hostilidade, enquanto humanos as veem como crítica política.
  • Islã e Islamização: LLMs tendem a rotular comentários anti-muçulmanos como anti-imigrantes, mesmo sem menção explícita a imigração, expandindo o escopo da definição de "grupo alvo".

5. Significado e Conclusão

O estudo conclui que a anotação humana não é estritamente necessária para atingir métricas agregadas de desempenho (F1) em tarefas de detecção de hostilidade, desde que o orçamento seja limitado e a escala seja grande. A anotação LLM oferece uma alternativa viável, rápida e extremamente barata.

No entanto, a escolha da fonte de anotação não deve ser guiada apenas pelo F1 agregado, mas pelo perfil de erro aceitável para a aplicação:

• Se o objetivo é maximizar a cobertura (capturar o máximo de hostilidade possível, aceitando falsos positivos), a anotação LLM em escala é superior.
• Se o objetivo é minimizar falsos positivos (evitar censura injusta de críticas políticas legítimas) ou se a aplicação exige alta precisão em contextos culturalmente ambíguos, a anotação humana (ou um processo de validação híbrida) permanece essencial.

O trabalho sugere que, em cenários de recursos limitados, a estratégia ideal pode ser usar LLMs para rotular grandes volumes e focar o esforço humano apenas na validação de casos ambíguos ou na definição de limites éticos, em vez de tentar substituir totalmente o humano no loop de aprendizado ativo tradicional.