DariMis: Harm-Aware Modeling for Dari Misinformation Detection on YouTube

Resumo Técnico: DariMis – Detecção de Desinformação em Dari com Consciência de Dano

1. Problema e Contexto

O artigo aborda uma lacuna crítica na literatura de detecção de desinformação: a quase total ausência de ferramentas e conjuntos de dados para a língua Dari, o idioma principal do Afeganistão, falado por 20 a 40 milhões de pessoas.

• O Desafio: O YouTube é a principal fonte de notícias e informações para comunidades falantes de Dari, mas carece de sistemas automatizados de moderação.
• Limitações Existentes: A pesquisa atual foca em plataformas baseadas em texto e idiomas de "alto recurso". Além disso, a maioria dos sistemas utiliza uma classificação binária (Verdadeiro/Falso), ignorando a nuance de conteúdo "Parcialmente Verdadeiro" e, crucialmente, não avalia o nível de dano potencial (baixo, médio, alto) da desinformação.
• Necessidade: É necessário um modelo que não apenas identifique a falsidade, mas também entenda a estrutura semântica entre títulos e descrições de vídeos, e que priorize a detecção de conteúdos com alto potencial de dano social.

2. Contribuições Principais

O trabalho apresenta cinco contribuições fundamentais:

1. Dataset DariMis: O primeiro conjunto de dados manualmente anotado de 9.224 vídeos do YouTube em Dari (coletados entre 2007 e 2026).
   • Anotação Dual: Cada vídeo é rotulado em duas dimensões ortogonais:
     • Tipo de Informação: Desinformação, Parcialmente Verdadeiro, Verdadeiro.
     • Nível de Dano: Baixo, Médio, Alto.
2. Descoberta de Acoplamento Estrutural: Evidência empírica de que o "Tipo de Informação" e o "Nível de Dano" não são independentes. 55,9% da desinformação tem potencial de dano Médio ou Alto, contra apenas 1,0% do conteúdo Verdadeiro. Isso permite que classificadores de tipo de informação funcionem como filtros de triagem de dano.
3. Estratégia de Codificação de Entrada em Par (Pair-Input): Uma abordagem que modela o título e a descrição do vídeo como segmentos separados no BERT, em vez de concatená-los. Isso explora explicitamente a inconsistência semântica entre manchete e corpo do texto, um sinal chave de desinformação.
4. Análise Estatística Rigorosa: Uso de intervalos de confiança bootstrap (95%) para avaliar a significância estatística, admitindo honestamente onde as diferenças de desempenho não são estatisticamente significativas, mas sim qualitativamente importantes.
5. Benchmark de Modelos: Comparação entre modelos especializados (ParsBERT) e multilíngues genéricos (XLM-RoBERTa) para idiomas de baixo recurso.

3. Metodologia

• Coleta de Dados: Utilização da API do YouTube para coletar vídeos de canais de notícias, saúde e assuntos públicos em Dari, além de buscas baseadas em palavras-chave. O conjunto final possui 9.224 amostras após limpeza.
• Modelagem de Entrada (Pair-Input Encoding):
  • Em vez de concatenar Título + Descrição em uma única sequência, o modelo utiliza o mecanismo nativo de pares de segmentos do BERT.
  • Entrada: [CLS] Título [SEP] Descrição [SEP].
  • Objetivo: Permitir que o mecanismo de self-attention capture dependências semânticas cruzadas entre o título (frequentemente sensacionalista) e a descrição (que pode conter fatos ou omissões). Para vídeos sem descrição (31,2% dos dados), o modelo processa apenas o título.
• Modelos Testados:
  • ParsBERT: Modelo BERT pré-treinado especificamente em corpora de Farsi/Dari.
  • XLM-RoBERTa-base: Modelo multilíngue pré-treinado em 100 idiomas.
• Configuração Experimental: Divisão estratificada (70% treino, 15% validação, 15% teste). A métrica principal é o F1 Macro, para tratar classes desbalanceadas de forma justa.

4. Resultados e Desempenho

• Desempenho Geral: O ParsBERT com codificação em par alcançou o melhor desempenho geral (Acurácia: 76,60%; F1 Macro: 72,77%), superando o XLM-RoBERTa.
• Ganho Crítico na Classe Minoritária (Desinformação):
  • A codificação em par resultou em um aumento de +7,0 pontos percentuais (pp) no Recall (Revocação) da classe "Desinformação" (subindo de 60,1% para 67,1%) em comparação com a concatenação simples.
  • Embora a diferença no F1 Macro geral seja pequena (+0,09 pp) e não estatisticamente significativa nos intervalos de confiança, o ganho no Recall é considerado crítico para segurança, pois minimiza falsos negativos em conteúdos perigosos.
• Desempenho por Classe:
  • O ParsBERT manteve consistência em todas as classes.
  • O XLM-RoBERTa colapsou nas classes minoritárias (F1 de 0,26 para Desinformação e 0,03 para Verdadeiro), evidenciando a necessidade de pré-treinamento especializado para o Dari.
• Análise de Erros:
  • A classe "Parcialmente Verdadeiro" atua como um "ímã semântico", absorvendo a maioria dos erros de classificação.
  • O modelo tende a ser conservador: raramente classifica "Desinformação" como "Verdadeiro", o que é desejável em moderação de conteúdo.
  • A falta de descrição (apenas título) penaliza significativamente a detecção, pois remove o sinal de inconsistência entre título e corpo.

5. Significado e Implicações Práticas

• Triagem de Dano Automatizada: A descoberta de que a desinformação está fortemente correlacionada com alto dano permite que os sistemas de moderação usem o classificador de "Tipo de Informação" como um filtro inicial. Conteúdo classificado como "Desinformação" pode ser automaticamente direcionado para revisão humana urgente, sem a necessidade de um classificador separado de dano.
• Importância da Linguística Específica: Os resultados demonstram que, para idiomas de baixo recurso como o Dari, modelos multilíngues genéricos falham em capturar nuances morfológicas e lexicais, tornando o pré-treinamento especializado (ParsBERT) essencial.
• Abordagem de Avaliação Transparente: O artigo serve como um exemplo de rigor científico ao relatar que, embora as diferenças de F1 macro não sejam estatisticamente significativas devido ao tamanho da amostra de teste, os ganhos direcionais em métricas de segurança (Recall de desinformação) e a consistência qualitativa do modelo são validações suficientes para a adoção prática.
• Desafios Futuros: O trabalho aponta para a necessidade de integração multimodal (áudio e vídeo), aprendizado multi-tarefa (prever tipo e dano simultaneamente) e refinamento da taxonomia de anotação para reduzir a ambiguidade na fronteira entre "Verdadeiro" e "Parcialmente Verdadeiro".

Em suma, o DariMis estabelece um novo padrão para a detecção de desinformação em idiomas de baixo recurso, demonstrando que a modelagem estruturada de metadados de vídeo (título vs. descrição) combinada com modelos linguísticos especializados pode salvar vidas ao identificar proativamente conteúdos perigosos em plataformas como o YouTube.