Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Problema

Apesar de o urdu ser falado por mais de 231 milhões de pessoas, a Detecção de Notícias Falsas (FND - Fake News Detection) nesse idioma permanece sub-recurso em comparação ao inglês. Embora pesquisas anteriores tenham estabelecido um forte desempenho in-domain em conjuntos de dados individuais de urdu, existe uma lacuna crítica na compreensão de se modelos treinados em um corpus podem generalizar para outro. A implantação no mundo real exige que os modelos lidem com fontes heterogêneas com estilos e comprimentos variados, mas nenhum estudo sistemático de generalização entre diferentes conjuntos de dados foi conduzido para FND em urdu. Este artigo aborda essa lacuna investigando a transferibilidade de modelos entre dois grandes conjuntos de dados de urdu, disponíveis publicamente: Ax-to-Grind e Notri-Fact.

Metodologia

O estudo emprega um design empírico rigoroso envolvendo dois grandes conjuntos de dados de urdu nativo e balanceados:

1. Dataset A (Ax-to-Grind): 10.083 artigos em 15 domínios.
2. Dataset B (Notri-Fact): 13.388 artigos cobrindo tópicos de notícias do Paquistão.

Configuração Experimental:

• Modelos: O modelo primário é o XLM-RoBERTa-base, ajustado (fine-tuned) para classificação de sequência binária. Baselines clássicos usando vetorização TF-IDF com Regressão Logística (LR) e Máquinas de Vetores de Suporte (SVM) também são avaliados.
• Condições: Cinco condições experimentais são testadas:
  1. Treinamento e teste in-domain no Dataset A.
  2. Treinamento e teste in-domain no Dataset B.
  3. Transferência de domínio zero-shot: A → B (treinado no Ax-to-Grind, testado no Notri-Fact).
  4. Transferência de domínio zero-shot: B → A (treinado no Notri-Fact, testado no Ax-to-Grind).
  5. Ablação de Comprimento: Treinamento e teste no Dataset A com todos os artigos truncados para um máximo de 50 palavras para isolar o efeito do comprimento do documento.
• Avaliação: A métrica primária é o F1-score macro-médio, suplementado por acurácia, precisão e recall.

Principais Descobertas e Resultados

Os experimentos revelam uma assimetria marcante na generalização entre conjuntos de dados:

1. Desempenho In-Domain: O XLM-RoBERTa alcança um forte desempenho dentro de sua distribuição de treinamento (F1 = 0,929 no Dataset A; F1 = 0,954 no Dataset B). Baselines clássicos de TF-IDF apresentam-se competitivos, mas consistentemente inferiores ao transformer.
2. Colapso Assimétrico (A → B): Quando o modelo treinado no Ax-to-Grind é testado no Notri-Fact, o desempenho colapsa catastroficamente para um F1 de 0,005. O modelo prevê "fake" para 99,7% dos artigos de teste, ignorando efetivamente a distribuição equilibrada real do conjunto de teste.
3. Sucesso Parcial (B → A): Por outro lado, o modelo treinado no Notri-Fact atinge um F1 significativo de 0,771 quando testado no Ax-to-Grind, retendo uma capacidade discriminativa significativa apesar da mudança de domínio.
4. O Confound de Comprimento: O artigo identifica a causa raiz da falha A → B como um confound de comprimento sistemático no conjunto de dados Ax-to-Grind:
   • No Ax-to-Grind, os artigos falsos (fake) têm em média 117 palavras, enquanto os artigos reais têm em média apenas 35 palavras (uma assimetria de 3,4×).
   • No Notri-Fact, ambas as classes têm em média 160–170 palavras, não apresentando separação baseada em comprimento.
   • O modelo aprende a explorar o atalho "mais longo = fake" durante o treinamento no Dataset A. Quando aplicado ao Dataset B, onde todos os artigos são longos independentemente da veracidade, o heurístico falha completamente, fazendo com que o modelo passe a prever "fake" para tudo.
5. Evidência de Ablação: Truncar os artigos do Dataset A para 50 palavras (removendo o sinal de comprimento) resultou em uma queda apenas marginal no F1 (de 0,929 para 0,922). Isso confirma que, embora o confound de comprimento infle o desempenho in-domain, o modelo realmente aprende algum conteúdo semântico; no entanto, a ausência desse atalho no Dataset B é o que causa a falha de transferência.

Principais Contribuições

• Primeiro Estudo de Cross-Dataset: Este é o primeiro estudo sistemático de generalização entre conjuntos de dados para FND em urdu, revelando que alta acurácia in-domain não garante robustez.
• Identificação de um Confound de Comprimento: O artigo fornece evidência empírica de um viés de comprimento severo no conjunto de dados Ax-to-Grind, demonstrando como o XLM-RoBERTa (e até modelos clássicos) explora isso como um atalho em vez de aprender a veracidade semântica.
• Metodologia Diagnóstica: Os autores propõem um framework diagnóstico reutilizável para cenários de NLP de baixos recursos, combinando:
  • Inspeção de assimetria de transferência bidirecional.
  • Análise de distribuições de rótulos preditos (detecção de colapso de classe).
  • Análise de distribuição de comprimento condicional à classe.
• Contextualização de Baseline: O estudo estabelece que modelos clássicos (TF-IDF + LR/SVM) também exploram parcialmente o confound de comprimento, embora de forma menos severa que o transformer.

Significância e Alegações

O artigo argumenta que o padrão atual de avaliação para FND em urdu — baseando-se apenas em divisões in-domain de um único conjunto de dados — é insuficiente e potencialmente enganoso. As descobertas sugerem que:

• Métricas in-domain podem ser infladas por artefatos do conjunto de dados (confounds) em vez de capacidade genuína do modelo.
• A avaliação cross-dataset é obrigatória para detectar o aprendizado de atalhos (shortcut learning) e garantir que os modelos estejam aprendendo características semânticas em vez de correlações espúrias como o comprimento do documento.
• A construção de futuros conjuntos de dados deve incluir estatísticas de comprimento por classe como metadados obrigatórios e empregar amostragem estratificada por comprimento para evitar tais confounds.

Os autores concluem que, sem abordar esses artefatos ao nível do conjunto de dados, os modelos treinados nos benchmarks atuais podem falhar catastroficamente em cenários do mundo real, onde as fontes de notícias variam em comprimento e estilo. A metodologia diagnóstica proposta oferece uma ferramenta prática para a comunidade identificar confounds semelhantes em outros contextos multilíngues de baixos recursos.