Cross-Dataset Generalization in Urdu Fake News Detection: An Empirical Study with XLM-RoBERTa and a Length Confound Analysis

Declaración del Problema

A pesar de que el urdu es hablado por más de 231 millones de personas, la detección de noticias falsas (FND, por sus siglas en inglés) en este idioma sigue estando menos dotada de recursos en comparación con el inglés. Si bien investigaciones previas han establecido un sólido rendimiento in-domain (dentado en el dominio) en conjuntos de datos individuales de urdu, existe una brecha crítica en la comprensión de si los modelos entrenados en un corpus pueden generalizar a otro. El despliegue en el mundo real requiere que los modelos manejen fuentes heterogéneas con estilos y longitudes variables, sin embargo, no se ha realizado ningún estudio sistemático de generalización entre conjuntos de datos para la FND en urdu. Este artículo aborda esta brecha investigando la transferibilidad de los modelos entre dos importantes conjuntos de datos de urdu, disponibles públicamente: Ax-to-Grind y Notri-Fact.

Metodología

El estudio emplea un diseño empírico riguroso que involucra dos grandes conjuntos de datos de urdu nativo y equilibrados:

1. Dataset A (Ax-to-Grind): 10,083 artículos en 15 dominios.
2. Dataset B (Notri-Fact): 13,388 artículos que cubren temas de noticias pakistaníes.

Configuración Experimental:

• Modelos: El modelo principal es XLM-RoBERTa-base, ajustado (fine-tuned) para la clasificación binaria de secuencias. También se evalúan líneas base clásicas utilizando vectorización TF-IDF con Regresión Logística (LR) y Máquinas de Vectores de Soporte (SVM).
• Condiciones: Se prueban cinco condiciones experimentales:
  1. Entrenamiento y prueba in-domain en el Dataset A.
  2. Entrenamiento y prueba in-domain en el Dataset B.
  3. Transferencia de dominio zero-shot: A → B (entrenado en Ax-to-Grind, probado en Notri-Fact).
  4. Transferencia de dominio zero-shot: B → A (entrenado en Notri-Fact, probado en Ax-to-Grind).
  5. Ablación de Longitud: Entrenamiento y prueba en el Dataset A con todos los artículos truncados a un máximo de 50 palabras para aislar el efecto de la longitud del documento.
• Evaluación: La métrica principal es la puntuación F1 macro-promediada, complementada con precisión, exactitud y exhaustividad (recall).

Hallazgos Clave y Resultados

Los experimentos revelan una asimetría sorprendente en la generalización entre conjuntos de datos:

1. Rendimiento In-Domain: XLM-RoBERTa logra un sólido rendimiento dentro de su distribución de entrenamiento (F1 = 0.929 en el Dataset A; F1 = 0.954 en el Dataset B). Las líneas base clásicas de TF-IDF se comportan de manera competitiva pero consistentemente inferiores al transformador.
2. Colapso Asimétrico (A → B): Cuando el modelo entrenado en Ax-to-Grind es probado en Notri-Fact, el rendimiento colapsa catastróficamente a un F1 de 0.005. El modelo predice "falso" para el 99.7% de los artículos de prueba, ignorando efectivamente la distribución equilibrada real del conjunto de datos de prueba.
3. Éxito Parcial (B → A): Por el contrario, el modelo entrenado en Notri-Fact logra un F1 significativo de 0.771 cuando se prueba en Ax-to-Grind, reteniendo una capacidad discriminativa importante a pesar del cambio de dominio.
4. El Confundido de Longitud (Length Confound): El artículo identifica la causa raíz del fallo A → B como un confundido de longitud sistemático en el conjunto de datos Ax-to-Grind:
   • En Ax-to-Grind, los artículos falsos promedian 117 palabras, mientras que los artículos reales promedian solo 35 palabras (una asimetría de 3.4×).
   • En Notri-Fact, ambas clases promedian 160–170 palabras, mostrando que no hay separación basada en la longitud.
   • El modelo aprende a explotar el atajo "más largo = falso" durante el entrenamiento en el Dataset A. Al aplicarse al Dataset B, donde todos los artículos son largos independientemente de su veracidad, el heurístico falla completamente, causando que el modelo por defecto prediga "falso" para todo.
5. Evidencia de Ablación: Truncar los artículos del Dataset A a 50 palabras (eliminando la señal de longitud) resultó en una caída marginal del F1 (de 0.929 a 0.922). Esto confirma que, si bien el confundido de longitud infla el rendimiento in-domain, el modelo sí aprende cierto contenido semántico; sin embargo, la ausencia de este atajo en el Dataset B es lo que causa el fallo de transferencia.

Contribuciones Clave

• Primer Estudio de Conjuntos de Datos Cruzados: Esta es la primera investigación sistemática de la generalización entre conjuntos de datos para la FND en urdu, revelando que una alta exactitud in-domain no garantiza la robustez.
• Identificación de un Confundido de Longitud: El artículo proporciona evidencia empírica de un severo sesgo de longitud en el conjunto de datos Ax-to-Grind, demostrando cómo XLM-RoBERTa (e incluso los modelos clásicos) explotan esto como un atajo en lugar de aprender la veracidad semántica.
• Metodología Diagnóstica: Los autores proponen un marco de diagnóstico reutilizable para entornos de NLP de bajos recursos, que combina:
  • Inspección de asimetría de transferencia bidireccional.
  • Análisis de distribuciones de etiquetas predichas (detección de colapso de clase).
  • Análisis de distribución de longitud condicional a la clase.
• Contextualización de Líneas Base: El estudio establece que los modelos clásicos (TF-IDF + LR/SVM) también explotan parcialmente el confundido de longitud, aunque de manera menos severa que el transformador.

Significancia y Reivindicaciones

El artículo argumenta que el estándar actual para evaluar la FND en urdu —que depende únicamente de divisiones in-domain de un solo conjunto de datos— es insuficiente y potencialmente engañoso. Los hallazgos sugieren que:

• Las métricas in-domain pueden estar infladas por artefactos del conjunto de datos (confundidos) en lugar de una capacidad genuina del modelo.
• La evaluación entre conjuntos de datos es obligatoria para detectar el aprendizaje de atajos (shortcut learning) y asegurar que los modelos aprendan características semánticas en lugar de correlaciones espurias como la longitud del documento.
• La construcción de futuros conjuntos de datos debe incluir estadísticas de longitud por clase como metadatos obligatorios y emplear un muestreo estratificado por longitud para prevenir tales confundidos.

Los autores concluyen que, sin abordar estos artefactos a nivel de conjunto de datos, los modelos entrenados en los benchmarks actuales pueden fallar catastróficamente en escenarios del mundo real donde las fuentes de noticias varían en longitud y estilo. La metodología diagnóstica propuesta ofrece una herramienta práctica para identificar confusiones similares en otros entornos multilingües de bajos recursos.