Multilingual and Cross-Lingual Citation Needed Detection on Wikipedia for Lower-Resource Languages

Resumen Técnico: Detección Multilingüe y Translingüe de Necesidad de Citas en Wikipedia para Lenguas de Bajos Recursos

Definición del Problema
La verificación de hechos automatizada (AFC, por sus siglas en inglés) depende de la detección de la capacidad de verificación de afirmaciones (CWD) para identificar enunciados que requieren verificación. En Wikipedia, esto se manifiesta como la Detección de Necesidad de Citas (CND), una tarea de clasificación binaria donde los editores señalan afirmaciones que carecen de citas integradas autoritativas. Si bien la investigación existente ha abordado la CND en lenguas de altos recursos, las comunidades de lenguas de bajos recursos enfrentan una carga desproporcionada debido a un menor número de editores activos y a la falta de herramientas automatizadas. Además, los flujos de trabajo de AFC recientes dependen cada vez más de Modelos de Lenguaje Extensos (LLMs), que a menudo son inaccesibles para organizaciones de bajos recursos debido a las restricciones de propiedad y los altos costos de inferencia. Este artículo aborda la brecha en los recursos de CND multilingües y la viabilidad del uso de modelos más pequeños y rentables para esta tarea.

Metodología
Los autores presentan MCN (Multilingual Citation Needed), un corpus a gran escala derivado de "Artículos Destacados" de alta calidad en Wikipedia. El conjunto de datos abarca 11 idiomas lingüísticamente diversos a través de tres niveles de recursos (altos, medios y bajos), cubriendo las familias indoeuropea, túrquica, austronesia y austroasiática. Las afirmaciones se etiquetan según la presencia o ausencia de citas integradas, aumentadas con oraciones contextuales y metadatos de temas.

El estudio evalúa Modelos de Lenguaje Pequeños (SLMs) (específicamente Llama-3-8B, Qwen3-8B y Aya-8b) como alternativas a los LLMs. La metodología se centra en tres ejes experimentales:

1. Variantes de Ajuste Fino Supervisado (SFT): Los autores comparan tres estrategias de adaptación para SLMs basados en decodificadores utilizando QLoRA:
   • Pérdida de Token Completo (FTL): Entrenamiento autorregresivo estándar sobre todos los tokens.
   • Pérdida Solo de Objetivo (TOL): Enmascaramiento de los tokens de entrada para centrar el aprendizaje en los tokens del asistente (etiqueta).
   • Estilo Codificador (ES): Adaptación del modelo decodificador como un clasificador discriminativo mediante el paso del estado oculto del último token a un clasificador de alimentación hacia adelante (feed-forward), optimizado con pérdida de entropía cruzada.
2. Evaluación Comparativa Multilingüe: Los SLMs se evalúan frente a Modelos de Lenguaje Preentrenados basados en codificadores (PLMs como mBERT y XLM-R) y LLMs comerciales (GPT-5, Gemini 2.5) mediante prompting de cero disparos (zero-shot) y pocos disparos (few-shot).
3. Transferencia Translingüe (X-CND): Los autores evalúan la transferibilidad de modelos entrenados exclusivamente en datos en inglés a lenguas objetivo de recursos medios y bajos bajo configuraciones de cero disparos y pocos disparos. Esto incluye pruebas tanto en datos paralelos sintéticos (conjuntos de prueba en inglés traducidos) como en datos reales no paralelos.

Contribuciones Clave

• Corpus MCN: El lanzamiento de un dataset de CND a gran escala que cubre 18 idiomas, expandiendo significativamente la cobertura lingüística y de nivel de recursos de conjuntos de datos previos (ej. CitationNeeded, CheckThat).
• Evaluación SLM vs. LLM: Una evaluación exhaustiva que demuestra que los SLMs ajustados superan sustancialmente a los LLMs mediante prompting en todos los niveles de recursos.
• Primer Estudio de CND Translingüe: La primera evaluación sistemática de CND translingüe, mostrando que los SLMs entrenados en inglés pueden transferirse eficazmente a lenguas de bajos recursos.
• Análisis de Estrategia SFT: Identificación del ajuste fino de Estilo Codificador (ES) como la estrategia más efectiva para adaptar los SLMs basados en decodificadores a la tarea discriminativa de CND.

Resultos

• Variantes de SFT: El ajuste fino de Estilo Codificador (ES) supera consistentemente a las variantes generativas (FTL y TOL) en la mayoría de los idiomas y modelos, logrando ganancias de precisión de hasta 8 puntos porcentuales sobre los métodos generativos.
• Rendimiento de los Modelos: Los SLMs y PLMs ajustados superan significativamente a los LLMs mediante prompting. Por ejemplo, los SLMs ajustados alcanzan una precisión del 66–70% en lenguas de bajos recursos, mientras que el LLM con mejor desempeño (Gemini 2.5) alcanza solo aproximadamente un 59%.
• Transferencia Translingüe:
  • En datos paralelos, los SLMs ajustados exhiben una fuerte generalización de cero disparos (hasta un 87% de precisión).
  • En datos reales no paralelos, la precisión cae aproximadamente entre 15 y 20 puntos porcentuales, resaltando el desafío de los cambios de distribución.
  • Crucialmente, los SLMs con ajuste ES entrenados únicamente en inglés superan a los LLM mediante prompting en las lenguas objetivo, incluso con cero o mínima supervisión en la lengua objetivo.
• Adaptación de Pocos Disparos (Few-Shot): Aunque el ajuste de pocos disparos mejora el rendimiento, requiere un ajuste cuidadoso de hiperparámetros (específicamente tasas de aprendizaje más bajas) para ser efectivo en los SLMs ajustados con QLoRA. mBERT se beneficia más del ajuste de pocos disparos, pero los SLMs con ajuste ES siguen superando a los LLM con una adaptación mínima.
• Generalizabilidad: Los modelos entrenados en Artículos Destacados se generalizan bien a artículos de Wikipedia muestreados aleatoriamente, manteniendo un rendimiento comparable tras corregir los sesgos de anotación en contenidos no destacados.

Significancia e Implicaciones
El artículo argumenta que los modelos compactos y específicos para tareas son preferibles a los LLM de propósito general para la CND, particularmente para las comunidades de Wikipedia de bajos recursos. Los hallazgos sugieren que:

1. Accesibilidad: Las organizaciones con recursos limitados pueden desplegar herramientas de CND efectivas utilizando modelos pequeños de código abierto ajustados en lenguas de altos recursos, evitando la necesidad de APIs de LLM costosas o grandes conjuntos de datos en la lengua objetivo.
2. Eficiencia: El ajuste fino de estilo codificador proporciona una vía fiable y rentable para adaptar modelos basados en decodificadores a tareas discriminativas.
3. Viabilidad de Despliegue: La transferencia translingüe de modelos especializados entrenados en inglés ofrece una estrategia viable para apoyar a las comunidades de bajos recursos, siempre que se reconozcan las limitaciones de los cambios de distribución en el mundo real.

Los autores señalan limitaciones, incluyendo la concentración en lenguas indoeuropeas, la dependencia del ajuste fino basado en QLoRA y la naturaleza específica del dominio de las políticas de citación de Wikipedia, que pueden no transferirse directamente a otros dominios de verificación de hechos como los debates políticos.