Multilingual Reference Need Assessment System for Wikipedia

Título: Sistema Multilingüe de Evaluación de Necesidad de Referencias para Wikipedia

1. El Problema

Wikipedia es una fuente crítica de información y un recurso fundamental para modelos de lenguaje grandes (LLM), motores de búsqueda y sistemas de preguntas y respuestas. Sin embargo, su política central de verificabilidad exige que todas las afirmaciones estén respaldadas por fuentes fiables.

• Desafío: A septiembre de 2025, más de 550.000 artículos en la versión en inglés de Wikipedia contenían afirmaciones marcadas con la etiqueta {{Citation needed}} (cita necesaria).
• Causa: El volumen masivo de ediciones (aproximadamente 6 por segundo) hace que la identificación y etiquetado manual de afirmaciones sin citar sea un proceso lento y propenso a retrasos.
• Brecha de investigación: La mayoría de los trabajos anteriores se han centrado en la edición en inglés, dejando desatendidas las ediciones en otros idiomas y la implementación en entornos de producción con restricciones de recursos reales.

2. Metodología

El equipo desarrolló un sistema de aprendizaje supervisado multilingüe para predecir qué oraciones requieren una cita.

• Definición de "Necesidad de Referencia" (RN): Se define como la proporción de afirmaciones sin citar dentro de un artículo que realmente necesitan una fuente. El sistema calcula una puntuación de RN (entre 0 y 1) para cada revisión de un artículo.
• Recopilación de Datos:
  • Fuente de verdad (Ground Truth): Se utilizaron "artículos destacados" (Featured Articles), que son considerados el estándar de oro por la comunidad de editores.
  • Estrategia de Etiquetado: Las oraciones con referencias se etiquetaron como negativas (no necesitan cita) y las sin referencias como positivas (necesitan cita), asumiendo que los editores humanos ya han validado la necesidad en los artículos destacados.
  • Idiomas: Se entrenó el modelo con datos de 5 idiomas (inglés, francés, alemán, español y ruso) y se evaluó en los 10 idiomas más activos (incluyendo japonés, persa, italiano, portugués y chino).
• Arquitectura del Modelo:
  • Se utilizaron Modelos de Lenguaje enmascarados (MLM) ajustados (fine-tuning).
  • Entradas: Se experimentó con diferentes combinaciones de características: la oración objetivo, el código de idioma, el título de la sección, la oración anterior, la siguiente y el párrafo completo. La combinación óptima fue: Código de idioma + Título de sección + Triplete de oraciones (anterior, objetivo, siguiente).
  • Modelo Base: Se seleccionó DistilBERT multilingüe (una versión destilada y más ligera de BERT) con una longitud de secuencia de entrada de 128 tokens.
• Despliegue y Optimización:
  • El sistema se despliega en una infraestructura solo CPU (4 núcleos, 6 GB RAM) debido a restricciones de adopción de GPUs de código abierto.
  • Se aplicaron técnicas de optimización post-entrenamiento: cuantización (PyTorch, Intel NC), exportación a ONNX y uso de bettertransformers para reducir la latencia.
  • Se implementó mediante KServe en Kubernetes para garantizar escalabilidad.

3. Contribuciones Clave

1. Sistema Multilingüe Abierto: Introducción de un sistema de código abierto capaz de evaluar la necesidad de referencias en las 10 ediciones de Wikipedia más activas, superando el enfoque monolingüe previo.
2. Análisis de Compromisos (Trade-offs): Estudio exhaustivo de las compensaciones entre precisión del modelo y latencia computacional bajo restricciones de recursos reales (CPU-only).
3. Comparativa SLM vs. LLM: Demostración de que los Modelos de Lenguaje Pequeños (SLM) ajustados (como DistilBERT) superan a los Modelos de Lenguaje Grandes (LLM) (como Llama-3-70B o Mistral) en este tarea específica cuando se consideran tanto la precisión como la eficiencia.
4. Recursos Abiertos: Liberación del código de entrenamiento e inferencia, así como de los conjuntos de datos utilizados, para fomentar la investigación en credibilidad de la información.

4. Resultados

• Rendimiento del Modelo: El modelo final (DistilBERT ajustado con cuantización PyTorch) alcanzó un AUC-ROC de 0.765 con una latencia media de 0.014 segundos por oración en CPU. Esto supera significativamente al modelo anterior "Citation-Needed" (AUC-ROC 0.650) y a los enfoques de zero-shot con LLMs.
• Comparativa con LLMs:
  • Los LLMs (incluso los de 70B parámetros) mostraron un rendimiento inferior en AUC-ROC (rango 0.55 - 0.62) y una latencia inaceptablemente alta (de 0.11s a más de 5s por oración) para un entorno de producción de alto volumen.
  • La cuantización en LLMs no mejoró significativamente la precisión, pero sí redujo la latencia, aunque seguía siendo mucho mayor que la de los SLMs.
• Generalización: El modelo entrenado en 5 idiomas demostró una capacidad de generalización sólida en idiomas no vistos durante el entrenamiento (como portugués, persa e italiano), aunque con un rendimiento ligeramente menor en chino y japonés.
• Optimización: Las técnicas de cuantización y optimización gráfica redujeron la latencia en más de un 50% sin sacrificar la precisión.

5. Significado e Impacto

• Viabilidad en Producción: El trabajo demuestra que es posible desplegar sistemas de IA complejos para la moderación de contenido en Wikipedia utilizando infraestructura económica (CPU) y modelos pequeños, en lugar de depender de costosos clusters de GPU.
• Mejora de la Calidad: Al asistir a los editores humanos en la identificación rápida de afirmaciones no verificables, el sistema ayuda a mantener la integridad y la calidad del conocimiento en Wikipedia a escala global.
• Equidad Lingüística: Al abordar múltiples idiomas, el sistema busca reducir la brecha de calidad entre las ediciones de Wikipedia en idiomas con muchos recursos y aquellas con menos recursos.
• Futuro: Aunque el sistema ya está en producción, los autores reconocen la necesidad de evaluar el impacto cualitativo con editores y trabajar en la adaptación a idiomas de muy bajos recursos y estilos de citación culturales específicos.

En resumen, este artículo presenta una solución pragmática y escalable que prioriza la eficiencia operativa sin sacrificar significativamente la precisión, estableciendo un nuevo estándar para la automatización de la verificación de citas en entornos multilingües.