Detecting Reference Errors in Scientific Literature with Large Language Models

Título: Detección de Errores de Referencia en Literatura Científica con Modelos de Lenguaje Grandes (LLM)

1. El Problema

La literatura científica sufre de un problema persistente: los errores de referencia, que incluyen errores de citación (datos bibliográficos incorrectos) y errores de citas o "quotation errors" (cuando una referencia no respalda la afirmación que cita).

• Impacto: Estos errores propagan información inexacta, socavan la credibilidad de la investigación y pueden tener consecuencias graves (ej. la crisis de opioides en EE. UU. vinculada a citas acríticas de una carta de 1980).
• Desafío: La detección de errores de citas es difícil y consume mucho tiempo, ya que requiere comparar la afirmación del texto con el contenido real del artículo de referencia, lo cual exige experiencia de dominio.
• Limitación actual: Los métodos existentes dependen de expertos humanos para revisar muestras de artículos, un proceso que no escala ante el volumen creciente de publicaciones anuales. No existían estudios previos que evaluaran sistemáticamente el uso de IA para automatizar esta tarea específica.

2. Metodología

Los autores diseñaron un estudio para evaluar la capacidad de los LLMs de la familia GPT de OpenAI para detectar errores de citas sin necesidad de fine-tuning (ajuste fino).

• Definición de la Tarea: Dada una afirmación ($s$) y un artículo de referencia ($r$), el modelo debe predecir una etiqueta:

  • Totalmente respaldado (Fully substantiated): La referencia confirma la afirmación.
  • Parcialmente respaldado (Partially substantiated): Hay un error menor en la afirmación, pero no invalida su propósito.
  • No respaldado (Unsubstantiated): La referencia contradice, es irrelevante o no menciona la afirmación.

• Conjunto de Datos:

  • Se creó un dataset de dominio general con pares "afirmación-referencia" extraídos de artículos de revistas.
  • Origen: Estudios previos de verificación, comentarios en PubPeer y correcciones/erratas de PubMed.
  • Distribución: 250 pares (44.8% no respaldados, 49.6% totalmente respaldados, 5.6% parcialmente respaldados). Cubre biología, medicina, química, física, ciencias sociales, etc.

• Configuración Experimental:

  • Modelos evaluados: GPT-3.5-turbo, GPT-4-turbo y GPT-4o.
  • Variación de contexto (Aumento de Recuperación - RAG): Se probaron cuatro configuraciones de información proporcionada al modelo:
    1. Solo el título de la referencia.
    2. Título + Resumen (Abstract).
    3. Título + Resumen + Fragmentos (Excerpts) recuperados del texto completo mediante un pipeline RAG local (usando GROBID para extraer texto y LlamaIndex para búsqueda semántica).
    4. Título + PDF completo (usando la API de Asistentes de OpenAI para RAG nativo).
  • Métrica: Precisión de la etiqueta (Accuracy).

3. Contribuciones Clave

• Nuevo Dataset: Creación y publicación de un dataset anotado por expertos de pares "afirmación-referencia" en dominio general, diseñado específicamente para la tarea de detección de errores de citas.
• Evaluación de LLMs: Primera evaluación sistemática de modelos GPT en esta tarea, demostrando que pueden detectar errores sin entrenamiento previo.
• Análisis de Contexto: Estudio del impacto de la cantidad de información de la referencia (título vs. texto completo) en el rendimiento del modelo.
• Herramienta para la Ciencia: Propuesta de un enfoque automatizable para asistir en la revisión por pares y la detección de fraude académico o manipulación de citas.

4. Resultados

• Rendimiento General: Los modelos GPT-4 (Turbo y 4o) superaron significativamente a GPT-3.5, especialmente en la detección de casos "No respaldados" (Unsubstantiated).
• Impacto del Contexto:
  • Contrario a la intuición, proporcionar más información no siempre mejoró el rendimiento.
  • GPT-3.5 funcionó mejor con solo el título para casos "Totalmente respaldados", pero su rendimiento cayó al añadir resúmenes o fragmentos, probablemente debido a su tendencia a confundirse con información irrelevante.
  • GPT-4 y GPT-4o mostraron mejoras moderadas con más contexto, pero a veces fueron demasiado estrictos, marcando como "Parcialmente respaldados" afirmaciones que los humanos considerarían válidas (ej. si la referencia no menciona explícitamente un ejemplo secundario como el "cobre", el modelo lo marca como error).
• Análisis de Errores:
  • Los errores más comunes ocurrieron cuando las afirmaciones contenían múltiples sub-afirmaciones y el modelo no podía delimitar qué parte estaba siendo verificada.
  • No se encontraron signos significativos de alucinación en las explicaciones generadas por los modelos.
• Comparación: Los modelos existentes de verificación de hechos científicos (Wadden et al., 2020) fallaron en esta tarea, clasificando casi todo como "Información insuficiente", lo que indica que la tarea de verificación de citas requiere un enfoque diferente.

5. Significado y Limitaciones

• Significado: Este trabajo demuestra que los LLMs pueden ser herramientas viables para la revisión automatizada de referencias, ayudando a editores y revisores a escalar la detección de errores. También sugiere que la detección de errores de citas podría ayudar a identificar artículos falsos o manipulaciones de citas (citation manipulation).
• Limitaciones:
  • El tamaño del dataset es limitado (250 pares).
  • El dataset proviene principalmente de ciencias naturales y artículos de revistas, limitando la generalización a conferencias o preprints.
  • La evaluación se basó en pares de oraciones simples, ignorando posibles múltiples razones para una misma cita.
  • No se probaron modelos de nueva generación (como Claude o Gemini) que podrían manejar ventanas de contexto más largas.

Conclusión: El estudio establece una base sólida para el uso de IA en la integridad científica, mostrando que, aunque los LLMs actuales no son perfectos y requieren ingeniería de prompts cuidadosa, tienen el potencial de reducir la carga humana en la detección de errores de referencia.