Detection and Interpretability Analysis of Quotation Errors by Large Language Models

Resumen Técnico: Detección y Análisis de Interpretabilidad de Errores de Citación por Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los errores de citación, definidos como inconsistencias entre la información citada y el texto fuente original, plantean riesgos significativos para la integridad académica. Estos errores pueden conducir a la interpretación errónea de la investigación original, distorsionar la comprensión colectiva de la comunidad académica y socavar la precisión de los sistemas de evaluación basados en citas. Si bien la verificación manual es el estándar tradicional, es laboriosa e ineficiente. Los métodos de detección automatizada existentes, incluyendo enfoques basados en similitud y técnicas de Modelos de Lenguaje de Gran Escala (LLM) basadas en prompts, a menudo dependen únicamente de datos abstractos o carecen de una interpretabilidad profunda. Además, el potencial de ajustar finamente (fine-tuning) los LLM específicamente para esta tarea, combinado con la integración de datos de texto completo e integración de análisis de interpretabilidad, permanece poco explorado.

Metodología
El estudio propone un marco para la detección automatizada de errores de citación que integra tres componentes principales: ajuste fino, integración de datos de texto completo y análisis de interpretabilidad.

1. Enfoque de Ajuste Fino (Fine-Tuning): Los autores emplean la Adaptación de Bajo Rango (LoRA) para ajustar finamente modelos de lenguaje de gran escala (específicamente Qwen-2.5-7B y DeepSeek-R1-Distill-Llama-8B) para la tarea de detección de errores de citación. Esto se compara contra modelos base que incluyen SCIBERT, T5 y diversas configuraciones de LLM basadas en prompts (zero-shot, few-shot y Generación Aumentada por Recuperación o RAG).
2. Construcción del Conjunto de Datos: Se utilizaron dos conjuntos de datos de código abierto, SCIFACT y NealSmith. El estudio construyó conjuntos de datos tanto a nivel de resumen (abstract) como a nivel de texto completo. Para la integración del texto completo, se compararon tres métodos:
   • Selección de oraciones del texto completo basadas en la similitud semántica con la oración de la cita objetivo.
   • Selección de oraciones del texto completo basadas en la similitud semántica con el resumen del artículo citado.
   • Incorporación directa del texto completo (evaluado solo en modelos que soportan contextos ultra largos).
   • Las etiquetas se estandarizaron en tres categorías: SUPPORT (SOPORTE), CONTRADICT (CONTRADICCIÓN) y NULL (NULO).
3. Análisis de Interpretabilidad: Para abordar la naturaleza de "caja negra" de las predicciones del modelo, el estudio aplica el método TokenSHAP. Esta herramienta cuantifica la contribución de los tokens individuales en el prompt de entrada a la salida del modelo, visualizando qué partes de la cita o del texto fuente impulsan la decisión de clasificación.
4. Análisis de Errores: Se realizó un análisis manual de las predicciones mal clasificadas por los modelos ajustados para identificar modos de falla específicos, tales como problemas con el conocimiento previo, razonamiento cuantitativo y matices semánticos.

Resultos Clave

• Desempeño del Ajuste Fino: El ajuste fino de los LLM demostró un desempeño superior en comparación tanto con los Modelos de Lenguaje Preentrenados (PLM) tradicionales como con los enfoques de LLM basados en prompts. En el conjunto de datos de nivel de resumen de SCIFACT, el modelo ajustado Qwen-7B alcanzó una puntuación F1 de promedio macro de 87.37%, superando al mejor modelo basado en prompts (Qwen-Max) por un 2.43%. Se observaron mejoras similares en el conjunto de datos NealSmith.
• Impacto de la Integración de Texto Completo: La integración de datos de texto completo mejoró el desempeño de la detección, particularmente en el conjunto de datos NealSmith, el cual fue anotado con contexto de texto completo. Entre los métodos de integración, la selección de oraciones del texto completo basada en la similitud con el resumen produjo el mejor desempeño (Macro-F1 de 50.66% para Qwen-7B en NealSmith), superando la incorporación directa de texto completo y la selección basada en la similitud de la cita.
• Patrones de Error: El análisis reveló que los modelos previos al ajuste fino a menudo dependían de una coincidencia superficial de palabras clave, prediciendo incorrectamente "SUPPORT" basándose en la superposición de temas incluso cuando la evidencia estaba ausente. Los modelos ajustados mostraron una capacidad mejorada para evaluar la suficiencia de la evidencia y la consistencia semántica. Los tipos de error específicos identificados incluyeron la confusión entre el conocimiento previo y el texto explícito, dificultades con relaciones cuantitativas (por ejemplo, cambios de unidades) y malinterpretaciones de "incremento" frente a "cantidad absoluta".
• Interpretabilidad: La visualización de TokenSHAP confirmó que el modelo ajustado identificó con éxito contradicciones semánticas clave (por ejemplo, características direccionales específicas de los microtúbulos) que el modelo basado en prompts pasó por alto, proporcionando una visión transparente del proceso de razonamiento del modelo.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones primarias al campo de la detección automatizada de errores de citación:

1. Avance Metodológico: Es el primer estudio que aplica el ajuste fino de LLM específicamente a la tarea de detección de errores de citación, demostrando que la optimización de parámetros específica para la tarea mejora significativamente el desempeño sobre la ingeniería de prompts y los PLM tradicionales.
2. Granularidad de los Datos: El estudio evalúa sistemáticamente el impacto de incorporar datos de texto completo, identificando que la selección de oraciones basada en el resumen es la estrategia óptima para integrar información de texto completo en este contexto.
3. Interpretabilidad: Al aplicar TokenSHAP, el estudio va más allá de las métricas cuantitativas para proporcionar una comprensión cualitativa de por qué los modelos realizan predicciones específicas, aumentando así la confianza en los sistemas de detección automatizados.

Los autores mantienen una postura modesta, reconociendo limitaciones como el tamaño relativamente pequeño del conjunto de datos NealSmith y la posible imprecisión introducida al fusionar etiquetas de clasificación durante la re-anotación del conjunto de datos. Concluyen que, si bien el enfoque de ajuste fino es prometedor, se requiere más investigación para abordar las limitaciones específicas de razonamiento y expandir las escalas de los conjuntos de datos.