Resumen Técnico: CITECHECK

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se integran cada vez más en flujos de trabajo científicos, incluida la redacción de manuscritos y la generación de informes. Sin embargo, persiste un problema crítico de fiabilidad: los LLM generan frecuentemente "alucinaciones de citas". Estas son referencias que parecen legítimas estilísticamente pero contienen metadatos corruptos (por ejemplo, autores, años o DOIs incorrectos) o apuntan a artículos completamente inexistentes. Tales errores socavan la trazabilidad, la atribución y la reproducibilidad de la comunicación científica. Los métodos de verificación existentes a menudo dependen del conocimiento paramétrico interno del modelo o de búsquedas web simples, que luchan por distinguir entre una deriva sutil de metadatos y una fabricación completa, o no logran fundamentar la verificación en evidencia académica estructurada.

Metodología: El Marco CITECHECK

CITECHECK es un marco híbrido diseñado para detectar alucinaciones de citas fundamentando cada referencia en fuentes académicas externas en lugar de depender del conocimiento interno del LLM. El sistema opera mediante una canalización estructurada compuesta por cuatro etapas principales:

1. Extracción de Metadatos

El sistema primero analiza una cadena de cita cruda en campos estructurados (título, autores, año, URL, DOI, ID de arXiv). Emplea un analizador basado en reglas para patrones estándar e invoca un analizador basado en LLM solo cuando la extracción determinista falla. Esta etapa genera señales de recuperación sin determinar la validez.

2. Cascada de Recuperación de Candidatos

CITECHECK intenta localizar la publicación real correspondiente a la cita utilizando una cascada en cascada sobre múltiples fuentes externas:

• Búsqueda Directa: Si hay un identificador de arXiv presente, se realiza primero una búsqueda directa en arXiv.
• APIs Estructuradas: El sistema consulta a CrossRef, Semantic Scholar y OpenAlex utilizando búsquedas basadas en el título.
• Respuesta de Búsqueda Web: Si las fuentes estructuradas no devuelven una coincidencia fiable, se activa una búsqueda web asistida por LLM.
• Lógica de Selección: Los candidatos se aceptan basándose en la similitud Levenshtein normalizada entre el título de la cita limpiada y el título del candidato, con umbrales adicionales de confianza (por ejemplo, de CrossRef) y señales de clasificación basadas en el año.

3. Verificación Estructurada con LLM

Una vez recuperada una publicación candidata, un LLM verificador compara los metadatos de la cita original con los metadatos del candidato recuperado. A diferencia de las indicaciones de clasificación estándar, el verificador genera:

• Una puntuación numérica (0–10) que representa el grado de acuerdo.
• Un nivel de confianza y una breve justificación.
• Identificación de discrepancias específicas.
  El sistema utiliza una puntuación numérica para permitir límites de decisión calibrados en lugar de depender de la etiqueta categórica del modelo, que puede ser inconsistente.

4. Umbralización y Paso de Revisor

La puntuación numérica se mapea a tres etiquetas utilizando umbrales fijos ($\tau_M$ y $\tau_E$) determinados en un conjunto de validación:

• EXACTO: La cita describe fielmente la publicación real ($s \ge \tau_E$).
• MENOR: El artículo pretendido existe, pero los campos de metadatos están corruptos ($\tau_M \le s < \tau_E$).
• MAYOR: No existe ninguna publicación coincidente, o el candidato es demasiado disímil ($s < \tau_M$).

Se aplica un "Paso de Revisor" para casos sospechosos donde un identificador (URL/ID de arXiv) resuelve a un artículo real, pero la similitud del título es baja. Un segundo juez LLM reevalúa estos casos para asegurar que el texto de la cita describe con precisión la fuente, evitando falsos positivos donde un enlace válido se combina con metadatos fabricados.

Construcción del Conjunto de Datos

Para evaluar el marco, los autores construyeron un conjunto de referencia de 982 citas extraídas de literatura de física, abarcando nueve subdominios (por ejemplo, astrofísica, materia condensada, computación cuántica).

• Corrupciones Controladas: El conjunto de datos incluye citas válidas, "alucinaciones menores" (deriva de metadatos como autores o años alterados manteniendo la identidad del artículo) y "alucinaciones mayores" (referencias totalmente fabricadas que permanecen temáticamente plausibles).
• Generación: Las corrupciones fueron generadas utilizando GPT-4o-mini con configuraciones específicas de temperatura para simular errores de transcripción (menores) y fabricación sustancial (mayores).
• Equilibrio: El conjunto de referencia final está aproximadamente equilibrado entre las tres clases (36.25% válido, 30.55% menor, 33.20% mayor).

Resultados

Evaluado en un conjunto de prueba retenido de 792 citas, CITECHECK logró:

• 88.9% de Precisión
• 88.7 Macro-F1

Rendimiento Comparativo:

• CITECHECK superó a las líneas base directas de LLM (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) tanto en configuraciones de cero disparos como de pocos disparos.
• Superó a la línea base más fuerte (Claude Sonnet 4.6 con búsqueda web y ejemplos de pocos disparos) en 5.8 puntos de Macro-F1 y 5.7 puntos de precisión.
• Cabe destacar que CITECHECK logró esto manteniéndose en cero disparos en la etapa de verificación, demostrando que la verificación fundamentada en recuperación es más efectiva que la supervisión en contexto o la indicación por sí sola.
• Estudios de Ablación: Eliminar la respuesta de búsqueda web redujo el Macro-F1 en 7.0 puntos, y eliminar el paso de revisor lo redujo en 4.0 puntos, confirmando la necesidad de tanto una recuperación amplia como una revisión dirigida para manejar la deriva sutil de metadatos.

Significado y Afirmaciones

El artículo afirma que la verificación fiable de citas requiere un cambio desde depender del conocimiento interno del LLM hacia una canalización que combine recuperación académica, comparación estructurada basada en LLM y reglas de decisión calibradas.

Las conclusiones clave enfatizadas por los autores incluyen:

1. La Recuperación es Esencial: Incluso los LLM fuertes luchan por detectar alucinaciones sin acceso a evidencia externa; la búsqueda web mejora significativamente el rendimiento de la línea base pero es insuficiente por sí sola sin una comparación estructurada.
2. Comparación Estructurada sobre Indicaciones: Tratar la verificación como una recuperación de candidatos seguida de una comparación de metadatos produce una mayor precisión que la indicación directa, particularmente para alucinaciones "menores" donde el artículo existe pero los metadatos están corruptos.
3. Detección Granular: El marco distingue con éxito entre coincidencias exactas, errores menores de metadatos y fabricaciones mayores, un matiz que a menudo se pierde en la detección binaria "real vs. falsa".

Los autores concluyen que CITECHECK proporciona una base para canalizaciones de verificación más amplias para texto científico generado por IA, aunque reconocen limitaciones relacionadas con el enfoque actual en física y la necesidad de trabajos futuros sobre bibliografías generadas por LLM que ocurren naturalmente y alineación a nivel de afirmaciones.