DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation

Resumen Técnico: DEEPSCIVERIFY

Definición del Problema
El artículo aborda el problema crítico de la desalineación entre las afirmaciones científicas y su evidencia citada en informes generados por Modelos de Lenguaje Grandes (LLM). Si bien una cita puede ser bibliográficamente válida, puede no apoyar semánticamente la afirmación específica a la que está adjunta. Los sistemas de verificación existentes, como SciFact y SCIVER, dependen principalmente de evidencia a nivel de resumen. Sin embargo, los resúmenes a menudo omiten detalles metodológicos cruciales, resultados cuantitativos o limitaciones necesarios para determinar si una obra citada respalda realmente una afirmación. En consecuencia, la verificación basada únicamente en resúmenes puede ser insuficiente incluso cuando el texto completo contiene la evidencia relevante. El objetivo es verificar si un par $(c, r)$ —una afirmación científica $c$ y una referencia citada $r$— está respaldado, contradicho, o si no hay suficiente información (NEI) para tomar una determinación.

Metodología: DEEPSCIVERIFY
Los autores proponen DEEPSCIVERIFY, una tubería de dos etapas diseñada para equilibrar la eficiencia y la precisión combinando el razonamiento a nivel de resumen con una escalada selectiva hacia evidencia de texto completo.

1. Fase 1: Verificación a Nivel de Resumen con Salida Anticipada

   • Recuperación: El sistema analiza la cita de entrada en señales estructuradas (ID de arXiv, DOI, URL, título) utilizando un analizador basado en LLM. Luego ejecuta una cascada de recuperación multi-fuente (API de arXiv, Semantic Scholar, OpenAlex, etc.) para obtener el resumen del artículo.
   • Verificación: Un verificador LLM analiza la afirmación frente al resumen recuperado.
   • Lógica de Decisión: Si el modelo genera una etiqueta definitiva (SUPPORTS o CONTRADICTS), el sistema devuelve este resultado inmediatamente (salida anticipada). Si el modelo determina que la evidencia es insuficiente (NEI), el sistema escala a la Fase 2. Este diseño aprovecha la observación de que algunos LLM son naturalmente más conservadores, lo que los hace adecuados para identificar casos donde los resúmenes son inadecuados.

2. Fase 2: Verificación a Nivel de Pasaje (Escalada Selectiva)

   • Disparador: Esta fase se activa únicamente cuando la Fase 1 arroja un veredicto de NEI.
   • Recuperación de Texto Completo: El sistema recupera el artículo completo utilizando una estrategia de cascada similar (URL directa, arXiv, repositorios de acceso abierto o búsqueda web asistida por LLM).
   • Extracción de Pasajes: Utilizando un enfoque de Generación Aumentada por Recuperación (RAG), el texto completo se segmenta en fragmentos. El sistema incrusta la afirmación y los fragmentos de texto, recuperando los $k$ pasajes más relevantes basados en la similitud del coseno.
   • Veredicto Final: Un segundo verificador LLM analiza los pasajes recuperados frente a la afirmación para producir la etiqueta final.

Contribuciones Clave

• Tubería de Dos Etapas: La introducción de un sistema que realiza verificación a nivel de resumen con un mecanismo de salida anticipada, escalando a evidencia a nivel de pasaje solo cuando es necesario.
• Cascadas de Recuperación Robustas: Desarrollo de estrategias de recuperación multi-fuente para el análisis de citas, la recuperación de resúmenes y la recuperación de texto completo, permitiendo la verificación incluso con metadatos ruidosos o incompletos.
• Análisis de Calibración de Modelos: Un análisis detallado que revela que diferentes LLM exhiben sesgos distintos bajo incertidumbre. Específicamente, se encuentra que GPT-5.4 es excesivamente cauteloso (frecuentemente recurriendo a NEI), mientras que Claude Sonnet 4.6 es demasiado confiado (tendiendo a comprometerse con SUPPORTS/CONTRADICTS incluso con evidencia incompleta). La tubería aprovecha estos comportamientos complementarios utilizando el modelo conservador para el filtro inicial y un modelo equilibrado para las decisiones finales.
• Evidencia de Escalada Selectiva: Demostración de que escalar selectivamente solo los casos inciertos mejora tanto la precisión como la eficiencia en comparación con las líneas base que dependen únicamente de resúmenes o procesan el texto completo de manera ingenua.

Resultados Experimentales
El sistema fue evaluado en la referencia SCITANCE, un conjunto de datos de 656 instancias derivadas de oraciones de citas.

• Rendimiento: DEEPSCIVERIFY logró 86.7 Micro-F1 y 81.5 Macro-F1 en la configuración de tres clases. Esto supera a la línea base más fuerte solo de resumen (GPT-4) en +4.5 Micro-F1 y mejora el mejor resultado previo en SCITANCE en +6.6 Micro-F1.
• Eficiencia: El sistema resuelve el 67.0% de las instancias a nivel de resumen, evitando la recuperación de texto completo para la mayoría de los casos.
• Estudios de Ablación:
  • RAG vs. Extracción por LLM: El método de extracción de pasajes basado en RAG (usando similitud de incrustación) superó significativamente al método de extracción basado en LLM. El enfoque RAG mejoró el Micro-F1 en 4.5 puntos sobre la línea base solo de resumen, mientras que el extractor LLM solo produjo una ganancia de 1.1 punto y degradó la métrica "Soporte vs. No Soporte", probablemente debido a la selección de pasajes semánticamente relevantes pero débilmente evidenciales.
  • Uso de Texto Completo: El uso ingenuo de texto completo por modelos individuales (sin la tubería escalonada) resultó en ganancias limitadas o negativas, destacando que el método de selección de evidencia es tan importante como el volumen de evidencia.

Significado y Afirmaciones
El artículo afirma que la escalada selectiva de evidencia es una dirección prometedora para mejorar la alineación entre afirmaciones científicas y citas. Los autores argumentan que el desafío principal no es simplemente recuperar más información, sino identificar las partes específicas de un documento más informativas para una afirmación. Al combinar los comportamientos de calibración complementarios de diferentes LLM con un proceso de verificación escalonado, DEEPSCIVERIFY logra una mayor fiabilidad sin incurrir en el costo computacional del procesamiento de texto completo para cada instancia. Los resultados sugieren que este enfoque mitiga eficazmente las limitaciones de la verificación basada únicamente en resúmenes, evitando al mismo tiempo el ruido asociado con el procesamiento indiscriminado de documentos completos. Los autores permanecen modestos respecto al alcance, señalando que su evaluación se limita al conjunto de datos SCITANCE y a un solo dominio, pero los hallazgos ofrecen una estrategia generalizable para la verificación científica de alto riesgo.