PaperTrail: A Claim-Evidence Interface for Grounding Provenance in LLM-based Scholarly Q&A

1. El Problema

El crecimiento exponencial de la literatura científica presenta un desafío cognitivo para los expertos, quienes utilizan cada vez más Modelos de Lenguaje Grande (LLM) para sintetizar información y realizar preguntas y respuestas (QA) académicas. Sin embargo, estos sistemas sufren de limitaciones críticas:

• Alucinaciones y Errores Sutiles: Los LLMs a menudo generan afirmaciones no respaldadas, omiten información crucial o cometen errores de síntesis que son difíciles de detectar para los expertos.
• Insuficiencia de la Proveniencia Actual: Los mecanismos de atribución actuales (como las citas de fuentes) carecen de la granularidad necesaria para la verificación rigurosa que exige el dominio académico. Las citas a nivel de documento o párrafo no permiten verificar afirmaciones específicas, y las visualizaciones de incertidumbre a menudo aumentan la carga cognitiva sin ofrecer rutas accionables para la validación.
• Brecha entre Confianza y Comportamiento: Existe una necesidad de calibrar la confianza de los usuarios, pero las intervenciones actuales no logran traducir la desconfianza percibida en cambios de comportamiento (como la edición de textos generados por IA).

2. Metodología

Los autores diseñaron e implementaron PaperTrail, un sistema de interfaz y backend que descompone las respuestas de los LLM y los documentos fuente en afirmaciones (claims) y evidencias discretas, mapeándolas para revelar qué está respaldado y qué no.

Arquitectura del Sistema (Backend)

PaperTrail utiliza un motor de extracción de argumentos de tres etapas que equilibra el costo computacional y la capacidad semántica:

1. Extracción Offline (Nivel de Documento): Se procesan los PDFs de los documentos fuente una vez. Se utilizan LLMs (Gemini 2.5 Pro) con few-shot prompting basado en el modelo de argumentación de Toulmin para extraer afirmaciones atómicas y verificables. Luego, se utiliza similitud semántica (modelos SPECTER) para recuperar las evidencias de soporte dentro del texto.
2. Extracción en Tiempo Real (Nivel de Respuesta): Cuando un usuario hace una pregunta, un LLM genera la respuesta. Un segundo LLM descompone esta respuesta en afirmaciones y evidencias, utilizando un esquema JSON estructurado.
3. Emparejamiento de Afirmación-Evidencia (Matching): Se utiliza un enfoque de Generación Aumentada por Recuperación (RAG) para alinear las afirmaciones de la respuesta con las afirmaciones de los documentos fuente.
   • Se filtran las afirmaciones relevantes mediante similitud.
   • Un LLM realiza el emparejamiento semántico preciso entre las afirmaciones de la respuesta y las de los documentos.
   • Se verifica la evidencia mediante similitud de coseno; se establece un umbral permisivo (< 0.55) para marcar evidencias potencialmente no respaldadas.

Interfaz de Usuario (Frontend)

La interfaz es una aplicación web de tres paneles:

• Panel Izquierdo: Contexto de la tarea y editor de texto (donde el usuario edita la respuesta del LLM).
• Panel Central: Interfaz de chat con el LLM. Las afirmaciones de la respuesta son interactivas.
• Panel Derecho (Proveniencia): Muestra las afirmaciones de los documentos fuente.
  • Tarjetas Teal: Afirmaciones del documento que coinciden con la respuesta.
  • Tarjetas Rojas: Afirmaciones del documento que fueron omitidas en la respuesta.
  • Barra de Cobertura: Un indicador global del porcentaje de afirmaciones relevantes incluidas.
  • Sincronización: Al hacer clic en una afirmación de la respuesta, se resalta la evidencia correspondiente en el panel derecho (brushing-and-linking).

Estudio de Usuario

Se realizó un estudio within-subjects (sujetos dentro del mismo grupo) con 26 investigadores (científicos e ingenieros de la NASA).

• Tareas: Dos tareas de edición académica: (1) Síntesis de múltiples artículos y (2) Revisión "abogado del diablo" de un manuscrito.
• Condiciones: Los participantes usaron PaperTrail y una interfaz de línea base (citas de fuentes estándar, similar a herramientas comerciales).
• Métricas:
  • Confianza: Escala TXAI.
  • Dependencia (Reliance): Distancia de edición de Levenshtein normalizada entre el texto original del LLM y la edición del usuario.
  • Confianza Subjetiva: Autoevaluación de la calidad de las ediciones.
  • Usabilidad y Carga Cognitiva: NASA-TLX y SUPR-Q.

3. Contribuciones Clave

1. Diseño de PaperTrail: Un sistema novedoso que operacionaliza estructuras de argumentación para la proveniencia de fuentes, descomponiendo y vinculando afirmaciones y evidencias entre respuestas de LLM y documentos académicos.
2. Arquitectura Flexible: Un backend capaz de extraer y emparejar argumentos que sirve tanto como herramienta interactiva como marco para evaluar la fiabilidad de los LLM en entornos académicos.
3. Evidencia Empírica sobre la Calibración de Confianza: Demostración de que la proveniencia granular (nivel de afirmación) reduce significativamente la confianza subjetiva en los LLM en comparación con las citas estándar.
4. Identificación de la Brecha Confianza-Comportamiento: Evidencia de que, en entornos académicos con presión de tiempo, la reducción de la confianza no se traduce automáticamente en cambios de comportamiento (menor dependencia), debido a restricciones sistémicas de usabilidad y recursos cognitivos.

4. Resultados

• Confianza: Los participantes mostraron una confianza significativamente menor en los LLM al usar PaperTrail en comparación con la línea base ($p = 0.015$). Esto indica que la interfaz fomenta una actitud más cautelosa.
• Dependencia (Comportamiento): No hubo diferencia significativa en la dependencia conductual. Los usuarios editaron el texto generado por el LLM en la misma medida en ambas condiciones. La reducción de la confianza no llevó a una mayor revisión del contenido.
• Usabilidad: La interfaz PaperTrail fue calificada como significativamente menos usable que la línea base ($p = 0.026$). Los participantes reportaron que la información detallada "ensuciaba" la interfaz y aumentaba la carga cognitiva, especialmente bajo las restricciones de tiempo del estudio.
• Correlaciones: En la condición de línea base, la confianza y la usabilidad estaban correlacionadas positivamente con la dependencia. En PaperTrail, esta relación se rompió, sugiriendo que la interfaz desacopló la confianza general del comportamiento de edición.
• Feedback Cualitativo: Los usuarios valoraron el ethos y el concepto de la verificación detallada (reconociendo que los errores de los LLM a menudo provienen de la falta de contexto), pero se frustraron con la latencia del sistema, la complejidad de la interfaz y la falta de tiempo para realizar una verificación profunda.

5. Significado e Implicaciones

• Paradoja de la Verificación: El estudio revela una paradoja crítica: aunque los expertos reconocen la necesidad de verificar las afirmaciones de los LLM y la interfaz logra hacerlos más escépticos, las barreras prácticas (tiempo, latencia, complejidad de la UI) impiden que esta escéptica se traduzca en una acción correctiva real.
• Diseño para la Cognición: Para que las herramientas de IA académicas sean efectivas, no basta con proporcionar más información de proveniencia. Se necesita un diseño que gestione la carga cognitiva, posiblemente mediante proveniencia adaptativa (mostrar detalles solo cuando sea necesario) y andamiaje para el pensamiento crítico.
• Evaluación de Fiabilidad: Más allá de la interfaz de usuario, la arquitectura de backend de PaperTrail se propone como un marco de evaluación ("benchmark") para medir la fiabilidad de los LLM académicos, permitiendo cuantificar la fidelidad y la completitud de las respuestas más allá de métricas superficiales.
• Futuro: Se sugiere que la brecha entre la confianza y el comportamiento solo se cerrará si se abordan las restricciones sistémicas del entorno de investigación (tiempo, flujos de trabajo) y si se diseñan sistemas que faciliten la verificación sin abrumar al usuario.

En resumen, PaperTrail demuestra que la granularidad en la proveniencia es valiosa para la conciencia crítica, pero su implementación actual enfrenta desafíos de usabilidad que limitan su impacto conductual en escenarios de alta carga cognitiva.