💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI introduce un marco novedoso que mejora la transparencia en la respuesta a preguntas con recuperación aumentada al descomponerla en tres capas medibles de forma independiente —corrección de la respuesta, fidelidad de la cita e influencia por documento— para revelar brechas críticas entre las fuentes citadas y la evidencia que realmente impulsa los resultados del modelo.

Autores originales: Mohammad Faizan, Dalal Alharthi

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohammad Faizan, Dalal Alharthi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le pides a un bibliotecario muy inteligente y culto que responda a una pregunta difícil. Para hacerlo, el bibliotecario toma un montón de diez libros de la estantería, los lee y te escribe una respuesta. Al final de la respuesta, el bibliotecario escribe una lista de "Referencias", pero solo menciona dos de los diez libros que realmente sostuvo.

ProvenAI es un sistema diseñado para auditar exactamente lo que ocurrió en ese escenario. Se pregunta: ¿Realmente usó el bibliotecario esos dos libros para escribir la respuesta? ¿O los otros ocho libros influyeron secretamente en la historia sin ser mencionados?

Aquí hay un desglose sencillo de cómo funciona el artículo, utilizando analogías cotidianas.

1. El Problema: La Ilusión de la "Cita Falsa"

En el mundo de la IA, los sistemas suelen mostrarte una lista de fuentes (citas) para demostrar que no están inventando cosas. Pero el artículo argumenta que una lista de citas es como un recibo que no coincide con el carrito de la compra.

El hecho de que el bibliotecario diga que usó el Libro A y el Libro B no significa que esos libros realmente dieron forma a la historia.

La Realidad: El bibliotecario podría haber sido fuertemente influenciado por el Libro C, D y E (que no mencionó), mientras que el Libro A y B apenas fueron ojeados.
La Brecha: El artículo llama a esto la "Brecha de Citación-Influencia" (Citation-Influence Gap). Es la diferencia entre lo que la IA afirma haber usado (la cita) y aquello en lo que la IA realmente se apoyó para formar su respuesta (la influencia).

2. La Solución: La Auditoría de Tres Capas de ProvenAI

En lugar de solo verificar si la respuesta es correcta, ProvenAI desglosa la transparencia en tres capas separadas, como revisar un coche de tres maneras distintas:

Capa 1: ¿Es la respuesta correcta? (El Destino)
- Analogía: ¿Llegó el coche realmente a la dirección correcta?
- Qué verifica: ¿Coincide la respuesta final con la verdad conocida?
Capa 2: ¿Es honesta la cita? (El Recibo)
- Analogía: ¿Se detuvo realmente el conductor en las gasolineras que aparecen en el recibo?
- Qué verifica: ¿Contienen los libros que la IA enumeró los hechos que afirma contener?
Capa 3: ¿Qué fue lo que realmente movió la aguja? (El Motor)
- Analogía: Si desarmamos el coche y quitamos una pieza específica del motor, ¿seguiría funcionando el coche?
- Qué verifica: Esta es la parte más única. El sistema toma la respuesta de la IA, elimina un libro específico del montón y le pide a la IA que escriba la respuesta de nuevo. Si la respuesta cambia, ese libro fue influyente. Si la respuesta permanece igual, ese libro fue solo "decoración".

3. El Experimento del "Truco de Magia"

Los investigadores probaron esto en un famoso conjunto de datos de acertijos llamado HotpotQA, donde las preguntas requieren conectar puntos a través de múltiples documentos.

La Configuración: Ejecutaron la IA en 7,405 preguntas.
La Sorpresa: La IA obtuvo la respuesta correcta aproximadamente el 53% de las veces, pero citó las fuentes correctas el 71% de las veces. Esto significa que la IA era a menudo buena encontrando los libros correctos, pero mala usándolos para escribir la frase final.
Estudio de Caso de la "Brecha de Citación-Influencia":
- Observaron una pregunta específica sobre dos directores de cine.
- La IA citó dos libros perfectamente. El "Recibo" estaba 100% limpio.
- PERO, cuando eliminaron uno de esos libros citados, la respuesta no cambió.
- Y, cuando eliminaron otros siete libros que la IA ni siquiera citó, la respuesta sí cambió.
- Conclusión: La IA estaba dependiendo secretamente de los libros no citados para obtener la respuesta correcta, mientras que los libros citados eran solo "adorno de escaparate".

4. Por qué esto importa (Sin la jerga)

El artículo sostiene que no podemos confiar en una IA mirando solo una puntuación (como la "Exactitud"). Necesitamos ver la imagen completa:

¿Obtuvo la respuesta correcta?
¿Enumeró las fuentes correctas?
¿Hicieron esas fuentes el trabajo pesado?

Si solo verificas el #1 y el #2, podrías pensar que la IA es confiable. Pero si verificas el #3, podrías darte cuenta de que la IA está siendo influenciada por documentos "fantasma" que nunca te mencionó.

5. La Limitación de la "Caja Negra"

El artículo admite una pequeña limitación: para medir la influencia perfectamente, normalmente necesitas ver el "proceso de pensamiento" interno de la IA (probabilidades matemáticas). Dado que su sistema no podía ver dentro del cerebro de la IA, utilizaron un truco ingenioso: simplemente compararon las frases finales antes y después de eliminar un libro.

Analogía: En lugar de escuchar la combustión interna del motor, simplemente verificaron si el coche se movía de forma diferente al quitar una pieza. No es tan preciso como mirar bajo el capó, pero es una suposición muy buena.

Resumen

ProvenAI es una herramienta que evita que nos dejemos engañar por una bonita lista de citas. Demuestra que en la IA, lo que se cita no es siempre lo que se usa. Al probar qué sucede cuando se elimina una fuente, revela los "fantasmas" ocultos en la máquina que son los que realmente impulsan las respuestas.

Resumen Técnico: ProvenAI

Planteamiento del Problema
Los sistemas de generación aumentada por recuperación (RAG) proporcionan rutinariamente citas junto con las respuestas generadas para establecer una base fáctica. Sin embargo, el artículo sostiene que la presencia de una cita no confirma que la fuente citada haya dado forma de manera significativa al resultado. Las métricas actuales suelen colapsar la corrección de la respuesta, la fidelidad de la cita y la influencia de los recursos en puntuaciones únicas, lo que oscurece la información diagnóstica crítica. Específicamente, un modelo puede citar fuentes correctas mientras es impulsado por un contexto recuperado no citado, o puede generar una respuesta correcta citando fuentes irrelevantes. Esta brecha entre la evidencia "citada" y la evidencia "influyente" es particularmente problemática en aplicaciones de seguridad y forenses donde la rendición de cuentas requiere un registro verificable de lo que realmente dio forma a una conclusión.

Metodología
ProvenAI no es un nuevo modelo generativo, sino una infraestructura de medición diseñada para descomponer la transparencia en la respuesta a preguntas de múltiples saltos (multi-hop) en tres capas medibles de forma independiente. El sistema opera sobre el benchmark de distractores HotpotQA mediante un proceso de siete etapas:

Normalización de Datos: Conversión de los registros de HotpotQA en artefactos locales estables (JSONL) y construcción de un corpus de recuperación canónico de 509,300 pasajes.
Recuperación y Generación: Uso de recuperación de pasajes densos (FAISS con embeddings all-MiniLM-L6-v2) y una ruta de inferencia local (Qwen2.5-3B-Instruct) para generar respuestas con conciencia de citas mediante etiquetas integradas.
Auditoría de Citas: Evaluación de si los títulos citados se alinean con los hechos de apoyo de oro (gold supporting facts) utilizando la similitud de Jaccard.
Estimación de Influencia: Aplicación de una estrategia de ablación de "dejar fuera un recurso" (leave-one-resource-out). Para cada documento recuperado $r_i$ , el sistema regenera la respuesta y el conjunto de citas sin $r_i$ para medir el cambio en la salida.
Asignación de Veredicto: Los documentos se clasifican en cuatro categorías basadas en una función medible $V$ $V$ que combina el estado de la cita y un proxy de influencia $\phi(r_i)$ $ϕ (r_{i})$ :
- USADO (USED): Citado e influyente.
- CITA ALUCINADA (HALLUCINATED CITATION): Citado pero no influyente.
- INFLUENCIA NO CITADA (UNCITED INFLUENTIAL): No citado pero influyente.
- BAJA INFLUENCIA (LOW INFLUENCE): Ni citado ni influyente.

Componentes Técnicos Clave

Fidelidad de la Cita: Medida mediante la similitud de Jaccard de conjuntos de tokens entre los títulos citados y los títulos de apoyo de oro, evaluada bajo concordancia exacta ( $\tau=1$ ) y semántica ( $\tau=0.34$ ).
Proxy de Influencia: Dado que el backend de inferencia local (MLX) no expone las probabilidades por token requeridas para el cálculo directo de la divergencia KL, el sistema utiliza un proxy superficial $\phi(r_i)$ . Este proxy agrega la distancia de Jaccard entre las cadenas de respuesta originales y abladas ( $\Delta a$ ) y los conjuntos de citas ( $\Delta c$ ), ponderados 0.8/0.2 respectivamente.
Fundamentación Teórica: El artículo formaliza la relación entre este proxy superficial y el objetivo de la divergencia KL a nivel de token. La Proposición 1 establece que, bajo una decodificación casi determinista, un cambio de respuesta no nulo ( $\Delta a > 0$ ) certifica un desplazamiento de la distribución estrictamente positivo, lo que convierte al proxy en un indicador sólido (aunque unidireccional) de desplazamiento distributivo.
Trazabilidad: El sistema integra el Protocolo de Contexto de Modelo (MCP) para registrar grafos de traza de acceso a recursos, vinculando los artefactos de recuperación con el proceso de generación.

Resultados
Evaluado en 7,405 ejemplos de validación del split de distractores de HotpotQA, ProvenAI arroja las siguientes métricas agregadas:

Precisión de la Respuesta: 53.53%
Fidelidad Media de la Cita: 71.55%

La brecha significativa de 18 puntos entre la fidelidad de la cita y la precisión de la respuesta demuestra que los modelos frecuentemente identifican y citan títulos de apoyo correctos incluso cuando la cadena de la respuesta final es incorrecta. Por el contrario, el sistema identifica casos donde la respuesta es correcta pero el conjunto de citas se ha degradado.

El artículo destaca un caso específico de "brecha de cita-influencia" (estudio de caso Scott Derrickson / Ed Wood nacionalidad). En este ejemplo, el modelo logró una auditoría de citas perfecta ( $F_\tau = 1.0$ ), pero la ablación reveló que una fuente citada tenía una influencia débil, mientras que siete fuentes no citadas demostraron desplazar la salida. Esto confirma que el conjunto de citas observable y el perfil de sensibilidad empírica pueden divergir sustancialmente.

Significancia y Reivindicaciones
El artículo sostiene que la transparencia significativa en la respuesta basada en recuperación requiere enlaces trazables a través de tres capas distintas: evidencia recuperada, evidencia citada y evidencia conductualmente influyente.

Descomposición de la Transparencia: La contribución principal es la operacionalización de la transparencia en tres capas independientes, argumentando que colapsarlas descarta información diagnóstica necesaria.
La Brecha Cita-Influencia: El trabajo caracteriza un modo de fallo específico donde las auditorías de citas limpias coexisten con perfiles de influencia complejos impulsados por contexto no citado.
Razonamiento Nativo de la Procedencia: El marco conecta la auditoría basada en la medición con arquitecturas de procedencia criptográfica. Argumenta que para el descubrimiento científico autónomo, una pista de auditoría no solo debe verificar que los documentos citados fueron recuperados (integridad criptográfica), sino también verificar que la salida fue realmente sensible a esos documentos (sensibilidad conductual).
Limitaciones: Los autores señalan modestamente que el estimado de influencia actual depende de un proxy superficial debido a la falta de logits por token en el backend local, y que la atribución está actualmente limitada al nivel de título de documento en lugar de la implicación (entailment) a nivel de oración.

ProvenAI establece que los mecanismos de citación actuales son proxies insuficientes para la influencia y proporciona un pipeline reproducible para medir la discrepancia entre lo que un modelo afirma usar y lo que realmente impulsa su salida.