ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

Riepilogo Tecnico: ProvenAI

Problematica
I sistemi di generazione aumentata dal recupero (RAG) forniscono regolarmente citazioni insieme alle risposte generate per stabilire un fondamento fattuale. Tuttavia, il documento sostiene che la presenza di una citazione non conferma che la fonte citata abbia effettivamente plasmato l'output in modo significativo. Le attuali metriche di valutazione spesso collassano la correttezza della risposta, la fedeltà della citazione e l'influenza delle risorse in punteggi singoli, oscurando informazioni diagnostiche critiche. Nello specifico, un modello può citare fonti corrette pur essendo guidato da un contesto recuperato non citato, oppure può generare una risposta corretta citando fonti irrilevanti. Questo divario tra evidenza "citata" ed evidenza "influente" è particolarmente problematico nelle applicazioni di sicurezza e forensi, dove l'accountability richiede un registro verificabile di ciò che ha effettivamente plasmato una conclusione.

Metodologia
ProvenAI non è un nuovo modello generativo, ma un'infrastruttura di misurazione progettata per scomporre la trasparenza nel question answering multi-hop in tre livelli indipendentemente misurabili. Il sistema opera sul benchmark HotpotQA distractor attraverso una pipeline a sette stadi:

1. Normalizzazione dei Dati: Conversione dei record di HotpotQA in artefatti locali stabili (JSONL) e costruzione di un corpus di recupero canonico di 509.300 passaggi.
2. Recupero e Generazione: Utilizzo di densa ricerca di passaggi (FAISS con embedding all-MiniLM-L6-v2) e un percorso di inferenza locale (Qwen2.5-3B-Instruct) per generare risposte con consapevolezza delle citazioni tramite tag inline.
3. Audit delle Citazioni: Valutazione se i titoli citati si allineano con i fatti di supporto "gold" tramite la similarità di Jaccard.
4. Stima dell'Influenza: Applicazione di una strategia di ablazione "leave-one-resource-out". Per ogni documento recuperato $r_i$, il sistema rigenera la risposta e l'insieme delle citazioni senza $r_i$ per misurare lo spostamento dell'output.
5. Assegnazione del Verdetto: I documenti sono classificati in quattro categorie basate su una funzione misurabile $V$ che combina lo stato della citazione e una proxy di influenza $\phi(r_i)$:
   • USED (USATO): Citato e influente.
   • HALLUCINATED CITATION (CITAZIONE ALLUCINATA): Citato ma non influente.
   • UNCITED INFLUENTIAL (INFLUENTE NON CITATO): Non citato ma influente.
   • LOW INFLUENCE (Bassa Influenza): Né citato né influente.

Componenti Tecniche Chiave

• Fedeltà della Citazione: Misurata tramite la similarità di Jaccard dell'insieme di token tra i titoli citati e i titoli di supporto "gold", valutata sia sotto corrispondenza esatta ($\tau=1$) che semantica ($\tau=0.34$).
• Proxy di Influenza: Poiché il backend di inferenza locale (MLX) non espone le probabilità per singolo token necessarie per il calcolo diretto della divergenza KL, il sistema utilizza una proxy superficiale $\phi(r_i)$. Questa proxy aggrega la distanza di Jaccard tra le stringhe di risposta originale e quella ablata ($\Delta a$) e gli insiemi di citazioni ($\Delta c$), pesati rispettivamente 0.8/0.2.
• Fondamento Teorico: Il documento formalizza la relazione tra questa proxy superficiale e il target della divergenza KL a livello di token. La Proposizione 1 stabilisce che, sotto un decoding quasi deterministico, un cambiamento non nullo della risposta ($\Delta a > 0$) certifica uno spostamento KL strettamente positivo, rendendo la proxy un indicatore valido (sebbene unidirezionale) di spostamento distributivo.
• Tracciabilità: Il sistema integra il Model Context Protocol (MCP) per registrare grafi di traccia dell'accesso alle risorse, collegando gli artefatti di recupero al processo di generazione.

Risultati
Valutato su 7.405 esempi di validazione dello split distractor di HotpotQA, ProvenAI produce le seguenti metriche aggregate:

• Accuratezza della Risposta: 53,53%
• Media Fedeltà della Citazione: 71,55%

Il significativo divario di 18 punti tra la fedeltà della citazione e l'accuratezza della risposta dimostra che i modelli identificano e citano frequentemente titoli di supporto corretti anche quando la stringa della risposta finale è errata. Viceversa, il sistema identifica i casi in cui la risposta è corretta ma l'insieme delle citazioni è degradato.

Il documento evidenzia un particolare "gap di citazione-influenza" attraverso un caso di studio (la nazionalità di Scott Derrickson / Ed Wood). In questo esempio, il modello ha ottenuto un audit di citazione perfetto ($F_\tau = 1.0$), ma l'ablazione ha rivelato che una fonte citata aveva un'influenza debole, mentre sette fonti non citate hanno dimostrato di spostare l'output. Ciò conferma che l'insieme delle citazioni osservabile e il profilo di sensibilità empirica possono divergere sostanzialmente.

Significatività e Rivendicazioni
Il documento afferma che una trasparenza significativa nel question answering basato sul recupero richiede collegamenti tracciabili attraverso tre livelli distinti: evidenza recuperata, evidenza citata ed evidenza comportamentalmente influente.

• Decomposizione della Trasparenza: Il contributo primario è l'operazionalizzazione della trasparenza in tre livelli indipendenti, sostenendo che collassarli scarta le necessarie informazioni diagnostiche.
• Il Gap Citazione-Influenza: Il lavoro caratterizza un modo di fallimento specifico in cui audit di citazione puliti coesistono con profili di influenza complessi guidati da contesti non citati.
• Ragionamento Nativo della Provenienza: Il framework collega l'auditing basato sulla misurazione alle architetture di provenienza crittografica. Sostiene che per la scoperta scientifica autonoma, un audit trail non deve solo verificare che i documenti citati siano stati recuperati (integrità crittografica), ma anche verificare che l'output sia stato effettivamente sensibile a tali documenti (sensibilità comportamentale).
• Limitazioni: Gli autori notano con modestia che l'attuale stima dell'influenza si basa su una proxy superficiale a causa della mancanza di logit per token nel backend locale, e che l'attribuzione è attualmente limitata al livello titolo del documento piuttosto che all'implicazione (entailment) a livello di frase.

ProvenAI stabilisce che gli attuali meccanismi di citazione sono proxy insufficienti per l'influenza e fornisce una pipeline riproducibile per misurare la discrepanza tra ciò che un modello dichiara di utilizzare e ciò che effettivamente guida il suo output.