💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI introduit un nouveau cadre qui améliore la transparence du questionnement augmenté par la recherche en le décomposant en trois couches mesurables de manière indépendante — l'exactitude de la réponse, la fidélité des citations et l'influence par document — afin de révéler les écarts critiques entre les sources citées et les preuves qui pilotent réellement les sorties du modèle.

Auteurs originaux : Mohammad Faizan, Dalal Alharthi

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Faizan, Dalal Alharthi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous posiez une question difficile à un bibliothécaire très intelligent et érudit. Pour y répondre, le bibliothécaire saisit une pile de dix livres sur l'étagère, les lit, et vous écrit une réponse. À la fin de la réponse, le bibliothécaire rédige une liste de « Références », mais ne mentionne que deux des dix livres qu'il a réellement tenus en main.

ProvenAI est un nouveau système conçu pour auditer exactement ce qui s'est passé dans ce scénario. Il pose la question suivante : Le bibliothécaire a-t-il réellement utilisé ces deux livres pour écrire la réponse ? Ou les huit autres livres ont-ils secrètement influencé l'histoire sans être mentionnés ?

Voici une décomposition simple du fonctionnement de l'article, utilisant des analogies de la vie quotidienne.

1. Le Problème : L'illusion de la « Fausse Citation »

Dans le monde de l'IA, les systèmes vous présentent souvent une liste de sources (citations) pour prouver qu'ils n'inventent rien. Mais l'article soutient qu'une liste de citations est comme un reçu qui ne correspond pas au contenu du chariot de courses.

Le fait que le bibliothénaire dise avoir utilisé le Livre A et le Livre B ne signifie pas que ces livres ont réellement façonné l'histoire.

La Réalité : Le bibliothécaire pourrait avoir été fortement influencé par les Livres C, D et E (qu'il n'a pas cités), tandis que les Livres A et B ont été à peine parcourus.
L'Écart : L'article appelle cela l'« Écart de Citation-Influence ». C'est la différence entre ce que l'IA prétend avoir utilisé (la citation) et ce sur quoi l'IA s'est réellement appuyée pour former sa réponse (l'influence).

2. La Solution : L'Audit à Trois Couches de ProvenAI

Au lieu de simplement vérifier si la réponse est correcte, ProvenAI décompose la transparence en trois couches distinctes, comme si l'on inspectait une voiture de trois manières différentes :

Couche 1 : La réponse est-elle correcte ? (La Destination)
- Analogie : La voiture est-elle bien arrivée à la bonne adresse ?
- Ce qu'elle vérifie : Est-ce que la réponse finale correspond à la vérité connue ?
Couche 2 : La citation est-elle honnête ? (Le Reçu)
- Analogie : Le conducteur s'est-il réellement arrêté aux stations-service indiquées sur le reçu ?
- Ce qu'elle vérifie : Les livres que l'IA a listés contiennent-ils réellement les faits qu'elle affirme ?
Couche 3 : Qu'est-ce qui a réellement fait bouger les choses ? (Le Moteur)
- Analogie : Si nous démontions la voiture et retirions une pièce spécifique du moteur, la voiture roulerait-elle encore ?
- Ce qu'elle vérifie : C'est la partie la plus unique. Le système prend la réponse de l'IA, retire un livre spécifique de la pile, et demande à l'IA d'écrire à nouveau la réponse. Si la réponse change, ce livre était influent. Si la réponse reste la même, ce livre n'était qu'une « décoration ».

3. L'Expérience du « Tour de Magie »

Les chercheurs ont testé cela sur un ensemble de données de puzzles célèbres appelé HotpotQA, où les questions nécessitent de relier des points entre plusieurs documents.

La Configuration : Ils ont fait tourner l'IA sur 7 405 questions.
La Surprise : L'IA a donné la bonne réponse environ 53 % du temps, mais elle a cité les sources correctes 71 % du temps. Cela signifie que l'IA est souvent douée pour trouver les bons livres, mais mauvaise pour les utiliser pour écrire la phrase finale.
Étude de Cas de l'« Écart de Citation-Influence » :
- Ils ont examiné une question spécifique concernant deux réalisateurs de cinéma.
- L'IA a parfaitement cité deux livres. Le « Reçu » était 100 % propre.
- MAIS, lorsqu'ils ont retiré l'un de ces livres cités, la réponse n'a pas changé.
- ET, lorsqu'ils ont retiré sept autres livres que l'IA n'avait même pas cités, la réponse a changé.
- Conclusion : L'IA s'appuyait secrètement sur les livres non cités pour obtenir la bonne réponse, tandis que les livres cités n'étaient que de la « vitrine ».

4. Pourquoi cela importe (Sans le jargon)

L'article soutient que nous ne pouvons pas nous fier à un seul score (comme l'« Exactitude ») pour faire confiance à une IA. Nous devons voir l'image complète :

A-t-elle la bonne réponse ?
A-t-elle listé les bonnes sources ?
Ces sources ont-elles réellement fait le gros du travail ?

Si vous ne vérifiez que les points #1 et #2, vous pourriez penser que l'IA est digne de confiance. Mais si vous vérifiez le point #3, vous pourriez réaliser que l'IA est en réalité influencée par des documents « fantômes » qu'elle ne vous a jamais présentés.

5. La Limite de la « Boîte Noire »

L'article admet une petite limite : pour mesurer l'influence parfaitement, il faut généralement voir le « processus de pensée » interne de l'IA (les probabilités mathématiques). Comme leur système ne pouvait pas voir à l'intérieur du cerveau de l'IA, ils ont utilisé un contournement ingénieux : ils ont simplement comparé les phrases finales avant et après le retrait d'un livre.

Analogie : Au lieu d'écouter la combustion interne du moteur, ils ont simplement vérifié si la voiture se déplaçait différemment lorsqu'on retirait une pièce. Ce n'est pas aussi précis que de regarder sous le capot, mais c'est une très bonne estimation.

Résumé

ProvenAI est un outil qui nous empêche d'être dupés par une jolie liste de citations. Il prouve que dans l'IA, ce qui est cité n'est pas toujours ce qui est utilisé. En testant ce qui se passe lorsqu'on retire une source, il révèle les « fantômes » cachés dans la machine qui dirigent réellement les réponses.

Résumé Technique : ProvenAI

Énoncé du Problème
Les systèmes de génération augmentée par récupération (RAG) fournissent systématiquement des citations aux côtés des réponses générées pour établir un ancrage factuel. Cependant, l'article soutient que la présence d'une citation ne confirme pas que la source citée a significativement façonné la sortie. Les métriques d'évaluation actuelles ont tendance à fusionner la justesse de la réponse, la fidélité de la citation et l'influence des ressources en scores uniques, occultant ainsi des informations diagnostiques critiques. Plus précisément, un modèle peut citer des sources correctes tout en étant piloté par un contexte récupéré non cité, ou peut générer une réponse correcte tout en citant des sources non pertinentes. Ce fossé entre l'évidence « citée » et l'évidence « influente » est particulièrement problématique dans les applications de sécurité et de criminalistique où la responsabilité exige un enregistre vérifiable de ce qui a réellement façonné une conclusion.

Méthodologie
ProvenAI n'est pas un nouveau modèle génératif, mais une infrastructure de mesure conçue pour décomposer la transparence dans le questionnement multi-étapes en trois couches mesurables de manière indépendante. Le système opère sur le benchmark de distracteurs HotpotQA via un pipeline en sept étapes :

Normalisation des Données : Conversion des enregistrements HotpotQA en artefacts locaux stables (JSONL) et construction d'un corpus de récupération canonique de 509 300 passages.
Récupération et Génération : Utilisation de la récupération de passages denses (FAISS avec des plongements all-MiniLM-L6-v2) et d'un chemin d'inférence local (Qwen2.5-3B-Instruct) pour générer des réponses avec citations via des balises intégrées.
Audit de Citation : Évaluation de l'alignement des titres cités avec les faits de référence (gold supporting facts) via la similitude de Jaccard.
Estimation de l'Influence : Application d'une stratégie d'ablation de type « laisser un ressource de côté » (leave-one-resource-out). Pour chaque document récupéré $r_i$ , le système régénère la réponse et l'ensemble de citations sans $r_i$ pour mesurer le changement de la sortie.
Assignation de Verdict : Les documents sont classés en quatre catégories basées sur une fonction mesurable $V$ $V$ combinant le statut de citation et un proxy d'influence $\phi(r_i)$ $ϕ (r_{i})$ :
- UTILISÉ (USED) : Cité et influent.
- CITATION HALLUCINÉE (HALLUCINATED CITATION) : Cité mais non influent.
- NON CITÉ MAIS INFLUENT (UNCITED INFLUENTIAL) : Non cité mais influent.
- FAIBLE INFLUENCE (LOW INFLUENCE) : Ni cité ni influent.

Composants Techniques Clés

Fidélité de la Citation : Mesurée via la similitude de Jaccard de l'ensemble de jetons entre les titres cités et les titres de référence, évaluée sous des correspondances exactes ( $\tau=1$ ) et sémantiques ( $\tau=0,34$ ).
Proxy d'Influence : Puisque le backend d'inférence local (MLX) n'expose pas les probabilités par jeton requises pour le calcul direct de la divergence KL, le système utilise un proxy de surface $\phi(r_i)$ . Ce proxy agrège la distance de Jaccard entre les chaînes de réponse originales et ablées ( $\Delta a$ ) et les ensembles de citations ( $\Delta c$ ), pondérés respectivement à 0,8/0,2.
Fondement Théorique : L'article formalise la relation entre ce proxy de surface et la cible de divergence KL au niveau du jeton. La Proposition 1 établit que sous un décodage quasi déterministe, un changement de réponse non nul ( $\Delta a > 0$ ) certifie un décalage de la divergence KL strictement positif, faisant du proxy un indicateur robuste (bien qu'unilatéral) de déplacement de distribution.
Traçabilité : Le système intègre le Model Context Protocol (MCP) pour enregistrer des graphes de traces d'accès aux ressources, liant les artefacts de récupération au processus de génération.

Résultats
Évalué sur 7 405 exemples de validation de la division distracteur de HotpotQA, ProvenAI produit les métriques agrégées suivantes :

Précision de la Réponse : 53,53 %
Fidélité Moyenne de la Citation : 71,55 %

L'écart significatif de 18 points entre la fidélité de la citation et la précision de la réponse démontre que les modèles identifient et citent fréquemment des titres de support corrects même lorsque la chaîne de réponse finale est incorrecte. Inversement, le système identifie les cas où la réponse est correcte mais où l'ensemble des citations est dégradé.

L'article met en évidence un « fossé citation-influence » spécifique via une étude de cas (nationalité de Scott Derrickson / Ed Wood). Dans cet exemple, le modèle a obtenu un audit de citation parfait ( $F_\tau = 1,0$ ), pourtant l'ablation a révélé qu'une source citée avait une faible influence tandis que sept sources non citées ont manifestement modifié la sortie. Cela confirme que l'ensemble des citations observables et le profil de sensibilité empirique peuvent diverger substantiellement.

Signification et Revendications
L'article soutient qu'une transparence significative dans le questionnement (QA) fondé sur la récupération nécessite des liens traçables à travers trois couches distinctes : l'évidence récupérée, l'évidence citée et l'évidence comportementalement influente.

Décomposition de la Transparence : La contribution primaire est l'opérationnalisation de la transparence en trois couches indépendantes, arguant que fusionner ces éléments revient à rejeter des informations diagnostiques nécessaires.
Le Fossé Citation-Influence : Le travail caractérise un mode de défaillance spécifique où des audits de citation propres coexistent avec des profils d'influence complexes pilotés par un contexte non cité.
Raisonnement Natif de la Provenance : Le cadre relie l'audit basé sur la mesure aux architectures de provenance cryptographique. Il soutient que pour la découverte scientifique autonome, une piste d'audit ne doit pas seulement vérifier que les documents cités ont été récupérés (intégrité cryptographique), mais aussi vérifier que la sortie était réellement sensible à ces documents (sensibilité comportementale).
Limites : Les auteurs notent modestement que l'estimation actuelle de l'influence repose sur un proxy de surface en raison de l'absence de logits par jeton dans le backend local, et que l'attribution est actuellement limitée au niveau du titre du document plutôt qu'à l'implication (entailment) au niveau de la phrase.

ProvenAI établit que les mécanismes de citation actuels sont des proxys insuffisants pour l'influence et fournit un pipeline reproductible pour mesurer la divergence entre ce qu'un modèle prétend utiliser et ce qui conduit réellement sa production.