💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI führt ein neuartiges Framework ein, das die Transparenz bei der Retrieval-Augmented Question Answering durch deren Zerlegung in drei unabhängig messbare Schichten – Antwortkorrektheit, Zitationstreue und Dokumenteneinfluss – erhöht, um kritische Lücken zwischen zitierten Quellen und der tatsächlichen Evidenz, die Modell-Outputs antreibt, aufzudecken.

Ursprüngliche Autoren: Mohammad Faizan, Dalal Alharthi

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Faizan, Dalal Alharthi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr klugen, belesenen Bibliothekar, eine schwierige Frage zu beantworten. Um dies zu tun, nimmt der Bibliothekar einen Stapel von zehn Büchern aus dem Regal, liest sie und schreibt Ihnen eine Antwort. Am Ende der Antwort schreibt der Bibliothekar ein „Referenzen“-Verzeichnis auf, erwähnt aber nur zwei der zehn Bücher, die er tatsächlich in der Hand hielt.

ProvenAI ist ein neues System, das genau das prüft, was in diesem Szenario passiert ist. Es fragt: Hat der Bibliothekar tatsächlich diese zwei Bücher benutzt, um die Antwort zu schreiben? Oder haben die anderen acht Bücher die Geschichte heimlich beeinflusst, ohne erwähnt zu werden?

Hier ist eine einfache Aufschlüsselung, wie die Arbeit funktioniert, unter Verwendung alltäglicher Analogien.

1. Das Problem: Die Illusion der „falschen Zitierung“

In der Welt der KI zeigen Systeme Ihnen oft eine Liste von Quellen (Zitate), um zu beweisen, dass sie sich nichts ausdenken. Aber das Paper argumentiert, dass eine Zitierliste wie ein Kassenbon ist, der nicht zum Einkaufswagen passt.

Nur weil der Bibliothekar behauptet, Buch A und Buch B verwendet zu haben, bedeutet das nicht, dass diese Bücher die Geschichte tatsächlich geprägt haben.

Die Realität: Der Bibliothekar könnte stark von Buch C, D und E beeinflusst worden sein (die er nicht aufgelistet hat), während Buch A und B kaum eines Blickes gewürdigt wurden.
Die Lücke: Das Paper nennt dies die „Citation-Influence Gap“ (Zitations-Einfluss-Lücke). Es ist der Unterschied zwischen dem, was die KI zu verwenden behauptet (das Zitat), und dem, worauf sie sich tatsächlich verlassen hat, um ihre Antwort zu formulieren (den Einfluss).

2. Die Lösung: ProvenAI's Drei-Schichten-Audit

Anstatt nur zu prüfen, ob die Antwort richtig ist, unterteilt ProvenAI die Transparenz in drei separate Schichten, ähnlich wie man ein Auto auf drei verschiedene Arten überprüft:

Schicht 1: Ist die Antwort korrekt? (Das Ziel)
- Analogie: Ist das Auto tatsächlich an der richtigen Adresse angekommen?
- Was geprüft wird: Entspricht die endgültige Antwort der bekannten Wahrheit?
Schicht 2: Ist die Zitierung ehrlich? (Der Kassenbon)
- Analogie: Ist der Fahrer tatsächlich an den Tankstellen gestoppt, die auf seinem Beleg stehen?
- Was geprüft wird: Enthalten die Bücher, die die KI aufgelistet hat, tatsächlich die Fakten, die sie behauptet?
Schicht 3: Was hat den Ausschlag gegeben? (Der Motor)
- Analogie: Wenn wir das Auto auseinandernehmen und ein spezifisches Motorteil entfernen würden, würde das Auto dann immer noch fahren?
- Was geprüft wird: Dies ist der einzigartige Teil. Das System nimmt die Antwort der KI, entfernt ein spezifisches Buch aus dem Stapel und bittet die KI, die Antwort erneut zu schreiben. Wenn sich die Antwort ändert, war dieses Buch einflussreich. Wenn die Antwort gleich bleibt, war dieses Buch nur „Dekoration“.

3. Das „Zaubertrick“-Experiment

Die Forscher testeten dies an einem berühmten Puzzle-Datensatz namens HotpotQA, bei dem Fragen erfordern, Verbindungen zwischen mehreren Dokumenten herzustellen.

Das Setup: Sie ließen die KI mit 7.405 Fragen laufen.
Die Überraschung: Die KI lieferte etwa 53 % der Zeit die richtige Antwort, zitierte aber in 71 % der Fälle die korrekten Quellen. Das bedeutet, die KI war oft gut darin, die richtigen Bücher zu finden, aber schlecht darin, sie zu nutzen, um den endgültigen Satz zu schreiben.
Der Fallbeispiel zur „Citation-Influence Gap“:
- Sie betrachteten eine spezifische Frage über zwei Filmregisseure.
- Die KI zitierte zwei Bücher perfekt. Der „Kassenbon“ war zu 100 % sauber.
- ABER, als sie eines dieser zitierten Bücher entfernten, änderte sich die Antwort nicht.
- UND, als sie sieben andere Bücher entfernten, die die KI gar nicht einmal zitiert hatte, änderte sich die Antwort doch.
- Fazschluss: Die KI verließ sich heimlich auf die nicht zitierten Bücher, um die richtige Antwort zu erhalten, während die zitierten Bücher nur „Fensterschmuck“ waren.

4. Warum das wichtig ist (ohne Fachjargon)

Das Paper argumentet, dass wir nicht einfach nur auf einen Wert (wie „Genauigkeit“) schauen können, um einer KI zu vertrauen. Wir müssen das ganze Bild sehen:

Hat sie die richtige Antwort bekommen?
Hat sie die richtigen Quellen aufgelistet?
Haben diese Quellen tatsächlich die Hauptarbeit geleistet?

Wenn man nur #1 und #2 prüft, könnte man glauben, die KI sei vertrauenswürdig. Aber wenn man #3 prüft, könnte man feststellen, dass die KI tatsächlich von „Geisterdokumenten“ beeinflusst wird, die sie einem nie verraten hat.

5. Die „Black Box“-Einschränkung

Das Paper gibt eine kleine Einschränkung zu: Um den Einfluss perfekt zu messen, müsste man normalerweise den internen „Denkprozess“ (die mathematischen Wahrscheinlichkeiten) der KI sehen können. Da ihr System nicht in das Gehirn der KI schauen konnte, nutzten sie einen cleveren Umweg: Sie verglichen einfach die endgültigen Sätze vor und nach dem Entfernen eines Buches.

Analogie: Anstatt die interne Verbrennung des Motors zu hören, prüften sie einfach, ob sich das Auto anders bewegte, wenn man ein Teil entfernte. Es ist nicht so präzise wie unter die Motorhaube zu schauen, aber es ist eine sehr gute Vermutung.

Zusammenfassung

ProvenAI ist ein Werkzeug, das verhindert, dass wir von einer hübschen Liste von Zitaten getäuscht werden. Es beweist, dass in der KI das, was zitiert wird, nicht immer das ist, was genutzt wird. Durch das Testen dessen, was passiert, wenn man eine Quelle entfernt, enthüllt es die verborgenen „Geister“ in der Maschine, die tatsächlich die Antworten steuern.

Technisches Resümee: ProvenAI

Problemstellung
Retrieval-Augmented-Generation-Systeme (RAG) liefern routinemäßig Zitate neben generierten Antworten, um faktische Fundierung zu gewährleisten. Das Paper argumentiert jedoch, dass das Vorhandensein eines Zitats nicht bestätigt, dass die zitierte Quelle die Ausgabe maßgeblich beeinflusst hat. Aktuelle Evaluierungsmetriken führen Antwortkorrektheit, Zitattrreue und Ressourcen-Einfluss oft in einzelnen Scores zusammen, wodurch kritische diagnostische Informationen verschleiert werden. Speziell kann ein Modell korrekte Quellen zitieren, während es von unzitiertem, abgerufenem Kontext gesteuert wird, oder es kann eine korrekte Antwort generieren, während es irrelevante Quellen zitiert. Diese Lücke zwischen „zitierten“ Belegen und „einflussreichen“ Belegen ist besonders problematisch in Sicherheits- und Forensikanwendungen, bei denen Rechenschaftspflicht eine verifizierbare Aufzeichnung dessen erfordert, was tatsächlich zu einem Schluss geführt hat.

Methodik
ProvenAI ist kein neues generatives Modell, sondern eine Messinfrastruktur, die darauf ausgeint ist, die Transparenz in der Multi-Hop-Fragebeantwortung in drei unabhängig messbare Schichten zu zerlegen. Das System operiert auf dem HotpotQA Distractor-Benchmark über eine siebenstufige Pipeline:

Daten-Normalisierung: Konvertierung von HotpotQA-Datensätzen in stabile lokale Artefakte (JSONL) und Aufbau eines kanonischen Retrieval-Korpus von 509.300 Passagen.
Retrieval & Generierung: Verwendung von Dense Passage Retrieval (FAISS mit all-MiniLM-L6-v2 Embeddings) und einem lokalen Inferenzpfad (Qwen2.5-3B-Instruct), um zitataware Antworten mit Inline-Tags zu generieren.
Zitataudit: Evaluierung, ob die zitierten Titel mit den Gold-Supporting-Fakten übereinstimmen, mittels Jaccard-Ähnlichkeit.
Einflussschätzung: Anwendung einer „Leave-one-resource-out“-Ablationsstrategie. Für jedes abgerufene Dokument $r_i$ regeneriert das System die Antwort und das Zitat-Set ohne $r_i$ , um die Verschiebung der Ausgabe zu messen.
Urteilszuweisung: Dokumente werden basierend auf einer messbaren Funktion $V$ $V$ , die den Zitatstatus und einen Einfluss-Proxy $\phi(r_i)$ $ϕ (r_{i})$ kombiniert, in vier Kategorien klassifiziert:
- USED (Genutzt): Zitiert und einflussreich.
- HALLUCINATED CITATION (Halluziniertes Zitat): Zitiert, aber nicht einflussreich.
- UNCITED INFLUENTIAL (Unzitiert, aber einflussreich): Nicht zitiert, aber einflussreich.
- LOW INFLUENCE (Geringer Einfluss): Weder zitiert noch einflussreich.

Wichtige technische Komponenten

Zitattrreue (Citation Fidelity): Gemessen über die Token-Set-Jaccard-Ähnlichkeit zwischen zitierten Titeln und Gold-Supporting-Titeln, evaluiert unter sowohl exakter ( $\tau=1$ ) als auch semantischer ( $\tau=0,34$ ) Übereinstimmung.
Einfluss-Proxy: Da das lokale Inferenz-Backend (MLX) keine pro-Token-Wahrscheinlichkeiten für eine direkte KL-Divergenz-Berechnung exponiert, verwendet das System einen Oberflächen-Proxy $\phi(r_i)$ . Dieser Proxy aggregiert die Jaccard-Distanz zwischen der ursprünglichen und der ablativen Antwort-String ( $\Delta a$ ) sowie den Zitat-Sets ( $\Delta c$ ), gewichtet mit 0,8/0,2.
Theoretische Fundierung: Das Paper formalisiert die Beziehung zwischen diesem Oberflächen-Proxy und dem Token-Level-KL-Divergenz-Ziel. Proposition 1 etabliert, dass unter nahezu deterministischer Dekodierung eine nicht-null Antwortänderung ( $\Delta a > 0$ ) eine strikt positive KL-Verschiebung zertifiziert, was den Proxy zu einem soliden (wenn auch einseitigen) Indikator für distributional displacement macht.
Rückverfolgbarkeit: Das System integriert das Model Context Protocol (MCP), um Trace-Graphen des Ressourcen-Zugriffs aufzuzeichnen und so Retrieval-Artefakte mit dem Generierungsprozess zu verknüpfen.

Ergebnisse
Evaluiert auf 7.405 Validierungsbeispielen des HotpotQA Distractor-Splits, liefert ProvenAI die folgenden aggregierten Metriken:

Antwortgenauigkeit (Answer Accuracy): 53,53 %
Mittlere Zitattrreue (Mean Citation Fidelity): 71,55 %

Die signifikante 18-Prozentpunkte breite Lücke zwischen Zitattrreue und Antwortgenauigkeit zeigt, dass Modelle häufig korrekte unterstützende Titel identifizieren und zitieren, selbst wenn der endgültige Antwort-String inkorrekt ist. Umgekehrt identifiziert das System Fälle, in denen die Antwort korrekt ist, das Zitat-Set jedoch degradiert ist.

Das Paper hebt eine spezifische „Zitier-Einfluss-Lücke“ durch eine Fallstudie (Scott Derrickson / Ed Wood Nationalität) hervor. In diesem Beispiel erreichte das Modell ein perfektes Zitataudit ( $F_\tau = 1,0$ ), doch die Ablation enthüllte, dass eine zitierte Quelle schwachen Einfluss hatte, während sieben unzitierte Quellen die Ausgabe demonstrativ verschoben. Dies bestätigt, dass das beobachtbare Zitat-Set und das empirische Sensitivitätsprofil erheblich divergieren können.

Bedeutung und Ansprüche
Das Paper behauptet, dass eine sinnvolle Transparenz in der retrieval-basierten QA eine Rückverfolgbarkeit über drei distinkte Schichten erfordert: abgerufene Evidenz, zitierte Evidenz und verhaltensrelevante, einflussreiche Evidenz.

Dekomposition der Transparenz: Der primäre Beitrag ist die Operationalisierung von Transparenz in drei unabhängige Schichten, wobei argumentiert wird, dass die Zusammenfassung dieser Schichten notwendige diagnostische Informationen verwirft.
Die Zitier-Einfluss-Lücke: Die Arbeit charakterisiert einen spezifischen Fehlermodus, bei dem saubere Zitataudits mit komplexen Einflussprofilen koexistieren, die durch unzitierten Kontext getrieben werden.
Provenienz-native Argumentation: Das Framework verbindet messbasierte Auditierung mit kryptographischen Provenienz-Architekturen. Es argumentiert, dass für die autonome wissenschaftliche Entdeckung ein Audit-Trail nicht nur verifizieren muss, dass zitierte Dokumente abgerufen wurden (kryptographische Integrität), sondern auch, dass die Ausgabe tatsächlich sensitiv auf diese Dokumente reagiert hat (behaviorale Sensitivität).
Limitierungen: Die Autoren merken bescheiden an, dass die aktuelle Einfluss-Schätzung auf einem Oberflächen-Proxy basiert, da die per-Token-Logits im lokalen Backend fehlen, und dass die Attribution derzeit auf der Dokument-Titel-Ebene beschränkt ist statt auf Satz-Ebene (Entailment).

ProvenAI etabliert, dass aktuelle Zitier-Mechanismen unzureichende Proxies für Einfluss sind, und bietet eine reproduzierbare Pipeline, um die Diskrepanz zwischen dem, was ein Modell zu verwenden vorgibt, und dem, was tatsächlich seine Ausgabe steuert, zu messen.