Auditing LLM-mediated interpretation through source-to-claim documentation

In den Geistes- und Sozialwissenschaften verlassen sich Forscher seit langem auf eine einfache, aber kraftvolle Idee: Wenn man verstehen will, wie ein Schlussfolgerung zustande gekommen ist, muss man in der Lage sein, den Pfad vom ursprünglichen Beleg bis zur endgültigen Behauptung nachzuverfolgen. Dieser Pfad wird oft als „Audit Trail“ (Prüfpfad) bezeichnet. Er ist eine Aufzeichnung der getroffenen Entscheidungen, der gemachten Notizen und der gefolgten Schritte, die sicherstellt, dass ein anderer Wissenschaftler dasselbe Material betrachten und sehen kann, wie die Interpretation aufgebaut wurde. Jahrzehntelang war dieser Prozess von Mensch zu Mensch geprägt, wobei ein Forscher einen Text liest, eine Passage markiert und eine Analyse schreibt. Doch nun ist ein neues Werkzeug in den Raum getreten: generative künstliche Intelligenz. Diese Systeme können einen Text lesen und augenblicklich einen flüssigen Absatz schreiben, der ihn zusammenfasst oder interpretiert. Das Problem ist, dass dieser Speed mit einem versteckten Preis einhergeht. Die KI erzeugt einen glatten, polierten Satz, der die unordentliche Arbeit der Transformation verbirgt, die innerhalb der Maschine stattfand. Ein Leser sieht die endgültige Behauptung, kann aber nicht sehen, wie die Maschine die ursprünglichen Worte in diese spezifische Schlussfolgerung verwandelt hat. Schlimmer noch: Da diese KI-Systeme auf Servern gehostet werden, die sich im Besitz von Unternehmen befinden, können die Forscher die exakt gleiche Berechnung später nicht einfach „neu ausführen“. Die Software könnte sich ändern, oder dieselbe Frage könnte beim nächsten Mal eine etwas andere Antwort liefern. Dies schafft eine Lücke im Audit Trail und lässt die Verbindung zwischen dem Beleg und der Behauptung fragil und schwer verifizierbar werden.

Um dies zu lösen, schlug ein Team von Forschern der University of Minnesota und des Georgia Institute of Technology eine neue Arbeitsweise namens „Source-to-Claim Documentation“ (Quell-zu-Behauptung-Dokumentation) vor. Anstatt nur zu sagen: „Wir haben eine KI verwendet“, schlagen sie vor, eine vollständige, verknüpfte Kette von Aufzeichnungen zu führen, die genau zeigt, wie ein Stück Evidenz zu einer analytischen Behauptung wurde. Dieses Framework listet nicht nur die verwendeten Werkzeuge auf; es bewahrt die spezifische Reise jedes einzelnen generierten Textes. Die Forscher testeten diese Idee in einem kontrollierten Experiment, bei dem sie zwölf einfache Sätze als Ausgangsmaterial erstellten. Sie baten zwei verschiedene Versionen eines KI-Modells, diese Sätze umzuformulieren und kurze interpretative Notizen dazu zu schreiben. Das Ziel war nicht zu sehen, welche KI klüger war, sondern ob ihre neue Dokumentationsmethode Fehler aufdecken konnte, die andernfalls unbemerkt geblieben wären. Sie fanden heraus, dass die KI oft subtile, aber signifikante Änderungen vornahm, die oberflächlich betrachtet harmlos wirkten. Wenn der Ausgangssatz beispielsweise besagte, eine Frau habe ihre Notizen einer Freundin „geliehen“, schrieb die KI sie wiederholt so um, dass sie die Notizen der Freundin „gegeben“ habe. Im realen Kontext impliziert „leihen“, dass der Gegenstand zurückgegeben wird, während „geben“ einen dauerhaften Besitz impliziert. Die KI vollzog diesen Austausch jedes Mal und produzierte identische, flüssige Sätze, die korrekt klangen, aber tatsächlich die Bedeutung des ursprünglichen Belegs verändert hatten.

Die Stärke der neuen Methode wurde deutlich, als die Forscher tiefer als den fertigen Text blickten. Sie führten einen Schritt ein, bei dem sie die KI baten, neben dem umformulierten Text auch eine strukturierte Karte der Bedeutung des Satzes zu erstellen. Diese Karte fungierte wie ein Bauplan, der die Beziehungen zwischen den Wörtern aufzeigt. Als die Forscher den Bauplan mit dem Originalsatz verglichen, trat der Fehler deutlich hervor: Die Karte zeigte die Handlung immer noch als „leihen“ an, obwohl der fertige Absatz von „geben“ sprach. Dies offenbarte, dass die KI einen konsistenten Fehler gemacht hatte, den die flüssige Prosa erfolgreich verborgen hatte. Die Forscher stellten auch fest, dass die KI, wenn sie interpretative Notizen schrieb, manchmal Ideen hinzufügte, die nicht im Originaltext enthalten waren – etwa das Erraten der Motivation einer Person, obwohl sie angewiesen war, das Quellmaterial direkt zu zitieren. Indem sie den Originalsatz, den Rohoutput der KI, die strukturierte Karte und die menschliche Überprüfung alle in einem einzigen Archiv verknüpften, konnten die Forscher genau sehen, wo sich die Bedeutung verschob. Sie entdeckten, dass es nicht ausreichte, lediglich zu prüfen, ob zwei KI-Durchläufe dasselbe Ergebnis lieferten, da die KI mit sich selbst übereinstimmen konnte, während beide Durchläufe falsch waren.

Die Studie beinhaltete acht menschliche Leser, die die Arbeit der KI überprüften. Diese Leser bestätigten, dass die umformulierten Sätze der KI zwar oft der Originalquelle sehr ähnlich sahen, aber häufig die Bedeutung in einer Weise veränderten, die relevant war. In einem spezifischen Fall, der einen Satz über ein Darlehen betraf, identifizierten die Leser, dass die Änderung von „leihen“ zu „geben“ in mehr als der Hälfte der Bewertungen eine signifikante Verzerrung darstellte. Die Forscher testeten auch, ob ihre Methode mit Änderungen am KI-System selbst umgehen konnte. Sie führten das Experiment mit zwei verschiedenen Versionen des KI-Modells durch, die zeitlich Monate auseinanderlagen. Obwohl die Modelle unterschiedlich waren, ermöglichte die Dokumentationsmethode ihnen, die Historie der Behauptung nachzuvollziehen und zu sehen, wie die Evidenz in jedem Fall transformiert wurde. Das Kernergebnis war, dass das Framework erfolgreich den „evidentiellen Pfad“ bewahrte. Es erlaubte einem späteren Forscher, die Behauptung zu betrachten, den Link zurück zum Rohoutput der KI zu verfolgen und dann die strukturierte Karte zu prüfen, um zu sehen, ob die Bedeutung bewahrt wurde. Dieser Prozess erforderte nicht, dass der Forscher der KI vertraute oder den fertigen Text für perfekt hielt; er erforderte lediglich, dass er die vollständige Aufzeichnung darüber besaß, wie der Text entstanden ist.

Dieser Ansatz bietet einen praktischen Weg für Forscher, die KI nutzen möchten, ohne die Fähigkeit zu verlieren, ihre Arbeit zu verifizieren. Die Forscher schlagen vor, dass das Ausmaß der Dokumentation der Bedeutung der Behauptung entsprechen sollte. Für eine private Notiz oder eine Übung im Unterricht mag eine einfache Aufzeichnung der Quelle und des Prompts ausreichen. Aber für einen veröffentlichten Artikel oder einen Datensatz, der für andere bestimmt ist, sollte die gesamte Evienzkette – einschließlich des Rohoutputs, der strukturierten Prüfungen und der menschlichen Überprüfung – gespeichert werden. Dies bedeutet nicht, dass jeder einzelne Satz einer vollständigen Prüfung unterzogen werden muss, aber es bedeutet, dass wenn eine Behauptung auf der Interpretation einer KI beruht, der Pfad von den ursprünglichen Worten zu dieser Behauptung sichtbar bleiben muss. Die Studie zeigte, dass ohne diese Sichtbarkeit flüssige Prosa Fehler leicht verbergen kann und dass die wiederholte Übereinstimmung zwischen KI-Durchläufen ein falsches Gefühl der Sicherheit vermitteln kann. Indem sie die Verbindungen zwischen der Quelle, der Maschine und dem menschlichen Prüfer intakt halten, können Forscher sicherstellen, dass ihre Schlussfolgerungen auf einem Fundament stehen, das von jedem, der dem Pfad folgt, inspiziert, hinterfragt und verstanden werden kann.