Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
Dieser Beitrag stellt ein neuartiges Evaluierungsframework vor, das einen AST-Parser verwendet, um von LLMs generierte Forschungsberichte hinsichtlich der Gültigkeit von Links, der Relevanz und der faktischen Genauigkeit zu bewerten und dabei eine kritische Diskrepanz aufdeckt, bei der selbst fortschrittlichste Modelle zwar eine hohe Zugänglichkeit und Relevanz von Zitierungen aufweisen, jedoch Schwierigkeiten mit der faktischen Konsistenz haben, ein Problem, das mit zunehmender Abruftiefe verschärft wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen ein Team von superscharfsinnigen Forschungsassistenten (KI-Modellen) ein, um einen Bericht über ein komplexes Thema zu verfassen. Sie sagen ihnen: „Gehen Sie ins Internet, finden Sie die Wahrheit, schreiben Sie einen Bericht und stellen Sie sicher, dass Sie genau auflisten, wo Sie jeden einzelnen Fakt gefunden haben."
Das von Ihnen geteilte Papier ist wie ein Qualitätskontrolleur, der beschließt, die Hausaufgaben zu überprüfen, die diese KI-Assistenten eingereicht haben. Anstatt den Bericht einfach nur zu lesen und zustimmend zu nicken, baute der Kontrolleur einen speziellen Roboter, um jede einzelne Fußnote zu überprüfen, die die KI geschrieben hat.
Hier ist das Ergebnis, einfach erklärt:
Die dreistufige Inspektion
Die Forscher entwickelten ein System, um die Zitate der KI auf drei spezifische Arten zu überprüfen, wie eine dreiteilige Sicherheitskontrolle:
- Der „Ist die Tür offen?"-Check (Link funktioniert): Funktioniert der Link tatsächlich? Führt er, wenn Sie darauf klicken, zu einer Webseite, oder ist es ein kaputter 404-Fehler?
- Der „Geht es um dasselbe?"-Check (Relevanter Inhalt): Wenn der Link funktioniert, spricht die Webseite dann tatsächlich über das Thema, das die KI behauptet hat? (Beispiel: Die KI sagt „Dieser Link beweist, dass Katzen Hunde sind", aber der Link ist tatsächlich ein Rezept für Lasagne).
- Der „Ist es wahr?"-Check (Faktencheck): Dies ist der schwierigste Teil. Enthält die Webseite tatsächlich die spezifischen Fakten, Zahlen oder Daten, die die KI behauptet hat?
Die große Überraschung: Das „glänzende Verpackungs"-Problem
Die schockierendste Entdeckung ist, dass die KI-Assistenten bei den ersten beiden Checks hervorragend sind, aber bei dem dritten katastrophal versagen.
- Die Analogie: Stellen Sie sich einen Schüler vor, der einen Aufsatz schreibt und ein Literaturverzeichnis hinzufügt.
- In 94 % der Fälle existieren die Bücher im Literaturverzeichnis tatsächlich in den Regalen der Bibliothek (Link funktioniert).
- In 80 % der Fälle handeln diese Bücher tatsächlich von dem Thema, über das der Schüler schreibt (Relevanter Inhalt).
- Aber, wenn Sie das Buch tatsächlich öffnen und die spezifische Seite lesen, auf die sich der Schüler bezogen hat, stimmt das Buch nur in etwa 40 % bis 77 % der Fälle mit dem überein, was der Schüler behauptet hat, es sage.
Die Quintessenz: Die KI ist sehr gut darin, einen funktionierenden Link zu einer relevanten Webseite zu finden, aber sie lügt oft darüber, was diese Webseite sagt. Es ist wie ein Reiseleiter, der Sie immer zum richtigen Museum bringt, Ihnen dann aber die falsche Geschichte über die Exponate im Inneren erzählt.
Das „Mehr ist weniger"-Paradoxon
Die Forscher testeten auch, was passiert, wenn sie der KI befehlen, tiefer zu suchen und mehr Webseiten zu betrachten. Man könnte denken: „Wenn ich die KI bitte, 150 Webseiten statt nur 2 zu lesen, wird sie genauer sein, oder?"
Falsch.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen. Wenn Sie 2 Puzzleteile haben, können Sie das Bild leicht erkennen. Wenn jemand 150 Puzzleteile vor Sie kippt, werden Sie überwältigt. Sie beginnen vielleicht, Teile gewaltsam zusammenzufügen, die nicht passen, nur um das Bild fertigzustellen.
- Das Ergebnis: Als die KI gezwungen wurde, immer mehr Quellen zu betrachten (von 2 bis auf 150), sank ihre Fähigkeit, die Wahrheit zu sagen, tatsächlich um etwa 42 %. Die Links funktionierten noch immer, und die Themen waren immer noch relevant, aber die spezifischen Fakten wurden zu einem Durcheinander. Die KI bekam eine „Informationsüberflutung" und fing an, Details zu halluzinieren.
Wer hat gut abgeschnitten? Wer schlecht?
- Die „Frontier"-Modelle (Die Big-Tech-KIs): Diese Modelle (wie die von OpenAI, Anthropic und Google) waren sehr gut darin, Berichte zu erstellen, die perfekt aussahen. Sie fanden fast immer funktionierende Links und relevante Themen. Selbst die intelligentesten bekamen jedoch nur in etwa 39 % bis 77 % der Fälle die Fakten richtig.
- Die Open-Source-Modelle: Diese Modelle hatten noch größere Schwierigkeiten. Viele von ihnen konnten die Aufgabe, einen Bericht mit Zitaten zu schreiben, gar nicht einmal abschließen. Wenn sie es doch versuchten, waren sie viel schlechter darin, funktionierende Links zu finden und Fakten richtig darzustellen.
Das Fazit
Das Papier kommt zu dem Schluss, dass wir der KI-Forschung nicht einfach deshalb vertrauen können, weil sie am Ende eine Liste von Links enthält. Eine lange Liste funktionierender Links erzeugt ein „falsches Sicherheitsgefühl". Nur weil die Tür offen ist und der Raum der richtige ist, bedeutet das nicht, dass die Geschichte, die Ihnen die KI über das Innere des Raums erzählt, wahr ist.
Die Forscher bauten diesen „Inspektionsroboter", um uns zu helfen, diese Lücke zwischen einem Zitat, das gut aussieht, und einem Zitat, das tatsächlich wahr ist, zu erkennen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.