Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents
Diese Studie untersucht die Zuverlässigkeit von Zitations-URLs in großen Sprachmodellen und Forschungsagenten, stellt fest, dass ein signifikanter Anteil dieser Links halluziniert oder defekt ist, und stellt mit dem Open-Source-Tool `urlhealth` eine Lösung vor, die durch Selbstkorrektur die Rate ungültiger Zitationen drastisch reduziert.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beauftragen einen sehr gebildeten, aber manchmal etwas zu selbstbewussten Assistenten, eine lange Forschungsarbeit zu schreiben. Dieser Assistent (eine Künstliche Intelligenz) ist fantastisch darin, Texte zu formulieren und Fakten zu finden. Aber er hat eine seltsame Angewohnheit: Am Ende jedes Satzes fügt er Fußnoten mit Links hinzu, die beweisen sollen, woher die Information stammt.
Das Problem? Manchmal sind diese Links falsch. Sie führen ins Leere, zu einer Seite, die es nie gab, oder zu einer Seite, die längst verschwunden ist.
Diese Studie von Delip Rao und Kollegen untersucht genau dieses Phänomen bei den neuesten KI-Modellen (wie denen von Google, OpenAI und Anthropic). Hier ist die Erklärung der wichtigsten Punkte, einfach und mit ein paar bildhaften Vergleichen:
1. Das Problem: "Geister-Links"
Wenn die KI eine Behauptung aufstellt, sollte sie einen Link als Beweis liefern. Die Forscher haben über 200.000 dieser Links überprüft.
- Das Ergebnis: Etwa 3 bis 13 % dieser Links sind "Geister". Das bedeutet, sie haben in der digitalen Geschichte (im Internet-Archiv "Wayback Machine") nie existiert. Die KI hat sie sich einfach ausgedacht.
- Noch mehr Links sind kaputt: Insgesamt sind 5 bis 18 % der Links defekt. Das sind entweder die Geister (nie existent) oder "verrottete" Links (die Seite war mal da, ist aber jetzt weg).
Die Analogie: Stellen Sie sich vor, Sie gehen in ein Restaurant und der Kellner gibt Ihnen eine Speisekarte. Bei 10 von 100 Geräten steht dort "Himbeertorte", aber wenn Sie nachfragen, sagt der Koch: "Oh, die Himbeertorte gab es nie" (Geister-Link) oder "Die gab es, aber wir haben sie vor drei Jahren aus dem Menü genommen" (kaputter Link).
2. Wer macht mehr Fehler? Die "Deep Research"-Agenten
Es gibt zwei Arten von KI-Assistenten:
- Der schnelle Sucher: Sucht einmal, findet etwas und antwortet.
- Der "Deep Research"-Agent: Diese sind wie Detektive. Sie suchen mehrmals, lesen viele Seiten, fassen zusammen und schreiben lange Berichte.
Überraschende Erkenntnis: Die "Deep Research"-Agenten produzieren zwar viel mehr Links (sie sind fleißiger), aber sie machen häufiger Fehler beim Erfinden von Links.
- Warum? Man könnte sich das wie einen Schüler vorstellen, der für eine Hausarbeit 50 Quellen angibt. Je mehr Quellen er angibt, desto eher fälscht er vielleicht ein paar, um die Liste voll zu machen, statt nur die echten zu nutzen. Die KI versucht, einen komplexen Bericht zu schreiben, und "halluziniert" dabei Links, die gut aussehen, aber nicht echt sind.
3. Das Fachgebiet spielt eine Rolle
Nicht alle Themen sind gleich schwer zu recherchieren.
- Geschäftswelt & Technik: Hier sind die Links oft stabil. Die Webseiten ändern sich nicht so oft.
- Theologie & Medizin: Hier ist es chaotisch. Webseiten werden ständig umgebaut, alte Studien verschwinden, und neue Regeln ändern sich. Hier machen die KI-Modelle am meisten Fehler.
- Vergleich: In der Theologie waren fast doppelt so viele Links kaputt wie im Bereich Business.
4. Der Unterschied zwischen "Verrottet" und "Erfindung"
Die Forscher haben zwei Arten von Fehlern unterschieden:
- Verrottete Links (Stale): Die Seite war mal echt, aber jetzt ist sie weg (wie ein alter Zeitungsartikel, der aus dem Regal genommen wurde). Das passiert oft bei KI, die wirklich gesucht hat, aber die Seite später offline ging.
- Geister-Links (Hallucinated): Die Seite hat nie existiert. Die KI hat die Adresse komplett erfunden. Das ist gefährlicher, weil es bedeutet, die KI hat gelogen, nicht nur veraltetes Wissen geliefert.
Interessanterweise machen manche Modelle (wie bestimmte OpenAI-Modelle) fast nur Geister-Links, während andere (wie Claude) eher echte, aber verrottete Links liefern.
5. Die Lösung: Der "Gesundheits-Check" für Links
Die Forscher haben ein kleines, kostenloses Werkzeug namens urlhealth entwickelt.
- Wie es funktioniert: Stellen Sie sich vor, Sie schicken Ihren KI-Assistenten los, um einen Bericht zu schreiben. Bevor er Ihnen den Bericht gibt, schickt er alle Links durch einen "Gesundheits-Check".
- Der Selbstkorrektur-Effekt: Wenn die KI merkt, dass ein Link tot ist, versucht sie, ihn zu ersetzen.
- Das Ergebnis: Mit diesem Tool sank die Zahl der kaputten Links drastisch – von bis zu 18 % auf unter 1 %.
Aber: Das funktioniert nur, wenn die KI klug genug ist, das Werkzeug auch richtig zu benutzen. Ein kleineres, weniger intelligentes Modell hat das Werkzeug zwar benutzt, aber ignoriert, wenn es sagte "Dieser Link ist kaputt", und hat einfach denselben falschen Link wiederholt.
Fazit für den Alltag
Diese Studie zeigt uns:
- Vertraue nicht blind den Links: Auch wenn eine KI einen Link neben einer Aussage hat, heißt das nicht, dass die Seite existiert.
- Je komplexer die Aufgabe, desto mehr Fehler: Wenn KI lange, detaillierte Berichte schreibt, steigt die Gefahr, dass sie Links erfindet.
- Es gibt eine Lösung: Wir können KI-Systeme so programmieren, dass sie ihre eigenen Links vor dem Absenden überprüfen. Das macht sie viel zuverlässiger.
Kurz gesagt: Die KI ist ein brillanter Autor, aber sie braucht einen Lektor, der nachschaut, ob die Fußnoten auch wirklich existieren. Das Tool urlhealth ist genau dieser Lektor.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.