Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection
Dieses Paper stellt CiteTracer vor, ein Multi-Agenten-Framework, das die Detektion von Zitathalluzinationen als eine nach einer Taxonomie ausgerichtete, auf Feldebene stattfindende Adjudikation umdeutet, um durch strukturierte Extraktion, Multi-Quellen-Evidenzabruf und spezialisierte Agenten-Argumentation eine hochgenaue Verifizierung wissenschaftlicher Referenzen zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine riesige, belebte Bibliothek, in der jedes Buch eine wissenschaftliche Arbeit ist. In dieser Bibliothek ist nicht nur die Geschichte im Buch das Wichtigste, sondern die „Brotkrumen“, die es hinterlässt – Zitate. Dies sind die kleinen Notizen, die sagen: „Ich habe diese Idee von diesem Buch dort drüben bekommen.“ Sie sind die Karte, die es anderen Entdeckern ermöglicht, den ursprünglichen Schatz zu finden. Doch in letzter Zeit ist ein neuer Typ von Bibliothekar eingetroffen: ein superintelligenter Roboter, der Geschichten schneller schreiben kann als jeder andere. Das Problem ist, dass dieser Roboter manchmal so begeistert davon ist, eine gute Geschichte zu erzählen, dass er seine eigenen Brotkrumen erfindet. Er schreibt vielleicht einen Buchtitel auf, der echt klingt, einen Autor, der berühmt klingt, oder ein Jahr, das Sinn ergibt, aber wenn man versuchen würde, zu jenem Regal zu gehen, ist das Buch dort einfach nicht zu finden. Es ist eine „Halluzination“ – eine überzeugende Lüge, die echt aussieht, bis man die Fakten überprüft.
Dies ist eine große Sache, denn die Wissenschaft basiert auf Vertrauen. Wenn ein Forscher die Quelle nicht finden kann, die ein Paper zu verwenden behauptet, bricht die gesamte Beweiskette zusammen. Bisher waren Werkzeuge, die darauf ausgelegt waren, diese gefakten Brotkrumen zu entlarven, wie Türsteher in einem Club mit einer einfachen Regel: „Du bist drin oder du bist draußen.“ Sie prüften, ob ein Buch existierte, aber wenn das Buch unter einem leicht anderen Namen existierte oder der Name des Autors seltsam geschrieben war, wurde der Türsteher verwirrt und ließ entweder eine Fälschung rein oder warf ein echtes Buch raus. Sie konnten nicht zwischen einem Tippfehler, einem Spitznamen und einer kompletten Erfindung unterscheiden.
Hier kommt CITETRACER ins Spiel, ein neues Team von digitalen Detektiven, das von den Forschern Mingzhe Li, Zhiqiang Lin und Shiqing Ma entwickelt wurde. Anstatt nur zu fragen „Ist das gefälscht?“, haben sie ein viel klügeres System geschaffen, das fragt: „Was genau ist hier falsch?“ Sie erkannten, dass Zitate aus verschiedenen Teilen bestehen – wie dem Titel, dem Autor, dem Jahr und dem Verlag – und dass ein Fehler in einem Teil nicht immer bedeutet, dass das Ganze eine Lüge ist.
Um dies zu lösen, hat das Team ein 12-Code-Regelwerk erstellt. Denken Sie an einen Verkehrspolizisten, der nicht nur „Stopp“ oder „Go“ sagt, sondern Ihnen ein spezifisches Bußgeld ausstellen kann: „Sie waren zu schnell“, „Sie haben eine rote Ampel überfahren“ oder „Sie haben Ihren Führerschein vergessen“. Ihr System sortiert Zitate in drei Hauptgruppen: REAL (perfekt oder nur ein wenig unordentlich), POTENTIAL (sieht okay aus, braucht aber einen zweiten Blick, wie ein Spitzname oder eine nicht-akademische Quelle) und HALLUCINATED (völlig erfunden).
Die Detektive arbeiten in einem vierstufigen Staffellauf. Zuerst fungiert ein Reference Extractor als hochmoderner Scanner, der den unordentlichen Text aus einem PDF liest und ihn in eine saubere, organisierte Liste von Fakten verwandelt. Als Nächstes geht ein Cascading Evidence Collector auf eine Schnitzeljagd. Er beginnt damit, einen schnellen Speicher-Cache zu prüfen, dann folgt er direkten Links (wie einem DOI), fragt dann spezialisierte akademische Datenbanken ab und führt schließlich, falls nötig, eine breite Websuche durch. Es ist, als würde man erst die eigenen Notizen prüfen, dann den Autor anrufen, dann den Bibliothekskatalog prüfen und schließlich die ganze Stadt fragen.
Sobiel sie die Beweise gesammelt haben, vergleicht ein Field Matcher die Behauptung des Roboters mit den echten Fakten, Stück für Stück. Wenn der Titel übereinstimmt, aber das Jahr abweicht, markiert er nur das Jahr. Sollte der Fall schwierig sein, tritt ein Gremium von Class-Specialist Judgers ein. Dies sind wie Expertenrichter, die auf verschiedene Arten von Fehlern spezialisiert sind. Ein Richter kümmert sich um die „Echt, aber unordentlich“-Fälle, ein anderer um die „Vielleicht echt“-Fälle und ein dritter um die „Völlig gefälschten“ Fälle.
Das Team testete sein System auf einem riesigen Spielplatz aus 2.450 selbst erstellten falschen und echten Zitaten sowie 957 realen Beispielen für gefakte Zitate, die bereits von Konferenzorganisatoren entdeckt worden waren. Die Ergebnisse waren beeindruckend: CITETRACER lag in 97,1 % der Fälle richtig in seinem Testset. Es war besonders gut darin, die kniffligen „gefälschten“ (98,5 % Genauigkeit) und die „vielleicht echten“ (95,8 % Genauigkeit) zu entlarven und übertraf damit andere Werkzeuge, die nur mit „Ja“ oder „Nein“ rätten, bei weitem. Als sie es auf das reale Chaos tatsächlicher Konferenz-Paper testeten, entlarvte es 97,1 % der fingierten Referenzen, ohne bei ihnen aufzugeben.
Kurz gesagt zeigt die Arbeit, dass wir durch die Zerlegung des Problems in winzige, spezifische Teile und die Verwendung eines Teams von Spezialisten statt eines Generalisten die Lügen des Roboters mit viel höherer Präzision erfassen können. Es verwandelt ein verschwommenes „Vielleicht gefälscht“ in ein klares „Hier ist genau das, was falsch ist“, und hilft dabei, die Bibliothek der Wissenschaft ehrlich zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.