Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory
Dieser Beitrag adressiert die Grenzen einer ergebnisbasierten Evaluation von Deep Research Agents durch die Einführung der PING-Taxonomie und des DeepHalluBench-Benchmarks, um eine prozessbewusste, fein granulierte Prüfung von Halluzinationen über den gesamten Forschungsverlauf hinweg zu ermöglichen, systemische Zuverlässigkeitslücken aufzudecken und handlungsleitende Erkenntnisse für architektonische Verbesserungen zu liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superklaren Forschungsassistenten ein, um die Antwort auf eine sehr knifflige Frage zu finden. Sie fragen ihn: „Wer ist die einzige Person, die einen Oscar für das Schauspiel in einem Film gewonnen hat, den sie auch selbst inszeniert hat?" Er geht los, durchsucht das Internet, liest Artikel und kehrt mit einem abschließenden Bericht zurück.
Die alte Methode zur Überprüfung ihrer Arbeit:
Früher, wenn Sie wissen wollten, ob Ihr Assistent gut ist, haben Sie einfach den abschließenden Bericht betrachtet. Wenn der Name richtig war, gab es einen goldenen Stern. Wenn der Name falsch war, gab es ein rotes X.
Das Problem:
Dieser Artikel argumentiert, dass es wie der Versuch ist, einen Koch nur am Geschmack der Suppe zu beurteilen, ohne zu beobachten, wie er sie zubereitet hat. Vielleicht schmeckte die Suppe schlecht, weil er das Salz vergessen hat (ein kleiner Fehler), oder vielleicht hat er eine verdorbene Tomate verwendet, die er im hinteren Teil des Kühlschranks gefunden hat (eine große Lüge), oder vielleicht hat er ganz einfach das falsche Gericht zu kochen begonnen, weil er Ihre Bestellung missverstanden hat.
Die Autoren sagen, dass aktuelle „Deep Research Agents" (KI-Forscher) Fehler während des Prozesses machen, aber weil wir nur die endgültige Antwort prüfen, sehen wir nicht wo oder warum sie gescheitert sind. Die Fehler verstecken sich in der Mitte.
Der neue Ansatz: Der „Prozess-Detektiv"
Die Autoren haben ein neues System namens DeepHalluBench entwickelt. Stellen Sie sich dies als eine transparente Küche vor, in der wir den Assistenten Schritt für Schritt beim Kochen beobachten können. Sie prüfen nicht nur die Suppe; sie prüfen jede Zutat, jeden Schnitt und jeden Rührvorgang.
Sie haben ein neues Regelwerk namens PING-Taxonomie erstellt, um die verschiedenen Arten zu kategorisieren, wie die KI verwirrt wird. Hier ist, was PING bedeutet, unter Verwendung einfacher Analogien:
P - Propagation (Der „Domino-Effekt"):
Stellen Sie sich vor, der Assistent macht in Schritt eins einen kleinen Fehler, zum Beispiel, er denkt: „Äpfel sind blau." In Schritt zwei nutzt er diese falsche Idee, um nach „Blauen Äpfeln" zu suchen. In Schritt drei schreibt er einen Bericht über „Blaue Äpfel". Die gesamte Kette von Ereignissen basiert auf dieser ersten Lüge. Dies ist Propagation. Der Artikel fand heraus, dass eine KI, sobald sie anfängt zu lügen, oft auf dieser Lüge aufbaut, wodurch der endgültige Bericht völlig falsch wird, selbst wenn die späteren Schritte „korrekt" basierend auf den falschen Informationen durchgeführt wurden.I - Intent (Die „missverstandene Bestellung"):
Sie haben nach einem „veganen" Rezept gefragt, aber der Assistent hat dieses Wort ignoriert und Ihnen ein Steak-Rezept gegeben. Oder Sie haben nach einem Bericht für „2023" gefragt, und er hat Ihnen einen aus „2010" gegeben. Der Assistent hat die Recherche durchgeführt, aber er hat nicht auf Ihre spezifischen Regeln gehört. Dies ist eine Intent-Halluzination.N - Noise-induced (Die „abgelenkte Bibliothekarin"):
Stellen Sie sich vor, der Assistent geht in die Bibliothek und findet 100 Bücher. 99 davon handeln von Katzen, aber eines handelt von dem spezifischen Hund, nach dem Sie gefragt haben. Der Assistent liest alle 99 Katzenbücher und ignoriert das eine Hundebuch, weil es im Stapel begraben ist. Er hat nicht gelogen, aber er hat den wichtigsten Hinweis verpasst. Dies ist eine Noise-induced-Halluzination.G - Grounding (Die „falsche Tatsache"):
Der Assistent schaut sich einen echten Artikel an, sagt dann aber: „Dieser Artikel besagt, dass der Mond aus Käse besteht." Der Artikel sagt tatsächlich nichts über Käse aus. Der Assistent erfindet Dinge oder gibt die falsche Quelle die Schuld. Dies ist eine Grounding-Halluzination.
Was sie gefunden haben (Die Ergebnisse)
Die Autoren testeten sechs berühmte KI-Forschungsassistenten (wie die von OpenAI, Google und anderen) mit ihrem neuen „Prozess-Detektiv"-System an 100 sehr schwierigen Fragen.
- Alle haben Schwierigkeiten: Selbst die besten KI-Assistenten machten Fehler in der Mitte ihrer Recherche. Keiner von ihnen war perfekt.
- Der „Domino" ist das größte Problem: Das gefährlichste Problem war nicht nur, eine Lüge zu erzählen, sondern dass die KI einen kleinen Fehler frühzeitig machte und dann der Rest der Recherche auf diesem Fehler aufbaute, was zu einem totalen Versagen führte.
- Sie bleiben beim ersten Gesehenen hängen: Die KI konzentriert sich stark auf die ersten paar Suchergebnisse, die sie findet (wie eine Person, die nur die erste Seite eines Buches liest und annimmt, sie kenne die ganze Geschichte). Wenn die Antwort auf Seite 50 steht, verpasst die KI sie oft.
- Sie bevorzugen „langweilige" Antworten: Wenn die KI fünf Artikel findet, die alle dasselbe sagen, liebt sie sie. Wenn sie einen einzigartigen Artikel findet, der etwas anderes sagt, ignoriert sie ihn oft.
Die Schlussfolgerung
Der Artikel kommt zu dem Schluss, dass es nicht ausreicht, die KI einfach „klüger" zu machen oder ihr mehr Internetzugang zu geben. Das Problem ist, wie die KI denkt, während sie sucht.
Um dies zu beheben, müssen wir KI bauen, die:
- Ihre eigenen Fehler frühzeitig erkennt (bevor sie zu einem Domino-Effekt werden).
- Besser auf die spezifischen Regeln hört, die Sie ihr geben.
- Nicht vom ersten Gesehenen abgelenkt wird, sondern weiter nach der besten Antwort sucht.
Kurz gesagt: Wir können den endgültigen Bericht nicht mehr nur benoten. Wir müssen den ganzen Film ansehen, um zu verstehen, warum die KI gescheitert ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.