TRACE: Trustworthy Retrieval-Augmented Conversational Engine

Stellen Sie sich vor, Sie versuchen, einen ganz bestimmten, verborgenen Schatz in einem riesigen, unordentlichen Dachboden zu finden. Dieser Dachboden ist voller alter Kisten, von denen einige klar beschriftet sind, einige mit zerrissenen Etiketten und einige ganz ohne Etikett. Stellen Sie sich nun vor, Sie hätten einen superintelligenten Roboter-Assistenten, der es liebt, Geschichten zu erzählen. Wenn Sie den Roboter fragen: „Wo ist die Goldmünze im Dachboden?“, könnte er so begeistert davon werden, eine Geschichte über Goldmünzen zu erzählen, dass er einen Ort erfindet, der gar nicht existiert, oder auf eine Kiste zeigt, die eigentlich alte Socken enthält. Das ist das Problem vieler moderner KI-Chatbots: Sie sind großartig darin zu reden, aber manchmal erfinden sie Dinge, wenn sie nach echten Fakten suchen müssen.

Dieses Paper bewegt sich in der Welt der „Retrieval“ (Abruf), was nur ein schicker Begriff für den Akt der Informationssuche ist, bevor man eine Frage beantwortet. Es befasst sich auch mit „Constraints“ (Einschränkungen), also den spezifischen Regeln, die man einer Suche gibt, wie zum Beispiel „Suche nur in den roten Kisten“ oder „Suche nur in den Kisten aus dem Jahr 1990“. Die große Frage, die die Forscher stellen, lautet: Wenn wir den Suchteil so korrigieren, dass der Roboter nur in den echten Kisten auf dem Dachboden sucht, hört der Roboter dann auf, Geschichten zu erfinden? Sie wollen wissen, ob eine bessere Suchmaschine das Geheimrezept ist, um eine KI vertrauenswürdig zu machen, besonders wenn Menschen Hilfe bei der Suche nach realen Dienstleistungen wie Lebensmittelbanken benötigen.

Die Forscher haben ein neues System namens TRACE (Trustworthy Retrieval-Augmented Conversational Engine) entwickelt, um diese Idee zu testen. Denken Sie an TRACE als einen sehr strengen Bibliothekar, der sich weigert, den Roboter-Assistenten sprechen zu lassen, bis er physisch die Bibliothekskarten überprüft hat. Wenn ein Nutzer eine Frage stellt wie: „Wo kann ich in Sedgwick County Essen bekommen, wenn ich keinen Ausweis habe?“, lässt TRACE den Roboter nicht einfach raten. Zuer Sie zerlegt die Frage zuerst in zwei Teile: die „strukturellen“ Regeln (wie das spezifische County) und die „semantischen“ Regeln (wie die Anforderung bezüglich des Ausweises).

Um die richtigen Antworten zu finden, nutzt TRACE eine „duale“ Karte. Ein Teil der Karte ist ein Knowledge Graph (Wissensgraph), der wie ein Netz aus verbundenen Punkten ist, das genau zeigt, wo Dinge sind (Stadt → County → Tafel). Der andere Teil ist ein Vector Embedding (Vektor-Einbettung), das wie eine unscharfe Wolke aus Bedeutung ist, die die Textbeschreibungen darüber versteht, wer Hilfe erhalten kann. Das System nutzt zuerst das strikte Netz, um eine kleine Liste von Kandidaten zu finden, die den Standortregeln entsprechen. Dann prüft es die unscharfen Wolken, um zu sehen, ob diese Kandidaten auch die anderen Regeln erfüllen. Wenn die Liste leer ist, schnappt es sich die nächste Gruppe von Kandidaten und versucht es erneut. Erst wenn es eine verifizierte Liste hat, lässt es den KI-Chatbot die endgültige Antwort schreiben.

Das Team testete dieses System anhand eines echten Verzeichnisses von etwa 800 Lebensmittelbanken und einem Satz von 1.000 erfundenen Fragen, um zu sehen, wie gut es funktionierte. Sie testeten dies mit 15 verschiedenen KI-Modellen, die von winzig klein bis sehr groß reichten, und verglichen sie sogar mit einem berühmten „proprietären“ Modell (GPT 5.5). Sie testeten auch verschiedene Versionen ihrer „Karte“, einschließlich einer, die gar keinen Graphen hatte (nur reinen Text) und einer, die Standort und Öffnungszeiten zu einem Super-Graphen kombinierte.

Die Ergebnisse waren sehr deutlich und legen nahe, dass die Qualität der Suche wichtiger ist als die Größe des Gehirns hinter dem Chatbot. Als sie die beste Version ihrer Karte verwendeten (KG-3, die Standort und Öffnungszeiten kombinierte), wurde das System viel besser darin, die Regeln zu befolgen. Zum Beispiel sprang die durchschnittliche „Constraint Satisfaction“ (wie oft die Antwort tatsächlich den Regeln des Nutzers folgte) von etwa 64 % bei einer Basissuche auf fast 88 % mit der fortgeschrittenen Karte. Noch wichtiger ist, dass die Anzahl der Fälle, in denen die KI eine fiktive Lebensmittelbank erfand (eine „Halluzination“), drastisch sank, von etwa 10 % auf nur 2 %.

Vielleicht ist die interessanteste Erkenntnis, dass mit besser werdender Suche die Unterschiede zwischen der klügsten KI und der kleinsten KI zu verschwinden begannen. Wenn die Suche chaotisch war, waren die großen, teuren Modelle viel besser als die kleinen. Aber als die Suche streng und präzise war, performten selbst die winzigen Modelle fast so gut wie die Giganten. Dies deutet darauf hin, dass in Situationen, in denen man echte, verifizierte Informationen benötigt, ein großartiger Bibliothekar (Retrieval) wichtiger ist als ein Genie, das weiß, wie man redet (das LLM). Das Paper kommt zu dem Schluss, dass wir uns darauf konzentrieren müssen, zuerst das Retrieval zu verbessern, wenn die Chatbots für öffentliche Dienste vertrauenswürdig sein sollen, denn das ist der Schlüssel dazu, die KI am Erfinden von Unwahrheiten zu hindern.