NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering
NoSy-RAG ist ein modulares neuro-symbolisches Retrieval-Augmented-Generation-Framework, das zurechenbare Prolog-Module aus abgerufenem Text synthetisiert, um transparente, deterministische Antworten zu liefern und fehlenden Nutzerkontext automatisch zu erkennen, wobei es auf dem ShARC-Benchmark eine überlegene Genauigkeit gegenüber Standard-RAG-Baselines erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber anstatt eines Detektivs haben Sie einen superintelligenten, unglaublich gesprächigen Roboter-Assistenten. Dieser Roboter hat fast jedes Buch in der Bibliothek gelesen und kann die Antwort auf fast jede Frage wissen. Das ist das, was wir ein „Large Language Model“ (LLM) nennen. Es gibt jedoch einen Haken: Manchmal erfindet dieser Roboter Dinge oder „halluziniert“, und wenn er seinen Denkprozess erklärt, klingt das eher wie ein nebliger Traum als wie eine klare Landkarte. Man kann nicht immer sagen, warum er Ihnen eine Antwort gegeben hat oder ob er tatsächlich die richtige Seite in der Bibliothek gelesen hat. Dies ist ein großes Problem in ernsten Bereichen wie dem Recht oder der Medizin, in denen man genau wissen muss, woher die Information stammt und ob sie wahr ist. Um dies zu beheben, versuchen Wissenschaftler, diese gesprächigen Roboter mit „symbolischer Logik“ zu kombinieren – einer Art Computerlogik, die wie ein strenger, schrittweiser mathematischer Beweis funktioniert. Man kann es sich so vorstellen, dass man dem Roboter eine starre Checkliste gibt, der er folgen muss, damit er nicht einfach nur rät. Die große Frage ist: Können wir einen Roboter erschaffen, der sowohl gesprächig genug ist, um uns zu verstehen, als auch streng genug, um vertrauenswürdig zu sein?
Hier kommt NeSy-RAG ins Spiel, ein neues Framework, das von Jonas Gann und Michael Gertz vorgeschlagen wurde und versucht, dieses Rätsel zu lösen. Stellen Sie sich vor, die Bibliothek des Roboters ist ein riesiges Lagerhaus voller loser Papiere (Textfragmente). Normalerweise greift der Roboter, wenn Sie eine Frage stellen, ein paar Papiere heraus, liest sie und rät die Antwort. NeSy-RAG macht etwas anderes. Wenn es ein Papier herausgreift, liest es nicht nur; es übersetzt dieses Papier sofort in ein winziges, in sich geschlossenes „Logikrätsel“, das in einer Sprache namens Prolog geschrieben ist. Es ist, als würde man einen Textabschnitt in eine Reihe von strengen „Wenn-Dann“-Regeln verwandeln. Wenn der Text zum Beispiel sagt: „Sie können Leistungen beanspruchen, wenn Sie über 18 Jahre alt sind“, wandelt das System dies in eine Regel um: wenn alter > 18, dann berechtigt.
Hier wird es clever. Das System baut eine ganze Sammlung dieser Logikrätsel aus den gefundenen Papieren auf. Aber anstatt zu versuchen, die ganze unordentliche Bibliothek auf einmal zu lösen, nutzt es einen speziellen Trick namens „0-Arity-Prädikate“. Betrachten Sie dies als das Umwandeln jeder komplexen Regel in eine einfache „Ja/Nein“-Frage, wie etwa „Ist die Person über 18?“ oder „Ist die Person Staatsbürger?“. Der Roboter nutzt dann eine intelligente Suche, um nur die spezifischen „Ja/Nein“-Fragen zu finden, die zu Ihrer Anfrage passen. Er fügt diese zu einer finalen Logikabfrage zusammen und führt sie aus. Da es ein Logikprogramm ausführt, ist die Antwort deterministisch – sie ist entweder wahr oder falsch, Raten ist nicht vorgesehen. Noch besser ist, dass das System einen perfekten „Beleg“ für jeden Schritt aufbewahrt und zeigt, welches Textstück zu welcher Regel geführt hat, sodass Sie die Antwort bis zur Quelle zurückverfolgen können.
Aber was ist, wenn der Roboter nicht genügend Informationen hat? Vielleicht fragen Sie: „Bin ich berechtigt?“, aber der Roboter weiß nicht, wie alt Sie sind. Ein normaler Roboter würde vielleicht einfach „Ja“ oder „Nein“ raten und auf das Beste hoffen. NeSy-RAG hingegen besitzt einen „Wissenslücken-Detektor“. Es betrachtet sein Logikrätsel und stellt fest: „Hey, mir fehlt ein Wert für die Variable 'Alter'!“ Anstatt zu raten, hält es inne und fragt Sie: „Wie alt sind Sie?“ Es stellt diese gezielten Folgefragen so lange, bis es alle Teile hat, um das Rätsel zu lösen. Dies verhindert, dass der Roboter Fakten erfindet.
Die Forscher testeten dieses System mit einem Datensatz namens ShARC, der rechtliche Fragen zu staatlichen Leistungen im Vereinigten Königreich enthält. Sie haben das System nicht auf diese spezifischen Daten trainiert; sie ließen es die Dinge einfach „on the fly“ herausfinden. Die Ergebnisse waren vielversprechend. NeSy-RAG lieferte in 61,1 % der Fälle die richtige Antwort. Dies war signifikant besser als ein Standard-„Chatbot-only“-System, das dasselbe ohne die Logikregeln versuchte und nur in 42,8 % der Fälle richtig lag. Das neue System war auch schneller und benötigte im Durchschnitt 7,4 Sekunden pro Frage, verglichen mit 11,4 Sekunden beim Standard-Chatbot-Ansatz.
Die Autoren betonen jedoch vorsichtig, dass es sich nicht um eine perfekte Lösung handelt. Das System ist noch ein Prototyp. Manchmal ist es etwas zu vorsichtig. Wenn es sich nicht zu 100 % sicher über eine fehlende Tatsache ist, fordert es weitere Informationen an, selbst wenn dies nicht zwingend notwendig wäre, was dazu führt, dass es „Ich brauche mehr Infos“ (was die Forscher als „more“ bezeichnen) sagt, anstatt ein definitives „Ja“ oder „Nein“ auszugeben. Tatsächlich klassifizierte es etwa 31 % der „Ja“-Antworten als „more“, was darauf hindeutet, dass es zu viele „Fehlende Info“-Flaggen generiert. Obwohl dies ein wenig störend für die Geschwindigkeit ist, merken die Autoren an, dass es in Hochrisikosituationen wie dem Recht sicherer ist, vorsichtig zu sein, als fälschlicherweise selbstbewusst falsch zu liegen. Das System hatte auch gewisse Schwierigkeiten mit „irrelevanten“ Fragen und verwechselte manchmal, ob ein Textfragment überhaupt mit der Frage zusammenhing.
Zusammenfassend lässt sich sagen, dass NeSy-RAG zeigt, dass wir durch die Umwandlung von Text in strikte Logikrätsel und das Abfragen fehlender Informationen eine KI bauen können, die transparenter, genauer und weniger geneigt ist, zu lügen. Es ist noch kein Wundermittel, das alles perfekt löst, aber es ist ein starker Schritt in Richtung einer KI-Assistenz, der man mit der Wahrheit wirklich vertrauen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.