In der Welt der künstlichen Intelligenz sind große Sprachmodelle bemerkenswert flüssig im Schreiben von Texten geworden. Sie können Fragen beantworten, Geschichten zusammenfassen und Gespräche führen, indem sie das nächste Wort in einem Satz basierend auf Mustern vorhersagen, die sie aus riesigen Mengen an Daten gelernt haben. Diese Modelle haben jedoch eine grundlegende Schwäche: Sie wissen nicht den Unterschied zwischen einer Tatsache, die wahr ist, und einem Satz, der lediglich plausibel klingt. Um dies zu beheben, entwickelten Ingenieure eine Methode namens Retrieval-Augmented Generation. Dieser Ansatz gibt dem Modell eine Reihe von Dokumenten zum Lesen, bevor es eine Antwort gibt, was es dazu zwingt, seine Antwort auf realen Belegen zu begründen, anstatt nur auf seinem eigenen Gedächtnis zu basieren. Doch mit dieser Methode entsteht ein neues Problem. Wenn das System nach Beweisen sucht, findet es oft einen Textabsatz, in dem die Antwort in einem Satz verborgen liegt. Das Modell muss dann wie ein Detektiv agieren und die spezifische Tatsache aus der Prosa herausziehen. Dabei kann es leicht den Kontext missverstehen oder den Wert falsch rekonstruieren, was zu Antworten führt, die flüssig, aber subtil falsch sind.

Um dies zu lösen, entwickelten Forscher an der Universität Salerno in Italien ein neues System namens ORACOLO. Sie wollten wissen, ob sie die Suche nach Fakten präziser gestalten könnten, indem sie eine formale Wissenskarte, bekannt als Ontologie, anstelle der bloßen Suche durch Fließtext verwenden. Eine Ontologie ist eine strukturierte Datenbank, in der Fakten als klare, isolierte Verbindungen gespeichert sind, vergleichbar mit einem Bibliotheks-Karteikasten, in dem jedes Buch mit seinem Autor und dem Jahr in einem starren Format aufgeführt ist. Die Herausforderung besteht darin, dass diese Kataloge für normale Menschen schwer abzufragen sind, da sie eine spezialisierte, formale Sprache erfordern. Das Team kombinierte die besten Welten: Sie verwendeten ein neuronales Netzwerk, eine Art von künstlicher Intelligenz, die gut darin ist, menschliche Sprache zu verstehen, um die Frage eines Nutzers in eine formale Abfrage zu übersetzen. Dann nutzten sie eine symbolische Engine, ein striktes Computerprogramm, um diese Abfrage gegen die strukturierte Karte auszuführen. Wenn die Karte eine klare Antwort lieferte, verwendete das System diese. Wenn die Karte nichts zurückgab, fiel das System auf die traditionelle Methode der Suche durch Textabsätze zurück. Dieser hybride Ansatz ermöglichte es ihnen zu testen, ob die strukturierte Karte präzisere Fakten liefern konnte als die Textsuche, selbst wenn beide Methoden dasselbe Sprachmodell für das Schreiben der endgültigen Antwort verwendeten.

Die Forscher testeten dieses System an einem realen Bibliothekskatalog der Universität von Lugano in der Schweiz. Dieser Katalog enthielt fast einhunderttausend Fakten über Bücher, einschließlich Titeln, Autoren, Veröffentlichungsdaten und Zusammenfassungen der Inhalte. Sie erstellten einen Satz von Fragen basierend auf diesem Katalog, die von einfachen Anfragen wie „Wer schrieb dieses Buch?“ bis hin zu komplexeren Informationsketten reichten. Sie verglichen ihr neues System dann mit einer Standardversion, die nur die Textsuche verwendete, wobei sie sicherstellten, dass beide Systeme exakt dasselbe Sprachmodell zur Generierung der endgültigen Antwort verwendeten. Dies war ein entscheidender Schritt, da es bedeutete, dass jeglicher Unterschied in den Ergebnissen darauf zurückzuführen war, wie die Informationen gefunden wurden, und nicht auf der Intelligenz des Schreibers. Die Ergebnisse zeigten eine klare Verbesserung der Genauigkeit. Das neue System identifizierte die spezifischen Fakten in der Antwort viel häufiger als das textbasierte System. Während das textbasierte System etwa neunundzwanzig Prozent der Zeit die richtige Antwort fand, verbesserte das neue System dies auf fast siebenundvierzig Prozent.

Die Studie ergab, dass diese Verbesserung spezifisch aus der Fähigkeit resultierte, exakte Fakten abzurufen. Wenn die Frage nach einer einzelnen Information fragte, wie etwa einem Autorennamen oder einem Veröffentlichungsjahr, war das neue System signifikant besser. Es schnitt auch gut ab, wenn die Frage erforderte, zwei Informationen miteinander zu verknüpfen. Die Vorteile verschwanden jedoch, wenn die Frage das System dazu aufforderte, über die Fakten zu schlussfolgern, wie etwa das Ableiten eines Themas aus dem Inhalt eines Buches. In diesen Fällen schnitten beide Systeme ähnlich ab. Dies deutet darauf darauf hin, dass die neue Architektur den Computer nicht klüger beim Denken macht; vielmehr macht sie den Computer besser darin, die exakten Rohmaterialien zu finden, mit denen er denken kann. Das System bewies auch, dass die strukturierte Karte die Antworten nicht in einer Weise „treuer“ gegenüber den Belegen machte, als dies die Textsuche nicht tat. Beide Systeme waren gleichermaßen gut darin, sich an die ihnen gegebenen Informationen zu halten. Der Unterschied lag einfach darin, dass das neue System zu Beginn mit besseren, präziseren Informationen versorgt wurde.

Ein zentrales Ergebnis der Forschung war die Art und Weise, wie das System mit seinen eigenen Fehlern umging. Die Forscher entdeckten, dass die formale Karte nicht immer funktionierte. In etwa vierundzwanzig Prozent der Fälle schlug die Übersetzung von der menschlichen Sprache in die formale Abfrage fehl oder die Abfrage lieferte keine Ergebnisse. In diesen Momenten gab das System nicht auf. Es erkannte den Fehler und wechselte sofort zur Textsuchmethode, um eine Antwort zu finden. Dieses Sicherheitsnetz bedeutete, dass das System immer noch eine Antwort liefern konnte, selbst wenn die strikte Karte nicht helfen konnte. Die Forscher fanden jedoch auch heraus, dass das System am genauesten war, wenn die formale Karte korrekt funktionierte. Wenn das System auf die Text-Fallback-Methode zurückgriff, war die Verbesserung der Genauigkeit wesentlich geringer. Dies bestätigte, dass die strukturierte Karte die Quelle der Präzision war, während die Textsuche als zuverlässiges Backup diente.

Die Studie deckte auch ein überraschendes Problem bei der Messung der Qualität dieser Systeme auf. Eine gängige Metrik zur Bewertung von Antworten ist die „Relevanz“, die prüft, wie gut die Antwort zum Thema der Frage passt. Die Forscher fanden heraus, dass ein System, das keine faktuellen Fehler machte, aber lediglich flüssig rät, eine höhere Punktzahl bei der Relevanz erzielen konnte als ihr akkurates System. Dies geschah, weil das ratende System lange, fließende Antworten schrieb, die perfekt klangen, während das akkurate System manchmal kurze, direkte Antworten gab oder die Antwort verweigerte, wenn es die Fakten nicht finden konnte. Dies deutet darauf hin, dass Relevanz-Scores irreführend sein können, indem sie Stil über Substanz belohnen. Die Forscher kamen zu dem Schluss, dass wir, um diese Systeme wirklich zu bewerten, prüfen müssen, ob die Fakten korrekt sind, und nicht nur, ob die Antwort gut klingt.

Schließlich untersuchte das Team die Kosten für den Betrieb dieses neuen Systems. Der Prozess der Übersetzung einer Frage, der Abgleich mit der Karte und das anschließende Schreiben der Antwort dauerte signifikant länger, als das Sprachmodell einfach nur zu raten. Im Durchschnitt benötigte das neue System etwa 292 Sekunden für die Beantwortung einer einzigen Frage, verglichen mit etwa 35 Sekunden für das textbasierte System. Die Forscher stellten fest, dass diese Verzögerung hauptsächlich durch die Zeit bedingt war, die die Sprachmodelle für die Verarbeitung der Informationen benötigten, und nicht durch die Zeit, die für den Abgleich mit der Karte aufgewendet wurde. Sie fanden heraus, dass ein spezifischer Schritt in ihrem Prozess, der versuchte, komplexe Fragen in kleinere Teile zu zerlegen, das System tatsächlich verlangsamte, ohne die Ergebnisse zu verbessern. Das Entfernen dieses Schritts verkürzte die Zeit erheblich, ohne die Genauigkeit zu beeinträchtigen. Dies deutet darauf hin, dass das System zwar derzeit zu langsam für den sofortigen, interaktiven Gebrauch ist, aber für Situationen praktikabel sein könnte, in denen Genauigkeit wichtiger ist als Geschwindigkeit, wie etwa bei der Verifizierung historischer Aufzeichnungen oder der Überprüfung institutioneller Daten. Die Arbeit zeigt, dass wir durch die Kombination der Flexibilität menschlicher Sprache mit der Präzision strukturierter Daten Systeme bauen können, die weitaus zuverlässiger sind als jene, die sich allein auf Sprache verlassen.