Toward Effective and Reliable LLM Agents via Dynamic Ontology
Das Papier stellt OaK vor, ein Framework, das aufgabenorientierte Ontologien dynamisch konstruiert und verfeinert, um Wissen und Relationen explizit zu fundieren und dadurch die Evidenznutzung sowie die Zuverlässigkeit mehrstufiger Schlussfolgerungen in Agenten großer Sprachmodelle zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist ein spezieller Softwaretyp bekannt als „Large Language Model“ (großes Sprachmodell) als leistungsstarkes Werkzeug für das Verständnis und die Generierung menschlicher Sprache hervorgetreten. Diese Modelle werden oft verwendet, um „Agenten“ zu bauen – Programme, die nicht nur chatten, sondern darauf ausgelegt sind, komplexe Aufgaben zu bewältigen, indem sie diese in kleinere Schritte unterteilen, wie etwa das Suchen nach Informationen, die Nutzung digitaler Werkzeuge und das Treffen von Entscheidungen basierend auf den gefundenen Ergebnissen. Doch wenn diese Agenten versuchen, längere und kompliziertere Jobs zu erledigen, stoßen sie oft an ihre Grenzen. Sie können den Überblick über die benötigten Fakten verlieren, logische Sprünge machen, die nicht standhalten, oder in Fehlerschleifen stecken bleiben, weil sie sich zu sehr auf das riesige, unstrukturierte Wissen verlassen, das in ihrem eigenen Speicher gespeichert ist. Um dies zu lösen, erforschen Forscher Wege, um diesen Agenten eine klarere, besser organisierte Karte der Welt zu geben, durch die sie navigieren, um sicherzustellen, dass jeder Schritt, den sie unternehmen, auf verlässlichen Belegen statt auf Vermutungen basiert.
Ein Team von Forschern der Nanjing University und anderer Institutionen hat ein neues Framework namens OaK entwickelt, um diese Zuverlässigkeitsprobleme anzugehen. Ihre Arbeit konzentriert sich auf ein Konzept namens „Ontologie“, was im Wesentlichen ein strukturierter Wortschatz von Konzepten und den Beziehungen zwischen ihnen ist, geschrieben in einer Weise, die Computer strikt interpretieren können. Während traditionelle Methoden zur Erstellung dieser Strukturen erfordern, dass Experten jede Regel manuell definieren – ein langsamer und schwieriger Prozess –, automatisiert das neue System die Erstellung dieser Karten speziell für die jeweilige Aufgabe. Die Forscher fanden heraus, dass sie durch den Aufbau einer maßgeschneiderten, dynamischen Struktur für jede Aufgabe die Fähigkeit der Agenten zur Planung und Ausführung mehrstufiger Aufgaben signifikant verbessern konnten, was den Prozess transparenter und weniger anfällig für Fehler macht.
Der Kern des OaK-Systems ist ein zweistufiger Prozess, der stattfindet, bevor der Agent eine reale Aufgabe überhaupt versucht. Zuerst betrachtet das System eine Reihe von Trainingsbeispielen und die spezifischen Anforderungen eines Jobs, wie etwa die Planung einer Reise oder die Verwaltung von Kundendaten. Es entwirft dann automatisch ein Schema, einen Bauplan, der die wichtigen Arten von Informationen definiert, wie etwa „Hotels“, „Flüge“ oder „Budgets“, und wie diese miteinander verbunden sind. Dieser Bauplan ist nicht nur eine Liste; er wird von einem logischen Reasoner streng geprüft, um sicherzustellen, dass es keine Widersprüche oder fehlenden Regeln gibt. Wenn der Bauplan fehlerhaft ist, korrigiert das System ihn, bevor es fortfährt. Sobald der Bauplan solide ist, baut das System einen Wissensgraphen auf – ein Netzwerk aus tatsächlichen Datenpunkten, die aus den Trainingsmaterialien stammen und exakt nach den Regeln des Bauplans organisiert sind.
Mit dieser strukturierten Grundlage erstellt das System eine Reihe spezialisierter Werkzeuge oder Funktionen, die der Agent nutzen kann. Anstatt den Agenten selbst herausfinden zu lassen, wie man nach einem Flug sucht, nach dem Preis filtert und die Verfügbarkeit prüft, stellt das System vorgefertigte Werkzeuge bereit, die diese spezifischen Aktionen korrekt ausführen. Der Agent nutzt diese Werkzeuge dann, um Probleme zu lösen, geleitet durch die strengen Regeln des Bauplans. Wenn der Agent einen Fehler macht oder die Aufgabe fehishes geht, überprüft ein „Judge“-Modell (Richter-Modell) den gesamten Prozess, identifiziert genau, wo der Bauplan oder die Werkzeuge versagt haben, und schlägt Verbesserungen vor. Dieser Zyklus aus Aufbau, Testen und Verfeinern wiederholt sich mehrmals, bis das System robust genug ist, um unbekannte Fragen zu bearbeiten. Das Ergebnis ist ein „Kernel“, eine eingefrorene, zuverlässige Schnittstelle, die der Agent nutzt, um mit Daten zu interagieren, was sicherstellt, dass jede Entscheidung durch Belege gestützt wird und der Agent nicht versehentlich Fakten erfindet oder Einschränkungen ignoriert.
Die Forscher testeten diesen Ansatz bei drei sehr unterschiedlichen Arten von Herausforderungen, um zu sehen, ob er sich in der realen Welt bewährt. Die erste war eine Reiseplanung, bei der ein Agent Flüge, Hotels, Mahlzeiten und Aktivitäten arrangieren musste, während er sich an strikte Budget- und Zeitplanbeschränkungen hielt. Die zweite beinhaltete die Verwaltung von Kundenbeziehungen in einem geschäftlichen Umfeld, was erforderte, dass der Agent komplexe Unternehmensrichtlinien befolgt und spezifische Datensätze abruft. Die dritte testete die Fähigkeit, Informationen aus verschiedenen externen Quellen, wie Flugdatenbanken und Restaurantbewertungen, zu kombinieren, um detaillierte Fragen zu beantworten. In jedem Fall übertraf das OaK-System Standardmethoden. Bei der Reiseplanung verbesserte das System beispielsweise die Erfolgsquote beim Abschluss eines vollständigen, gültigen Reiseplans von etwa 15 Prozent auf fast 56 Prozent bei Verwendung eines der Basismodelle und von etwa 4 Prozent auf fast 20 Prozent bei einem anderen. Es zeigte auch signifikante Gewinne in den Geschäfts- und Datentasks, insbesondere in Szenarien, in denen der Agent strikten Regeln folgen oder Daten aus mehreren Tabellen kombinieren musste.
Die Studie enthüllte auch, warum diese Verbesserungen stattfanden. Als die Forscher die maßgeschneiderten Werkzeuge entfernten oder das System daran hinderten, seinen Bauplan über mehrere Runden hinweg zu verfeinern, sank die Leistung drastisch. Dies deutete darauf hin, dass es nicht ausreichte, dem Agenten lediglich Zugang zu Daten zu geben; der Agent benötigte die strukturierten Regeln und die vorgepackten Werkzeuge, um seine Handlungen effektiv zu koordinieren. Das System funktionierte dadurch, dass es den Denkprozess des Agenten sichtbar und beschränkt machte, was verhinderte, dass er in ungestützte Annahmen abschweifte. Obwohl die neue Methode etwas mehr Zeit in Anspruch nahm und mehr Output-Text produzierte als einige einfachere Ansätze, verwendete sie weniger Input-Token, was darauf hindeutete, dass die strukturierte Schnittstelle den Agenten effizienter beim Verarbeiten der benötigten Informationen machte. Die Forscher kamen zu dem Schluss, dass sie, indem sie Domänenwissen in eine ausführbare, selbstkorrigierende Schnittstelle umwandeln, KI-Agenten zuverlässiger, vertrauenswürdiger und fähiger machen können, die komplexen, mehrstufigen Denkprozesse abzuwickeln, die in realen Anwendungen erforderlich sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.