Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

In der Welt des modernen Geschäftslebens sind Daten oft in riesigen, komplexen digitalen Lagerhäusern eingeschlossen. Um eine einfache Frage zu stellen wie „Wie viele Policen hat Agent zwei letztes Jahr verkauft?“, muss man sich durch ein Labyrinth aus Tabellen, Beziehungen und Regeln navigieren, die definieren, wie das Unternehmen arbeitet. Jahrelang haben Forscher versucht, Computern beizubringen, natürliche Sprachfragen direkt in den spezifischen Code zu übersetzen, der benötigt wird, um die Antworten abzurufen. Dies ist das Versprechen von Text-to-SQL: eine Maschine, die die menschliche Absicht versteht und die korrekten Anweisungen schreibt, um die Daten abzurufen. Es bleibt jedoch ein erhebliches Problem bestehen. Wenn ein Computer diese Anweisungen selbstständig schreibt, erzeugt er oft Code, der zwar fehlerfrei läuft, aber die falsch Antwort liefert. Er verbindet möglicherweise die falschen Informationsteile oder zählt Dinge auf die falsche Art und Weise, wodurch ein Ergebnis entsteht, das plausibel erscheint, aber grundlegend fehlerhaft ist. Dies ist in einem Unternehmenseinsatz gefährlich, wo eine falsche Zahl zu schlechten geschäftlichen Entscheidungen führen kann.

Eine neue Studie untersucht einen anderen Ansatz zur Lösung dieses Zuverlässigkeitsproblems. Anstatt eine künstliche Intelligenz zu bitten, den gesamten Code von Grund auf neu zu schreiben, entwickelten die Forscher ein System, bei dem die KI eher als Wegweiser denn als Erbauer fungiert. Die Aufgabe der KI beschränkt sich darauf, die Frage zu verstehen und aus einer vorab genehmigten Liste gültiger Pfade und Beziehungen auszuwählen. Sobald die KI ihre Auswahl getroffen hat, übernimmt ein separates, starres Computerprogramm. Dieses Programm übersetzt die Auswahl in den endgültigen Code und stellt sicher, dass die Verbindungen korrekt hergestellt und die Zählregeln exakt befolgt werden. Die Forscher testeten diese Methode gegenüber dem traditionellen „Alles-selbst-schreiben“-Ansatz anhand eines komplexen Versicherungsdatensatzes. Sie fanden heraus, dass das geführte System weitaus zuverlässiger war und fast jedes Mal korrekte Antworten lieferte, während das traditionelle System häufig Code generierte, der zwar funktionierte, aber das falsche Ergebnis lieferte.

Der Kern dieser Forschung liegt in der Veränderung dessen, wo die Unsicherheit verbleibt. In einem Standard-System muss das Modell der künstlichen Intelligenz alles entscheiden: welche Tabellen verknüpft werden sollen, wie sie miteinander verbunden werden und wie die Zahlen aggregiert werden. Da diese Modelle Text basierend auf Wahrscheinlichkeiten generieren, können sie manchmal einen Pfad wählen, der technisch möglich, aber semantisch falsch ist. Das neue System, das der Autor als „Semantic Path Compilation“ bezeichnet, zieht eine strikte Linie in den Sand. Der künstlichen Intelligenz ist es erlaubt, die Wörter in der Frage mit spezifischen Geschäftskonzepten zu verknüpfen und aus einer endlichen Menge von Optionen zu wählen, die durch eine von Menschen kuratierte Karte der Daten bereitgestellt werden. Sie kann keine neuen Verbindungen erfinden oder Codefragmente schreiben. Sob sobald die KI ihre Wahl getroffen hat, übernimmt eine deterministische Engine das Steuer. Diese Engine ist ein Stück Software, das festen Regeln folgt, um die Auswahl der KI in die endgültige Datenbankabfrage umzuwandeln. Sie prüft auf Fehler, stellt sicher, dass die Logik Bestand hat, und gibt den Code erst frei, wenn er jede Prüfung bestanden hat. Wenn die Wahl der KI unklar ist oder gegen eine Regel verstößt, verweigert das System die Antwort, anstatt zu raten.

Um dies zu testen, verwendeten die Forscher einen Benchmark, der auf den Daten eines Versicherungsunternehmens basiert und viele komplexe Beziehungen beinhaltet, wie zum Beispiel die verschiedenen Rollen, die eine Person einnehmen kann (wie ein Versicherungsnehmer, ein Agent oder ein Underwriter), und wie diese Rollen mit Policen und Ansprüchen verknüpft sind. Sie ließen zwei verschiedene Systeme mit demselben Satz von achtunddreißig Fragen laufen. Das erste System war der traditionelle Ansatz, bei dem die KI den Code direkt aus der Datenbankstruktur generiert. Das zweite System war der neue geführte Ansatz. Sie ließen jede Frage dreimal laufen, um zu sehen, wie konsistent die Ergebnisse waren. Das traditionelle System war nur bei einundzwanzig der achtunddreißig Fragen in allen drei Durchläufen erfolgreich. Im Gegensatz dazu war das geführte System bei siebenunddreißig der achtunddreißig Fragen erfolgreich. Wichtiger noch: Das traditionelle System produzierte neunundzwanzig Fälle, in denen der Code zwar erfolgreich lief, aber die Antwort falsch war. Das geführte System produzierte null solcher Fehler. Wenn es scheiterte, verweigerte es einfach die Antwort, anstatt eine irreführende Zahl zu liefern.

Die Studie untersuchte auch, was passiert, wenn die Daten leicht verändert werden, um versteckte Fehler aufzudecken. In dem Versicherungsdatensatz erfordern einige Fragen das Zählen von Elementen auf einer spezifischen Detailebene. Wenn der Computer Tabellen falsch verknüpft, könnte er versehentlich die Zahlen multiplizieren, was zu einem zu hohen Ergebnis führt. Die Forscher erstellten „kontrafaktische“ Versionen der Datenbank, in denen diese Multiplikationsfehler offensichtlich würden. Sie fanden heraus, dass das traditionelle System diese Fehler oft nicht erkannte und inflierte Zahlen lieferte, die im Originaldatensatz korrekt aussah, aber in den modifizierten Daten falsch waren. Das geführte System vermeidete diese Fallen, da es gezwungen war, den strengen Regeln der semantischen Karte zu folgen. Es lieferte konsistent die korrekte Anzahl, selbst als die Daten manipuliert wurden, um ein weniger sorgfältiges System in die Irre zu führen.

Die Forscher stellten sorgfältig fest, dass ihr Erfolg daraus resultierte, dass das gesamte System zusammenwirkte, und nicht nur aus der neuen Software-Engine. Das geführte System hatte Zugriff auf eine detaillierte, von Menschen geschriebene Karte der Geschäftsregeln, die dem traditionellen System nicht zur Verfügung stand. Dies bedeutet, dass die Verbesserung das Ergebnis einer Kombination aus besserem Wissen und einem sorgfältigeren Prozess ist. Die Studie behauptet nicht, dass die neue Methode für jede mögliche Frage funktionieren wird oder dass sie jegliche Unsicherheit beseitigt. Die künstliche Intelligenz muss immer noch die erste Entscheidung treffen, und wenn die Geschäftsregeln in der Karte nicht ordnungsgemäß definiert sind, wird das System die Antwort verweigern. Jedoch erwies sich für die spezifische Art von komplexen, regelbasierten Fragen in diesem Versicherungsbereich die Kombination aus einer geführten KI und einem starren Compiler als ein leistungsstarker Weg, um Zuverlässigkeit zu gewährleisten.

Die Ergebnisse legen nahe, wie wir diese Werkzeuge in Zukunft bauen könnten. Anstatt darauf zu hoffen, dass ein großes Sprachmodell die komplexe Logik jedes Mal richtig hinbekommt, können wir Systeme bauen, die das Modell dazu einschränken, sichere Entscheidungen zu treffen, und dann deterministische Software verwenden, um diese auszuführen. Dieser Ansatz tauscht etwas Flexibilität gegen einen viel höheren Grad an Vertrauen ein. In einer Welt, in der Daten kritische Geschäftsentscheidungen vorantreiben, ist die Fähigkeit zu sagen „Ich weiß es nicht“ anstatt „Hier ist eine falsche Antwort“, ein bedeutender Vorteil. Die Studie zeigt, dass wir, indem wir die schwere Arbeit der Logik und Verbindung vom probabilistischen Modell auf eine regelbasierte Engine verlagern, ein Maß an Konsistenz erreichen können, das zuvor schwer zu erreichen war. Das Ergebnis ist ein System, das nicht nur intelligent, sondern auch verlässlich ist.