In der modernen Welt werden riesige Mengen an Informationen in digitalen Lagern namens Datenbanken gespeichert. Um diesen Lagern eine Frage zu stellen, verwenden Menschen eine spezifische Sprache namens SQL, die als primäre Schnittstelle für den Abruf strukturierter Daten dient. Während das korrekte Schreiben dieser Sprache ein tiefes Verständnis komplexer Beziehungen und Logik erfordert, machen selbst erfahrene Menschen Fehler, die zu falschen Antworten führen. Vor kurzem wurden leistungsstarke Computersysteme, bekannt als Large Language Models, darauf trainiert, diese Abfragen automatisch zu schreiben, was verspricht, Daten für jeden zugänglich zu machen. Diese Modelle produzieren jedoch oft Abfragen, die zwar korrekt aussehen, aber nicht die wahre Frage des Nutzers beantworten, oder sie enthalten subtile Fehler, die dazu führen, dass der Computer abstürzt oder irreführende Ergebnisse liefert. Das Beheben dieser Fehler ist schwierig, da eine kleine Änderung in einem Teil einer Abfrage die Bedeutung der gesamten Anfrage komplett verändern kann.

Ein Team von Forschern der Renmin University of China und ByteDance hat einen neuen Weg entwickelt, um diesen Computersystemen zu helfen, ihre eigenen Fehler zu korrigieren. Anstatt zu versuchen, eine falsche Abfrage in einer einzigen, geraden Linie zu korrigieren, behandelt ihr System namens ACTS-SQL den Prozess wie einen verzweigten Pfad, auf dem der Computer mehrere Möglichkeiten gleichzeitig erkunden kann. Wenn der Computer eine falsche Abbiegung nimmt, kann er zurücktreten und einen anderen Weg versuchen, anstatt in einer fehlerhaften Annahme steckenzubleiben. Dieser Ansatz wurde auf Standard-Benchmarks und in einem industriellen Echtzeitsystem getestet, wobei er die Genauigkeit der vom Computer generierten Fragen signifikant verbesserte. Die Forscher fanden heraus, dass das System durch das Ermöglichen von Pausen, der Überprüfung seiner Arbeit und der Überlegung seiner Entscheidungen Probleme lösen konnte, an denen bisherige Methoden scheiterten, was die Technologie für den alltäglichen Gebrauch wesentlich zuverlässiger macht.

Das Kernproblem, das die Forscher adressierten, ist, dass aktuelle Computersysteme oft in einer Schleife von Fehlern gefangen geraten. Wenn ein Modell eine falsche Abfrage generiert, versuchen ältere Korrekturmethoden normalerweise, diese Schritt für Schritt in einer einzigen Logiklinie zu korrigieren. Wenn das Modell frühzeitig einen Fehler macht, wie etwa das Missverstehen dessen, was ein Nutzer mit einem bestimmten Wort meinte, baut jede nachfolgende Korrektur auf diesem anfänglichen Fehler auf. Dies ist wie der Versuch, ein Labyrinth zu durchqueren, indem man sich nur vorwärts bewegt; wenn man am Anfang eine falsche Abbiegung nimmt, geht man vielleicht immer weiter tiefer in eine Sackgasse, überzeugt davon, auf dem richtigen Weg zu sein, bis man keine Optionen mehr hat. Die Forscher beobachteten, dass diese linearen Methoden fragil sind, weil sie nicht einfach zurückgehen können, um ihre erste Wahl zu überdenken. Sobald der Computer sich auf eine bestimmte Interpretation einer Nutzeranfrage festlegt, ändert er selten seine Meinung, selbst wenn die Ergebnisse beweisen, dass er falsch liegt.

Um dies zu lösen, entwarf das Team ein System, das den Korrekturprozess in einer Baumstruktur organisiert. Stellen Sie sich einen Entscheidungsbaum vor, bei dem der Computer oben beginnt und wann immer ein Werkzeug einen neuen Entscheidungspunkt einführt – etwa wenn das Tool „Detect Ambiguities“ spezifische mehrdeutige Phrasen in der Nutzeranfrage identifiziert – in verschiedene Zweige aufspaltet, wobei jeder Zweig eine andere mögliche Bedeutung repräsentiert. Ein Zweig könnte davon ausgehen, dass der Nutzer alle Verkäufe für ein Jahr sehen möchte, während ein anderer annimmt, dass er die Verkäufe für einen bestimmten Monat sehen möchte. Das System testet dann jeden Zweig unabhängig. Wenn ein Zweig zu einem Ergebnis führt, das nicht mit dem übereinstimmt, was der Nutzer wahrscheinlich beabsichtigt hat, kann das System diesen Zweig abschneiden und zum Verzweigungspunkt zurückkehren, um einen anderen Pfad zu versuchen. Diese Fähigkeit zum Backtracking und zum Erkunden von Alternativen verhindert, dass der Computer bei einer einzigen, falschen Idee stecken bleibt.

Das System arbeitet mit einem zentralen „Gehirn“, das einen Plan erstellt, wie die Abfrage zu korrigieren ist. Dieser Plan ist keine einfache Liste von Schritten, sondern eine Karte potenzieller Aktionen. Der Computer nutzt spezielle Werkzeuge, um sich auf dieser Karte zu bewegen. Ein Werkzeug hilft dem System, mehrdeutige Wörter in der Nutzerfrage zu erkennen und verschiedene Arten zu generieren, diese zu verstehen. Ein weiteres Werkzeug ermöglicht es dem Computer, kleine Teile der Abfrage gegen die tatsächliche Datenbank laufen zu lassen, um zu sehen, welche Daten zurückgegeben werden – wie ein schneller Test, um zu sehen, ob eine Idee funktioniert. Wenn der Computer einen Syntaxfehler findet, also einen Fehler in der Grammatik der Abfrage, zerlegt ein spezialisiertes Werkzeug die Abfrage in kleinere Teile, um genau zu finden, wo die Grammatik falsch war, ohne die gesamte Abfrage von Grund auf neu schreiben zu müssen.

Die Forscher testeten ihr System auf einem Benchmark namens BIRD-Critic, der viele Beispiele für schwierige SQL-Abfragen mit verschiedenen Arten von Fehlern enthält. Sie verglichen ihre Methode mit mehreren anderen Ansätzen, einschließlich leistungsstarker Modelle, die speziell darauf trainiert wurden, SQL zu korrigieren, sowie anderen Systemen, die versuchten, Fehler mittels einer linearen, schrittweisen Methode zu beheben. Die Ergebnisse zeigten, dass ihr baumstrukturierter Ansatz signifikant genauer war. Auf dem Benchmark verbesserte das neue System die Erfolgsquote im Vergleich zur bisher besten Methode um 9,42 Prozentpunkte. Diese Verbesserung blieb über verschiedene Arten von Datenbanksprachen hinweg bestehen, was darauf hindeutet, dass die Methode robust ist und nicht von einem spezifischen Stil des Schreibens von Abfragen abhängt.

Um zu beweisen, dass das System in der realen Welt funktioniert, setzten die Forscher es in einer Produktionsumgebung bei ByteDance ein, speziell innerhalb eines Log-Analyse-Dienstes namens Torch Log Service. In diesem Szenario wurde das System verwendet, um Abfragen zu korrigieren, die von einem starken Sprachmodell generiert wurden, bevor sie an die Nutzer gesendet wurden. Die Ergebnisse waren beeindruckend: Die Genauigkeit der tatsächlich erfolgreich ausgeführten Abfragen sprang von 36,77 % auf 53,61 %. Das bedeutet, dass das System in einem realen Szenario mit komplexen, maßgeschneiderten Daten in der Lage war, die Mehrheit der fehlgeschlagenen Versuche in erfolgreiche umzuwandeln. Die Forscher merkten an, dass diese Verbesserung geschah, ohne dass das zugrunde liegende Computermodell mit neuen Daten neu trainiert werden musste, was die Lösung praktisch und leicht in bestehende Systeme integrierbar macht.

Die Studie hob auch die Bedeutung der Fähigkeit zum Backtracking hervor. In einer detaillierten Fallstudie zeigten die Forscher auf, wie eine lineare Methode bei der Korrektur einer Abfrage über „monatliche Verkäufe“ scheitern würde, weil sie auf der Idee stecken blieb, dass der Nutzer jährliche Verkäufe meinte. Egal wie oft das lineare System versuchte, die Abfrage anzupassen, es konnte dieser anfänglichen falschen Annahme nicht entkommen. Im Gegensatz dazu erkannte das baumstrukturierte System die Mehrdeutigkeit, probierte die Idee der jährlichen Verkäufe aus, sah deren Scheitern und wechselte dann sofort zu einem Zweig, der die Anfrage korrekt als monatliche Daten interpretierte. Diese Fähigkeit, basierend auf Beweisen die Richtung zu ändern, war der Schlüssel zu ihrem Erfolg.

Obwohl das neue System effektiver ist, benötigt es etwas mehr Zeit zur Ausführung, da es mehrere Pfade erkundet und mehr Tests durchführt. Die Forscher maßen die Zeit, die zur Korrektur einer Abfrage benötigt wurde, und stellten fest, dass es den Prozess um einige Minuten verlängert, was ein vertretbarer Kompromiss für den signifikanten Gewinn an Genauigkeit ist. Sie fanden auch heraus, dass das System gut mit verschiedenen Arten von Computermodellen funktioniert, nicht nur mit dem, das sie für Tests verwendeten, was darauf hindeutet, dass der Ansatz flexibel ist und breit angewendet werden kann.

Die Arbeit zeigt, dass für komplexe Aufgaben wie das Schreiben von Datenbankabfragen ein strukturierter, planbasierter Ansatz einem einfachen, linearen Ansatz überlegen ist. Indem man dem Computer die Möglichkeit gibt, innezuhalten, mehrere Optionen zu erwägen und bei einem Fehler zurückzutreten, wird das System wesentlich zuverlässiger. Dieser Befund legt nahe, dass zukünftige Verbesserungen der künstlichen Intelligenz für die Datenanalyse weniger darauf beruhen werden, die Modelle isoliert intelligenter zu machen, sondern vielmehr darauf, ihnen bessere Werkzeuge und Prozesse zur Überprüfung ihrer eigenen Arbeit zur Verfügung zu stellen. Die Forscher haben ihren Code und ihre Daten zur Verfügung gestellt, damit andere auf dieser Methode aufbauen und die Art und Weise, wie Computer mit menschlichen Daten interagieren, weiter verbessern können.