A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
Dieses Paper stellt den DevRev NL2SQL-Benchmark vor, der 900 ausführungssichere Abfragen mit verschachtelten Strukturen und einen neuen Semantic Depth Score umfasst, sowie eine kostenbewusste agentische Architektur, die eine signifikante Antwortkorrektheit von 91,7 % auf diesem Benchmark erreicht und auf Spider 2.0 wettbewerbsfähig bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie einem Computer komplexe Fragen zu Ihrem Unternehmen stellen könnten und präzise Antworten in einfachem Englisch erhalten, ohne die Geheimsprache von Datenbanken beherrschen zu müssen. Jahrelang haben Forscher daran gearbeitet, Computer zu lehren, menschliche Fragen in Datenbankbefehle zu übersetzen – ein Feld, das als Natural-Language-to-SQL bekannt ist. Frühe Erfolge waren beeindruckend, aber sie basierten darauf, die Computer mit einfachen, flachen Datenlisten zu testen, wie etwa einer Tabelle mit Zeilen und Spalten. In der realen Welt sind Geschäftsdaten jedoch selten so ordentlich. Moderne Unternehmenssysteme sind um komplexe Arbeitsabläufe herum aufgebaut, bei denen ein einzelnes Element, wie etwa ein Kundensupport-Ticket, mit einem Geflecht aus anderen Elementen verbunden ist, in Listen verschachtelt liegt und in Schichten von Informationen verborgen ist. Diese Strukturen werden oft als graphähnlich beschrieben, was bedeutet, dass sie eher einer Karte von Verbindungen als einer einfachen Tabelle ähneln. Als Forscher versuchten, ihre besten Werkzeuge auf diese unordentlichen, realen Daten anzuwenden, scheiterten die Systeme oft, da sie nicht in der Lage waren, die tiefen, verworrenen Pfade der Informationen zu navigieren.
Ein Forschungsteam hat sich nun genau dieser spezifischen Herausforderung gestellt, indem es einen neuen Testgrund und ein intelligenteres Computersystem entwickelt hat, das für diese Aufgabe konzipiert ist. Sie schufen einen Benchmark namens DevDev, der 900 reale Fragen basierend auf einer lebenden Unternehmensdatenbank enthält. Im Gegensatz zu früheren Tests ist diese Datenbank mit tief verschachtelten Strukturen gefüllt, in denen Informationen in Listen gespeichert sind, die wiederum andere Listen enthalten, und in denen Elemente auf komplexe Weise miteinander verknüpft sind, wobei sich dies je nach Kontext ändert. Um zu messen, wie gut ein System diese Fragen versteht, führte das Team eine neue Bewertungsmethode namens Semantic Depth Score ein. Dieser Score zählt nicht einfach nur die Länge einer Frage; stattdessen misst er, wie viele Ebenen der Argumentation erforderlich sind, um die Antwort zu finden, wie etwa das Vergleichen verschiedener Zeiträume, das Berechnen neuer Werte aus alten Werten oder das Verfolgen einer Kette von Verbindungen zwischen verschiedenen Arten von Geschäftsobjekten.
Die Forscher fanden heraus, dass die damals fortschrittlichsten Systeme, die bei einfacheren Tests gut abgeschnitten hatten, mit diesen neuen, komplexen Daten erheblich zu kämpfen hatten. Diese Systeme, die oft viele verschiedene mögliche Antworten generieren und dann die beste auswählen, konnten die verschachtelten Listen nicht korrekt navigieren oder die spezifischen Regeln für die Verknüpfung verschiedener Arten von Datensätzen nicht verstehen. Ihre Erfolgsquote bei dem neuen Benchmark schwankte um ein Drittel, was bedeutete, dass sie bei den meisten Fragen die falsche Antwort gaben. Die Forscher argumentierten, dass das Problem nicht nur ein Mangel an Übung war, sondern ein grundlegender Widerspruch zwischen der Art und Weise, wie diese Systeme gebaut wurden, und der Struktur der Daten. Die Systeme versuchten, einen flachen, einfachen Ansatz auf eine tief geschichtete Realität zu erzwingen.
Um dies zu lösen, entwarf das Team eine neue Computerarchitektur, die eher wie ein sorgfältiger Ermittler als wie ein Ratender arbeitet. Anstatt Dutzende von möglichen Antworten zu generieren und zu hoffen, dass eine davon richtig ist, folgt dieses System einem einzigen, fokussierten Pfad. Es beginnt damit, einen zentralen Koordinator zu bitten, die Datenbank zu untersuchen und herauszufinden, welche spezifischen Informationen benötigt werden. Wenn das System stecken bleibt, weil es eine Tabelle oder eine Spalte nicht finden kann, rät es nicht einfach, sondern geht zurück, bittet um weitere Details über die Struktur und versucht es mit den neuen Informationen erneut. Dieser Prozess wird durch eine detaillierte Karte der Datenbank geleitet, die nicht nur die Namen der Spalten enthält, sondern auch Beschreibungen dessen, was die Daten darin tatsächlich bedeuten. Das System führt zudem ein fortlaufendes Protokoll über jeden Fehler, den es macht, und lernt aus jedem Fehlgeschlagenen, um denselben Fehler nicht zu wiederholen. Es überprüft seine eigene Arbeit, bevor es sie an die Datenbank sendet, um sicherzustellen, dass die Logik fundiert ist und es nicht versehentlich ein massives, verwirrendes Chaos an Daten erzeugt.
Als dieses neue System mit den 900 komplexen Fragen getestet wurde, erreichte es eine Erfolgsquote von 91,7 Prozent, was eine massive Verbesserung gegenüber den bisherigen besten Versuchen darstellte. Es war in der Lage, Fragen korrekt zu beantworten, die das Verfolgen mehrerer Schritte, das Berechnen abgeleiteter Werte und das Navigieren durch verschachtelte Listen von Daten erforderten. Die Forscher zeigten auch, dass dieser Ansatz wesentlich effizienter war, da er deutlich weniger Kosten verursachte, weil er keine Ressourcen verschwendete, um Dutzende von falschen Antworten zu generieren und zu testen. In einem separaten, groß angelegten Test mit einfacheren Daten schnitt das System genauso gut ab wie die führenden Wettbewerber, was bewies, dass sein spezialisiertes Design für komplexe Daten nicht zu Lasten der Handhabung von Standarddaten ging.
Die Studie legt nahe, dass die Zukunft der Beantwortung von Fragen an Computer nicht darin liegt, sie härter arbeiten zu lassen oder mehr Optionen zu generieren, sondern ihnen bessere Werkzeuge zu geben, um die Struktur der Daten zu verstehen, mit denen sie arbeiten. Indem Forscher Systeme entwickelten, die in der Lage sind, eine Datenbank iterativ zu explorieren, aus ihren Fehlern zu lernen und die tiefen Verbindungen zwischen verschiedenen Informationsteilen zu verstehen, haben sie einen Weg zu zuverlässigen, intelligenten Schnittstellen für die komplexen, verschachtelten Daten geschaffen, die moderne Unternehmen antreiben. Die Arbeit unterstreicht, dass Computer, um unsere Fragen wirklich zu verstehen, zuerst die komplizierte, vielschichtige Welt verstehen müssen, in der unsere Daten leben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.