EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
Dieses Paper stellt EntSQL vor, einen neuen chinesisch-englischen Benchmark bestehend aus 1.066 Beispielen über fünf Geschäftsbereiche hinweg, der darauf ausgelegt ist, die Herausforderungen des Groundings der Text-to-SQL-Generierung in Langkontext-Unternehmenswissen zu evaluieren, wobei aktuelle Modelle aufgrund der Notwendigkeit eines proprietären Geschäftsverständnisses Schwierigkeiten haben, eine hohe Genauigkeit zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (eine KI), der weiß, wie man menschliche Sprache spricht und wie man „Datenbanksprache“ (SQL) spricht. Normalerweise, wenn Sie diesen Bibliothekar fragen: „Wie viele Bücher haben wir letzten Monat verkauft?“, kann er den Katalog der Bibliothek (das Datenbank-Schema) lesen und eine perfekte Notiz an den Assistenten des Bibliothekars schreiben, um die Antwort abzurufen.
Aber in der realen Welt großer Unternehmen ist es nicht so einfach. Das Unternehmen hat ein geheimes Regelwerk, das niemand außerhalb des Gebäudes kennt. Vielleicht bedeutet „letzter Monat“ tatsächlich „das Geschäftsquartal endend im Juni“, oder „Top-Produkte“ schließt Artikel aus, die sich derzeit im Ausverkauf befinden. Wenn der Bibliothekar dieses geheime Regelwerk nicht hat, wird er raten, und seine Notiz wird falsch sein.
„EntSQL“: Der Test für das geheime Regelwerk
Dieses Paper stellt einen neuen Test namens EntSQL vor. Betrachten Sie dies als eine Abschlussprüfung für KI-Bibliothekare, aber anstatt sie nur zu fragen, den Katalog zu lesen, gibt die Prüfung ihnen ein massives, 50-seitiges privates Handbuch des Unternehmens und bittet sie, eine Abfrage basierend darauf zu schreiben.
Hier ist die Aufschlüsselung dessen, was das Paper herausgefunden hat, unter Verwendung einfacher Analogien:
1. Das Problem: Das „fehlende Handbuch“
Bestehende Tests für diese KI-Bibliothekare (wie Spider oder BIRD) sind so, als würde man ihnen einen generischen Bibliothekskatalog geben. Sie sind gut darin, Bücher zu finden, wenn der Katalog klar ist. Aber in einem echten Unternehmen ist der „Katalog“ (die Datenbank) nutzlos ohne das „Mitarbeiterhandbuch“ (die privaten Geschäftsregeln).
- Die Analogie: Stellen Sie sich vor, Sie fragen eine KI: „Wie viel haben wir für 'Projekt X' ausgegeben?“ Die Datenbank hat lediglich eine Spalte namens
cost. Sie weiß nicht, dass „Projekt X“ eigentlich ein Codename für „Marketing“ ist, oder dass sie Kosten erst nach einem bestimmten Datum zählt. Oh alt dem privaten Handbuch fliegt die KI im Blindflug.
2. Der Test: EntSQL
Die Forscher haben einen Test mit realen (aber anonymisierten) Daten aus fünf verschiedenen Unternehmensabteilungen erstellt: Finanzen, Treasury, HR, Business Management und Parteibildung.
- Das Setup: Sie gaben der KI eine Frage, die Datenbankstruktur und ein langes, unübersichtliches Dokument, das die spezifischen Regeln des Unternehmens enthält.
- Der Schwierigkeitsgrad: Die Fragen waren knifflig. Sie erforderten, dass die KI ein langes Dokument liest, die spezifische Regel über „Geschäftsjahre“ oder „Bonusberechnungen“ findet und dies dann mit der Datenbank kombiniert, um eine komplexe Computeranweisung zu schreiben.
- Die Skalierung: Der Test umfasste über 1.000 Fragen. Die „Goldstandard“-Antworten (die korrekten Anweisungen) waren sehr lang und komplex, vergleichbar mit einem 400 Wörter langen Textabsatz aus Code.
3. Die Ergebnisse: Die KI kämpft noch
Die Forscher testeten die klügsten KI-Modelle der Welt (wie Claude, GPT-4 und andere) in dieser Prüfung.
- Die Punktzahl: Selbst die besten KIs kamen nur auf etwa 16 % der richtigen Antworten, wenn ihnen die langen Dokumente vorgelegt wurden.
- Die Analogie: Es ist, als würde man einem brillanten Studenten ein 500-seitiges Lehrbuch geben und ihn bitten, ein mathematisches Problem zu lösen. Er weiß zwar, wie man rechnet, aber er kann die spezifische Regel im Buch nicht finden, die für dieses spezielle Problem gilt. Er verliert sich im Text.
- Der Hinweis auf die „Beweislast“: Als die Forscher der KI eine markierte Version des Buches gaben (nur die 2 oder 3 Sätze, die relevant waren), stieg die Punktzahl auf etwa 21 %. Dies beweist, dass die KI nicht schlecht im Rechnen ist; sie ist nur schlecht darin, die Nadel im Heuhaufen zu finden.
4. Wo sie scheiterten
Die Forscher untersuchten, warum die KI Fehler machte. Es lag meistens nicht daran, dass die KI vergaß, wie man den Code schreibt.
- Der Hauptfehler (54 %): Die KI übersah den „Filter“. Es war, als würde man nach „roten Autos“ fragen, und die KI liefert „alle Autos“ oder „blaue Autos“ zurück. Sie konnte die spezifischen Regeln aus dem Dokument nicht korrekt auf die Daten anwenden.
- Der Scope-Fehler (14 %): Die KI betrachtete den falschen Zeitraum oder die falsche Abteilung. Es war, als würde man das Budget für „2023“ berechnen, obwohl die Frage nach „2024“ lautete.
5. Die menschliche Lücke
Die Forscher ließen auch einen menschlichen Experten denselben Test absolvieren.
- Die Lücke: Der menschliche Experte beantwortete etwa 84 % richtig, wenn ihm die markierten Notizen gegeben wurden. Die KI kam auf 20 %.
- Das Fazit: Es gibt eine riesige Lücke zwischen dem, was Menschen mit einem Unternehmenshandbuch leisten können, und dem, was die aktuelle KI leisten kann. Die KI ist immer noch sehr schlecht darin, die „ungeschriebenen Regeln“ eines spezifischen Unternehmens zu verstehen.
Zusammenfassung
EntSQL ist ein neuer Benchmark, der sagt: „Hört auf, nur zu testen, ob eine KI eine Datenbank lesen kann. Testet, ob sie das geheime Regelwerk eines Unternehmens lesen und darauf basierend anwenden kann.“
Das Paper kommt zu dem Schluss, dass KIs zwar besser darin werden, Code zu schreiben, aber derzeit sehr schlecht darin sind, diesen Code in den unordentlichen, privaten Langzeit-Kontext einzubetten, auf den reale Unternehmen angewiesen sind. Es ist eine Erinnerung daran, dass die KI wirklich viel besser darin werden muss, das Kleingedruckte zu lesen, wenn sie im Büro tatsächlich helfen soll.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.