BEAVER: An Enterprise Benchmark for Text-to-SQL
Die Arbeit stellt BEAVER vor, den ersten Text-zu-SQL-Benchmark, der aus privaten Unternehmensdatenbanken abgeleitet ist und 9.128 reale Abfragen über 19 Domänen hinweg umfasst, wodurch eine signifikante Leistungslücke für state-of-the-art-Modelle aufgedeckt wird und ein fein abgestuftes Evaluierungsrahmenwerk zur Diagnose komplexer Herausforderungen wie Domänenwissen und der Nutzung fortgeschrittener Funktionen vorgeschlagen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, unordentliche Bibliothek vor, in der die Bücher nicht nach Titel oder Autor, sondern nach einem geheimen Code sortiert sind, den nur die Bibliothekare kennen. Die Regale sind mit kryptischen Symbolen wie „FCLT_ROOMS" statt „Klassenzimmer" beschriftet, und die Bücher sind über tausende verschiedene Räume verstreut.
Stellen Sie sich nun vor, Sie möchten einen Bibliothekar fragen: „Zeigen Sie mir die Top-10-Kurse im Kunstgebäude, die in Räumen mit mehr als 400 Quadratfuß stattfinden." In einer normalen Bibliothek würden Sie das einfach sagen, und sie würden es finden. Doch in dieser geheimen Bibliothek muss der Bibliothekar (eine KI) Folgendes tun:
- Erraten, in welchen 5 verschiedenen Räumen er suchen muss.
- Herausfinden, dass „Stata-Gebäude" tatsächlich der Code für „Raum 32" ist.
- Die Verbindungen zwischen Büchern herstellen, die überhaupt nicht miteinander zu tun zu haben scheinen.
- Komplexe Mathematik anwenden, um die Kurse zu rangieren.
Dies ist das Problem, das BEAVER zu lösen versucht.
Das Problem: Die „zu saubere" Bibliothek
Seit Jahren trainieren Wissenschaftler KIs, menschliche Fragen in Datenbankbefehle umzuwandeln (sogenanntes Text-to-SQL). Sie testeten diese KIs mit „Übungsbibliotheken" (öffentlichen Benchmarks wie Spider oder BIRD). Diese Übungsbibliotheken sind wie Spielzeugsätze: Die Regale sind ordentlich, die Beschriftungen klar und die Fragen einfach.
In diesen Spielzeugsätzen sind die KIs Genies und liegen bei über 80 % der Antworten richtig. Doch die Autoren dieses Papers sagen: „Das ist, als würde man einen Rennwagen auf einer glatten Strecke testen und davon ausgehen, dass er durch einen schlammigen Sumpf fahren kann." Echte Unternehmensdatenbanken sind der schlammige Sumpf: riesig, unordentlich, voller geheimer Codes, und die Fragen, die Menschen stellen, sind unglaublich komplex.
Die Lösung: BEAVER (Der Sumpf-Simulator)
Das Team entwickelte BEAVER, die erste „Probefahrt" für KIs unter Verwendung echter, unordentlicher Daten aus privaten Unternehmensdatenbanken.
- Die Daten: Sie sammelten 9.128 echte Fragen und Antworten von drei verschiedenen Unternehmen (eine Universität, ein Forschungslabor und eine Wohnanlage).
- Die Skalierung: Dies sind keine Spielzeugsätze. Die durchschnittliche Datenbank verfügt über mehr als 100 Tabellen (Regale) und fast 900 Spalten (Datenzeilen). Die Fragen sind lang und erfordern tiefes Nachdenken.
- Die Erweiterung: Da sie aufgrund von Datenschutzbestimmungen nicht genug echte Daten erhalten konnten, bauten sie eine „Vorlagenmaschine". Sie nahmen die Struktur echter Fragen (wie „Finde die Top-10...") und mischten sie mit verschiedenen Unternehmensdetails, um tausende neue, realistische Übungsfälle zu erstellen.
Die fünf versteckten Schritte (Teilaufgaben)
Das Paper argumentiert, dass das richtige Erreichen der endgültigen Antwort nicht nur ein großer Sprung ist. Es ist wie das Backen eines Kuchens; wenn man einen Schritt vermasselt, misslingt der ganze Kuchen. Sie zerlegten die Aufgabe der KI in fünf spezifische Schritte, um zu sehen, wo sie scheitert:
- Finden der richtigen Räume (Multi-Table-Abfrage): Welche 5 Regale muss ich einsehen?
- Verbinden der Punkte (Erkennung von Join-Schlüsseln): Wie verknüpfe ich das „Raum"-Regal mit dem „Kurs"-Regal, wenn sie keine übereinstimmenden Beschriftungen haben?
- Entschlüsseln der Beschriftungen (Spaltenzuordnung): Bedeutet „Stata-Gebäude" Spalte X oder Spalte Y?
- Kenntnis der Geheimnisse (Domänenwissen): Ich weiß, dass „Stata-Gebäude" tatsächlich „Gebäudeschlüssel 32" ist, obwohl diese Tatsache nicht in der Frage steht.
- Aufteilung (Abfragezerlegung): Diese Frage ist zu schwer, um sie in einem Schritt zu lösen. Ich muss Teil A lösen, dann Teil B und sie anschließend kombinieren.
Die Ergebnisse: Ein Realitätscheck
Als sie die intelligentesten verfügbaren KIs (einschließlich der neuesten Modelle von OpenAI und anderen) auf BEAVER testeten, waren die Ergebnisse schockierend.
- Die Punktzahl: Statt 80 % erhielt die beste KI nur 10,8 % der Antworten richtig.
- Der „Spickzettel"-Test: Die Forscher gaben der KI dann einen „Spickzettel" (die korrekten Antworten für diese 5 versteckten Schritte). Selbst mit dem Spickzettel stieg die Punktzahl der KI nur auf 30,1 %.
Was bedeutet das?
Das bedeutet, dass die KI bei zwei Hauptdingen versagt:
- Die Grundlagen: Sie kann nicht einmal die richtigen Regale finden oder die richtigen Punkte verbinden (die 5 Teilaufgaben).
- Die Mathematik: Selbst wenn sie weiß, was zu tun ist, hat sie Schwierigkeiten mit der komplexen Mathematik und Logik, die erforderlich ist, um die endgültige Antwort zu erstellen (wie die Verwendung fortschrittlicher Funktionen oder die korrekte Organisation der Daten).
Das Fazit
Das Paper kommt zu dem Schluss, dass wir KIs nicht weiterhin nur an sauberen, spielzeughaften Datenbanken trainieren können. Um KIs zu entwickeln, die tatsächlich in realen Unternehmen funktionieren können, müssen wir aufhören, so zu tun, als wären die Daten sauber. BEAVER ist ein neuer, härterer Test, der KI-Entwickler zwingt, diese spezifischen, unordentlichen Probleme zu beheben, bevor ihre Werkzeuge in der realen Welt vertrauenswürdig eingesetzt werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.