💬 NLP

AmbiSQL: Interactive Ambiguity Detection and Resolution for Text-to-SQL

Das Paper stellt AmbiSQL vor, ein interaktives System, das mehrdeutige Text-zu-SQL-Anfragen automatisch erkennt und durch gezielte Rückfragen an den Nutzer klärt, um die Genauigkeit der SQL-Generierung durch Large Language Models zu verbessern.

Ursprüngliche Autoren: Zhongjun Ding, Yin Lin, Tianjing Zeng, Rong Zhu, Bolin Ding, Jingren Zhou

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhongjun Ding, Yin Lin, Tianjing Zeng, Rong Zhu, Bolin Ding, Jingren Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr klugen, aber etwas verwirrten Assistenten, der eine riesige Bibliothek mit Daten verwaltet. Sie wollen ihm eine Frage stellen, um eine Antwort zu bekommen. Das Problem ist: Sie sprechen eine natürliche Sprache (wie Deutsch oder Englisch), aber die Bibliothek versteht nur eine sehr strenge, mathemische Sprache namens SQL.

Das Ziel von AmbiSQL ist es, diesen Assistenten zu helfen, Ihre Frage genau so zu verstehen, wie Sie sie gemeint haben – ohne dass Sie selbst die komplizierte SQL-Sprache lernen müssen.

Hier ist die Geschichte, wie AmbiSQL funktioniert, erklärt mit einfachen Bildern:

1. Das Problem: Die "Missverständnisse"

Stellen Sie sich vor, Sie sagen zu Ihrem Assistenten: "Zeig mir die Autos, die nach dem Ende des Vietnamkrieges verkauft wurden."

Ein normaler Mensch denkt vielleicht sofort: "Ah, er meint das Datum, an dem der Krieg offiziell endete." Aber für einen Computer ist das wie ein Rätsel:

Gab es ein offizielles Datum?
Meint er das Jahr 1975 oder ein anderes?
Und was ist mit "verkaufte Autos"? Meint er alle Autos, die nach dem Krieg existierten, oder nur die, die in diesem Jahr verkauft wurden?

Ohne Hilfe würde der Assistent raten. Und wenn er falsch rät, liefert er Ihnen die falsche Liste. Das nennt man Mehrdeutigkeit (Ambiguity).

2. Die Lösung: AmbiSQL als "Übersetzer und Detektiv"

AmbiSQL ist wie ein erfahrener Dolmetscher, der zwischen Ihnen und dem Computer steht. Es hat zwei besondere Fähigkeiten:

A. Der "Röntgenblick" (Die Taxonomie)

Der Dolmetscher hat eine spezielle Landkarte (eine Taxonomie) im Kopf. Er weiß genau, wo Missverständnisse lauern können. Er unterscheidet zwei Arten von Problemen:

Probleme mit den Daten (Die Bibliothek):
- Beispiel: Sie sagen "die älteste Person". Meinen Sie die Person mit dem höchsten Alter oder die, die sich am längsten angemeldet hat? Der Dolmetscher weiß: "Aha, hier fehlt eine genaue Definition!"
Probleme mit dem Denken (Der Assistent):
- Beispiel: Sie fragen nach "Spieler, die größer als Michael Jordan sind". Der Assistent weiß nicht: Soll er Jordans Größe aus der Datenbank holen oder im Internet nachschauen? Auch hier sagt der Dolmetscher: "Moment, das muss geklärt werden."

B. Das "Klärungsspiel" (Interaktive Fragen)

Anstatt den Assistenten raten zu lassen, macht AmbiSQL etwas Cleveres: Es spielt ein Multiple-Choice-Spiel mit Ihnen.

Statt zu fragen: "Was meinst du genau?" (was verwirrend sein kann), zeigt es Ihnen konkrete Optionen:

"Meinten Sie mit 'älteste Person' das Geburtsdatum oder das Registrierungsdatum?"
- Geburtsdatum
- Registrierungsdatum
"Soll ich Jordans Größe aus der Datenbank holen oder im Internet suchen?"
- Aus der Datenbank
- Im Internet suchen

Sie klicken einfach auf die richtige Antwort. Das ist so einfach wie das Bestellen von Kaffee: "Möchten Sie Milch oder Sojamilch?"

3. Der Prozess: Wie es abläuft

Sie stellen Ihre Frage: Sie tippen Ihre natürliche Frage ein.
Der Dolmetscher scannt: AmbiSQL sucht sofort nach den "dunklen Ecken" in Ihrer Frage.
Es fragt nach: Es zeigt Ihnen die Multiple-Choice-Fragen, um die dunklen Ecken auszuleuchten.
Es schreibt neu: Sobald Sie geklickt haben, schreibt AmbiSQL Ihre Frage um. Aus "Zeig mir die Autos nach dem Krieg" wird nun "Zeig mir alle Autos, die nach dem 30. April 1975 verkauft wurden".
Der Assistent liefert: Jetzt kann der Computer die perfekte SQL-Abfrage erstellen, die genau das tut, was Sie wollten.

Warum ist das so toll?

Früher mussten Sie sich wie ein Programmierer verhalten, um die Datenbank zu befragen. Jetzt können Sie einfach sprechen, und das System hilft Ihnen, Ihre Gedanken zu schärfen, bevor es sie in den Computer übersetzt.

Zusammenfassend:
AmbiSQL ist wie ein Sicherheitsnetz für Missverständnisse. Es fängt Ihre vagen Fragen auf, klärt sie mit Ihnen in einem kurzen, einfachen Gespräch (Klicks statt Tippen) und sorgt dafür, dass am Ende genau das herauskommt, was Sie sich vorgestellt haben. Es verwandelt das "Raten" des Computers in ein "Zusammenarbeiten" mit dem Menschen.

Problemstellung

Text-to-SQL-Systeme, die natürliche Sprachfragen in SQL-Abfragen übersetzen, haben durch Large Language Models (LLMs) erhebliche Fortschritte gemacht. Dennoch bleibt die Mehrdeutigkeit (Ambiguität) von Benutzeranfragen ein Hauptfehlerquellen.

Herausforderung: In realen Szenarien sind Benutzeranfragen oft nicht präzise. Dies führt zu einer Diskrepanz zwischen der tatsächlichen Benutzerabsicht und dem generierten SQL.
Folgen: Das System kann syntaktisch korrekte, aber semantisch falsche SQL-Abfragen erzeugen.
Spezifische Probleme:
- Schema-Linking: Unklare Referenzen auf Tabellen oder Spalten (z. B. bezieht sich „Fresno" auf eine Stadt oder einen Landkreis?).
- LLM-Reasoning: Unklare Anforderungen an externes Wissen oder zeitliche Granularität (z. B. „Ende des Vietnamkriegs" – welches Datum genau?).
Limitationen bestehender Ansätze: Vollautomatische Methoden ignorieren oft das Benutzerfeedback, während manuelle oder hybride Ansätze häufig nur Schema-Fehler adressieren und komplexe logische oder kontextuelle Mehrdeutigkeiten vernachlässigen.

Methodik: AmbiSQL

AmbiSQL ist ein interaktives System, das Mehrdeutigkeiten automatisch erkennt und Benutzer durch intuitive Mehrfachauswahl-Fragen zur Klärung ihrer Absicht führt. Der Ansatz basiert auf einem zweistufigen Pipeline-Verfahren:

1. Feinabgestimmte Ambiguitäts-Taxonomie

Das Kernstück des Systems ist eine neue Taxonomie, die Mehrdeutigkeiten in zwei Hauptdimensionen unterteilt:

Datenbank-basierte Ambiguitäten (Database-sourced):
- AmbiSchema: Unklare Zuordnung von Tabellen oder Spalten (z. B. „ältester Nutzer" = Alter oder Registrierungsdatum?).
- AmbiValue: Werte in der Frage entsprechen nicht den gespeicherten Datenbankwerten (z. B. „NYC" vs. „New York City").
- AmbiIntent: Fehlende Klarheit über die gewünschte SQL-Operation (Sortieren, Gruppieren oder Filtern?).
LLM-basierte Ambiguitäten (LLM-sourced):
- AmbiSource: Unklarheit, ob Daten aus der DB oder durch LLM-Reasoning abgeleitet werden sollen.
- AmbiContext: Fehlender Kontext für die Schlussfolgerung (z. B. Währung oder Datum für Wechselkurse).
- AmbiFallacy: Widersprüchliche Annahmen (z. B. Fragen zu Ereignissen, die nie stattfanden).
- AmbiRef: Unpräzise zeitliche oder räumliche Einschränkungen (Granularitätsprobleme).

2. Systemarchitektur und Ablauf

Stufe 1: Ambiguitätsidentifikation
- Ein vortrainiertes LLM mit In-Context-Learning analysiert die Benutzerfrage und das Datenbankschema.
- Basierend auf der Taxonomie werden mehrdeutige Phrasen identifiziert und klassifiziert.
- Das System generiert gezielte Klärungsfragen (Clarification Questions, CQs) mit Mehrfachauswahl-Optionen, die auf Datenbank-Snippets oder Kontextwissen basieren.
Stufe 2: Iterative Verfeinerung
- Der Benutzer beantwortet die CQs (z. B. Auswahl einer spezifischen Spalte oder eines Datums).
- Preference Update: Die Antworten werden in einer baumartigen Struktur gespeichert, um Benutzerpräferenzen zu lernen und Konflikte zu lösen.
- Query Refinement: Die ursprüngliche Frage wird mit den neuen Constraints zu einer klaren, mehrdeutigkeitsfreien Frage ( $q'$ ) umgeschrieben.
- Der Prozess wiederholt sich, bis keine weiteren Mehrdeutigkeiten erkannt werden.
- Die finale, geklärte Frage wird an das Backend-System (XiYan-SQL) zur SQL-Generierung übergeben.

Wichtige Beiträge

Systematische Taxonomie: Einführung einer umfassenden Taxonomie, die nicht nur Schema-Linking-Fehler, sondern auch komplexe LLM-Reasoning-Probleme (Zeit, Kontext, externe Fakten) abdeckt.
Interaktiver Human-in-the-Loop-Ansatz: Überwindung der Grenzen rein automatischer Systeme durch gezielte, benutzergeführte Klärungsschritte, die die Benutzerabsicht präzise erfassen.
Dynamische Query-Rewriting: Ein Mechanismus, der Benutzerfeedback in eine strukturell korrekte SQL-Abfrage übersetzt, wobei Konflikte zwischen ursprünglichen und neuen Constraints intelligent gelöst werden.
Demonstration (Demo): Integration mit dem kommerziellen Backend XiYan-SQL und Bereitstellung eines Testdatensatzes mit 40 manuell annotierten, mehrdeutigen Anfragen aus den Benchmarks BIRD und TAG.

Ergebnisse und Evaluation

Demonstration: Das System wurde auf der SIGMOD-Companion '26 vorgestellt. Teilnehmer konnten 40 reale, mehrdeutige Fälle durchspielen.
Verbesserung der SQL-Qualität: Durch die Auflösung von Mehrdeutigkeiten (z. B. korrekte Zuordnung von „ranked 2" zu einer spezifischen Spalte oder Präzisierung von Datumsangaben) generiert das System SQL-Abfragen, die die Benutzerabsicht deutlich genauer widerspiegeln.
Vergleich: Ein Side-by-Side-Vergleich zeigt, dass SQL-Abfragen ohne AmbiSQL oft falsche Spalten referenzieren oder falsche Filterbedingungen enthalten, während die mit AmbiSQL geklärten Abfragen korrekt sind.
Flexibilität: Das System unterstützt sowohl vordefinierte Testfälle als auch benutzerdefinierte Datenbanken und Fragen.

Bedeutung und Ausblick

AmbiSQL adressiert eine kritische Lücke in der Text-to-SQL-Forschung: Die Notwendigkeit, Unschärfen in der menschlichen Kommunikation aktiv zu managen, anstatt sie zu ignorieren oder fehlerhaft zu interpretieren.

Für die Praxis: Das System ermöglicht nicht-technischen Nutzern den zuverlässigen Zugriff auf Datenbanken, indem es Missverständnisse proaktiv auflöst.
Für die Forschung: Die vorgestellte Taxonomie bietet einen neuen Standard für die Evaluierung und Verbesserung von Text-to-SQL-Systemen und Benchmarks.
Zukunft: Das System demonstriert, dass die Kombination aus fortschrittlichen LLMs und strukturiertem Benutzerfeedback der Schlüssel zu robusteren und vertrauenswürdigeren Datenbankschnittstellen ist.

Der Quellcode und das Demo-Video sind öffentlich verfügbar, um weitere Forschung und Anwendungen in diesem Bereich zu fördern.