Technische Samenvatting: UNIQL

Probleemstelling

Huidige text-to-SQL benchmarks, zoals Spider en BIRD, zijn voornamelijk gericht op het SQLite-dialect. Deze afhankelijkheid creëert een significante evaluatiekloof: het blijft onduidelijk of large language models (LLM's) hun capaciteiten kunnen generaliseren over heterogene SQL-dialecten. Real-world databasesystemen (bijv. PostgreSQL, MySQL, Oracle, Hive) verschillen substantieel in syntaxis, ingebouwde functies, typesystemen en executie-semantiek. Bijgevolg vereist dezelfde natuurlijke taalintentie vaak dialect-specifieke SQL-realisaties. Bestaande benchmarks richten zich ofwel op één enkel dialect, of dekken meerdere systemen zonder dezelfde natuurlijke taalintenties over hen heen af te stemmen, wat het onmogelijk maakt om dialectvariatie te isoleren van verschillen in schema's of taken. Deze beperking leidt tot een overschatting van de robuustheid en universaliteit van huidige text-to-SQL-systemen.

Methodologie

De auteurs introduceren UNIQL, een door mensen geverifieerde, uitvoerbare benchmark ontworpen voor cross-dialect text-to-SQL evaluatie. De constructie van UNIQL omvat een hybride pipeline die de BIRD-ontwikkelingsset uitbreidt naar 16 SQL-dialecten.

Dataconstructie Pipeline

1. Database Migratie: De originele BIRD-databases (gebaseerd op SQLite) worden gemigreerd naar 15 doel-databasesystemen (inclusief ClickHouse, Doris, Drill, Druid, DuckDB, Hive, MySQL, Oracle, PostgreSQL, Presto, Spark, StarRocks, Teradata, Trino en T-SQL). Dit proces omvat schema-adaptatie, type-mapping, identifier-normalisatie en namespace-adaptatie om uitvoerbaarheid te garanderen terwijl de datasemantiek behouden blijft.
2. Geautomatiseerde Vertaling & Verificatie:
   • Regelgebaseerde Vertaling: Een deterministisch hulpmiddel (SQLGlot) wordt gebruikt om initiële doel-dialect queries te genereren.
   • Execution-Guided Verificatie: Vertaalde queries worden uitgevoerd op de doel-database. Een query wordt alleen automatisch geaccepteerd als deze succesvol wordt uitgevoerd en resultaten produceert die strikt equivalent zijn aan de bron-SQLite query. Het protocol behoudt ordeningssemantiek en duplicaten-multipliciteit, waardoor false positives die voorkomen bij ongeordende verzamelingen-vergelijkingen worden vermeden.
   • LLM-gebaseerde Vertaling: Voor queries waarbij de regelgebaseerde vertaling faalt, genereert een LLM (GPT-5-mini) vertalingen gebaseerd op de bron-SQL, het doel-schema en de huidige regelset.
   • Zelfreflectie: Als LLM-vertalingen falen in de equivalentie-verificatie, gaat het model een begrensde zelfreflectie-loop binnen (tot 3 rondes) met behulp van executie-feedback (fouten of resultaat-mismatches) om de query te verfijnen.
3. Iteratieve Regel-evolutie: Mislukte vertalingen worden geanalyseerd om terugkerende foutpatronen te abstraheren naar herbruikbare dialect-transformatie-regels. Deze regels worden iteratief bijgewerkt (met behulp van Gemini-2.5-Pro) om long-tail dialect-specifieke problemen zoals functie-herschrijving, typeconversie en aggregatiegedrag aan te pakken.
4. Menselijke Verificatie: Gegevensgevallen die niet kunnen worden opgelost via automatische vertaling, reflectie of regelverfijning, worden gerouteerd naar menselijke annotatoren. Twee onafhankelijke annotatoren beoordelen de uitvoerbaarheid en semantische consistentie, en herschrijven de queries indien nodig om ervoor te zorgen dat ze overeenkomen met de oorspronkelijke natuurlijke taalintentie.

Benchmark Statistieken

• Bron: 1.534 natuurlijke taalvragen uit de BIRD-ontwikkelingsset.
• Dekking: 16 SQL-dialecten (1 bron + 15 doel-dialecten).
• Totaal aantal Annotaties: 24.544 dialect-specifieke, uitvoerbare SQL-queries.
• Afstemming: Alle dialecten delen identieke natuurlijke taalintenties, afgestemde schema's en database-inhoud.

Evaluatieprotocol

Het paper evalueert modellen met behulp van Execution Accuracy (EX). In tegen tegenstelling tot eerdere benchmarks die outputs omzetten naar ongeordende verzamelingen, behoudt UNIQL's protocol de volgorde wanneer expliciete ORDER BY clausules aanwezig zijn en behoudt het de duplicaten-multipliciteit voor ongeordende outputs. Modellen worden geëvalueerd in een inference-only setting zonder taak-specifieke fine-tuning, few-shot selectie of dialect-specifieke adaptatie.

Belangrijkste Resultaten

De auteurs hebben een brede set open-source (bijv. Qwen3, Llama-3, DeepSeek) en closed-source (bijv. GPT-5, Gemini, Claude) LLM's geëvalueerd.

1. Beperkte Dialect Universaliteit: Zelfs de sterkste modellen (bijv. Claude-4.5-Sonnet) behalen een gemiddelde execution accuracy van slechts ~54,63%. Dit geeft aan dat uitvoerbare cross-dialect text-to-SQL generatie nog lang niet verzadigd is.
2. SQLite-Centrische Bias: Prestaties op SQLite voorspellen de prestaties op andere dialecten niet betrouwbaar. Bijvoorbeeld, een model kan 59,84% scoren op SQLite maar slechts 37,74% op Teradata. Single-dialect benchmarks slagen er niet in de significante model-dialect interacties te vangen.
3. Scaling Effecten: Grotere modellen binnen families (bijv. Qwen3-1.7B naar Qwen3-32B) laten verbeterde prestaties zien, maar schalen versterkt primair de algemene capaciteit in plaats van dialect-specifieke zwakheden te elimineren. Moeilijke dialecten zoals Druid, Presto en Teradata blijven uitdagend, zelfs voor grotere modellen.
4. Dialect Bekendheid: Prestaties correleren met modelbekendheid. Oracle, dat over overvloedige publieke documentatie en trainingsblootstelling beschikt, levert een hogere nauwkeurigheid op dan Teradata of Druid, die mogelijk ondervertegenwoordigd zijn in pretraining corpora en complexe systeem-specifieke functies bevatten.
5. Cross-Dialect Consistentie: Een hoge gemiddelde nauwkeurigheid impliceert geen dialect-universele correctheid. Voor het beste model worden slechts ~20% van de vragen correct beantwoord over alle 16 dialecten. Bovendien garandeert succes op de SQLite-realisatie van een intentie geen succes op andere dialecten (bijv. slechts ~33% van de SQLite-correcte vragen blijven correct over alle andere dialecten voor Claude-4.5-Sonnet).

Betekenis en Bijdragen

Het paper levert drie primaire bijdragen:

1. UNIQL Benchmark: De introductie van een door mensen geverifieerde, uitvoerbare benchmark die dezelfde natuurlijke taalintenties afstemt met SQL-realisaties over 16 dialecten, wat een gecontroleerde evaluatie van dialect-generalisatie mogelijk maakt.
2. Constructie Framework: Een nieuwe SQL-translatie framework die tool-gebaseerde vertaling, LLM-gebaseerde vertaling, execution-gebaseerde verificatie, zelfreflectie, iteratieve regel-evolutie en menselijke validatie integreert om hoogwaardige cross-dialect datasets te construeren.
3. Diagnostische Evaluatie: Een uitgebreide evaluatie die aantoont dat huidige LLM's moeite hebben met dialect-universele text-to-SQL generatie. De bevindingen benadrukken dat robuuste cross-systeem querying expliciete evaluatie en modellering van cross-dialect robuustheid vereist, in plaats van enkel te vertrouwen op SQLite-centrische benchmarks.

De auteurs concluderen dat hoewel huidige modellen veelbelovend zijn, ze nog niet dialect-universeel zijn. De substantiële variatie in prestaties over verschillende databasesystemen onderstreept de noodzaak van afgestemde cross-dialect benchmarks en de ontwikkeling van meer dialect-bewuste text-to-SQL methoden.