Cheaper, Better, Faster, Stronger: Robust Text-to-SQL without Chain-of-Thought or Fine-Tuning

1. Probleemstelling

State-of-the-Art (SOTA) Text-to-SQL-benaderingen vertrouwen sterk op computationally expensive technieken om hoge nauwkeurigheid te bereiken:

• Chain-of-Thought (CoT) Self-Consistency: Genereert meerdere kandidaat-query's via redeneerpaden (vaak vereist dit 20–100+ LLM-aanroepen per query) om het meest consistente antwoord te selecteren.
• Fine-Tuning: Vereist uitgebreide data-labeling en modeltraining, wat kosten in de duizenden dollars met zich meebrengt.
• Kosten versus Prestaties: Deze methoden kunnen tot $0,46 per query kosten (bijv. CHASE, CHESS) en vereisen vaak grote modellen. De auteurs stellen dat deze benaderingen over-engineerd zijn voor specifieke taken en het fundamentele gevoel van Large Language Models (LLM's) voor schema-representatieformaten niet aanpakken.

2. Methodologie: Het N-rep Framework

De auteurs stellen "N-rep" (N-representation) Consistency voor, een framework dat robuuste SQL-query's genereert door gebruik te maken van meerdere tekstrepresentaties van het databaseschema in plaats van meerdere redeneerpaden. Het framework werkt in drie fasen:

A. Schema Linker

In plaats van één schema-invoer wordt het databaseschema omgezet in $n$ verschillende tekstrepresentaties (bijv. DDL, MAC-Schema, M-Schema, JSON, Python/SQLAlchemy).

• Proces: Voor elke representatie voorspelt het systeem relevante tabellen en kolommen.
• Filterniveaus: Om de diversiteit te vergroten, worden drie filterstrategieën toegepast op het schema voordat er gegenereerd wordt:
  1. Geen filtering: Volledig schema.
  2. Alleen tabellen: Geselecteerde tabellen met al hun kolommen.
  3. Volledige filtering: Geselecteerde tabellen met alleen de voorspelde relevante kolommen.
• Doel: Dit creëert een diverse set "schema linking candidates" zonder te vertrouwen op temperatuur-sampling of CoT-redenering.

B. Kandidaatgenerator

Een LLM genereert SQL-kandidaten met behulp van de diverse schema-representaties die in de vorige fase zijn geproduceerd.

• Invoer: Een specifieke schema-representatie (gefilterd of ongefilterd), de Natural Language Question (NLQ) en 3 few-shot voorbeelden.
• Efficiëntie: In tegenstelling tot CoT-methoden die lange redeneerketens genereren, genereert N-rep directe SQL-query's, wat het tokenverbruik per kandidaat aanzienlijk verlaagt.

C. Kandidaatselektor

Een vertrouwensbewuste twee-traps selectiestrategie wordt gebruikt om de uiteindelijke SQL te kiezen:

1. Reguliere stemming: Kandidaten worden gestemd op basis van uitvoerresultaten of string-matching.
2. Vertrouwensdrempel: Als de stemverdeling hoge zekerheid aangeeft (bijv. een duidelijke meerderheid), wordt de topkandidaat direct geselecteerd.
3. LLM-gebaseerde beslissing bij gelijkspel: Als de zekerheid laag is (bijv. een gelijkspel tussen topkandidaten), wordt een secundaire LLM-gebaseerde paarsgewijze vergelijking (vergelijkbaar met CHASE-SQL) alleen geactiveerd voor die specifieke gevallen met lage zekerheid. Dit minimaliseert onnodige LLM-aanroepen.

3. Belangrijkste Bijdragen

• Kostenefficiëntie: N-rep bereikt SOTA-niveau prestaties voor een fractie van de kosten. Het verlaagt de kosten per query van ~$0,46 naar $0,039 (een reductie van ~8,7x).
• Geen Fine-Tuning of CoT: De methode bereikt robuustheid zonder model-fine-tuning of dure Chain-of-Thought-redenering, en vertrouwt in plaats daarvan op diversiteit in schema-representatie.
• Modelonafhankelijkheid: De aanpak werkt effectief met kleinere, goedkopere open-source modellen (bijv. Qwen3-8B), waardoor de prestatiekloof tussen kleine en grote modellen wordt verkleind.
• Robuustheid: Door schema-formaten te variëren, mitigeert de methode de "input-sensitiviteit" van LLM's, waarbij één enkel schema-formaat hallucinaties of linkfouten kan veroorzaken.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de BIRD en SPIDER benchmarks.

Prestaties op BIRD (Dev Set):

• Uitvoernauwkeurigheid (EX): N-rep behaalde 69,25%, wat beter is dan de Gemini 2.5 Pro-baseline (66,82%) en de CHESS-methode (68,31%).
• Kostenvergelijking:
  • N-rep: $0,039/query (gemiddeld 8 LLM-aanroepen).
  • Gemini 2.5 Pro: $0,047/query.
  • CHASE: $0,44/query (100+ aanroepen).
  • CHESS: $0,46/query.
• Winsten voor kleine modellen: Toegepast op Qwen3-8B, verbeterde N-rep de EX van 44,98% naar 57,04% (+12 punten), wat aantoont dat schema-diversiteit beperkingen in modelgrootte compenseert.

Prestaties op SPIDER (Test Set):

• N-rep behaalde 87,0% EX, wat beter is dan DAIL-SQL (86,6%) en CHESS (87,2%), en zeer dicht in de buurt komt van de best presterende MiniSeek (91,2%).

5. Betekenis en Conclusie

Het paper daagt de heersende trend uit om massale CoT-redenering en fine-tuning te gebruiken voor Text-to-SQL. De auteurs tonen aan dat domeinspecifieke kennis (het begrijpen van hoe schema-representatie de LLM-prestaties beïnvloedt) effectiever is dan generieke redeneerstrategieën.

• Kerninzicht: LLM's zijn zeer gevoelig voor hoe databaseschema's zijn opgemaakt. Door meerdere representaties te bieden, creëert het systeem een "consistentie"-effect dat vergelijkbaar is met self-consistency, maar dan door invoerdiversiteit in plaats van redeneerdiversiteit.
• Impact: N-rep biedt een praktische, schaalbare en kosteneffectieve oplossing voor enterprise Text-to-SQL-toepassingen, en bewijst dat "goedkopere" modellen met slimme engineering betere prestaties kunnen leveren dan dure, redeneringszware benaderingen.

Beperkingen: De huidige implementatie vertrouwt op handmatig geselecteerde schema-representaties. Toekomstig werk heeft als doel de generatie van diverse schema-formaten te automatiseren en het vertrouwensbewuste stembeleid te optimaliseren voor willekeurige aantallen kandidaten.