Technische Samenvatting: Residuele Vaardigheidsoptimalisatie voor Text-to-SQL Ensembles

Probleemstelling

Text-to-SQL-systemen hebben als doel natuurlijke taalvragen te vertalen naar uitvoerbare SQL-query's. Hoewel Large Language Models (LLM's) goed presteren op standaard benchmarks, blijven real-world scenario's met grote schema's, dialect-specifieke syntaxis en meerstapslogica uitdagend. Huidige agentische systemen, die schema's iteratief inspecteren en fouten herstellen, slagen er nog steeds niet in om elke query betrouwbaar op te lossen.

Om dit aan te pakken, genereren Text-to-SQL ensembles meerdere SQL-kandidaten ($K$) en selecteren de beste. De effectiviteit van elk ensemble is echter fundamenteel begrensd door Pass@K—de waarschijnlijkheid dat ten minste één van de $K$ kandidaten correct is. Bestaande methoden proberen diversiteit te vergroten via stochastische decoding (sampling met hoge temperatuur) of handmatig ontworpen promptvarianten. De auteurs betogen dat deze benaderingen ontoereikend zijn omdat ze vaak kandidaten produceren met gecorreleerde fouten. In agentische systemen verspreidt vroege planningsrandomness zich door lange redeneertrajecten, wat resulteert in ruisvarianten van hetzelfde onjuiste pad in plaats van oprecht complementaire oplossingen. Gevolg is dat Pass@K plateauert en extra kandidaten afnemende meerwaarde opleveren.

Methodologie: DIVSKILL-SQL

Het artikel introduceert DIVSKILL-SQL, een raamwerk dat complementaire agentische Text-to-SQL ensembles construeert zonder model-finetuning. In plaats van te vertrouwen op toeval of heuristieken voor diversiteit, behandelt het kandidaatcomplementariteit als een expliciete optimalisatiedoelstelling met behulp van Residuele Vaardigheidsoptimalisatie.

Kernconcept: Vaardigheden en Residuen

• Vaardigheden: Een "vaardigheid" wordt gedefinieerd als een instructiebestand op hoog niveau (systeemprompt) dat de decompositiestijl, het beleid voor schema-exploratie, de schrijfstrategie en de herstellogica van een agent controleert.
• Residuele Optimalisatie: Het raamwerk werkt volgens het principe dat een nieuwe vaardigheid niet per se globaal beter hoeft te zijn dan zijn voorgangers, maar eerder de specifieke voorbeelden moet oplossen die het huidige ensemble mist.
  • Laat $D_{train}$ de trainingsset zijn.
  • Na het selecteren van vaardigheden $s_1, \dots, s_{j-1}$, wordt de residuele set $R_{j-1}$ gedefinieerd als het subset van voorbeelden waar het huidige ensemble faalt.
  • De volgende vaardigheid $s_j$ wordt geoptimaliseerd om succes specifiek op $R_{j-1}$ te maximaliseren.
  • Dit proces richt zich gretig op de marginale bijdrage van een nieuwe vaardigheid aan de algehele Pass@K.

Algorithmische Flow

1. Initialisatie Zaadpool: Het proces begint met een diverse pool van $K$ handmatig samengestelde zaadvaardigheden (bijv. decompose, direct_coder, explore_heavy, adversarial_checker), die elk een distincte redeneerstrategie coderen.
2. Iteratieve Optimalisatie:
   • Het algoritme werkt in batches. Voor elke vaardigheid in de pool worden de huidige residuele fouten geïdentificeerd (voorbeelden die het ensemble nog niet heeft opgelost).
   • Met behulp van Reflective Prompt Optimization (specifiek de GEPA-techniek) analyseert een LLM faalsporen (schema-inspecties, uitvoeringsfouten) en stelt een verfijnde prompt voor om deze specifieke fouten aan te pakken.
   • De verfijning wordt alleen geaccepteerd als het herstel op de residuele set verbetert.
   • De residuele set wordt bijgewerkt om voorbeelden te verwijderen die door de verfijnde vaardigheid nieuw zijn opgelost.
3. Inferentie: Tijdens de testfase draaien de $K$ geleerde vaardigheidsgeconditioneerde agenten parallel. Kandidaten worden gededupliceerd op basis van uitvoeroutput, en de uiteindelijke SQL wordt geselecteerd via paarwijze vergelijking met een LLM-rechter, wat betrouwbaarder is dan directe 1-op-K selectie.

Belangrijkste Bijdragen

1. Formulering: De auteurs formuleren Text-to-SQL-ensemblevorming als een residuele Pass@K-optimalisatieprobleem over agentvaardigheden, met als doel complementaire gedragingen te leren die verschillende faalmodi dekken.
2. Raamwerk: Zij stellen DIVSKILL-SQL voor, een methode die de dekking van de kandidaatset verbetert zonder model-finetuning of sampling met hoge temperatuur, waardoor het toepasbaar is op zowel open als gesloten LLM's.
3. Theoretisch Bewijs: Het artikel levert een bewijs (Propositie A.1) dat toont dat onder het populatiedoel de gretige residuele optimalisatiestrategie minstens een $(1 - 1/e)$-benadering bereikt van het optimale $K$-vaardigheidsensemble, gebruikmakend van de submodulariteit van het Pass@K-doel.
4. Empirische Validatie: Uitgebreide evaluatie over meerdere benchmarks en SQL-dialecten toont aan dat het optimaliseren van vaardigheden op niet-opgeloste voorbeelden direct gericht is op marginale bijdragen aan Pass@K.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op Spider2-Lite (dekkend SQLite, Snowflake en BigQuery) en BIRD-Critic (PostgreSQL debugging), met Opus-4.6 en GPT-5.4 als basismodellen.

• Prestatiewinst:
  • Op Spider2-Lite (Snowflake) verbeterde DIVSKILL-SQL de geselecteerde nauwkeurigheid met +11,1 punten ten opzichte van de sterkste baseline (CHASE-SQL).
  • Op Spider2-Lite (BigQuery) verbeterde het met +8,3 punten.
  • Op BIRD-Critic verbeterde het de geselecteerde nauwkeurigheid met +2,6 punten, wat transfer naar een debug-stijl taakformulering aantoont.
• Transferbaarheid: Vaardigheden geoptimaliseerd op één dialect (Snowflake) transferden effectief naar BigQuery en SQLite zonder hertraining, wat aangeeft dat de geleerde strategieën hoogwaardige probleemoplossende logica vastleggen in plaats van dialect-specifieke syntaxis.
• Foutreductie: Foutdiagnoses onthulden tot 3× minder gehallucineerde schema-referenties en niet-ondersteunde functieoproepen in vergelijking met baselines.
• Gedragsdiversiteit: Trajectanalyse toonde aan dat DIVSKILL-SQL redundantie in agentgedrag met 19%–28% reduceert. In tegenstelling tot herhaalde sampling die gecorreleerde fouten produceert, induceren de geleerde vaardigheden oprecht verschillende redeneerpaden (bijv. distincte schema-inspectie- en decompositiepatronen).
• Efficiëntie: Om dezelfde Pass@K-dekking te bereiken als de 8 kandidaten van DIVSKILL-SQL, vereisten baseline-methoden 3 tot 8 extra passes, wat de kostenefficiëntie van de residuele benadering benadrukt.

Betekenis en Claims

Het artikel beweert dat DIVSKILL-SQL een verschuiving vertegenwoordigt van het vertrouwen op stochastische diversiteit naar gestructureerde, complementaire diversiteit. Door expliciet te optimaliseren voor de "residuele" gevallen die eerdere agenten missen, construeert het systeem een ensemble waarbij het geheel groter is dan de som der delen.

De auteurs benadrukken dat hun winst voortkomt uit oprecht betrouwbare complementaire vaardigheden in plaats van oppervlakkige variaties. Deze aanpak adresseert de fragiliteit van agentische systemen waarbij vroege randomness leidt tot onstabiel redeneren. Bovendien suggereert het vermogen van de methode om te transfereren over dialecten en taaitypes (van generatie naar debugging) dat de geoptimaliseerde vaardigheden robuuste, generaliseerbare strategieën coderen voor interactie met relationele databases. Het raamwerk biedt een praktische weg om de betrouwbaarheid van Text-to-SQL te verbeteren zonder de rekenkosten van het finetunen van meerdere modellen.