💬 NLP

Residual Skill Optimization for Text-to-SQL Ensembles

Der Artikel stellt DivSkill-SQL vor, ein Framework zur Optimierung verbleibender Fähigkeiten, das komplementäre Text-to-SQL-Ensembles durch iteratives Trainieren neuer Fähigkeiten auf vorherigen Fehlern ohne Feinabstimmung des Modells erstellt und dadurch die Pass@K-Genauigkeit erheblich verbessert sowie Halluzinationen über verschiedene SQL-Dialekte und Aufgaben hinweg reduziert.

Ursprüngliche Autoren: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen, wie etwa die Übersetzung einer komplexen menschlichen Frage in eine spezifische Computersprache namens SQL. Sie haben einen superschlauen KI-Assistenten (ein Large Language Model), der versuchen kann, es zu lösen.

Normalerweise, wenn Sie diesen KI-Assistenten einmal fragen, könnte er es richtig machen, oder er könnte es falsch machen. Um die Chancen zu verbessern, versuchen viele Systeme einen „Schrotflinten-Ansatz": Sie bitten die KI, acht verschiedene Antworten gleichzeitig zu generieren und dann die beste auszuwählen. Dies wird als Ensemble bezeichnet.

Das Papier argumentiert jedoch, dass der aktuelle „Schrotflinten-Ansatz" einen gravierenden Mangel hat. Es ist so, als würde man dieselbe Person auffordern, acht verschiedene Aufsätze zum selben Thema zu schreiben, indem man ihr einfach sagt: „Schreibe schneller" oder „Ändere deine Stimmung". Sie wird wahrscheinlich acht Aufsätze schreiben, die sich alle sehr ähnlich sind, und wenn sie bei dem ersten einen Fehler macht, wird sie diesen gleichen Fehler wahrscheinlich auch bei den anderen sieben machen. Sie alle versagen auf die gleiche Weise.

Die Lösung: Das „Spezialisierte Team" (DIVSKILL-SQL)

Die Autoren dieses Papiers, DIVSKILL-SQL, schlagen einen intelligenteren Weg vor, um ein Team von KI-Assistenten aufzubauen. Anstatt einfach nach zufälligen Variationen zu fragen, trainieren sie ein Team aus acht unterschiedlichen Spezialisten, von denen jeder einen einzigartigen „Fähigkeitsbereich" oder eine eigene Persönlichkeit besitzt.

Hier ist, wie sie es tun, unter Verwendung einer einfachen Analogie:

1. Die „Residuale" Trainingsmethode (Lernen aus dem Scheitern)

Stellen Sie sich vor, Sie sind ein Trainer, der eine Fußballmannschaft trainiert.

Der alte Weg: Sie sagen allen acht Spielern, sie sollen dieselbe Übung machen. Wenn sie das Tor immer wieder verfehlen, sagen Sie ihnen einfach, sie sollen sich mehr anstrengen oder schneller laufen. Sie verfehlen das Tor weiterhin genau an derselben Stelle.
Der DIVSKILL-SQL-Weg: Sie beobachten das Spiel. Sie sehen, dass Spieler A das Tor verfehlt, weil er zu aggressiv ist. Also sagen Sie Spieler A nicht einfach, er soll es noch einmal versuchen; Sie erstellen eine neue, spezifische Trainingsübung nur für Spieler A, die genau diese spezifische Schwäche behebt.
Dann schauen Sie sich die verbleibenden Probleme an. Vielleicht ist Spieler B großartig im Schießen, aber schlecht im Passen. Sie erstellen eine neue Übung nur für Spieler B, um das Passen zu verbessern.

Im Papier wird dies als Residual Skill Optimization (Optimierung der Restfähigkeiten) bezeichnet. Das System betrachtet die Fragen, die das aktuelle Team nicht lösen konnte, und „optimiert" dann eine neue Fähigkeit speziell, um diese verbleibenden schwierigen Fälle zu lösen. Es versucht nicht, jeden Spieler in allem perfekt zu machen; es versucht, jeden Spieler perfekt darin zu machen, die spezifischen Lücken zu schließen, die von den anderen gelassen wurden.

2. Die „Fähigkeitskarten" (Keine schwere Arbeit)

Das Papier betont, dass sie nicht das gesamte KI-Gehirn neu trainieren müssen (was teuer und langsam ist). Stattdessen ändern sie nur die Instruktionskarte (den Prompt), die der KI gegeben wird.

Eine Karte könnte sagen: „Sei ein vorsichtiger Entdecker. Überprüfe zuerst die Daten, dann schreibe den Code."
Eine andere Karte könnte sagen: „Sei ein schneller Programmierer. Schreibe den Code sofort, führe ihn aus und behebe Fehler, während sie auftreten."
Eine dritte könnte sagen: „Breche das Problem in winzige Teile auf, bevor du das große Ganze aufbaust."

Indem sie der KI für jeden der acht Versuche verschiedene „Persönlichkeitskarten" geben, stellen sie sicher, dass die acht Antworten wirklich unterschiedlich voneinander sind. Wenn ein Ansatz scheitert, werden die anderen wahrscheinlich erfolgreich sein, weil sie das Problem auf unterschiedliche Weise betrachten.

3. Das „Turnier" (Den Gewinner auswählen)

Sobald das Team aus acht Spezialisten ihre acht Antworten generiert hat, muss das System den Gewinner auswählen.

Anstatt einfach zu raten oder die erste auszuwählen, verwenden sie ein Paar-Turnier.
Stellen Sie sich einen Boxkampf vor: Antwort A kämpft gegen Antwort B. Der KI-Richter wählt den Gewinner aus. Dann kämpft der Gewinner gegen Antwort C.
Derjenige mit den meisten „Siegen" darf die endgültige Antwort sein. Dies ist zuverlässiger als das zufällige Auswählen einer einzigen Antwort.

Was haben sie herausgefunden?

Die Autoren testeten dies an realen Datenbankproblemen (unter Verwendung von Benchmarks wie Spider2-Lite und BIRD-Critic). Hier sind die wichtigsten Erkenntnisse:

Bessere Genauigkeit: Ihr „Spezialisiertes Team" löste signifikant mehr Probleme als die besten bestehenden Methoden. Bei einigen schwierigen Datenbanken verbesserten sie die Genauigkeit um mehr als 11 Punkte.
Weniger Halluzinationen: Da die Fähigkeiten darauf ausgerichtet sind, bestimmte Arten von Fehlern zu lösen, machte die KI weniger „wilde Vermutungen" (wie das Erfinden gefälschter Datenbanktabellen, die nicht existieren).
Echte Vielfalt: Das Papier zeigt, dass die acht Antworten nicht nur leicht unterschiedliche Versionen desselben Satzes waren. Sie wurden unter Verwendung völlig unterschiedlicher Denkpfade generiert (z. B. überprüfte einer zuerst die Daten, ein anderer schrieb sofort Code). Dies bedeutete, dass sie mehr Boden abdeckten.
Übertragbare Fähigkeiten: Interessanterweise funktionierte ein Team, das auf einer Art von Datenbank (Snowflake) trainiert wurde, genauso gut auf völlig unterschiedlichen Datenbanken (BigQuery, SQLite), ohne dass es neu trainiert werden musste. Die „Fähigkeiten" (wie „Breche das Problem auf") waren überall nützlich.

Zusammenfassung

Das Papier stellt eine Methode vor, um KI-Teams schlauer zu machen, nicht indem man sie größer macht, sondern indem man sie vielfältiger macht. Anstatt die KI zu bitten, acht Mal hintereinander zu raten, lehren sie die KI acht verschiedene Denkweisen, wodurch sichergestellt wird, dass, wenn eine Methode versagt, eine andere Methode wahrscheinlich erfolgreich sein wird. Es ist der Unterschied zwischen der Bitte an eine Person, es acht Mal zu versuchen, und der Bitte an acht verschiedene Experten mit einzigartigen Stärken, das Problem gemeinsam zu lösen.

Technische Zusammenfassung: Residuelle Skill-Optimierung für Text-to-SQL-Ensembles

Problemstellung

Text-to-SQL-Systeme zielen darauf ab, natürliche Sprachfragen in ausführbare SQL-Abfragen zu übersetzen. Während Large Language Models (LLMs) auf Standard-Benchmarks gut abschneiden, bleiben reale Szenarien mit großen Schemata, dialektspezifischer Syntax und mehrstufiger Logik herausfordernd. Aktuelle agentische Systeme, die Schemata iterativ inspizieren und Fehler beheben, scheitern dennoch daran, jede Abfrage zuverlässig zu lösen.

Um dies zu adressieren, generieren Text-to-SQL-Ensembles mehrere SQL-Kandidaten ( $K$ ) und wählen den besten aus. Die Wirksamkeit eines jeden Ensembles ist jedoch fundamental durch Pass@K begrenzt – die Wahrscheinlichkeit, dass mindestens einer der $K$ Kandidaten korrekt ist. Bestehende Methoden versuchen, die Vielfalt durch stochastisches Decodieren (Sampling mit hoher Temperatur) oder handgefertigte Prompt-Varianten zu erhöhen. Die Autoren argumentieren, dass diese Ansätze unzureichend sind, da sie häufig Kandidaten mit korrelierten Fehlern produzieren. In agentischen Systemen pflanzt sich frühe Planungszufälligkeit durch lange Denkpfade fort und führt zu verrauschten Varianten desselben falschen Pfads anstatt zu genuinely komplementären Lösungen. Folglich stagniert Pass@K, und zusätzliche Kandidaten erbringen abnehmende Grenzerträge.

Methodik: DIVSKILL-SQL

Die Arbeit stellt DIVSKILL-SQL vor, ein Framework, das komplementäre agentische Text-to-SQL-Ensembles ohne Feinabstimmung des Modells konstruiert. Anstatt auf Zufall oder Heuristiken für Vielfalt zu setzen, behandelt es die Komplementarität der Kandidaten als explizites Optimierungsziel mittels Residual Skill Optimization.

Kernkonzept: Skills und Residuen

Skills: Ein „Skill" wird als hochrangige Instruktionsdatei (System-Prompt) definiert, die den Zerlegungsstil, die Schema-Explorationspolitik, die Entwurfsstrategie und die Reparaturlogik eines Agents steuert.
Residuale Optimierung: Das Framework basiert auf dem Prinzip, dass ein neuer Skill nicht unbedingt global besser sein muss als seine Vorgänger, sondern vielmehr die spezifischen Beispiele lösen sollte, die das aktuelle Ensemble verpasst.
- Sei $D_{train}$ der Trainingsdatensatz.
- Nach der Auswahl der Skills $s_1, \dots, s_{j-1}$ ist die Residualmenge $R_{j-1}$ definiert als die Teilmenge der Beispiele, bei denen das aktuelle Ensemble versagt.
- Der nächste Skill $s_j$ wird so optimiert, dass er den Erfolg spezifisch auf $R_{j-1}$ maximiert.
- Dieser Prozess zielt gierig auf den marginalen Beitrag eines neuen Skills zum gesamten Pass@K ab.

Algorithmusablauf

Initialisierung des Seed-Pools: Der Prozess beginnt mit einem vielfältigen Pool von $K$ manuell kuratierten Seed-Skills (z. B. decompose, direct_coder, explore_heavy, adversarial_checker), die jeweils eine unterschiedliche Denkstrategie kodieren.
Iterative Optimierung:
- Der Algorithmus läuft in Batches. Für jeden Skill im Pool werden die aktuellen Residualfehler identifiziert (Beispiele, die das Ensemble nicht gelöst hat).
- Mithilfe von Reflective Prompt Optimization (speziell der GEPA-Technik) analysiert ein LLM Fehlerverläufe (Schema-Inspektionen, Ausführungsfehler) und schlägt einen verfeinerten Prompt vor, um diese spezifischen Fehler zu beheben.
- Die Verfeinerung wird nur akzeptiert, wenn sie die Wiederherstellungsrate auf der Residualmenge verbessert.
- Die Residualmenge wird aktualisiert, um die Beispiele zu entfernen, die von dem verfeinerten Skill neu gelöst wurden.
Inferenz: Zum Testzeitpunkt laufen die $K$ gelernten, skill-konditionierten Agents parallel. Kandidaten werden durch die Ausführungsausgabe dedupliziert, und die finale SQL-Abfrage wird mittels paarweiser Vergleich durch einen LLM-Richter ausgewählt, was zuverlässiger ist als die direkte 1-von-K-Auswahl.

Hauptbeiträge

Formulierung: Die Autoren formulieren das Text-to-SQL-Ensembling als residuales Pass@K-Optimierungsproblem über Agent-Skills mit dem Ziel, komplementäre Verhaltensweisen zu erlernen, die verschiedene Fehlermodi abdecken.
Framework: Sie schlagen DIVSKILL-SQL vor, eine Methode, die die Abdeckung des Kandidatensatzes ohne Feinabstimmung des Modells oder Sampling mit hoher Temperatur verbessert, was sie sowohl für offene als auch für geschlossene LLMs anwendbar macht.
Theoretische Garantie: Die Arbeit liefert einen Beweis (Proposition A.1), der zeigt, dass unter dem Populationsziel die gierige residuale Optimierungsstrategie mindestens eine $(1 - 1/e)$ -Approximation des optimalen $K$ -Skill-Ensembles erreicht, wobei die Submodularität des Pass@K-Ziels ausgenutzt wird.
Empirische Validierung: Umfassende Evaluierungen über mehrere Benchmarks und SQL-Dialekte hinweg zeigen, dass die Optimierung von Skills an ungelösten Beispielen direkt die marginalen Beiträge zu Pass@K adressiert.

Experimentelle Ergebnisse

Das Framework wurde auf Spider2-Lite (abdeckend SQLite, Snowflake und BigQuery) und BIRD-Critic (PostgreSQL-Debugging) evaluiert, wobei Opus-4.6 und GPT-5.4 als Basismodelle dienten.

Leistungssteigerungen:
- Auf Spider2-Lite (Snowflake) verbesserte DIVSKILL-SQL die ausgewählte Genauigkeit um +11,1 Punkte gegenüber dem stärksten Baseline (CHASE-SQL).
- Auf Spider2-Lite (BigQuery) verbesserte es sich um +8,3 Punkte.
- Auf BIRD-Critic verbesserte es die ausgewählte Genauigkeit um +2,6 Punkte und demonstrierte so die Übertragbarkeit auf eine Debugging-artige Aufgabenformulierung.
Übertragbarkeit: Skills, die auf einem einzigen Dialekt (Snowflake) optimiert wurden, übertrugen sich effektiv auf BigQuery und SQLite ohne Neustart, was darauf hindeutet, dass die erlernten Strategien hochrangige Problemlösungslogik und nicht dialektspezifische Syntax erfassen.
Fehlerreduktion: Fehlerdiagnosen zeigten bis zu 3-mal weniger halluzinierte Schema-Referenzen und nicht unterstützte Funktionsaufrufe im Vergleich zu Baselines.
Verhaltensvielfalt: Trajektorienanalysen zeigten, dass DIVSKILL-SQL die Redundanz im Agentenverhalten um 19–28 % reduziert. Im Gegensatz zum wiederholten Sampling, das korrelierte Fehler produziert, induzieren die gelernten Skills genuinely unterschiedliche Denkpfade (z. B. unterschiedliche Schema-Inspektions- und Zerlegungsmuster).
Effizienz: Um dieselbe Pass@K-Abdeckung wie die 8 Kandidaten von DIVSKILL-SQL zu erreichen, benötigten Baseline-Methoden 3 bis 8 zusätzliche Durchläufe, was die Kosteneffizienz des residualen Ansatzes unterstreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DIVSKILL-SQL einen Wandel darstellt: weg von der Abhängigkeit von stochastischer Vielfalt hin zu strukturierter, komplementärer Vielfalt. Durch die explizite Optimierung für die „residualen" Fälle, die vorherige Agents verpassen, konstruiert das System ein Ensemble, bei dem das Ganze größer ist als die Summe seiner Teile.

Die Autoren betonen, dass ihre Gewinne aus genuin zuverlässigen komplementären Skills und nicht aus oberflächlichen Variationen stammen. Dieser Ansatz adressiert die Fragilität agentischer Systeme, bei denen frühe Zufälligkeit zu instabilem Denken führt. Darüber hinaus deutet die Fähigkeit der Methode, sich über Dialekte und Aufgabentypen hinweg zu übertragen (von der Generierung zum Debugging), darauf hin, dass die optimierten Skills robuste, generalisierbare Strategien für die Interaktion mit relationalen Datenbanken kodieren. Das Framework bietet einen praktischen Weg zur Verbesserung der Zuverlässigkeit von Text-to-SQL ohne die Rechenkosten der Feinabstimmung mehrerer Modelle.