Synthetic Contrastive Reasoning for Multi-Table Q&A

Technische Samenvatting: Synthetische Contrastieve Redenering voor Multi-Tabel Vraagbeantwoording

Probleemstelling
Multi-tabel Vraagbeantwoording (Q&A) vormt een aanzienlijke uitdaging voor Large Language Models (LLM's), omdat de benodigde kennis in externe relationele databases berust in plaats van in de modelparameters. In tegenstelling tot single-table redenering vereisen multi-tabel taken dat modellen bewijs ophalen uit meerdere tabellen, schema's koppelen (het afstemmen van primaire en vreemde sleutels) en compositionele redenering uitvoeren die betrokken is bij joins, filters en aggregaties. Naarmate het aantal tabellen toeneemt, de contexten langer worden en het risico op het missen van relevant bewijs of het maken van kleine fouten in de schema-koppeling groeit, leidt dit vaak tot onjuiste uiteindelijke antwoorden.

Hoewel recente ontwikkelingen de single-table redenering hebben verbeterd, blijft multi-tabel Q&A onderontwikkeld. Er bestaat een kritieke kloof in bestaande bronnen: de meeste datasets bieden alleen vragen en uiteindelijke antwoorden, maar missen expliciete redeneringssupervisie (traces) die uitleggen hoe een antwoord wordt afgeleid. Bovs staan ze ook geen gepaarde voorbeelden van plausibele maar onjuiste redeneringen aan, die essentieel zijn voor technieken voor preferentie-gebaseerde optimalisatie.

Methodologie
Om deze hiaten aan te pakken, stellen de auteurs een raamwerk voor het genereren van synthetische contrastieve redeneringssporen en het gebruik van Contrastive Preference Optimization (CPO) voor fine-tuning.

1. Generatie van Synthetische Traces:

   • Positieve Traces ($+y$): De auteurs gebruiken sterke foundation models (primair GPT-4o) om stapsgewijze redeneringssporen te genereren die het gouden antwoord uit de verstrekte tabellen afleiden. Deze traces zijn ontworig om expliciet te zijn, waarbij specifiek naar tabellen wordt verwezen en beknopte samenvattingen worden gebruikt in plaats van volledige gegevensrijen te kopiëren.
   • Negatieve Traces ($-y$): Voor elke gevalideerde positieve trace wordt een corresponderende negatieve trace gesynthetiseerd met behulp van een ander heterogeen LLM (Gemini 2.0 Flash). Deze traces zijn vloeiend en plausibel, maar bevatten opzettelijke feitelijke of logische fouten (bijv. entiteitswisselingen, omgekeerde join-volgordes of onjuiste operaties) die leiden tot een onjuist antwoord.
   • Heterogeniteit: Een belangrijke ontwerpkeuze is het gebruik van verschillende modellen voor de positieve en negatieve generatie. Ablatie-studies suggereren dat dit een sterker contrastief signaal creëert dan het gebruik van een enkel model voor beide, omdat het voorkomt dat de redeneer"stijlen" te veel op elkaar lijken, waardoor het voor het student-model gemakkelijker wordt om correcte logica van foutmodi te onderscheiden.
   • Validatie: Een rigoureuze filterpipeline waarborgt de kwaliteit. Positieve traces worden gevalideerd met een LLM-als-rechter (Gemini 2.0 Flash) om de semantische equivalentie met de grondwaarheid te garanderen. Negatieve traces worden beperkt om structureel consistent te zijn met positieve traces, maar feitelijk gebrekkig te zijn.

2. Contrastive Preference Optimization (CPO):

   • De auteurs finetunen open-weight LLM's (Qwen3-14B, Mistral-8B, Llama-3.1-8B) met behulp van CPO.
   • In tegen tegenstelling tot Direct Preference Optimization (DPO), dat zowel een policy- als een referentiemodel gelijktijdig moet laden (wat het geheugen belast en de training vertraagt) en alle preferentieparen gelijk behandelt, verwijdert CPO het referentiemodel (door het in te stellen op een uniforme prior) en voegt een gedragscloneringsregularisator toe.
   • Deze aanpak stabiliseert de training op lange redeneerketens en zorgt ervoor dat het model het verschil in kwaliteit tussen correcte en incorrecte traces leert kennen, in plaats van alleen de richting van de preferentie.

3. Dataset Constructie:

   • De primaire trainingsdata is afgeleid van de MMQA benchmark (twee-tabel subset), uitgebreid met synthetische traces.
   • Een nieuwe evaluatieset wordt geconstrueerd vanuit de BIRD benchmark. Dit omvat een driefasig filterproces: multi-tabel filtering (selectie van 2-3 tabel queries), extractie van bewijs uit volledige tabellen (om te garanderen dat tabellen niet zijn afgekapt zodat het antwoord afleidbaar is) en automatische semantische consistentieverificatie (gebruikmakend van een LLM-rechter om vraag-SQL mismatches te filteren).

Belangrijkste Bijdragen

1. Eerste Contrastieve Redenerings-Trace Dataset: Het artikel introduceert de eerste dataset voor multi-tabel Q&A die gevalideerde positieve redeneringssporen koppelt aan plausibele negatieve traces gegenereerd door heterogene LLM's.
2. Demonstratie van CPO Effectiviteit: Door uitgebreide experimenten tonen de auteurs aan dat CPO-training op deze preferentieparen de multi-tabel redenering aanzienlijk verbetert over drie verschillende open-weight LLM's en vier evaluatiedatasets.
3. Validatie van Synthetische Generatie: De studie bevat ablatiestudies en menselijke evaluaties die bevestigen dat heterogene trace-generatoren het contrastieve signaal versterken en dat de gegenereerde paren getrouw, coherent en betekenisvol contrastief zijn.
4. Nieuwe Evaluatie Benchmark: De constructie van een rigoureuze, uit BIRD-afgeleide evaluatieset die de afleidbaarheid van antwoorden garandeert door middel van volledige tabel-bewingsextractie en automatische semantische verificatie.

Resultaten

• Prestatiewinst: Over Qwen3-14B, Mistral-8B en Llama-3.1-8B bereikte CPO absolute gemiddelde verbeteringen ten opzichte van standaard Q&A supervised fine-tuning (SFT) variërend van 9,7% tot 16,3%. Op de MMQA-dataset liepen de winsten op tot wel 21 procentpunten.
• Vergelijking met Baselines: CPO presteerde consequent beter dan zowel Q&A-only SFT als Trace-only SFT (gebruikmakend van alleen positieve traces). Het presteerde ook beter dan DPO op dezelfde preferentieparen in de meeste evaluaties, en vermeed met name de prestatieverslechtering op gestructureerde redeneringstaken die DPO soms vertoont.
• Generalisatie: Modellen getraind op twee-tabel data met behulp van CPO generaliseerden succesvol naar moeilijkere drie-tabel queries in zowel de MMQA als de BIRD-evaluatieset, wat aantoont dat de geleerde redeneerpatronen overdraagbaar zijn naar verhoogde complexiteit.
• Ablatie Inzichten: Het gebruik van verschillende modellen voor de generatie van positieve en negatieve traces leverde hogere prestaties op dan het gebruik van hetzelfde model. Daarnaast konden open-source modellen (bijv. Qwen-3 30B) nuttige traces genereren, maar boden propriëtaire modellen (GPT-4o en Gemini 2.0) de sterkste supervisie.

Betekenis en Claims
Het artikel claimt dat synthetische contrastieve redeneringssporen een effectief supervisiesignaal bieden voor complexe redeneringstaken. De auteurs stellen dat modellen profiteren van het observeren van correcte redeneringspaden, maar ook van het leren afwijzen van plausibele foutmodi (zoals gemiste restricties of onjuiste joins) door middel van contrastief leren.

Het werk benadrukt dat CPO een stabieler en geheugenefficiënter alternatief is voor DPO voor lange redeneerketens. Verder suggereert de studie dat de aanpak dataefficiënt is; ondanks een relatief kleine trainingsset van 1.920 contrastieve paren, duiden de consistente winsten over diverse modellen en datasets erop dat hoogwaardige synthetische traces een sterk contrastief leersignaal kunnen oproepen zonder dat er een evenredig grote schaal aan datageneratie vereist is. De auteurs concluderen dat het genereren van synthetische redeneringssporen een veelbelovende richting is voor het bevorderen van de LLM-capaciteiten in multi-tabel Q&A en andere complexe redeneringsdomeinen.