Technische Samenvatting: Verbetering van Tabelredenering met Deterministische Tabel-Staat Beloningen

Probleemstelling

Grote Taalmodellen (LLMs) en Visueel-Taalmodellen (VLMs) hebben moeite met meerstapsredenering over gestructureerde tabellen. De kern van het probleem is het ontbreken van expliciete supervisie voor intermediaire redeneertoestanden. Bij tool-gebruikende agenten (bijvoorbeeld Chain-of-Table, Tree-of-Table) manipuleert de agent een tabel via een reeks bewerkingen (filteren, projecteren, sorteren, aggregeren, joinen). Zonder een signaal om de kwaliteit van deze intermediaire tabellen te evalueren, stapelen fouten zich stilzwijgend op: de agent kan query-relevante bewijslast laten vallen, irrelevante inhoud behouden, of bewerkingen overdreven toepassen.

Bestaande oplossingen adresseren dit niet adequaat:

• Beloningen voor het eindantwoord zijn te spaarzaam om intermediaire transformaties te sturen.
• Verificatoren op basis van uitvoeromgevingen vereisen uitvoerbare omgevingen (bijvoorbeeld SQL-executors) die niet beschikbaar zijn voor complexe taken zoals multi-tabel joins of open-ended analyses.
• Gestudeerde beloningsmodellen vereisen kostbare voorkeursdata en zijn breekbaar over domeinen heen.
• Semantische-similariteitsbeloningen (op embedding gebaseerd) trunceren vaak lange gesequencede tabellen, waardoor staat-informatie verloren gaat, en slagen er niet in om exacte numerieke of symbolische verschillen te vangen.

Methodologie

Het artikel introduceert TABROUGE en het RE-TAB framework om deze gaten aan te vullen met een trainingsvrije, deterministische aanpak.

1. TABROUGE: Een Deterministische Staatbeloning

TABROUGE past de Longest Common Subsequence (LCS) metriek uit tekstsamenvatting (ROUGE-L) aan om tabelstaten te evalueren.

• Mechanisme: Na elke actie wordt de intermediaire tabelstaat $T_{l+1}$ gesequenced in een deterministische tekstuele reeks met een "[header] is [waarde]" formaat.
• Scorebepaling: De beloning wordt berekend als de LCS tussen de query $Q$ en de gesequencede tabel, genormaliseerd door de lengte van de gesequencede tabel:
  $$r_{\text{TABROUGE}}(a_l, T_{l+1}, Q) = \frac{\text{LCS}(Q, \text{Enc}(T_{l+1}))}{|\text{Enc}(T_{l+1})|}$$
• Ontwerprationalisatie:
  • Lexicale Precisie: In tegenstelling tot embeddings, behoudt het exacte numerieke en symbolische strings zonder truncatie.
  • Structurele Integriteit: De volgordebehoudende LCS beloont koppelingen op rijniveau tussen header en waarde, wat bag-of-words metrieken (zoals BM25) missen.
  • Anti-hacking: De noemer straft "opblazen" af (bijvoorbeeld het dupliceren van query-tokens), waardoor "echo-column" hacking onrendabel wordt omdat het zowel de teller als de noemer met dezelfde snelheid opblaast.

2. RE-TAB: Een Trainingsvrij Framework

RE-TAB gebruikt TABROUGE als plug-and-play signaal voor twee niveaus van controle:

• Stap-niveau Feedback: De scalair beloning wordt na elke actie aan de prompt toegevoegd, waardoor de volgende stap wordt geconditioneerd op cumulatieve staatkwaliteit in plaats van alleen token-zekerheid. Het dient ook als rollende-variatie stopcriterium; wanneer het beloningssignaal stabiliseert (de variatie daalt onder een drempel), stopt de agent met verkennen en kiest een antwoord.
• Traject-niveau Selectie (Test-Time Scaling): De agent steekt meerdere onafhankelijke redeneertrajecten. Het geaggregeerde staat-supervisie signaal (som van stapbeloningen) wordt gebruikt om het beste traject te rangschikken en te selecteren ($\tau^*$), wat standaard actie-zekerheidsstemming of uniforme meerderheidsstemming vervangt.

Belangrijkste Bijdragen

1. TABROUGE: Een deterministische, query-naar-staat beloning die geen gestudeerde modellen of executors vereist. Het biedt een schaalbaar signaal dat is verankerd in het query-tabel paar, specifiek ontworpen voor gesequencede tabelstaten.
2. RE-TAB Framework: Een tweefasige implementatie die TABROUGE integreert voor zowel stapsgewijze feedback als trajectrangschikking. Het fungeert als een "trainingsvrije" wrapper rond bestaande tool-gebruikende agenten.
3. Empirische Validatie: Uitgebreide evaluatie over zes backbones (variërend van kleine open-weight modellen tot frontier-modellen zoals GPT-5.4) en drie benchmarks (WTQ, MMQA, MMTU).
4. Foutmodusanalyse: Een gedetailleerde karakterisering van waar lexische supervisie betrouwbaar is en waar het kan falen (bijvoorbeeld onderbeloning van parafrases of hernoemde kolommen), waardoor grenzen voor de toepassing worden vastgesteld.

Resultaten

• Toename in Nauwkeurigheid: Over zes backbones en drie benchmarks verbetert RE-TAB de nauwkeurigheid met een gemiddelde van 26,7 procentpunten (pp) ten opzichte van baselines zonder beloning.
• Efficiëntie: Het framework reduceert het aantal Test-Time Scaling (TTS) steekproeven dat nodig is om 95% nauwkeurigheid te bereiken met maximaal 33% ten opzichte van actie-zekerheidsstemming.
• Vergelijking met Gestudeerde Modellen: Ondanks dat het geen gestudeerde parameters heeft, komt TABROUGE overeen met of overtreft de prestaties van gestudeerde Process Reward Models (PRMs) zoals Qwen2.5-Math-PRM-72B en TaTToo op 4 van de 5 evaluatiesets.
• Haalbaarheid na Training: Voorlopige experimenten met Group Relative Policy Optimization (GRPO) met TABROUGE als beloningssignaal tonen een extra winst van 8,34 pp ten opzichte van het trainingsvrije framework, wat wijst op de bruikbaarheid voor fine-tuning op beleidsniveau.
• Robuustheid: De methode blijft effectief over verschillende modelgroottes, inclusief frontier-modellen waar intermediaire-staatfouten aanhouden.

Betekenis en Claims

Het artikel positioneert TABROUGE niet als een universele semantische verificateur, maar als een deterministisch controlesignaal dat is beperkt tot supervisie van gesequencede tabelstaten. De betekenis ligt in:

• Schaalbaarheid: Het biedt een verankerd signaal voor tabelredenering zonder de noodzaak van dure executors of verzameling van voorkeursdata op grote schaal.
• Transparantie: Het maakt het "wereldmodel" van tabelredenering expliciet door de kwaliteit van intermediaire staten te superviseren, waardoor tabelagenten in lijn worden gebracht met de op staat gebaseerde redenering die wordt gebruikt in visuele en taalagenten.
• Praktijkgerichtheid: Het biedt een "plug-and-play" oplossing die de redeneringskwaliteit verbetert en tokenkosten verlaagt voor bestaande tool-gebruikende agenten zonder het basismodel opnieuw te trainen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat TABROUGE afhankelijk is van vaste sequencing en semantisch correcte maar lexicaal mismatchende staten (bijvoorbeeld parafrases of eenheidsconversies) kan onderbelonen. Zij betogen echter dat, als een relatief rangschikkingssignaal binnen een traject, deze problemen de hoofdprestaties niet tenietdoen, en dat de methode betrouwbaar blijft voor het merendeel van de tabelredeningstaken.