Technische Samenvatting: Ontkoppeling van Skelet en Vlees: Efficiënt Multimodaal Redeneren over Tabellen met Ontkoppelde Uitlijning en Structuurbewuste Geleiding

Probleemstelling

Redeneren over tabelafbeeldingen blijft een aanzienlijke uitdaging voor Large Vision-Language Models (LVLM's) vanwege complexe lay-outs en de nauw verwante aard van structurele informatie (rijen, kolommen, lay-out) en semantische inhoud (celwaarden). Bestaande benaderingen om LVLM's aan te passen voor tabelredenering vallen over het algemeen in twee categorieën, die beide beperkingen hebben:

1. Supervised Fine-Tuning (SFT) of Reinforcement Learning (RL): Deze methoden vereisen vaak uitgebreide, dure expertannotaties voor tabelredeneringsdata. Ze lopen het risico van catastrofale vergetelheid van de oorspronkelijke capaciteiten van het model en lijden onder hoge trainingskosten.
2. Tool-Augmented Reasoning: Deze methoden vertrouwen op externe hulpmiddelen (bijvoorbeeld visuele editors, symbolische uitvoerders, tabelparsers) om aandacht en redenering expliciet te sturen. Hoewel effectief, verhogen ze de systeemcomplexiteit, de inferentielatentie en slagen ze er niet in de intrinsieke capaciteit van het model voor structureel begrip te versterken.

De kernvraag die in dit onderzoek wordt behandeld is: Hoe kunnen LVLM's met minimale annotatiekosten en zonder afhankelijkheid van externe hulpmiddelen worden aangepast voor tabelredenering?

Methodologie

De auteurs stellen een efficiënt raamwerk voor dat bestaat uit twee hoofdcomponenten: DISCO (Disentangled Structure–Content alignment) en Table-GLS (Global-to-Local Structure-guided reasoning).

1. DISCO: Ontkoppelde Structuur-Inhoud Uitlijning

Het kerninzicht van DISCO is om structurele abstractie expliciet te scheiden van semantische gronding tijdens multimodale uitlijning. In plaats van tabelafbeeldingen uit te lijnen met gelineariseerde tekst (bijvoorbeeld HTML, Markdown) waarbij structuur en inhoud verweven zijn, decomposeert DISCO de uitlijning in complementaire doelen:

• Structuuruitlijning: Het model wordt getraind om een structuurrepresentatie ($T_S$) te voorspellen die is afgeleid door alle celinhoud te anonimiseren in de tekstuele representatie (vervanging door een placeholder-token) terwijl lay-outtokens (scheidingstekens, koppen, span-markers) behouden blijven. Dit dwingt de LVLM om tabelopstellingen onafhankelijk van celsemantiek te leren.
• Inhoudsuitlijning: Dit wordt verder onderverdeeld in twee niveaus om semantiek op de geleerde structuur te gronden:
  • Globale Inhoudsuitlijning: Het model genereert een lichtgewicht semi-gestructureerde beschrijving van de tabel, inclusief het totale aantal rijen/kolommen en een samenvatting van de inhoud van rijen/kolommen.
  • Lokale Inhoudsuitlijning: Het model wordt getraind om de tekstuele inhoud te identificeren en te beschrijven die is gekoppeld aan specifieke structurele coördinaten (bijvoorbeeld "Rij $m$ Kolom $n$: [inhoud]").

Deze ontkoppeling stelt LVLM's in staat hun bestaande semantisch begrip over te dragen op tabelstructuren met minimale extra supervisie.

2. Table-GLS: Global-to-Local Structuurgeleide Redenering

Op basis van de verbeterde representaties van DISCO is Table-GLS een trainingsvrij, tool-vrij inferentieraamwerk dat de LVLM leidt via een redeneerproces in drie fasen:

1. Globale Structuurverkenning: Gegeven een tabelafbeelding en een vraag analyseert het model de algehele lay-out om taakrelevante rij- en kolomindexen ($R$ en $C$) te identificeren en een redeneerplan ($T_t$) te formuleren. Dit dwingt een "waar-naar-kijken"-beslissing af voordat inhoud wordt geëxtraheerd.
2. Zelfgeoptimaliseerde Subtabel-extractie: Het model evalueert de toereikendheid van het initiële plan. Indien nodig herziet het het plan en extrahert een minimale subtabel ($T_{sub}$) die alleen het bewijs bevat dat nodig is om de vraag te beantwoorden. Deze stap omvat zelfreflectie om foutpropagatie te voorkomen.
3. Op bewijs gebaseerde Redenering: Het definitieve antwoord wordt gegenereerd door te redeneren over de geëxtraheerde subtabel als verifieerbaar bewijs, terwijl de originele afbeelding wordt behouden als aanvullende context voor visuele gronding. Dit beperkt redenering tot taakrelevante data en vermindert schijnbare correlaties.

Belangrijkste Bijdragen

Het paper claimt de volgende bijdragen:

• DISCO-raamwerk: Een ontkoppelde uitlijningsraamwerk dat het begrip van LVLM's voor tabelstructuur en -inhoud verbetert, met name voor complexe en onbekende lay-outs, door structuurleer te scheiden van inhoudsgronding.
• Table-GLS-raamwerk: Een global-to-locals inferentiemethode die nauwkeurig tabelredeneren mogelijk maakt tijdens inferentie zonder externe hulpmiddelen of extra fine-tuning, gebruikmakend van een gestructureerde verkenning en een op bewijs gebaseerde aanpak.
• Robuuste Prestaties: De voorgestelde methoden bereiken robuuste verbeteringen over 21 tabelbegrip- en redeneertaken, wat sterke generalisatie toont naar onbekende tabelstructuren met minimale data (10K afbeeldingen voor uitlijning).

Experimentele Resultaten

Het raamwerk werd geëvalueerd op 21 taken over diverse benchmarks (bijvoorbeeld MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) met verschillende LVLM's (Gemma3, Qwen3-VL, LLaVA).

• Tabelbegrip: DISCO verbeterde consistent de prestaties over alle geëvalueerde modellen en taken. Opmerkelijk is dat het vergelijkbare of superieure resultaten behaalde met modellen die zijn getraind op 97K afbeeldingen, met slechts 10K afbeeldingen voor uitlijning. Het toonde een bijzondere sterkte in structuurgevoelige taken (Tabelgrootte Detectie, Cellocatie) en Out-of-Distribution (OOD) instellingen.
• Tabelredenering: Het combineren van DISCO met Table-GLS leverde de beste gemiddelde scores op. Het raamwerk presteerde significant beter dan directe antwoord-baselines en kwam overeen met of overtrof zwaar geoptimaliseerde LVLM's (bijvoorbeeld Table-R1, HIPPO) op verschillende benchmarks, vooral OOD-datasets zoals AIT-QA en PubHealthTab.
• Generalisatie: De methode verbeterde de prestaties op niet-tabulaire taken (ScienceQA, HallusionBench) in vergelijking met standaard tekstuele uitlijning, wat suggereert dat ontkoppelde uitlijning helpt bij het vormen van herbruikbare interne representaties in plaats van over-specialisatie te veroorzaken.
• Efficiëntie: Hoewel Table-GLS multi-stadia-generatie omvat, vermijdt het de hoge latentie en complexiteit van tool-augmented methoden (bijvoorbeeld REFOCUS) en bereikt het een gunstige afweging tussen inferentietijd en nauwkeurigheid.

Betekenis en Claims

Het paper positioneert dit werk als een schaalbare en data-efficiënte oplossing voor multimodaal tabelredeneren. Door het "skelet" (structuur) te ontkoppelen van het "vlees" (inhoud), tonen de auteurs aan dat LVLM's kunnen worden aangepast aan complex tabulair redeneren zonder de prohibitive kosten van grootschalig supervised training of de architecturale overhead van externe hulpmiddelen. Het raamwerk activeert effectief de intrinsieke redeneercapaciteiten van LVLM's, waardoor ze kunnen generaliseren naar onbekende tabelstructuren en robuustheid behouden over diverse lay-outs. De auteurs concluderen dat expliciete structuur-inhoudsmodellering en lichtgewicht, structuurgeleide redenering sleutels zijn tot het verbeteren van LVLM-prestaties in domeinen met gestructureerde data.