Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning

1. Probleemstelling: Tabular-Vision Multi-Modal Understanding (TVMU)

Het paper richt zich op het vakgebied van Tabular-Vision Multi-Modal Understanding (TVMU). Dit is de taak om tabellen uit afbeeldingen (zoals gescande documenten of screenshots) te parseren en die te combineren met tekstuele context en visuele informatie voor redenering en voorspelling.

De auteurs identificeren drie fundamentele uitdagingen die bestaande Multimodale Large Language Models (MLLMs) beperken in dit domein:

1. Structurele variabiliteit en data-onvolledigheid: Real-world tabellen hebben vaak complexe formaten (bijv. samengevoegde cellen, drie-lijntabellen) en kunnen onvolledig zijn door lage resolutie, occlusie of scanningsfouten. Bestaande modellen presteren slecht wanneer ze geen volledige tabelinformatie hebben.
2. Impliciete en complexe feature-afhankelijkheden: Modellen worstelen vaak met het identificeren van de onderlinge relaties tussen verschillende kenmerken (features) en de voorspellingstarget. Ze kunnen niet altijd de causale of correlatieve verbanden in de data "begrijpen".
3. Heterogeniteit van taken: De oplossingspaden verschillen sterk tussen taken. Bijvoorbeeld, Table Question Answering vereist het integreren van tekst, beeld en tabellen, terwijl Table Prediction vaak draait om het modelleren van interne tabelstructuren en statistische relaties. Een enkel model dat beide taken goed aanpakt, ontbreekt.

2. Methodologie: Thinking with Tables (TWT)

Om deze uitdagingen aan te pakken, stellen de auteurs Thinking with Tables (TWT) voor. Dit is een program-geassisteerd neuro-symbolisch redeneerkader. In plaats van alleen te vertrouwen op de interne kennis van het taalmodel, interageert TWT actief met een externe omgeving om code uit te voeren.

Kerncomponenten:

• Interactieve Sandbox-omgeving: Het model werkt in een gecontroleerde omgeving (sandbox) waar het Python-code kan genereren en uitvoeren. Deze omgeving bevat de ruwe tabulardata (CSV), afbeeldingen en vooraf getrainde modellen.
• Interactieprotocol: Het model volgt een strikt protocol met vier tags:
  • <analy>: Het redeneerproces en de planning.
  • <code>: De Python-code die moet worden uitgevoerd (bijv. data laden, modellen trainen).
  • <code_results>: De uitvoer of foutmeldingen van de sandbox.
  • <answer>: Het definitieve antwoord.
• Twee-staps trainingsstrategie:
  1. Task-Oriented Supervised Fine-Tuning (TO-SFT):
     • Doel: Het model leren de specifieke werkstromen voor verschillende taken (QA vs. Prediction) en het omgaan met onvolledige data.
     • Data: Er wordt een synthetische dataset gegenereerd waarbij een krachtiger model (Qwen3-VL-Plus) reasoning-traces genereert. Deze data wordt gebruikt om het basismodel (Qwen3-VL-8B) te leren hoe het code moet schrijven om data te manipuleren en vragen te beantwoorden.
     • Belangrijk: De output van de code-executie wordt tijdens training gemaskeerd om te voorkomen dat het model de antwoorden simpelweg memoriseert; het moet leren hoe het de code moet schrijven.
  2. Adaptive Loss-Scaled Reinforcement Learning (AL-GRPO):
     • Doel: Het verbeteren van de robuustheid, de correctheid van de code en de complexiteit van het redeneren.
     • Methode: Een variant van Group Relative Policy Optimization (GRPO). De beloning (reward) is primair gebaseerd op de correctheid van het eindantwoord.
     • Innovatie: Adaptive Loss Scaling. Alleen code-segmenten die succesvol worden uitgevoerd, worden meegenomen in de loss-berekening. Dit voorkomt dat het model wordt gestraft voor complexe code die nog niet werkt, en moedigt het aan om stabiele, uitvoerbare code te genereren zonder complexe code-level beloningen te definiëren.

3. Belangrijkste Bijdragen

1. Probleemformulering en Analyse: Een systematische analyse van TVMU-taken, met een duidelijke benoeming van de uitdagingen rondom data-integriteit, feature-afhankelijkheden en taakheterogeniteit.
2. Nieuw Neuro-Symbolisch Mechanisme: De introductie van TWT, dat tabelbegrip transformeert van passieve observatie naar een interactief redeneerproces via code-executie. Dit stelt het model in staat om dynamisch informatie te extraheren en complexe berekeningen uit te voeren.
3. Superieure Empirische Prestaties: Uitgebreide experimenten tonen aan dat TWT consistent beter presteert dan bestaande baselines, zowel bij vraag-antwoordtaken als bij voorspellings taken, en zelfs concurrentieel is met gesloten, commerciële SOTA-modellen.

4. Resultaten

De auteurs hebben TWT geëvalueerd op acht representatieve datasets (4 voor QA en 4 voor Prediction):

• Datasets: WikiTQ, TabMWP, FinQA, TAT-QA (QA) en Adoption, SkinCA, Pawpularity, Paintings (Prediction).
• Prestaties:
  • TWT overtreft open-source baselines (zoals Qwen3-VL-8B/30B, InternVL) met een gemiddelde verbetering van ongeveer 10% in nauwkeur.
  • Op de QA-taken bereikt het prestaties vergelijkbaar met of zelfs beter dan gesloten API-modellen zoals GPT-5.1 en Qwen3-VL-Plus.
  • Bij voorspellings taken (regressie en classificatie) presteert TWT aanzienlijk beter dankzij het vermogen om feature-target relaties via code te modelleren en vooraf getrainde beeldmodellen (zoals ResNet50) te integreren.
• Ablatie-studies: De studies bevestigen dat beide trainingsfasen essentieel zijn. TO-SFT zorgt voor de basisvaardigheden en het begrijpen van taken, terwijl AL-GRPO de redeneercapaciteiten en de stabiliteit van de code-executie verder optimaliseert.
• Robuustheid: Zelfs wanneer tabelkenmerken uit de afbeelding ontbreken (onvolledige data), behoudt TWT een competitieve prestatie door visuele informatie effectief te combineren met de beschikbare data.

5. Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen multimodale taalmodellen en symbolische redenering specifiek voor tabulardata.

• Realisme: De methode simuleert realistische scenario's waarbij modellen geen volledige data hebben en zelf actief moeten zoeken, analyseren en berekenen.
• Interpreteerbaarheid: Door het gebruik van code en expliciete redeneerstappen (<analy>), is het besluitvormingsproces van het model transparanter dan bij pure "black-box" benaderingen.
• Unificatie: Het biedt een uniek kader dat zowel complexe vraag-antwoordtaken als statistische voorspellings taken binnen één architectuur aanpakt, wat een belangrijke stap is naar meer algemene AI-systemen voor data-analyse.

Kortom, "Thinking with Tables" bewijst dat het koppelen van MLLMs aan een uitvoerbare code-omgeving de beperkingen van pure visuele of tekstuele analyse van tabellen effectief opheft, wat leidt tot robuustere en nauwkeurigere systemen voor complexe data-taken.