Technische Samenvatting: Van Tabel naar Cel: Aandacht voor Betere Redenering met TABALIGN

1. Probleemstelling

Meerstapsredenering over gestructureerde tabellen met behulp van Large Language Models (LLM's) faalt frequent door het ontbreken van een expliciet cel-verankeringsovereenkomst tussen de plannings- en uitvoeringsfasen. Bestaande benaderingen kampen met twee primaire knelpunten:

1. Planningsknelpunt (Links-naar-Rechts Bias): Autoregressieve (AR) modellen genereren plannen via links-naar-rechts factorisatie. Dit legt een orde-gevoelige prior op die in strijd is met de permutatie-invariantie van tabellen (waarbij de volgorde van rijen/columns de semantiek niet mag veranderen). Bijgevolg produceren AR-planners vaak globaal inconsistente plannen waarbij vroege filterstappen ongeldig zijn omdat de benodigde context (bijv. aggregatieresultaten) nog niet is gescoped.
2. Uitvoeringsknelpunt (Ongeverifieerde Aandacht): Bestaande Process Reward Models (PRM's) scoren tussentijdse toestanden doorgaans op basis van gegenereerde inhoud (lexicale of semantische kwaliteit) of juistheid van het eindantwoord. Deze methoden negeren of het model daadwerkelijk aandacht besteedde aan de juiste cellen die door het plan zijn aangewezen. Een model kan een correct eindantwoord genereren door te "kortsluiten" (aandacht besteden aan verkeerde cellen maar de juiste waarde afleiden) of door content te hallucineren, wat leidt tot ontrouwe redeneertrajecten.

De kernkwestie is het ontbreken van een mechanisme om te verifiëren dat de cel-niveau aandacht van de redenaar overeenkomt met het door de planner aangewezen bewijs.

2. Methodologie: TABALIGN

De auteurs stellen TABALIGN voor, een gepland tabelredeneringskader dat de cel-verankeringsovereenkomst operationaliseert via twee hoofdcomponenten: een Masked Diffusion Language Model (DLM) Planner en de TABATTN Verifier.

2.1 De Planner: Bidirectionele DLM

In plaats van een AR-generator, hanteert TABALIGN een gemaskeerde DLM (specifiek LLaDA-8B-Instruct) om het redeneerplan te genereren.

• Bidirectionele Denoising: Het model denoist een volledig gemaskeerd plancanvas bidirectioneel. Dit stelt eisen in latere stappen in staat om eerdere te beperken, waardoor inter-stap afhankelijkheden en globale consistentie worden afgedwongen die AR-modellen niet kunnen bereiken.
• Generatie van Celmaskers: Elke redeneerstap in het plan eindigt met een [target: col] tag. Deze tags worden geparsed naar een binair celmasker ($m_t \in \{0, 1\}^C$), dat expliciet aangeeft op welke cellen de stap moet opereren.
• Rationale: Een pilotstudie (Sectie 3) toonde aan dat bidirectionele attentiemodellen meer mens-gealigneerde en permutatie-stabiele cel-aandacht produceren dan AR-modellen, vooral wanneer relevante cellen schaars zijn.

2.2 De Verifier: TABATTN

Om het contract af te dwingen, introduceert TABALIGN TABATTN, een lichte verifier getraind op 1.600 mens-geverifieerde attentiestandaarden.

• Aandachtsoverlappingscore: Voor elke redeneerstap $t$ berekent TABATTN de overlap tussen de per-cel aandacht ($a_t$) van de redenaar (een AR multimodaal model, Qwen3-VL-8B) en het door het plan aangewezen masker ($m_t$).
• Beloningssignaal: De beloning $R_{attn}$ wordt berekend als:
  $$R_{attn}(a_t; m_t) = \frac{\sum_{c=1}^C a_t^{(c)} m_t^{(c)}}{\max(\sum_{c=1}^C a_t^{(c)}, \epsilon)}$$
  Deze score dient als een feedbacksignaal in de lus. Als de overlap laag is, markeert het systeem de stap, wat mogelijk een hersteek of het stoppen van onproductieve iteraties teweegbrengt.
• Labelbaarheid: De auteurs betogen dat cel-relevantie (is deze cel noodzakelijk?) een beter labelbaar supervisie-doel is dan stap-correctheid (is deze stap correct?), aangezien het eerste toelaatbare zelfverzekerde binaire beslissingen toestaat terwijl het laatste vaak dubbelzinnige "onzeker"-oordelen vereist.

2.3 Uitvoeringsflow

1. Planning: De DLM genereert een stap-voor-stap blauwdruk met expliciete celmaskers.
2. Uitvoering: De AR-redenaar voert het plan stap-voor-stap uit, waarbij modaliteiten (tekst of afbeelding) worden geselecteerd op basis van de operatie.
3. Verificatie: Na elke stap scoort TABATTN de aandachtsoverlapping. Als de score stagneert of laag is, grijpt het systeem in.
4. Beëindiging: Een stagneringsstopmechanisme stopt het proces als de attentiescore gedurende twee opeenvolgende stappen niet verbetert met een drempelwaarde ($\delta=0.02$), waarbij het best gescoorde gevonden antwoord wordt uitgegeven.

3. Belangrijkste Bijdragen

1. Pilotstudie Cel-niveau Aandacht: De auteurs tonen aan dat bidirectionele attentiemechanismen (via diffusie) meer mens-gealigneerd en permutatie-stabiel zijn dan AR-aandacht. Zij tonen aan dat cel-relevantielabels significant beter labelbaar zijn (93,0% overeenstemming) dan stap-correctheidslabels (73,2% overeenstemming) onder identieke LLM-as-a-judge-pijplijnen.
2. TABALIGN Kader: Een nieuwe architectuur die een bidirectionele DLM-planner koppelt aan een aandacht-overlappingsverifier (TABATTN). Dit kader vangt expliciet verankeringssuccessen op die door inhoudsgebaseerde beloningen worden gemist en maakt gebruik van geoptimaliseerde DLM-plannen om kolomhallucinaties te verminderen.
3. Empirische Validatie: Consistente prestatiewinsten over acht diverse tabelredeneringsbenchmarks (dekkend Tabel QA en Feitverificatie) op een vergelijkbare schaal van 8B parameters.

4. Experimentele Resultaten

Geëvalueerd op acht benchmarks (WTQ, MMQA, TabMWP, TAT-QA, HiTab, FeTaQA, TabFact, InfoTabs):

• Accuraciewinst: TABALIGN bereikt een gemiddelde nauwkeurigheid van 90,62% over zes op nauwkeurigheid gebaseerde benchmarks. Dit vertegenwoordigt een verbetering van 15,76 procentpunten (pp) ten opzichte van de sterkste open-source baseline (TableDART op Ovis2, 74,86%) en een winst van 16,35 pp ten opzichte van de sterkste single-modality baseline (Qwen3-VL-8B, 74,27%).
• Ablatiestudies:
  • Keuze Planner: Het vervangen van de AR-planner door de DLM-planner op een vaste redenaar-backbone levert een winst van 2,87 pp op, waarbij een deel van het succes wordt toegeschreven aan de superieure planningscapaciteiten van de DLM.
  • Beloningssignaal: Het gebruik van TABATTN (aandacht-gegrond) verbetert de nauwkeurigheid met 4,8 pp ten opzichte van inhoudsgebaseerde beloningen (bijv. TABROUGE), met de grootste winsten op numeriek en structureel dichte taken.
  • Efficiëntie: Hoewel DLM-planning langzamer is (78,0s versus 6,0s voor AR-planning), verminderen de schonere plannen de uitvoeringstijd van downstream redenering met 44,64% (van 102,6s naar 56,8s), wat resulteert in een netto toename van 24% in totale wandkloktijd voor een aanzienlijke nauwkeurigheidsboost.
• Foutreductie: Het kader vermindert schema-hallucinaties (kolomhallucinatierates dalen van 75,0% naar 45,9%) en comprimeert trajectlengten met 22%.

5. Betekenis en Beweringen

Het artikel beweert dat TABALIGN de fundamentele "cel-verankeringsovereenkomst"-kloof in tabelredenering aanpakt. Door planning (via bidirectionele DLM) en uitvoering (via AR met attentieverificatie) te ontkoppelen, zorgt het kader ervoor dat redeneerstappen zijn verankerd in het beoogde bewijs in plaats van te vertrouwen op schijnbare inhoudsoverlappingen.

De auteurs benadrukken dat:

• Bidirectionele Aandacht Kritiek Is: De permutatiestabiliteit en menselijke alignering van bidirectionele pre-training essentieel zijn voor het hanteren van de orde-invariante aard van tabellen.
• Aandacht een Beter Supervisiesignaal Is: Verifiëren waar het model naar kijkt (aandachtsoverlapping) effectiever en labelbaarder is dan verifiëren wat het model zegt (inhoudsop overeenkomst) voor tussentijdse stappen in tabelredenering.
• Schaalbaarheid: Het kader werkt effectief op de 8B-schaal, presteert beter dan grotere propriëtaire modellen en complexe traject-optimatie-agents zonder dat er massale parameterverschaling nodig is.

Het werk positioneert zichzelf als een stap richting meer interpreteerbare en controleerbare AI-redenering over gestructureerde data, waarbij trajectdrift en hallucinatiecompounding in meerstaps-agenten worden verminderd.