A Closer Look into LLMs for Table Understanding

Titel: Een Nader Kijk op LLM's voor Tabelbegrip

Auteurs: Jia Wang, Chuanyu Qin, Mingyu Zheng, Qingyi Si, Peize Li, Zheng Lin (Institute of Information Engineering, CAS & JD.COM)

---

1. Het Probleem

Hoewel Large Language Models (LLM's) aanzienlijke successen hebben geboekt in het begrijpen van tabellen (voor taken zoals tabelvraagbeantwoording en feitelijke verificatie), blijft hun interne werking bij het verwerken van gestructureerde data onduidelijk. Bestaand onderzoek richt zich voornamelijk op het maximaliseren van prestaties via prompt-engineering, gespecialiseerd fine-tuning (SFT) of versterkingsleren (RL). Er ontbreekt echter een diepgaand empirisch inzicht in hoe LLM's tabellen intern verwerken, welke lagen verantwoordelijk zijn voor redenering, en hoe architecturale verschillen (zoals MoE) dit proces beïnvloeden.

2. Methodologie

De auteurs hebben een uitgebreide empirische studie uitgevoerd met de volgende kenmerken:

• Datasets: 2.000 evaluatiestalen afkomstig van vier benchmarks: WTQ, HiTab, AIT-QA (Tabelvraagbeantwoording) en TabFact (Feitelijke verificatie). Deze dekken zowel platte als hiërarchische tabelstructuren.
• Modellen: Analyse van 16 verschillende LLM's, waaronder:
  • Algemene instructie-LLM's (bijv. Llama-3.1-8B, Qwen2.5-7B).
  • Gespecialiseerde tabel-LLM's (gespecialiseerd via SFT of RL, zoals TAMA en Table-R1).
  • Mixture-of-Experts (MoE) modellen (zoals DeepSeek-V2-Lite, Qwen3-30B-A3B).
• Analysemethoden:
  • Attentie-dynamiek: Meting van de verhouding van aandacht per input-segment (systeemprompt, tabelinhoud, vraag) en entropie binnen de tabel om te zien hoe gefocust de aandacht is.
  • LogitLens: Het decoderen van de verborgen representaties op elke laag om de stabiliteit van de voorspelling te analyseren (KL-divergentie en overlap van tokens).
  • Causale validatie: Het maskeren van attentie-weights in specifieke lagen om de impact op de prestaties te testen.
  • Expert-activatie: Voor MoE-modellen werd geanalyseerd welke experts worden geactiveerd voor tabeltaken versus wiskundige redenering.
  • Input-variaties: Vergelijking van Markdown vs. HTML formaten en Direct Answering vs. Chain-of-Thought (CoT) prompting.

3. Belangrijkste Bijdragen en Resultaten

De studie onthult een coherent, drie-fasen workflow voor tabelbegrip in LLM's:

A. Drie-fasen Attentiepatroon

LLM's volgen een specifiek patroon in de verdeling van aandacht:

1. Vroege lagen: Scannen de tabel breed (hoge entropie) om de algehele structuur en context te begrijpen.
2. Middenlagen: Focussen sterk op query-gerelateerde cellen (lage entropie). Hier vindt de feitelijke "lokalisatie" van het antwoord plaats.
3. Late lagen: Versterken de bijdrage van de gefocuste inhoud om het definitieve antwoord te genereren.

• Inzicht: Precieze lokalisatie in de middenlagen is belangrijker dan de totale hoeveelheid aandacht die aan de tabel wordt besteed.

B. Effectieve Diepte en Redenering

• Tabeltaken vereisen meer lagen voor het verfijnen van de output-distributie dan wiskundige redenering (zoals GSM8K), hoewel het moment waarop het antwoordinhoud "vaststaat" (crystalliseert) vergelijkbaar is.
• Dit patroon is consistent over verschillende modelgroottes en trainingsstrategieën, wat suggereert dat de functionaliteit van lagen grotendeels tijdens de pre-training wordt vastgesteld.
• Conclusie: Strategieën voor "early exit" (vroeg stoppen) die werken voor wiskunde, zijn mogelijk minder effectief voor tabeltaken.

C. Specialisatie in MoE-modellen

• MoE-modellen activeren een distincte set van tabel-specifieke experts, voornamelijk geconcentreerd in de middenlagen.
• Deze experts hebben minimale overlap met experts die worden gebruikt voor wiskundige taken.
• Vroege en late lagen delen daarentegen algemene experts tussen verschillende taken. Dit suggereert dat MoE-modellen efficiënt multi-task processing bereiken door specialisatie in het midden van het netwerk.

D. Invloed van Input en Redeneringsstrategie

• Formaten: HTML-tabellen leiden in vroege lagen tot een verspreidere aandacht (hoge entropie) dan Markdown-tabellen vanwege de verbose syntax. Echter, in diepere lagen convergeren de interne representaties, wat verklaart waarom de prestatieverschillen minimaal zijn.
• Chain-of-Thought (CoT): CoT-prompting zorgt voor een toename van de aandacht voor tabelinhoud in de midden- en late lagen. Dit effect wordt verder versterkt door tabel-specifiek fine-tuning, wat leidt tot aanzienlijk betere prestaties (bijv. Table-R1-7B steeg van ~70% naar ~82% met CoT).

E. Causale Validatie

• Het maskeren van attentie in vroele tot middenlagen veroorzaakt ernstige prestatiedalingen (tot wel 65 punten), wat bewijst dat de brede scanfase functioneel essentieel is.
• Het maskeren in late lagen heeft veel minder impact, wat bevestigt dat deze lagen voornamelijk dienen voor versterking van reeds geïdentificeerde informatie.

4. Significantie en Implicaties

Deze studie biedt de eerste systematische inzicht in de interne mechanismen van LLM's voor tabelbegrip. De bevindingen hebben belangrijke implicaties voor de toekomstige ontwikkeling van modellen:

1. Interpreteerbaarheid: Het biedt een blauwdruk voor hoe gestructureerde data wordt verwerkt, wat helpt bij het diagnosticeren van fouten (bijv. als de middenlagen niet de juiste cellen focussen).
2. Optimalisatie:
   • Inference-time: Interventies in late lagen kunnen effectief zijn om tabelbegrip te verbeteren.
   • Architectuur: MoE-modellen kunnen worden geoptimaliseerd door tabel-specifieke experts in de middenlagen te prioriteren.
   • Efficiëntie: Aangezien late lagen voornamelijk versterken, zouden pruningsstrategieën mogelijk zijn op basis van de vroege en middenlagen zonder grote prestatieverlies.
3. Prompting: Het gebruik van CoT en tabel-specifieke fine-tuning wordt aanbevolen om de "table grounding" (de verbinding met de tabeldata) te maximaliseren.

Kortom, dit paper verschuift de focus van puur prestatie-gericht onderzoek naar een mechanistisch begrip van waarom en hoe LLM's tabellen begrijpen, wat de basis legt voor robuustere en efficiëntere systemen voor gestructureerde data-analyse.