💬 NLP

TabReX : Tabular Referenceless eXplainable Evaluation

Dit paper introduceert TabReX, een referentievrij en uitlegbaar evaluatiekader dat grafgebaseerd redenering gebruikt om de kwaliteit van door LLM's gegenereerde tabellen te beoordelen, vergezeld van een nieuw benchmark (TabReX-Bench) om de robuustheid van deze methode te valideren.

Oorspronkelijke auteurs: Tejas Anvekar, Junha Park, Aparna Garimella, Vivek Gupta

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tejas Anvekar, Junha Park, Aparna Garimella, Vivek Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die een recept (de tekst) moet omzetten in een perfect georganiseerd menukaartje (de tabel). Soms maakt de kok een foutje: een ingrediënt ontbreekt, een prijs staat verkeerd, of de volgorde van de gerechten is door elkaar gehaald.

Het probleem is: Hoe controleer je of dat menukaartje goed is, zonder dat je het originele recept hebt? Of, als je het recept wel hebt, hoe zie je dan precies waar de fout zit, zonder dat je alleen kijkt naar of de woorden hetzelfde zijn?

Dat is precies wat dit paper, getiteld TABREX, oplost. Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Woorden-Teller" is niet slim genoeg

Vroeger keken computers naar tabellen alsof het gewoon een lange zin was. Ze telden woorden (zoals BLEU of ROUGE).

De analogie: Stel je voor dat je twee menu's vergelijkt. Het ene zegt: "Biefstuk met aardappels". Het andere zegt: "Aardappels met biefstuk". Een simpele woorden-teller denkt: "Ah, beide woorden zijn hetzelfde, dus het is perfect!"
De realiteit: In een tabel is de volgorde en de structuur cruciaal. Als je de rijen en kolommen verwart, is het menu onbruikbaar, zelfs als de woorden kloppen. Andere methoden kijken wel naar de structuur, maar ze hebben altijd een "perfect voorbeeld" (een referentie) nodig om te vergelijken. Wat als je dat voorbeeld niet hebt? Dan zijn ze machteloos.

2. De Oplossing: TABREX (De "Smaakproever" met een X-ray)

TABREX is een nieuwe manier om deze tabellen te beoordelen. Het werkt in drie stappen, alsof je een detective bent:

Stap 1: Vertalen naar een "Geheime Code" (Grafieken)
TABREX neemt de tekst én de gegenereerde tabel en vertaalt ze allebei naar een soort "smaakproef-kaart" (een kennisgrafiek). Het negeert of iets nu in een rij of kolom staat; het kijkt puur naar de feiten: Wie? Wat? Hoeveel?
- Vergelijking: Het is alsof je twee verschillende taalgebruikers (de tekst en de tabel) vertaalt naar een universele gebarentaal. Dan kun je zien of ze hetzelfde verhaal vertellen, ongeacht of ze in een boek of op een bord staan.
Stap 2: De "Match" (Zoeken naar overeenkomsten)
De computer kijkt nu naar deze twee "kaarten" en zoekt de overeenkomsten.
- Is een feit in de tabel hetzelfde als in de tekst? (Goed!)
- Mist er iets? (Fout: "Missing")
- Staat er iets in de tabel dat er niet zou moeten staan? (Fout: "Extra" of hallucinatie)
- Is het getal net iets anders? (Fout: "Partially matched")
Stap 3: De "Score" (De rapportkaart)
TABREX geeft geen enkel cijfer, maar een verantwoordelijke rapportkaart. Het zegt niet alleen "Dit is fout", maar ook: "Je miste de rij voor 'Aardappels' en je hebt de prijs van de biefstuk 10% te hoog gezet."
- Het grote voordeel: Je kunt zelf kiezen wat belangrijk is. Wil je dat er geen fouten zijn? Dan straft TABREX streng af. Wil je dat er vooral veel informatie is, ook al zitten er kleine foutjes in? Dan is het strenger op het missen van info.

3. De Test: De "Torture-Test" (TABREX-BENCH)

Om te bewijzen dat hun methode echt werkt, hebben de onderzoekers een enorme testbank gemaakt, genaamd TABREX-BENCH.

De analogie: Stel je voor dat je een nieuwe auto wilt testen. Je rijdt niet alleen op een gladde weg, maar je gooit de auto ook over hobbels, door modder en over ijs.
Wat deden ze? Ze namen 710 echte tabellen (over geld, gezondheid, sport, etc.) en maakten er 12 versies van per tabel. Sommige versies hadden kleine foutjes (een letter verkeerd), andere hadden grote fouten (rijen weggehaald, getallen verwisseld).
Het resultaat: TABREX bleek de enige die overal goed doorheen kwam. Terwijl andere methoden in paniek raakten bij moeilijke fouten, bleef TABREX rustig en gaf het de juiste waarschuwingen.

Waarom is dit belangrijk?

In de echte wereld (financiën, gezondheidszorg) kan één foutje in een tabel leiden tot grote problemen.

Als een AI een medisch rapport omzet in een tabel, mag er geen enkel getal verkeerd zijn.
Als een AI een financieel overzicht maakt, mag er geen kolom ontbreken.

TABREX is als een slimme, onafhankelijke auditor. Je hoeft geen perfect voorbeeld te hebben om te weten of het werk goed is. Het kijkt naar de feiten, niet naar de vorm, en vertelt je precies waar je moet opletten.

Kortom: TABREX maakt het mogelijk om te zeggen: "Deze tabel is goed, omdat de feiten kloppen," in plaats van "Deze tabel is goed, omdat hij eruitziet als het voorbeeld." Dat is een enorme stap voorwaarts voor het vertrouwen in kunstmatige intelligentie.

Titel: TABREX: Tabular Referenceless eXplainable Evaluation

Auteurs: Tejas Anvekar, Junha Park, Aparna Garimella, Vivek Gupta (Arizona State University & Adobe Research)

1. Het Probleem

Het evalueren van de kwaliteit van tabellen die gegenereerd worden door Large Language Models (LLMs) blijft een grote uitdaging. Bestaande evaluatiemethoden hebben twee fundamentele tekortkomingen:

Structuurverlies: Veel metrics (zoals BLEU, ROUGE, BERTScore) flattenen tabellen naar platte tekst. Hierdoor wordt de relationele structuur (rijen/kolommen), de schema-uitlijning en de semantiek van eenheden genegeerd.
Afhankelijkheid van Referenties: De meeste geavanceerde methoden vereisen een "ground truth" referentietabel. In veel real-world scenario's (zoals het genereren van rapporten uit ruwe data) bestaat er geen perfecte referentie, wat generalisatie beperkt.
Gebrek aan Interpretatie: Bestaande metrics leveren vaak een enkele, ondoorzichtige score op zonder uitleg over waarom een tabel foutief is (bijv. ontbrekende cellen vs. hallucinatie).

Er is behoefte aan een evaluatiemethode die referentieloos is, structuurbewust, uitlegbaar en aanpasbaar aan verschillende domeinen (bijv. financiële precisie vs. klinische recall).

2. Methodologie: TABREX

TABREX is een framework dat tabellen en tekst omzet naar een gemeenschappelijke, gestructureerde representatie (kennisgrafieken) en deze vergelijkt via grafische redenering. Het proces verloopt in drie fasen:

Fase 1: Omzetting naar Kennisgrafieken (Text2Graph & Table2Graph)

TABREX converteert zowel de brontekst als de gegenereerde tabel naar een set van triplets [onderwerp, predikaat, object] (s, p, o).

Text2Graph: Een LLM (geleid door een strikte grammatica) extraheren minimale, atomaire feiten uit de tekst. Het onderwerp is een entiteit of tijdslice, het predikaat een genormaliseerde eigenschap, en het object een canonieke waarde.
Table2Graph: Een regelgebaseerde, deterministische methode "ontrolt" de tabel. Kolomkoppen worden predikaten, rijen worden onderwerpen, en celwaarden worden objecten. Dit is snel en vereist geen training.

Fase 2: Grafische Uitlijning (Graph Alignment)

De gegenereerde tabelgraf ( $G_T$ ) wordt uitgelijnd met de tekstgraf ( $G_S$ ) zonder een externe referentietabel.

Een LLM-gestuurde uitlijning (Prompt D) matcht triplets op basis van betekenis, niet op positie.
Het proces gebruikt een twee-stappenbenadering: eerst deterministisch matchen van identieke schema's, daarna LLM-gestuurde verfijning om parafrases, afkortingen en samengestelde attributen op te lossen.
Het resultaat is een uitgelijnde set $A$ die exacte correspondenties en discrepanties (ontbrekend, extra, numerieke afwijkingen) op rij-, kolom- en cel-niveau blootlegt.

Fase 3: Eigenschapsgedreven Scoren (Property-Driven Scoring)

Op basis van de uitlijning worden interpreteerbare penalties berekend:

TablePenalty: Straft structurele fouten (ontbrekende/extra rijen of kolommen).
CellPenalty: Straft feitelijke fouten (ontbrekende waarden, extra waarden, en numerieke afwijkingen in deels-matched cellen).
Controleerbaarheid: De uiteindelijke score ( $S_{TABREX}$ ) is een som van deze penalties. De methode maakt gebruik van weegfactoren ( $\alpha, \beta$ ) waarmee gebruikers de trade-off tussen sensitiviteit (dekking van alle feiten) en specificiteit (straffen van hallucinaties) kunnen aanpassen.

3. Belangrijkste Bijdragen

TABREX Framework: Een referentieloos, eigenschap-gedreven evaluatiesysteem dat grafische redenering gebruikt om structurele en feitelijke trouw te kwantificeren. Het levert cel-niveau foutsporen en uitlegbare scores op.
TABREX-BENCH: Een groot, gestructureerd benchmark-dataset om metrics te testen.
- Omvang: 710 bron-tabellen over 6 domeinen (Financiën, Gezondheidszorg, Hiërarchische tabellen, etc.).
- Perturbaties: 12 soorten manipulaties (bijv. rijen verwisselen, waarden veranderen, eenheden converteren) verdeeld over 3 moeilijkheidsgraden (Gemakkelijk, Middel, Hard).
- Innovatie: Gebruikt een "planner-driven" LLM-pijplijn om reproduceerbare en diverse perturbaties te genereren, inclusief een samenvatting per tabel voor referentieloos testen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat TABREX superieur presteert ten opzichte van bestaande metrics.

4. Resultaten

De experimenten zijn uitgevoerd op TABREX-BENCH en real-world text-to-table taken, met vergelijkingen tegenover metrics zoals BLEU, BERTScore, QUESTEVAL, en state-of-the-art methoden zoals TABXEVAL.

Correlatie met Menselijke Beoordeling: TABREX behaalde de hoogste correlatie met menselijke expert-rankings (Spearman's $\rho \approx 0.75$ , Kendall's $\tau \approx 0.64$ ). Dit is significant beter dan bestaande referentieloos methoden (zoals QUESTEVAL) en zelfs beter dan sommige referentie-gebaseerde LLM-methoden.
Robuustheid onder Perturbaties:
- In een analyse van Sensitiviteit vs. Specificiteit (zie Figuur 1 in het paper) blijft TABREX dicht bij het "ideale gebied" zelfs bij zware perturbaties (hard).
- Andere metrics (zoals embedding-gebaseerde methoden) vertonen grote dalingen in prestaties bij complexere fouten, wat aangeeft dat ze te afhankelijk zijn van oppervlakkige overeenkomsten.
Fijnmazige Analyse: TABREX kan onderscheid maken tussen fouten in verschillende rubrieken (bijv. numerieke nauwkeurigheid vs. semantische dekking). Dit stelt onderzoekers in staat om te analyseren hoe modelgrootte (bijv. Gemma 4B vs 27B) en prompting-strategieën (Chain-of-Thought vs. Zero-Shot) specifieke aspecten van tabelgeneratie beïnvloeden.

5. Betekenis en Toekomstperspectief

Vertrouwenswaardige Evaluatie: TABREX biedt een nieuwe standaard voor het evalueren van gestructureerde generatiesystemen in hoog-risico domeinen (zoals financiële auditing en medische rapportage), waar zowel valse alarmen als gemiste fouten kostbaar zijn.
Referentieloos Werken: Het bewijst dat betrouwbare evaluatie mogelijk is zonder een perfecte "ground truth" tabel, zolang er een brontekst beschikbaar is die de feiten bevat.
Interpretatie en Debugging: Door cel-niveau foutsporen te genereren, helpt TABREX ontwikkelaars om specifieke zwaktes in hun modellen of prompts te identificeren en te corrigeren.
Open Source: De auteurs hebben de code en het benchmark-dataset open source gemaakt (onder MIT-licentie) om reproduceerbaarheid en community-bijdragen te stimuleren.

Beperkingen: Het framework is momenteel beperkt tot gestructureerde digitale tabellen (HTML/Markdown) en vereist LLM's voor de extractie en uitlijning, wat rekenkracht kost. Het ondersteunt nog geen tabellen in afbeeldingen (OCR) of meertalige data.

Kortom, TABREX introduceert een paradigmaverschuiving van oppervlakkige tekst-overlap naar diepgaande, structurele en feitelijke redenering voor het evalueren van AI-generatie van tabellen.