💬 NLP

Calibrated Confidence Estimation for Tabular Question Answering

Dit artikel introduceert Multi-Format Agreement (MFA) als een kostenefficiënte methode om de ernstige oververzekerdheid van grote taalmodellen bij het beantwoorden van vragen over tabellen te corrigeren, waarbij het gebruik van verschillende dataformaten (zoals JSON en CSV) leidt tot aanzienlijk betere betrouwbaarheidsschattingen dan bestaande technieken.

Oorspronkelijke auteurs: Lukas Voss

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lukas Voss

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat overmoedige assistent hebt. Deze assistent kan vragen beantwoorden over tabellen met cijfers, zoals in een jaarverslag of een financieel overzicht. Het probleem is: deze assistent is er veel te zeker van dat hij gelijk heeft, zelfs als hij het fout heeft.

Deze paper (een wetenschappelijk artikel) onderzoekt precies dit probleem en biedt een slimme oplossing. Hier is de uitleg in simpele taal, met een paar handige vergelijkingen.

1. Het Probleem: De "Zekere" Assistent

Stel je voor dat je een assistent vraagt: "Hoeveel mensen werken er in de afdeling Marketing?"
De assistent antwoordt: "342 mensen, en ik ben 99% zeker dat dit klopt!"

Maar als je het narekent, blijkt het antwoord eigenlijk 340 te zijn. De assistent was dus fout, maar hij gaf geen enkel teken van twijfel. In de wereld van kunstmatige intelligentie (LLMs) noemen we dit oververtrouwen.

De bevinding: De onderzoekers ontdekten dat deze modellen op tabellen (zoals Excel-sheets) veel slechter zijn in het inschatten van hun eigen fouten dan bij gewone tekstvragen. Ze zijn als een gokker die denkt dat hij altijd wint, terwijl hij eigenlijk vaak verliest.

2. De Oude Manieren (Die niet werken)

Vroeger probeerden onderzoekers twee dingen om te zien of de assistent het goed had:

Vragen: "Weet je zeker dat dit klopt?" (De assistent zegt: "Ja, 100%").
Zelf-checken: "Is je antwoord correct?" (De assistent denkt na en zegt: "Ja, ik denk het wel").

Het resultaat: Dit werkt niet. Het is alsof je een leugenaar vraagt: "Ben je een leugenaar?" en hij zegt: "Nee, natuurlijk niet." De assistent kan zijn eigen fouten niet goed zien.

3. De Nieuwe Oplossing: Het "Meerdere Taal"-Trucje

De onderzoekers bedachten een slimme manier om de assistent te testen, gebaseerd op een heel specifiek kenmerk van tabellen: ze kunnen op verschillende manieren worden geschreven (bijvoorbeeld als een lijst, als een HTML-tabel, als JSON-code, of als CSV-tekst).

Stel je voor dat je een vraag stelt aan je assistent, maar je doet dit op vier verschillende manieren:

Vraag 1: "Hier is de tabel als lijst."
Vraag 2: "Hier is dezelfde tabel als HTML-code."
Vraag 3: "Hier is dezelfde tabel als JSON-data."
Vraag 4: "Hier is dezelfde tabel als CSV-tekst."

De logica:

Als de assistent echt begrijpt wat er in de tabel staat, zou hij op alle vier vragen hetzelfde antwoord moeten geven.
Als hij op de ene vraag "342" zegt en op de andere "340", dan weet je: Hij begrijpt de inhoud niet echt. Hij kijkt alleen naar hoe de tekst eruitziet (de "vorm") en raadt maar wat.

De onderzoekers noemen dit Multi-Format Agreement (MFA).

Hoe het werkt: Als de antwoorden overeenkomen, is de assistent waarschijnlijk betrouwbaar. Als ze verschillen, is het antwoord onbetrouwbaar.
Het voordeel: Dit werkt veel beter dan de oude methoden. Het is alsof je een getuige vraagt om een verhaal te vertellen in het Nederlands, Frans, Duits en Spaans. Als het verhaal in alle talen hetzelfde is, is het waarschijnlijk waar. Als het verhaal in het Frans totaal anders klinkt dan in het Nederlands, is er iets mis.

4. Waarom is dit belangrijk?

Deze methode heeft drie grote voordelen:

Betrouwbaarheid: Het helpt ons te zien wanneer we niet moeten vertrouwen op het antwoord van de AI.
Kostenbesparing: Het is goedkoper dan andere geavanceerde methoden die veel meer rekenkracht nodig hebben.
Specifiek voor tabellen: Het maakt slim gebruik van het feit dat tabellen net als blokken Lego op verschillende manieren kunnen worden samengesteld, zonder dat de inhoud verandert.

5. De Conclusie in Eén Zin

Deze paper leert ons dat we niet moeten luisteren naar wat een AI zegt dat hij zeker is, maar dat we moeten kijken of hij consistent blijft als we de vraag op een andere manier (in een andere "taal" of formaat) stellen. Als hij dan twijfelt, weten we dat we zelf moeten nadenken.

Kort samengevat:
Geef je assistent niet alleen een vraag, maar geef hem die vraag in vier verschillende verpakkingen. Als hij in alle vier de verpakkingen hetzelfde antwoord geeft, kun je hem vertrouwen. Als hij begint te haperen, is het tijd om zelf de rekenmachine te pakken.

Titel: Gecalibreerde Schatting van Zekerheid voor Tabelvragen (Tabular Question Answering)

Auteur: Lukas Voss (Onafhankelijk Onderzoeker)
Publicatiedatum: April 2026 (Preprint)

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor het beantwoorden van vragen over gestructureerde data (tabellen) in domeinen zoals financiële analyse en business intelligence. Hoewel de nauwkeurigheid van deze modellen wordt gemeten, is hun betrouwbaarheid (calibratie) op dit gebied grotendeels onbestudeerd.

De kernproblemen zijn:

Extreme Oververtrouwdheid: LLMs zijn ernstig oververtrouwd bij tabelvragen. Hun geschatte zekerheid (confidence) correleert slecht met de werkelijke juistheid. De "Smooth Expected Calibration Error" (smECE) ligt tussen 0,35 en 0,64, wat aanzienlijk slechter is dan de 0,10–0,15 die wordt gerapporteerd voor tekstuele vragen.
Formatgevoeligheid: LLMs geven verschillende antwoorden op dezelfde tabel, afhankelijk van hoe deze is geserialiseerd (bijv. Markdown vs. HTML vs. JSON). Dit suggereert dat het model oppervlakkige patronen volgt in plaats van de structuur van de tabel te begrijpen.
Gebrek aan Systematische Vergelijking: Bestaande onderzoek richt zich op tekstuele QA of specifieke SQL-generatie, maar er is geen systematische vergelijking van algemene methoden voor zekerheidsschatting op standaard tabel-benchmarks.

2. Methodologie

De studie evalueert vijf methoden voor het afleiden van zekerheid (confidence elicitation) over vijf frontier-LLMs (GPT-4o, GPT-4o-mini, Gemini 2.5 Flash, Llama-3.3-70B, DeepSeek-V3) op twee benchmarks: WikiTableQuestions (WTQ) en TableBench.

De methoden worden verdeeld in twee paradigma's:

A. Zelfevaluatie (Self-Evaluation)

Verbalized Confidence: Het model geeft direct een antwoord en een zekerheidsscore (0-100%) in JSON.
P(True): Een tweestapsmethode waarbij het model eerst een antwoord genereert en vervolgens wordt gevraagd: "Is je antwoord correct?".

B. Perturbatie (Perturbation)

Self-Consistency: Het model genereert $N$ antwoorden bij een temperatuur $\tau > 0$ . De zekerheid is de mate van overeenstemming (majority vote).
Semantic Entropy: $N$ antwoorden worden geklaust op semantische gelijkheid; de zekerheid is gebaseerd op de entropie van deze clusters.
Multi-Format Agreement (MFA) - Nieuwe Methode:
- Dit is een domeinspecifieke implementatie van input-perturbatie.
- Dezelfde tabel wordt geserialiseerd in $K$ verschillende formaten (Markdown, HTML, JSON, CSV).
- Het model wordt voor elk formaat gevraagd om een antwoord (bij temperatuur 0).
- Zekerheid: De fractie van formaten die overeenkomen met het meerderheidsantwoord.
- Unieke Eigenschappen: Het is verliesloos (geen semantische verandering), deterministisch (geen stochastische sampling nodig) en natuurlijk beschikbaar voor gestructureerde data.

C. Recalibratie

De auteurs introduceren structuur-bewuste recalibratie. In plaats van alleen de ruwe zekerheid te herschalen (zoals bij Platt scaling), worden tabel-specifieke covariaten toegevoegd als input voor de kalibratiemodel:

Logaritmische rij- en kolomgroottes.
Verdeling van kolomtypen.
Complexiteit van de query (woordtelling, operatie-trefwoorden).
Antwoordtype.

3. Belangrijkste Resultaten

A. De "Zelfevaluatie vs. Perturbatie" Dichotomie

Er is een consistent patroon gevonden dat geldt voor alle geteste modellen en benchmarks:

Zelfevaluatie-methoden (Verbalized, P(True)) presteren slecht, met een AUROC (Area Under the Receiver Operating Characteristic) tussen 0,42 en 0,76 (vaak dicht bij willekeur, 0,5). Ze kunnen niet betrouwbaar onderscheid maken tussen juiste en onjuiste antwoorden.
Perturbatie-methoden (MFA, Self-Consistency, Semantic Entropy) presteren aanzienlijk beter, met een AUROC tussen 0,78 en 0,86.

B. Prestaties van Multi-Format Agreement (MFA)

Kosten-efficiëntie: MFA vereist slechts 4 API-calls per vraag (één per formaat), terwijl sampling-methoden (Self-Consistency, Semantic Entropy) er 5 nodig hebben. MFA bereikt vergelijkbare prestaties met 20% lagere API-kosten.
Calibratieverbetering: MFA verlaagt de ECE met 44–63% ten opzichte van verbalized confidence.
Generalisatie: MFA werkt consistent goed op zowel de eenvoudigere WTQ als de moeilijkere TableBench (gemiddelde AUROC 0,80).
Complementariteit: Het combineren van MFA met sampling-methoden (bijv. MFA + Self-Consistency) verhoogt de AUROC verder (van 0,74 naar 0,82), wat aangeeft dat ze verschillende soorten onzekerheid meten (input-variatie vs. output-variatie).

C. Recalibratie Resultaten

Standaard post-hoc methoden (zoals Temperature Scaling) verbeteren de calibratie (verlagen ECE), maar verbeteren niet de discriminatie (AUROC blijft gelijk).
De voorgestelde structuur-bewuste recalibratie verbetert de AUROC met +10 procentpunten ten opzichte van standaard methoden. Query-complexiteit en tabelgrootte bleken de meest informatieve kenmerken.

D. Statistische Betrouwbaarheid

De resultaten zijn statistisch significant ( $p < 0.001$ na Holm-Bonferroni correctie).
Een controle met 3 verschillende random seeds op GPT-4o-mini toonde een standaardafwijking van slechts ±0,006, wat aantoont dat de gevonden dichotomie niet het gevolg is van stochastische variatie.

4. Bijdragen en Significantie

Eerste Systematische Studie: Dit is het eerste werk dat systematisch meerdere methoden voor zekerheidsschatting vergelijkt op standaard benchmarks voor tabelvragen.
Inzicht in Oververtrouwdheid: Het paper demonstreert dat LLMs op tabellen veel oververtrouwd zijn dan op tekst, en dat zelfevaluatie (vragen aan het model of het antwoord juist is) in dit domein fundamenteel faalt.
MFA als Nieuwe Standaard: De introductie van Multi-Format Agreement biedt een kostenefficiënte, deterministische en robuuste methode om onzekerheid te schatten voor gestructureerde data. Het benut de unieke eigenschap van tabellen dat ze op verschillende manieren kunnen worden weergegeven zonder verlies van semantische inhoud.
Praktische Richtlijnen: Voor practitioners wordt geadviseerd om geen vertrouwen te hebben in verbalized confidence of P(True) voor tabelvragen. In plaats daarvan moeten perturbatiemethoden (zoals MFA) worden gebruikt, vooral in hoog-risico scenario's waar selectief antwoorden (abstention) nodig is.
Toekomstige Richting: Het paper suggereert dat het principe van "verliesloze perturbatie" (zoals bij MFA) kan worden toegepast op andere gestructureerde domeinen zoals kennisgrafieken, code en chemische formules.

Conclusie

Deze studie toont aan dat de huidige methoden voor het schatten van zekerheid bij LLMs ontoereikend zijn voor tabelvragen. Door gebruik te maken van de formatgevoeligheid van modellen via Multi-Format Agreement, kan men een veel betrouwbaarder en goedkoper signaal voor onzekerheid verkrijgen. Dit is een cruciale stap voor het veilig en betrouwbaar inzetten van AI in financiële en zakelijke toepassingen.