HCT-QA: A Benchmark for Question Answering on Human-Centric Tables

Dit paper introduceert HCT-QA, een uitgebreid benchmark voor vraag-antwoordtaken op mensgerichte tabellen, dat duizenden realistische en synthetische tabellen bevat om de prestaties van taal- en visiemodellen te evalueren en te verbeteren via fine-tuning.

De kern

Stel je voor dat je een enorme, rommelige schuur binnenstapt. In deze schuur liggen duizenden documenten: rapporten, statistieken en lijsten. Maar deze lijsten zijn niet netjes als een Excel-spreadsheet op je computer. Ze zijn menselijk gemaakt. Ze hebben gekke opmaak, gekleurde vakjes, samengevoegde rijen, en tekst die over meerdere regels loopt. Ze zijn gemaakt om door mensen snel te lezen, niet door computers.

Wij noemen deze "mensgerichte tabellen" (Human-Centric Tables).

Het probleem? Als je een computer vraagt: "Hoeveel brood is er vorig jaar verkocht?", raakt de computer in paniek. De computer denkt: "Waar moet ik zoeken? Is 'brood' een rij of een kolom? En wat betekent die grijze rand?"

Dit is waar het onderzoek van HCT-QA om de hoek komt kijken. Hier is een uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Vage Kaart"

Vroeger probeerden computers deze lijsten om te zetten in een strakke database (zoals een SQL-tabel), alsof je een rommelige schets van een stad probeert om te zetten in een GPS-route. Maar vaak mislukt dit. De lijsten zijn te complex.
Daarnaast hebben we nu slimme AI's (zoals ChatGPT). Maar hoe weet je of die AI's deze rommelige lijsten echt begrijpen? Er was geen proefexamen om hun kennis te testen.

2. De Oplossing: HCT-QA (Het Grote Proefexamen)

De onderzoekers hebben een gigantisch proefexamen gemaakt, genaamd HCT-QA.

• De Vragen: Ze hebben duizenden vragen bedacht, variërend van simpel ("Hoeveel is dit?") tot heel moeilijk ("Wat is het gemiddelde van alle landen in Azië, maar alleen als de temperatuur boven de 20 graden ligt?").
• De Data: Ze hebben twee soorten lijsten gebruikt:
  1. Echte lijsten: Uit echte documenten van regeringen en wetenschappers (zoals de Qatar National Planning Council).
  2. Gemaakte lijsten: Ze hebben een robot (een generator) gebouwd die zelf duizenden nieuwe, moeilijke lijsten en vragen maakt. Dit is als een videospel dat oneindig nieuwe levels genereert om de speler te trainen.

3. De Test: De AI's in de Strijd

Ze hebben 25 verschillende AI-modellen (de "studenten") op dit examen laten zitten. Ze keken naar:

• Grote modellen: De "supersterren" (zoals GPT-4o).
• Kleine modellen: De "snelle, slimme leerlingen" (zoals Llama of Gemma).
• Visuele modellen: AI's die niet alleen tekst lezen, maar ook naar de afbeelding van de lijst kunnen kijken.

Wat leerden ze?

• Grote modellen zijn goed, maar niet perfect: Zelfs de slimste AI's maken fouten bij complexe lijsten. Ze raken de draad kwijt bij ingewikkelde opmaak.
• Kijken is beter dan lezen: AI's die naar de afbeelding van de lijst kunnen kijken (zoals een mens die naar een papieren document kijkt), doen het vaak beter dan AI's die alleen de tekst proberen te lezen. De computer mist namelijk vaak de visuele hints (zoals een dikgedrukte regel) die zeggen: "Hier is een samenvatting!".
• Oefening baart kunst (Finetuning): Als je een AI speciaal traint op deze moeilijke lijsten (in plaats van alleen algemene kennis), wordt hij 25% beter. Het is alsof je een student een week lang alleen maar laat oefenen met dit specifieke type examen. Dan haalt hij een veel hogere cijfer.

4. Waarom is dit belangrijk?

Stel je voor dat je een dokter bent die duizenden patiëntendossiers moet analyseren, of een econoom die wereldwijde handelsrapporten moet doorzoeken.

• Zonder deze AI's moet je alles handmatig inlezen.
• Met deze AI's (die getraind zijn op HCT-QA) kun je vragen stellen als: "Toon mij alle trends in de laatste 5 jaar" en de AI geeft je het antwoord, zelfs als de data in een rommelig PDF-bestand zit.

Samenvattend

Deze paper zegt eigenlijk: "Kijk, computers zijn goed, maar ze worstelen nog met de rommelige lijsten die mensen maken. We hebben een nieuw, groot proefexamen gemaakt om te zien hoe goed ze zijn, en we hebben bewezen dat als je ze specifiek traint op deze rommelige lijsten, ze veel beter worden."

Het is een stap in de richting van een wereld waar je gewoon kunt praten met je documenten, alsof het een mens is, en ze je precies vertellen wat erin staat, ongeacht hoe rommelig het eruitziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HCT-QA: A Benchmark for Question Answering on Human-Centric Tables" in het Nederlands.

Titel: HCT-QA: Een Benchmark voor Vraagbeantwoording op Mensgerichte Tabellen

1. Het Probleem

Tabulaire data is overal aanwezig in documenten zoals PDF's, webpagina's en rapporten. In tegenstelling tot gestructureerde relationele tabellen (zoals in SQL-databases), worden deze tabellen ontworpen voor menselijke leesbaarheid en bevatten ze complexe structurele en semantische lay-outs. De auteurs noemen deze Human-Centric Tables (HCTs).

De uitdagingen bij het queryen van HCTs zijn:

• Complexe Layouts: HCTs bevatten geneste kolommen en rijen, samenvoegingen (aggregaties), groepslabels en visuele aanwijzingen (kleur, vetgedrukte tekst) die semantische informatie dragen.
• Onverenigbaarheid met SQL: Traditionele benaderingen die tabellen converteren naar relationele formaten en vervolgens Natural Language (NL) naar SQL vertalen, falen vaak bij deze complexe lay-outs. De conversiepijplijn is kwetsbaar en foutgevoelig.
• Gebrek aan Evaluatie: Hoewel Large Language Models (LLMs) en Vision Language Models (VLMs) belovend zijn voor direct begrijpen van deze tabellen, ontbreekt er een gestandaardiseerde benchmark om hun prestaties objectief te meten en te vergelijken. Bestaande benchmarks richten zich vaak op simpele Wikipedia-tabellen en missen diepgaande metadata-analyses.

2. Methodologie

De auteurs introduceren HCT-QA, een uitgebreide benchmark en een generatieframework om de prestaties van modellen bij het beantwoorden van vragen over HCTs te evalueren.

A. Dataverzameling en Generatie:
De dataset bestaat uit twee delen:

1. Real-world HCTs: 1.880 tabellen verzameld uit diverse bronnen (Qatar National Planning Council, wetenschappelijke publicaties, VS Census, Pakistan Bureau of Statistics). Deze zijn geëxtraheerd uit PDF's en opgeslagen in HTML, CSV, Markdown en als afbeeldingen.
2. Synthetische HCTs: 4.679 gegenereerde tabellen met 67.747 vraag-antwoordparen.
   • Generator: Een nieuw ontwikkeld synthetisch generator-framework dat domeinvocabulaire, relationele tabeltemplates en SQL-querytemplates gebruikt om realistische HCTs en bijbehorende NL-vragen te genereren. Dit garandeert semantische correctheid en schaalbaarheid.

B. Vraag- en Antwoordgeneratie:

• Menselijk gegenereerd: Experts hebben vragen ontworpen variërend van eenvoudige selecties tot complexe aggregaties en rangschikkingen.
• Model gegenereerd: LLMs (GPT) zijn gebruikt om aanvullende vragen te genereren, waarna een strikt menselijk verificatieproces (met 14 annotatoren) de kwaliteit en nauwkeurigheid waarborgde.
• Metadata: Elk vraag-antwoordpaar en elke tabel is rijk aan metadata (bijv. type geneste structuur, type aggregatie, complexiteit van de query), wat diepere analyse mogelijk maakt.

C. Experimenteel Ontwerp:

• Modellen: 25 verschillende LLMs (van 4B tot 100B+ parameters, zowel open- als closed-weight) en 9 VLMs zijn getest.
• Input Modaliteiten: Modellen werden getest op tekstuele representaties (HTML, CSV, Markdown) en visuele representaties (afbeeldingen van de tabellen).
• Finetuning: Er werd geëvalueerd of het finetunen van een model (Llama-3.1-8B) op de HCT-QA dataset de prestaties verbetert.
• Metrieken: F1-score (voor gedeeltelijke juistheid) en Complete Containment (CC) score (voor volledige juistheid).

3. Belangrijkste Bijdragen

1. HCT-QA Benchmark: De grootste en meest diverse benchmark tot nu toe voor HCTs, met in totaal 6.559 tabellen en 77.582 vraag-antwoordparen.
2. Synthetische Generator: Een open-source tool die onderzoekers in staat stelt om onbeperkt HCTs en vragen te genereren voor nieuwe domeinen, wat de schaalbaarheid van onderzoek vergroot.
3. Gedetailleerde Metadata: Een uniek systeem van metadata dat de structuur van tabellen en de complexiteit van vragen in kaart brengt, waardoor fijnmazige analyse van modelzwaktes mogelijk is.
4. Uitgebreide Evaluatie: Een systematische vergelijking van 34 modellen, inclusief de impact van inputformaat (tekst vs. beeld) en finetuning.

4. Resultaten en Bevindingen

• Algemene Prestaties: Zelfs de beste modellen (zoals ChatGPT-4o) bereiken slechts een F1-score van ongeveer 66% op tekstuele input. Dit toont aan dat er nog aanzienlijke ruimte voor verbetering is.
• VLMs vs. LLMs: VLMs (die tabellen als afbeelding zien) presteren goed, vooral bij kleinere tabellen, omdat ze visuele aanwijzingen kunnen gebruiken die verloren gaan bij tekstconversie. Echter, bij zeer grote tabellen (zoals de US Census) presteren VLMs slechter dan tekst-LLMs vanwege contextlimieten.
• Invloed van Structuur: Modellen hebben moeite met complexe structuren.
  • Geneste tabellen: Asymmetrische en onbalans geneste tabellen verlagen de F1-score aanzienlijk (tot wel 31% lager).
  • Aggregaties: Vragen die berekeningen vereisen (zoals gemiddelden) zijn moeilijker dan eenvoudige selecties.
• Finetuning: Finetunen op HCT-QA leidt tot een dramatische verbetering. Een model (Llama-3.1-8B) dat was gefinetuned op synthetische data, verbeterde zijn F1-score met 25 procentpunten op real-world data. Dit bewijst dat synthetische data goed generaliseert naar de echte wereld.
• Formaat: HTML-formaten werken over het algemeen beter dan CSV of Markdown voor tekst-LLMs, omdat ze de structuur beter behouden.
• Modelgrootte: Grotere modellen presteren over het algemeen beter, maar er is een duidelijke trend dat middelgrote modellen (27B-72B) zeer competitief zijn ten opzichte van de grootste gesloten modellen, vooral na finetuning.

5. Betekenis en Toekomstperspectief

HCT-QA vult een kritieke leemte in het onderzoek naar documentbegrip en data-querying. Het paper toont aan dat:

• De traditionele "NL-naar-SQL" route ontoereikend is voor mensgerichte tabellen.
• LLMs en VLMs potentieel hebben, maar nog niet klaar zijn voor complexe, real-world scenario's zonder finetuning.
• Synthetische data een krachtig hulpmiddel is om modellen te trainen voor specifieke taken waar real-world data schaars of duur is.

Toekomstig werk omvat het uitbreiden van de benchmark naar cross-table query's (joins tussen meerdere tabellen), het verbeteren van de visuele redenering van VLMs voor zeer grote tabellen, en het verfijnen van de synthetische generator om nog meer linguïstische diversiteit en implicite vergelijkingen te omvatten.

De benchmark, de generator en de code zijn openbaar beschikbaar gesteld via HuggingFace en GitHub, wat de basis legt voor verdere innovatie in dit domein.