💻 computer science

PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

Deze paper introduceert PubTables-v2, een nieuw groot dataset voor het extraheren van tabellen uit volledige pagina's en meerdere pagina's, en toont aan dat het gebruik van een afbeeldingsclassificatie voor het samenvoegen van tabellen de prestaties van visueel-taalmodellen aanzienlijk verbetert.

Oorspronkelijke auteurs: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenloopt, gevuld met miljoenen wetenschappelijke artikelen. Veel van deze artikelen bevatten tabellen: lijsten met cijfers, namen en gegevens die vaak over meerdere pagina's verspreid liggen.

Het probleem? Computers zijn geweldig in het lezen van tekst, maar ze hebben enorme moeite met het begrijpen van deze tabellen, vooral als ze groot, complex of verspreid zijn over verschillende pagina's. Het is alsof je probeert een puzzel op te lossen waarbij de stukjes over de hele vloer liggen en soms zelfs in de kamer naast de deur.

Dit artikel introduceert PubTables-v2, een nieuw en enorm hulpmiddel om computers hierin te trainen. Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Losse Pijpen" Aanpak

Vroeger deden computers het zo:

Ze zagen een pagina en zeiden: "Aha, daar is een tabel!"
Ze knipten die tabel eruit (alsof je een foto knipt uit een krant).
Ze probeerden alleen die losse foto te lezen.

De nadelen:

Contextverlies: Als je een tabel knipt, weet je niet meer waar hij vandaan komt. Misschien is de titel (de "krantekop" van de tabel) weggeknipt.
De "Doorlopende" Tabel: Wat als een tabel te groot is voor één pagina en doorgaat op de volgende pagina? De oude computers zagen twee losse stukken papier en dachten: "Dat zijn twee verschillende tabellen." In werkelijkheid is het één lange, doorlopende lijst.

2. De Oplossing: PubTables-v2 (De "Grote Oefenboer")

De auteurs van dit paper hebben een nieuwe, gigantische dataset gemaakt genaamd PubTables-v2. Je kunt dit zien als een super-oefenboer voor computers.

Hoe groot is het? Het bevat meer dan 500.000 tabellen.
Wat is er nieuw?
- De "Volledige Pagina": In plaats van alleen losse stukjes, geven ze de computer de hele pagina te zien, inclusief titels, voetnoten en de ruimte eromheen.
- De "Meerpagina's" Uitdaging: Dit is het echte nieuwtje. Voor het eerst hebben ze een enorme verzameling gemaakt van tabellen die over meerdere pagina's lopen (soms wel 13 pagina's lang!). Het is alsof ze de computer leren om een lange trein te zien als één trein, en niet als losse wagons die ergens zijn neergezet.

3. De Test: Hoe Slim zijn de Computers Nu?

De auteurs hebben verschillende moderne "AI-hersenen" (zogenaamde Vision-Language Models) getest op deze nieuwe oefenboer.

Het Resultaat: De computers doen het best als ze alleen kleine, losse tabellen moeten lezen. Maar zodra ze een hele pagina of een document met meerdere pagina's krijgen, gaan ze vaak de mist in.
De Grootste Moeilijkheid: Het herkennen van tabellen die over pagina-grenzen heen lopen. De computers zien de breuk in het papier en denken dat de tabel daar ophoudt.

4. De Creatieve Oplossing: De "Kleefmachine"

Hier komt het slimme idee van de auteurs. Omdat de computers moeite hebben om te zien dat twee pagina's bij elkaar horen, hebben ze een extra stap toegevoegd:

De Detecteur: Eerst laat je de computer de tabellen op elke losse pagina vinden.
De "Kleefmachine" (Classifier): Dan gebruiken ze een extra, simpel programmaatje dat als een detective werkt. Dit programmaatje kijkt naar twee naast elkaar liggende pagina's en vraagt zich af: "Ziet het eruit alsof de tabel op pagina 1 doorgaat op pagina 2?"
- Het kijkt naar visuele hints: Zie je dezelfde kolommen? Ziet de tekst eruit alsof het een zin is die is afgebroken?
Het Resultaat: Als de "detective" zegt "Ja!", plakt hij de twee losse stukken weer aan elkaar.

Het effect? Dit klinkt simpel, maar het verbeterde de prestaties van de computers enorm. Het was alsof je een kind leert om een lange trein niet als losse wagons te zien, maar als één geheel.

Samenvatting in een Metafoor

Stel je voor dat je een lange, doorlopende receptenlijst hebt die over 10 pagina's is geschreven.

De oude computers knipten elke pagina los en dachten: "Hier zijn 10 verschillende, korte recepten."
PubTables-v2 is een nieuwe, enorme verzameling van deze lange recepten, inclusief de instructies hoe ze aan elkaar plakken.
De "Kleefmachine" is een slimme assistent die de losse pagina's weer aan elkaar plakt voordat de computer het recept probeert te lezen.

Conclusie:
Dit paper laat zien dat we niet alleen betere computers nodig hebben, maar ook betere oefenmateriaal (de dataset) en slimme strategieën (de kleefmachine) om de complexe wereld van documenten te doorgronden. Ze hebben de code en de data gratis beschikbaar gesteld, zodat iedereen mee kan bouwen aan slimme documentenlezers.

Probleemstelling

Tabelextractie (Table Extraction - TE) is een fundamentele uitdaging binnen het visuele documentbegrip (Visual Document Understanding - VDU). Traditionele benaderingen volgen een meerstapsproces: eerst worden tabellen gedetecteerd op een pagina, waarna de structuur van elke geïsoleerde tabel wordt herkend. Dit paradigma heeft echter beperkingen:

Contextverlies: Het verwerken van tabellen in isolatie leidt tot verlies van belangrijke context (zoals bijschriften, voetteksten en relaties met andere pagina-elementen).
Gebrek aan benchmarks: Er is een groot tekort aan geannoteerde data voor end-to-end extractie op paginaniveau of documentniveau. Bestaande datasets zoals PubTables-1M focussen voornamelijk op ingeknipte (cropped) tabellen.
Meerpagina-tabelherkenning: Het herkennen van tabellen die zich over meerdere pagina's uitstrekken is een onontgonnen gebied. Er bestond tot nu toe geen groot dataset voor dit specifieke probleem, wat onderzoek belemmert.
Beoordelingskloof: De meeste Vision-Language Models (VLMs) worden geëvalueerd op geïsoleerde tabellen, waardoor hun prestaties in echte documentcontexten onbekend blijven.

Methodologie

De auteurs introduceren PubTables-v2, een nieuw, grootschalig dataset dat is opgebouwd uit meer dan één miljoen nieuwe wetenschappelijke artikelen uit PubMed (gepubliceerd na 2021). De dataset is opgezet volgens een strikt kwaliteitscontroleproces:

Data-afleiding: Er wordt gebruikgemaakt van XML/HTML-annotaties van auteurs. Deze worden uitgelijnd met de tekst in de PDF-versie van het document.
Kwaliteitscontrole: Een strenge drempel voor de genormaliseerde bewerkingsafstand (edit distance) tussen de PDF-tekst en de HTML-annotatie wordt gehanteerd ( $\alpha = 0.02$ ). Als een tabel niet overeenkomt, wordt het hele document verwijderd om te voorkomen dat ontbrekende tabellen in de dataset terechtkomen.
Drie Collecties: De dataset is onderverdeeld in drie contexten om verschillende uitdagingen te adresseren:
1. Cropped Tables: 135.578 lange (≥30 rijen) en brede (≥12 kolommen) tabellen, gericht op traditionele structuurherkenning (TSR).
2. Single Pages: 467.541 pagina's met 548.414 tabellen, geannoteerd met bounding boxes voor tabellen, bijschriften, voetteksten en hun hiërarchische relaties.
3. Full Documents: 9.172 volledige documenten met 24.862 tabellen, inclusief 9.492 meerpagina-tabellen (sommige tot 13 pagina's lang).

Experimenten en Modellen:
De auteurs evalueren diverse kleinere, gespecialiseerde Vision-Language Models (zoals dots.ocr, GraniteDocling, Qwen2.5-VL) en een aangepaste versie van het Table Transformer (TATR), genaamd POTATR (Page-Object Table Transformer). POTATR is uitgebreid met een relationele kop om relaties tussen objecten (zoals tabel en bijschrift) te voorspellen.

Een nieuwe aanpak voor meerpagina-tabellen wordt getest: een image classifier (ViT-B-16) die voorspelt of een tabel op pagina $N$ doorgaat op pagina $N+1$ . Deze voorspelling wordt gebruikt om de output van de tabel-extractiemodellen post-processing te laten samenvoegen.

Metingen:
De auteurs generaliseren bestaande metrics (GriTS, TEDS, Exact Match) om ze toepasbaar te maken op sets van tabellen (in plaats van één-op-één vergelijkingen). Ze gebruiken het Hongaarse algoritme om de beste één-op-één matching tussen voorspelde en ground-truth tabellen te vinden en aggregatie over het hele document.

Belangrijkste Bijdragen

PubTables-v2 Dataset: De eerste grootschalige benchmark voor end-to-end tabelextractie op documentniveau, inclusief de eerste dataset met meerpagina-tabellen (9.492 instances).
Pagina- en Documentcontext: Een dataset die tabellen koppelt aan hun bijschriften en voetteksten in hun volledige paginaccontext, wat hiërarchische documentparsing mogelijk maakt.
Benchmarking van VLMs: De eerste uitgebreide evaluatie van gespecialiseerde VLMs op taken buiten geïsoleerde tabellen, wat blootlegt dat meerpagina-herkenning een zwak punt is.
Cross-page Continuatie: Een data-gedreven aanpak om te voorspellen wanneer tabellen over pagina's doorgaan, wat de prestaties aanzienlijk verbetert.
Open Source: De dataset, code en modellen worden vrijgegeven via Hugging Face.

Resultaten

Prestaties op Cropped Tables: Gespecialiseerde modellen zoals TATR-v1.2-Pub (gefine-tuned op de nieuwe data) presteerden uitstekend (GriTSCon van 0.980), wat aantoont dat de dataset hoogwaardig is. Onder VLMs scoorde dots.ocr het beste.
Pagina-niveau: dots.ocr presteerde het beste onder de VLMs, maar er blijft een significant gat tussen VLMs en modellen die tekst direct uit het document halen (zonder OCR).
Document-niveau (Meerpagina): Dit bleek de grootste uitdaging. Zelfs de beste VLM (dots.ocr) behaalde slechts een GriTSCon van 0.5768 op volledige documenten. Modellen worstelden met het herkennen van tabellen die over pagina's heen gaan.
Impact van Merging: Door een ViT-classifier te gebruiken om te voorspellen wanneer tabellen samengevoegd moeten worden, steeg de GriTSCon van 0.577 naar 0.684. Dit toont aan dat meerpagina-herkenning mogelijk is met een hybride aanpak.
Classificatie van Continuatie: De image classifier kon met bijna perfecte nauwkeurigheid (F1-score 0.991) voorspellen of een tabel doorgaat op de volgende pagina, wat suggereert dat er sterke visuele aanwijzingen voor bestaan.

Betekenis en Conclusie

PubTables-v2 vult een kritieke lacune in het onderzoek naar documentparsing. Het stelt onderzoekers in staat om modellen te trainen en evalueren op realistische, complexe scenario's (lange tabellen, meerpagina-tabellen, hiërarchische relaties).

De studie concludeert dat meerpagina-tabelherkenning momenteel een grote beperking is voor bestaande VLMs. De succesvolle implementatie van een "merging"-strategie (waarbij een classifier voorspelt wanneer tabellen samengevoegd moeten worden) biedt een veelbelovende route om deze beperking te overwinnen. PubTables-v2 dient als een nieuwe standaard voor het evalueren van de volgende generatie documentbegripsmodellen.