Decennialang is de wereld aan het verdrinken in papier en pixels. Bonnen, facturen, gescande rapporten en screenshots van spreadsheets liggen in onze digitale archieven als platte afbeeldingen. Voor het menselijk oog zijn deze afbeeldingen vol betekenis: rijen met getallen, koppen die gegevens groeperen, en cellen die zich over kolommen uitstrekken om een totaal weer te geven. Maar voor een computer is een afbeelding slechts een verzameling gekleurde stippen. De computer ziet de vorm van een tabel, maar niet de logica erin. Het kan niet zien dat een samengevoegde cel bij elke rij eronder hoort, of dat een dollarteken een symbool is voor een getal, en geen letter. Deze kloof tussen hoe wij data zien en hoe machines het lezen, is lang een knelpunt geweest. We kunnen een foto van een document maken, maar het omzetten van die foto naar een werkende database—één waarin een programma daadwerkelijk kosten kan optellen of datums kan sorteren—heeft meestal een mens vereist om de informatie handmatig opnieuw in te typen of complexe scripts te schrijven om de structuur te raden.

Onderzoekers hebben geprobeerd dit op te lossen door computers te leren de lay-out van een pagina te herkennen, waarbij afbeeldingen worden omgezet in tekst of code die op een tabel lijkt. Deze methoden produceren echter vaak een getrouwe kopie van het visuele ontwerp in plaats van de onderliggende data. Een computer kan correct identificeren dat een cel twee rijen beslaat, maar begrijpt niet dat de waarde in die cel van toepassing is op beide rijen in de database. Het behandelt de afbeelding als een plaatje dat beschreven moet worden, niet als een bron van waarheid die gereconstrueerd moet worden. Het doel van dit nieuwe werk is om die laatste kloof te overbruggen: om van een enkele afbeelding van een document een volledig functionele database te maken die een standaard computerprogramma onmiddellijk kan gebruiken, bevragen en analyseren, zonder menselijke tussenkomst.

De onderzoeker achter dit project, Musa Peker, benaderde het probleem door een computer iets te laten doen wat hij zelden doet: de moeilijke beslissingen nemen over de datastructuur zelf. In plaats van alleen te transcriberen wat hij ziet, wordt het systeem getraind om te beslissen hoe rijen en kolommen zich tot elkaar verhouden, hoe samengevoegde cellen moeten worden afgehandeld, en hoe verschillende delen van een document tot één enkel, logisch systeem kunnen worden verbonden. Ze bouwden een systeem genaamd PIX2DB, wat staat voor "Picture to Database". De kern van dit systeem is een vision-language model, een type kunstmatige intelligentie dat naar een afbeelding kan kijken en de tekst en structuur daarin kan begrijpen. De onderzoeker trainde een relatief kleine versie van dit model, met twee miljard parameters, om naar afbeeldingen van tabellen en bonnen te kijken en een specifieke set instructies uit te voeren die bekend staat als een SQL-dump. Dit is een formaat dat een database-engine precies vertelt hoe de tabellen gebouwd moeten worden, welk type data in elke kolom thuishoort, en hoe de tabellen met elkaar verbonden zijn.

Om het model deze vaardigheid aan te leren, kreeg de onderzoeker te maken met een aanzienlijke hindernis: ze hadden perfecte voorbeelden nodig van hoe de output eruit zou moeten zien. Ze konden niet vertrouwen op bestaande datasets, omdat die meestal alleen de visuele lay-out bevatten en niet de correcte datastructuur. Daarom creëerden ze hun eigen trainingsgrond. Ze namen echte databases, zoals die gebruikt worden in webshops of vastgoedadvertenties, en gebruikten een computerprogramma om deze als afbeeldingen te renderen. Ze creëerden duizenden van deze afbeeldingen en varieerden de moeilijkheidsgraad door verschillende lettertypen, kleuren en samengevoegde cellen toe te voegen, en zelfs de imperfecties van een foto te simuleren, zoals lichte onscherpte of ongelijkmatige verlichting. Ze zetten ook bestaande publieke datasets van tabellen en bonnen om naar hetzelfde strikte formaat. Elk gegenereerd voorbeeld werd gecontroleerd door de resulterende code uit te voeren om te controleren of het daadwerkelijk werkte. Dit proces gaf hen een enorme bibliotheek van "gouden standaard"-paren: een afbeelding aan de ene kant en de perfecte, uitvoerbare database aan de andere kant.

De resultaten van deze training waren verrassend. Het kleine model met twee miljard parameters presteerde, nadat het getraind was op deze zesendertigduizend voorbeelden, veel beter dan veel grotere modellen die vier keer zo groot waren. Bij tests op afbeeldingen van tabellen die het nog nooit eerder had gezien, reconstrueerde het kleine model de datastructuur met hoge nauwkeurigheid. Het identificeerde correct hoe samengevoegde cellen in individuele rijen moesten worden gesplitst, hoe een kop met twee niveaus in een enkele kolomnaam moest worden omgezet, en hoe een lijst met artikelen aan een hoofdfactuur kon worden gekoppeld met behulp van een foreign key, een regel die twee tabellen met elkaar verbindt. In tests met synthetische afbeeldingen behaalde het model een exacte match op de tabelstructuur in tachtigzes procent van de gevallen. Nog indrukwekkender was dat het de verbindingen tussen verschillende tabellen bijna perfect herstelde, waarbij het de foreign keys in negenennegentig procent van de gevallen correct kreeg.

De onderzoeker testte het systeem ook op echte afbeeldingen, zoals foto's van bonnen en gescande financiële documenten. Hier bleef het model sterk presteren; het identificeerde de data in zesennegentig procent van de cellen voor financiële tabellen en herstelde drieënnegentig procent van de data uit foto's van bonnen. Het systeem bleek bijzonder bekwaam in het omgaan met de rommelige realiteit van documenten, zoals het herhalen van een waarde uit een samengevoegde cel in elke rij die deze besloeg, een taak die grotere modellen en andere bestaande tools in verwarring bracht. De studie onthulde echter ook een duidelijke limiet. Wanneer het team het model testte op een dataset van tabellen die totaal anders was dan alles wat het tijdens de training had gezien, daalde de prestatie. Het model had moeite met het lezen van de tekst in deze nieuwe, onbekende foto's, en las vaak getallen of letters verkeerd. Dit suggereerde dat hoewel het model de logica van de datastructuur beheerst had, het nog steeds afhankelijk was van de trainingsdata om te leren hoe de tekst gelezen moest worden.

Een belangrijke bevinding van het onderzoek was het belang van de trainingsdata zelf. De onderzoeker voerde een experiment uit waarbij een versie van het model werd getraind met uitsluitend de synthetische afbeeldingen die zij hadden gemaakt, zonder enige echte foto's. Deze versie presteerde perfect op de synthetische tests, maar faalde volledig wanneer deze werd geconfronteerd met echte foto's van documenten. Het kon de rommelige tekst in echte foto's niet aan. Dit bewees dat de synthetische data het model de regels van het spel leerde, maar de echte data het leerde hoe de spelers eruitzien. Het uiteindelijke systeem combineerde beide: het gebruikte de synthetische data om de structuur te leren en de echte data om de tekst te leren.

De onderzoeker voegde ook een veiligheidsnet toe aan het systeem, een deterministische reparatielaag die fungeert als een laatste controle voordat de database wordt aangemaakt. Als het model een kleine fout maakt, zoals het vergeten van een aanhalingsteken rond een woord dat een komma bevat, herstelt deze laag de fout automatisch. Deze stap zorgde ervoor dat de output niet alleen theoretisch correct was, maar ook daadwerkelijk uitvoerbaar door een standaard databaseprogramma. Zonder deze reparatiestap zouden veel van de outputs niet hebben kunnen draaien. Met deze stap produceerde het systeem in bijna alle gevallen werkende databases, waardoor een visuele afbeelding werd omgezet in een hulpmiddel dat onmiddellijk kan worden bevraagd, gesorteerd en geanalyseerd.

De studie concludeert dat de weg van een foto naar een werkende database niet gaat over het bouwen van een groter, krachtiger brein, maar over het aanleren van de specifieke regels van datastructuur aan een kleiner, gefocust model. De onderzoeker ontdekte dat een compact model, getraind op exacte voorbeelden en ondersteund door een eenvoudig reparatiemechanisme, grotere, algemenere modellen kan overtreffen die simpelweg gevraagd worden de structuur te raden. Hoewel het systeem nog steeds worstelt met het lezen van tekst in moeilijke, onbekende foto's, heeft het succesvol het probleem opgelost om de visuele lay-out van een document om te zetten in een logische, relationele database. Dit betekent dat een computer voor het eerst naar een foto van een bon of een grafiek kan kijken en direct een database kan produceren die een mens kan gebruiken om vragen te stellen, totalen te vinden of trends te volgen, waardoor de in de afbeelding gevangen data effectief wordt ontsloten.