Per decenni, il mondo è stato sommerso da carta e pixel. Ricevute, fatture, rapporti scansionati e screenshot di fogli di calcolo giacciono nei nostri archivi digitali come immagini piatte. Per l'occhio umano, queste immagini sono piene di significato: righe di numeri, intestazioni che raggruppano i dati e celle che si estendono attraverso le colonne per mostrare un totale. Ma per un computer, un'immagine è solo una collezione di punti colorati. Esso vede la forma di una tabella, ma non la logica al suo interno. Non può capire che una cella unita appartiene a ogni riga sottostante, o che un segno del dollaro è un simbolo per un numero, non una lettera. Questo divario tra il modo in cui noi vediamo i dati e il modo in cui le macchine li leggono è stato a lungo un collo di bottiglia. Possiamo scattare una foto a un documento, ma trasformare quella foto in un database funzionante — uno in cui un programma possa effettivamente sommare i costi o ordinare le date — ha solitamente richiesto che un essere umano digitasse manualmente le informazioni o scrivesse script complessi per indovinare la struttura.

I ricercatori hanno cercato di risolvere questo problema insegnando ai computer a riconoscere il layout di una pagina, trasformando le immagini in testo o codice che assomigli a una tabella. Tuttavia, questi metodi spesso producono una copia fedele del design visivo piuttosto che dei dati sottostanti. Un computer potrebbe identificare correttamente che una cella occupa due righe, ma non riesce a comprendere che il valore all'interno di quella cella si applica a entrambe le righe nel database. Tratta l'immagine come un'immagine da descrivere, non come una fonte di verità da ricostruire. L'obiettivo di questo nuovo lavoro è colmare quell'ultimo divario: prendere un'unica immagine di un documento e produrre un database completamente funzionale che un normale programma per computer possa immediatamente utilizzare, interrogare e analizzare, senza alcun intervento umano.

Il ricercatore dietro questo progetto, Musa Peker, ha affrontato il problema ponendo al computer una domanda che raramente gli viene posta: prendere le decisioni difficili sulla struttura stessa dei dati. Invece di limitarsi a trascrivere ciò che vede, il sistema è addestrato per decidere come le righe e le colonne si relazionano tra loro, come gestire le celle unite e come connettere diverse parti di un documento in un unico sistema logico. Ha costruito un sistema chiamato PIX2DB, che sta per "Picture to Database" (da Immagine a Database). Il cuore di questo sistema è un modello vision-language, un tipo di intelligenza artificiale capace di guardare un'immagine e comprenderne il testo e la struttura. Il ricercatore ha addestrato una versione relativamente piccola di questo modello, contenente due miliardi di parametri, affinché guardasse immagini di tabelle e ricevute e producesse un set specifico di istruzioni noto come SQL dump. Questo è un formato che dice a un motore di database esattamente come costruire le tabelle, che tipo di dati inserire in ogni colonna e come le tabelle si collegano tra loro.

Per insegnare al modello questa abilità, il ricercatore ha affrontato un ostacolo significativo: aveva bisogno di esempi perfetti di ciò che l'output avrebbe dovuto essere. Non poteva fare affidamento su dataset esistenti perché quelli contengono solitamente solo il layout visivo, non la corretta struttura del database. Così, ha creato il proprio campo di addestramento. Ha preso database del mondo reale, come quelli utilizzati negli negozi online o negli annunci immobiliari, e ha usato un programma perlı renderizzarli come immagini. Ha creato migliaia di queste immagini, variando la difficoltà aggiungendo diversi font, colori, celle unite e persino simulando le imperfezioni di una fotografia, come lievi sfocature o un'illuminazione non uniforme. Ha anche convertito esistenti dataset pubblici di tabelle e ricevute nello stesso formato rigoroso. Ogni singolo esempio generato è stato controllato eseguendo il codice risultante per garantire che funzionasse effettivamente. Questo processo gli ha fornito una vasta libreria di coppie "gold standard": un'immagine da un lato e il perfetto database eseguibile dall'altro.

I risultati di questo addestramento sono stati sorprendenti. Il piccolo modello da due miliardi di parametri, una volta addestrato su questi trentaseimila esempi, ha superato modelli molto più grandi che erano quattro volte le sue dimensioni. Testato su immagini di tabelle che non aveva mai visto prima, il piccolo modello ha ricostruito la struttura del database con alta precisione. Ha identificato correttamente come dividere le celle unite in singole righe, come trasformare un'intestazione a due livelli in un singolo nome di colonna e come collegare un elenco di articoli a un'intestazione principale di fattura utilizzando una foreign key, ovvero una regola che collega due tabelle tra loro. Nei test che coinvolgevano immagini sintetiche, il modello ha ottenuto un match esatto sulla struttura della tabella nell'ottantasei percento dei casi. Ancora più impressionante, ha recuperato le connessioni tra le diverse tabelle quasi perfettamente, azzeccando le foreign key nel novantanove percento dei casi.

Il ricercatore ha anche testato il sistema su immagini del mondo reale, come foto di ricevute e documenti finanziari scansionati. Qui, il modello ha continuato a performare con forza, identificando correttamente i dati nel novantasei percento delle celle per le tabelle finanziarie e recuperando il novantatré percento dei dati dalle foto delle ricevute. Il sistema si è dimostrato particolarmente abile nel gestire la realtà disordinosa dei documenti, come ripetere un valore da una cella unita in ogni riga che copriva, un compito che confondeva i modelli più grandi e altri strumenti esistenti. Tuttavia, lo studio ha anche rivelato un limite chiaro. Quando il team ha testato il modello su un dataset di tabelle completamente diverso da tutto ciò che aveva visto durante l'addestramento, le sue prestazioni sono calate. Il modello ha faticato a leggere il testo in queste nuove e sconosciute fotografie, leggendo spesso male numeri o lettere. Ciò ha suggerito che, sebbene il modello avesse padroneggiato la logica di come strutturare i dati, dipendeva comunque dai dati di addestramento per imparare come leggere il testo stesso.

Un risultato chiave della ricerca è stata l'importanza dei dati di addestramento stessi. Il ricercatore ha condotto un esperimento in cui ha addestrato una versione del modello utilizzando solo le immagini sintetiche che aveva creato, senza alcuna foto del mondo reale. Questa versione performava perfettamente nei test sintetici, ma falliva miseramente quando veniva mostrata davanti a foto reali di documenti. Non riusciva a gestire il testo disordinato presente nelle fotografie reali. Questo ha dimostrato che i dati sintetici avevano insegnato al modello le regole del gioco, ma i dati reali gli avevano insegnato come leggere i giocatori. Il sistema finale ha combinato entrambi, usando i dati sintetici per imparare la struttura e i dati reali per imparare il testo.

Il ricercatore ha anche aggiunto una rete di sicurezza al suo sistema, uno strato di riparazione deterministico che funge da controllo finale prima che il database venga creato. Se il modello commette un piccolo errore, come dimenticare di mettere le virgolette attorno a una parola che contiene una virgola, questo strato corregge l'errore automaticamente. Questo passaggio ha garantito che l'output non fosse solo teoricamente corretto, ma effettivamente eseguibile da un normale programma di database. Senza questo passaggio di riparazione, molti degli output non sarebbero partiti. Con esso, il sistema ha prodotto database funzionanti in quasi tutti i casi, trasformando un'immagine visiva in uno strumento che può essere interrogato, ordinato e analizzato immediatamente.

Lo studio conclude che la strada dalla foto a un database funzionante non consiste nel costruire un cervello più grande e potente, ma nell'insegnare a un modello piccolo e focalizzato le regole specifiche della struttura dei dati. Il ricercatore ha scoperto che un modello compatto, addestrato su esempi esatti e supportato da un semplice meccanismo di riparazione, può superare modelli più grandi e generali che venivano semplicemente chiedere di indovinare la struttura. Sebbene il sistema abbia ancora difficoltà a leggere il testo in fotografie difficili e sconosciute, ha risolto con successo il problema di trasformare il layout visivo di un documento in un database relazionale logico. Ciò significa che, per la prima volta, un computer può guardare la foto di una ricevuta o di un grafico e produrre istantaneamente un database che un essere umano può usare per porre domande, trovare totali o tracciare tendenze, sbloccando efficacementamente i dati intrappolati all'interno dell'immagine.