Depuis des décennies, le monde se noie dans le papier et les pixels. Reçus, factures, rapports numérisés et captures d'écran de feuilles de calcul s'accumulent dans nos archives numériques sous forme d'images plates. Pour l'œil humain, ces images sont pleines de sens : des lignes de chiffres, des en-têtes qui regroupent des données et des cellules qui s'étendent sur plusieurs colonnes pour afficher un total. Mais pour un ordinateur, une image n'est qu'une collection de points colorés. Il voit la forme d'un tableau, mais pas la logique qu'il contient. Il ne peut pas comprendre qu'une cellule fusionnée appartient à chaque ligne située en dessous, ou qu'un signe dollar est un symbole pour un nombre, et non une lettre. Ce fossé entre la façon dont nous voyons les données et la façon dont les machines les lisent a longtemps constitué un goulot d'étranglement. Nous pouvons prendre une photo d'un document, mais transformer cette photo en une base de données fonctionnelle — une base où un programme peut réellement additionner les coûts ou trier les dates — a généralement nécessité qu'un humain ressaisisse manuellement les informations ou écrive des scripts complexes pour deviner la structure.

Les chercheurs ont tenté de résoudre ce problème en apprenant aux ordinateurs à reconnaître la mise en page d'une page, transformant les images en texte ou en code ressemblant à un tableau. Cependant, ces méthodes produisent souvent une copie fidèle du design visuel plutôt que de la donnée sous-jacente. Un ordinateur peut identifier correctement qu'une cellule s'étend sur deux lignes, mais il ne comprend pas que la valeur à l'intérieur de cette cellule s'applique aux deux lignes de la base de données. Il traite l'image comme une image à décrire, et non comme une source de vérité à reconstruire. L'objectif de ce nouveau travail est de combler ce dernier fossé : prendre une seule image d'un document et produire une base de données entièrement fonctionnelle qu'un programme informatique standard peut immédiatement utiliser, interroger et analyser, sans aucune intervention humaine.

Le chercheur derrière ce projet, Musa Peker, a abordé le problème en demandant à un ordinateur de faire quelque chose qu'il fait rarement : prendre les décisions difficiles concernant la structure des données elle-même. Au lieu de simplement transcrire ce qu'il voit, le système est entraîné pour décider comment les lignes et les colonnes sont liées, comment gérer les cellules fusionnées et comment connecter différentes parties d'un document en un système logique unique. Ils ont construit un système appelé PIX2DB, qui signifie « Picture to Database » (de l'image à la base de données). Le cœur de ce système est un modèle de vision-langage, un type d'intelligence artificielle capable de regarder une image et de comprendre le texte et la structure qu'elle contient. Le chercheur a entraîné une version relativement petite de ce modèle, contenant deux milliards de paramètres, pour regarder des images de tableaux et de reçus et produire un ensemble spécifique d'instructions appelé un « SQL dump ». Il s'agit d'un format qui indique précisément à un moteur de base de données comment construire les tables, quel type de données va dans chaque colonne et comment les tables sont liées entre elles.

Pour apprendre cette compétence au modèle, le chercheur a été confronté à un obstacle de taille : il avait besoin d'exemples parfaits de ce à quoi le résultat devrait ressembler. Il ne pouvait pas s'appuyer sur des jeux de données existants car ceux-ci ne contiennent généralement que la disposition visuelle, et non la structure correcte de la base de données. Il a donc créé son propre terrain d'entraînement. Il a pris de véritables bases de données, telles que celles utilisées dans les boutiques en ligne ou les annonces immobilières, et a utilisé un programme informatique pour les rendre sous forme d'images. Il a créé des milliers de ces images, variant la difficulté en ajoutant différentes polices, couleurs, cellules fusionnées, et même en simulant les imperfections d'une photographie, comme un léger flou ou un éclairage inégal. Il a également converti des ensembles de données publics existants de tableaux et de reçus dans ce même format strict. Chaque exemple généré a été vérifié en exécutant le code résultant pour s'assurer qu'il fonctionnait réellement. Ce processus lui a permis de constituer une vaste bibliothèque de paires de « référence » : une image d'un côté et la base de données parfaite et exécutable de l'autre.

Les résultats de cet entraînement ont été surprenants. Le petit modèle de deux milliards de paramètres, une fois entraîné sur ces trente-six mille exemples, a surpassé des modèles beaucoup plus grands qui étaient quatre fois sa taille. Testé sur des images de tableaux qu'il n'avait jamais vues auparavant, le petit modèle a reconstruit la structure de la base de données avec une grande précision. Il a correctement identifié comment diviser les cellules fusionnées en lignes individuelles, comment transformer un en-tête à deux niveaux en un nom de colonne unique, et comment lier une liste d'articles à un en-tête de facture principal à l'aide d'une clé étrangère, qui est une règle reliant deux tables entre elles. Dans des tests impliquant des images synthétiques, le modèle a obtenu une correspondance exacte sur la structure du tableau dans 86 % des cas. Plus impressionnant encore, il a récupéré les connexions entre différentes tables de manière presque parfaite, obtenant les clés étrangères correctement 99 % du temps.

Le chercheur a également testé le système sur des images du monde réel, telles que des photos de reçus et des documents financiers numérisés. Ici, le modèle a continué à performer solidement, identifiant correctement les données dans 96 % des cellules pour les tableaux financiers et récupérant 93 % des données des photos de reçus. Le système s'est avéré particulièrement apte à gérer la réalité désordonnée des documents, comme la répétition d'une valeur d'une cellule fusionnée dans chaque ligne qu'elle couvrait, une tâche qui a dérouté les modèles plus grands et les outils existants. Cependant, l'étude a également révélé une limite claire. Lorsque l'équipe a testé le modèle sur un jeu de données de tableaux complètement différent de tout ce qu'il avait vu pendant l'entraînement, ses performances ont chuté. Le modèle a eu du mal à lire le texte dans ces photographies nouvelles et inconnues, lisant souvent mal les chiffres ou les lettres. Cela suggère que si le modèle a maîtrisé la logique de la structuration des données, il dépendait toujours des données d'entraînement pour apprendre à lire le texte lui-même.

Une conclusion clé de la recherche fut l'importance des données d'entraînement elles-mêmes. Le chercheur a mené une expérience où il a entraîné une version du modèle en utilisant uniquement les images synthétiques qu'il avait créées, sans aucune photo du monde réel. Cette version fonctionnait parfaitement sur les tests synthétiques mais échouait lamentablement face aux vraies photos de documents. Elle ne pouvait pas gérer le texte désordonné présent dans les photographies réelles. Cela a prouvé que les données synthétiques ont appris au modèle les règles du jeu, mais que les données réelles lui ont appris à lire les joueurs. Le système final a combiné les deux, utilisant les données synthétiques pour apprendre la structure et les données réelles pour apprendre le texte.

Le chercheur a également ajouté un filet de sécurité à son système, une couche de réparation déterministe qui agit comme une dernière vérification avant la création de la base de données. Si le modèle commet une petite erreur, comme oublier de mettre des guillemets autour d'un mot contenant une virgule, cette couche corrige l'erreur automatiquement. Cette étape a permis de garantir que le résultat n'était pas seulement théoriquement correct, mais réellement exécutable par un programme de base de données standard. Sans cette étape de réparation, de nombreux résultats auraient échoué. Avec elle, le système a produit des bases de données fonctionnelles dans presque tous les cas, transformant une image visuelle en un outil qui peut être interrogé, trié et analysé immédiatement.

L'étude conclut que le chemin allant d'une image à une base de données fonctionnelle ne consiste pas à construire un cerveau plus grand et plus puissant, mais à enseigner à un modèle plus petit et plus ciblé les règles spécifiques de la structure des données. Le cherchenaire a découvert qu'un modèle compact, entraîné sur des exemples précis et soutenu par un mécanisme de réparation simple, pouvait surpasser des modèles plus larges et plus généraux à qui l'on demandait simplement de deviner la structure. Bien que le système éprouve encore des difficultés à lire le texte dans les photographies difficiles et inconnues, il a réussi à résoudre le problème de la transformation de la mise en page visuelle d'un document en une base de données relationnelle logique. Cela signifie que, pour la première fois, un ordinateur peut regarder une photo d'un reçu ou d'un graphique et produire instantanément une base de données qu'un humain peut utiliser pour poser des questions, trouver des totaux ou suivre des tendances, débloquant ainsi efficacement les données piégées à l'intérieur de l'image.