Por décadas, o mundo tem se afogado em papel e pixels. Recibos, faturas, relatórios digitalizados e capturas de tela de planilhas repousam em nossos arquivos digitais como imagens estáticas. Para o olho humano, essas imagens são cheias de significado: linhas de números, cabeçalhos que agrupam dados e células que se estendem por colunas para mostrar um total. Mas para um computador, uma imagem é apenas uma coleção de pontos coloridos. Ele vê a forma de uma tabela, mas não a lógica dentro dela. Ele não consegue entender que uma célula mesclada pertence a todas as linhas abaixo dela, ou que um cifrão é um símbolo para um número, não uma letra. Esse abismo entre como vemos os dados e como as máquinas os leem tem sido, há muito tempo, um gargalo. Podemos tirar uma foto de um documento, mas transformar essa foto em um banco de dados funcional — um onde um programa possa realmente somar os custos ou ordenar as datas — geralmente exigia que um humano redigitasse manualmente as informações ou escrevesse scripts complexos para adivinhar a estrutura.

Pesquisadores tentaram resolver isso ensinando computadores a reconhecer o layout de uma página, transformando imagens em texto ou código que se assemelha a uma tabela. No entanto, esses métodos costumam produzir uma cópia fiel do design visual, em vez da estrutura de dados subjacente. Um computador pode identificar corretamente que uma célula abrange duas linhas, mas falha em entender que o valor dentro dessa célula se aplica a ambas as linhas no banco de dados. Ele trata a imagem como uma foto a ser descrita, não como uma fonte de verdade a ser reconstruída. O objetivo deste novo trabalho é preencher esse último abismo: pegar uma única imagem de um documento e produzir um banco de dados totalmente funcional que um programa de computador padrão possa imediatamente usar, consultar e analisar, sem qualquer intervenção humana.

O pesquisador por trás deste projeto, Musa Peker, abordou o problema fazendo o computador fazer algo que ele raramente faz: tomar as decisões difíceis sobre a própria estrutura dos dados. Em vez de apenas transcrever o que vê, o sistema é treinado para decidir como as linhas e colunas se relacionam, como lidar com células mescladas e como conectar diferentes partes de um documento em um sistema lógico único. Eles construíram um sistema chamado PIX2DB, que significa "Picture to Database" (Imagem para Banco de Dados). O núcleo deste sistema é um modelo de visão-linguagem, um tipo de inteligência artificial que pode olhar para uma imagem e compreender o texto e a estrutura dentro dela. O pesquisador treinou uma versão relativamente pequena deste modelo, contendo dois bilhões de parâmetros, para olhar para imagens de tabelas e recibos e gerar um conjunto específico de instruções conhecido como um dump SQL. Este é um formato que diz a um mecanismo de banco de dados exatamente como construir as tabelas, que tipo de dados vai em cada coluna e como as tabelas se conectam entre si.

Para ensinar esta habilidade ao modelo, o pesquisador enfrentou um obstáculo significativo: ele precisava de exemplos perfeitos do que o resultado deveria parecer. Eles não podiam confiar em conjuntos de dados existentes porque estes geralmente contêm apenas o layout visual, não a estrutura correta do banco de dados. Por isso, criaram seu próprio campo de treinamento. Eles pegaram bancos de dados do mundo real, como os usados em lojas online ou listagens de imóveis, e usaram um programa de computador para renderizá-los como imagens. Eles criaram milhares dessas imagens, variando a dificuldade ao adicionar diferentes fontes, cores, células mescladas e até simulando as imperfeições de uma fotografia, como borrões leves ou iluminação irregular. Eles também converteram conjuntos de dados públicos existentes de tabelas e recibos para o mesmo formato rigoroso. Cada exemplo gerado foi verificado através da execução do código resultante para garantir que realmente funcionasse. Esse processo lhes deu uma enorme biblioteca de pares de "padrão ouro": uma imagem de um lado e o banco de dados perfeito e executável do outro.

Os resultados deste treinamento foram surpreendentes. O pequeno modelo de dois bilhões de parâmetros, uma vez treinado nestes trinta e seis mil exemplos, superou modelos muito maiores que eram quatro vezes o seu tamanho. Ao ser testado em imagens de tabelas que nunca havia visto antes, o pequeno modelo reconstruiu a estrutura do banco de dados com alta precisão. Ele identificou corretamente como dividir células mescladas em linhas individuais, como transformar um cabeçalho de dois níveis em um único nome de coluna e como vincular uma lista de itens a um cabeçalho de fatura principal usando uma chave estrangeira, que é uma regra que conecta duas tabelas. Em testes envolvendo imagens sintéticas, o modelo alcançou uma correspondência exata na estrutura da tabela em oitenta e seis por cento dos casos. Mais impressionante ainda, ele recuperou as conexões entre diferentes tabelas quase perfeitamente, acertando as chaves estrangeiras em noventa e nove por cento das vezes.

O pesquisador também testou o sistema em imagens do mundo real, como fotos de recibos e documentos financeiros digitalizados. Aqui, o modelo continuou a performar fortemente, identificando corretamente os dados em noventa e seis por cento das células para tabelas financeiras e recuperando noventa e três por cento dos dados de fotos de recibos. O sistema provou ser particularmente apto a lidar com a realidade desordenada dos documentos, como repetir um valor de uma célula mesclada em cada linha que ela cobria, uma tarefa que confundiu modelos maiores e outras ferramentas existentes. No entanto, o estudo também revelou um limite claro. Quando a equipe testou o modelo em um conjunto de dados de tabelas completamente diferente de tudo o que ele vira durante o treinamento, seu desempenho caiu. O modelo teve dificuldades para ler o texto nessas fotografias novas e desconhecidas, frequentemente lendo números ou letras incorretamente. Isso sugeriu que, embora o modelo tivesse dominado a lógica de como estruturar dados, ele ainda dependia dos dados de treinamento para aprender como ler o texto em si.

Uma descoberta fundamental da pesquisa foi a importância dos próprios dados de treinamento. O pesquisador realizou um experimento onde treinou uma versão do modelo usando apenas as imagens sintéticas que havia criado, sem quaisquer fotos do mundo real. Esta versão performou perfeitamente nos testes sintéticos, mas falhou miseravelmente quando confrontada com fotos reais de documentos. Ela não conseguiu lidar com o texto desordenado encontrado em fotografias reais. Isso provou que os dados sintéticos ensinaram ao modelo as regras do jogo, mas os dados reais ensinaram como ler os jogadores. O sistema final combinou ambos, usando os dados sintéticos para aprender a estrutura e os dados reais para aprender o texto.

O pesquisador também adicionou uma rede de segurança ao seu sistema, uma camada de reparo determinística que atua como uma verificação final antes que o banco de dados seja criado. Se o modelo cometer um pequeno erro, como esquecer de colocar aspas em volta de uma palavra que contém uma vírgula, esta camada corrige o erro automaticamente. Este passo garantiu que o resultado não fosse apenas teoricamente correto, mas que fosse de fato executável por um programa de banco de dados padrão. Sem este passo de reparo, muitos dos resultados falhariam ao serem executados. Com ele, o sistema produziu bancos de dados funcionais em quase todos os casos, transformando uma imagem visual em uma ferramenta que pode ser consultada, ordenada e analisada imediatamente.

O estudo conclui que o caminho de uma foto para um banco de dados funcional não se trata de construir um cérebro maior e mais poderoso, mas de ensinar a um modelo menor e focado as regras específicas da estrutura de dados. O pesquisador descobriu que um modelo compacto, treinado em exemplos exatos e apoiado por um mecanismo de reparo simples, poderia superar modelos maiores e mais gerais que foram simplesmente solicitados a adivinhar a estrutura. Embora o sistema ainda tenha dificuldades em ler textos em fotografias difíceis e desconhecidas, ele conseguiu resolver o problema de transformar o layout visual de um documento em um banco de dados relacional lógico. Isso significa que, pela primeira vez, um computador pode olhar para a foto de um recibo ou de um gráfico e produzir instantaneamente um banco de dados que um humano pode usar para fazer perguntas, encontrar totais ou acompanhar tendências, desbloqueando efetivamente os dados presos dentro da imagem.