Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

Nos cantos silenciosos de escritórios e edifícios governamentais em toda a Alemanha, uma vasta quantidade de papelada ainda existe em sua forma física original. Apesar da era digital, quase quarenta por cento das empresas lá ainda lidam com metade de suas tarefas administrativas no papel, e muitas outras dependem dele ainda mais intensamente. Isso cria um gargalo persistente: notas manuscritas em formulários devem ser convertidas em dados digitais para serem úteis. Embora os computadores tenham se tornado extraordinariamente bons em ler texto impresso, eles têm grande dificuldade com a caligrafia humana, especialmente quando essa escrita está espalhada por uma página em pequenos quadros isolados, em vez de fluir em frases contínuas. O desafio não é apenas reconhecer as letras, mas compreender qual palavra pertence a qual campo específico, como um nome, uma data ou uma assinatura. Para organizações que lidam com informações pessoais sensíveis, a solução não pode envolver o envio desses documentos para um servidor na nuvem; os dados devem permanecer dentro das próprias paredes seguras da empresa. Essa restrição força uma escolha difícil entre construir um software especializado e personalizado ou usar uma inteligência artificial poderosa e de propósito geral que nunca viu o formulário específico antes.

Uma equipe de pesquisadores da Universidade de Ciências Aplicadas de Karlsruhe decidiu resolver esse enigma criando um novo padrão de referência para este cenário exato. Eles reuniram 291 formulários administrativos do mundo real, preenchidos por 95 pessoas diferentes, para criar um conjunto de dados que chamaram de Handwritten German Administrative Forms (Formulários Administrativos Alemães Manuscritos). Para garantir que os dados pudessem ser compartilhados publicamente sem violar a privacidade, o conteúdo era sintético, o que significa que os nomes e endereços eram falsos, mas a caligrafia era genuína e variada. Os pesquisadores projetaram três versões distintas do mesmo formulário, rotuladas como A, B e C. O Layout A era espaçoso e fácil de preencher, o Layout B era uma tabela compacta que forçava as pessoas a escrever menor, e o Layout C não tinha quadros, deixando o escritor decidir onde colocar suas respostas. Crucialmente, cada escritor preencheu os três layouts com exatamente a mesma informação, permitindo que a equipe isolasse como a forma e a estrutura do próprio papel afetavam a capacidade do computador de ler o texto.

O estudo comparou duas abordagens diferentes para a digitalização desses formulários. A primeira foi um fluxo de trabalho "especialista", um método tradicional onde um programa de computador primeiro recorta cada quadro individual da caligrafia, limpa-o e, em seguida, o alimenta a um modelo que foi especificamente treinado em milhares de exemplos semelhantes. A segunda abordagem utilizou "modelos de visão-linguagem", um tipo de inteligência artificial que pode olhar para uma imagem inteira e compreendê-la como um humano faz, sem a necessidade de ser retreinado para cada nova tarefa. Os pesquisadores testaram esses sistemas nos três layouts para ver qual método era mais preciso e qual conseguia lidar com mudanças no design do formulário sem falhar.

Os resultados revelaram uma mudança surpreendente no equilíbrio de poder. No simples e espaçoso Layout A, os modelos de inteligência artificial geral superaram o especialista altamente treinado. Dois dos modelos de visão-linguagem cometeram menos erros do que o fluxo de trabalho especialista, embora este último tivesse sido especificamente ajustado para aquele layout exato. O modelo especialista teve mais dificuldades com os campos de comentários de texto livre e longo, onde a caligrafia era menos restrita, enquanto os modelos gerais lidaram com essas seções com maior facilidade. Quando os pesquisadores passaram para os layouts mais difíceis, B e C, a lacuna aumentou. O modelo especialista, que dependia de saber exatamente onde estavam os quadros, começou a falhar significativamente quando os quadros eram pequenos ou inexistentes. Ele não conseguiu se adaptar às novas estruturas visuais, ao passo que os modelos gerais permaneceram robustos, continuando a ler o texto com precisão, apesar das mudanças no layout.

Uma das descobertas mais críticas diz respeito à confiabilidade do resultado. Embora os modelos gerais fossem mais precisos em média, os pesquisadores descobriram que nenhum sistema avaliado conseguia substituir completamente um revisor humano. A configuração on-premise de melhor desempenho conseguiu transcrever um formulário sem um único erro em apenas cerca de 7,7 por cento dos casos. Isso significa que, para a vasta maioria dos formulários, um humano ainda precisaria verificar o trabalho. No entanto, o estudo destacou uma grande vantagem para os modelos gerais em termos de flexibilidade. Para adaptar o fluxo de trabalho especialista a um novo design de formulário, engenheiros precisariam retreinar o modelo e reescrever o código que recorta as caixas de texto. Em contraste, os modelos gerais poderiam ser adaptados a um novo layout simplesmente mudando as instruções dadas a eles, sem qualquer retreinamento. Isso sugere que, para organizações que lidam com muitos tipos diferentes de formulários, usar um modelo geral e flexível pode ser mais prático do que construir um sistema personalizado para cada um, desde que aceitem que um humano ainda precisará verificar os resultados finais.

O estudo também abordou as limitações da tecnologia atual. Embora os modelos gerais tenham tido um bom desempenho, eles às vezes produziram erros estranhos, como repetir palavras ou falhar em reconhecer quando alguém havia riscado algo. O modelo especialista, por sua vez, era frágil; se o computador não pudesse localizar perfeitamente a caixa de texto porque o escritor escreveu ligeiramente fora das linhas, o campo inteiro seria lido incorretamente. Os pesquisadores concluíram que, embora a inteligência artificial tenha feito grandes progressos, o sonho de uma digitalização totalmente automática e livre de erros de formulários manuscritos permanece fora de alcance por enquanto. O caminho mais eficaz parece ser uma abordagem híbrida: usar modelos gerais poderosos para fazer o trabalho pesado de leitura do texto, enquanto se conta com a supervisão humana para capturar os erros inevitáveis, tudo isso mantendo os dados sensíveis de forma segura dentro da própria infraestrutura da organização.