Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

Todo negócio que compra ou vende mercadorias deve manter um registro preciso de cada transação. Quando uma empresa recebe uma fatura, um contador humano deve decidir a qual categoria específica aquela despesa pertence, uma tarefa conhecida como atribuição de um código de Razão Geral (General Ledger). Este não é um simples trabalho de classificação; requer julgamento profissional para entender se uma compra é para operações diárias, um investimento de capital ou uma despesa pessoal de um proprietário de negócio. Acertar nisso é o fundamento de relatórios financeiros precisos e conformidade fiscal. Se esses códigos estiverem errados, pequenas empresas enfrentam multas desnecessárias e governos perdem bilhões em receita tributária. Durante anos, a esperança foi que a inteligência artificial pudesse automatizar este trabalho difícil, mas a tecnologia frequentemente teve dificuldade em igualar a nuance de um contador treinado.

Pesquisadores da Universidade de Bristol e da System Holdings Limited exploraram recentemente um caminho diferente. Em vez de usar sistemas de IA massivos e complexos que exigem vastas quantidades de poder computacional e levantam preocupações sobre privacidade de dados, eles testaram se modelos de linguagem menores e especializados poderiam aprender a realizar este trabalho de forma eficaz. Esses modelos menores podem ser executados em um único computador, mantendo os dados financeiros sensíveis seguros dentro das próprias paredes da empresa. A equipe queria entender não apenas se esses modelos funcionavam, mas como eles pensavam. Eles examinaram a "forma" matemática da informação dentro do computador, observando como o modelo agrupava faturas semelhantes em sua memória interna. Eles descobriram que a maneira como esses modelos menores organizam a informação é surpreendentemente eficiente e que essa organização é a chave para o seu sucesso.

Os pesquisadores trabalharam com um conjunto de dados do mundo real de mais de dois mil faturas de sete clientes diferentes de uma empresa de contabilidade do Reino Unido. Cada fatura já havia sido corretamente categorizada por contadores profissionais. A equipe alimentou esses dados em dois tipos diferentes de modelos de IA: um modelo menor e eficiente chamado SBERT, e um maior e mais complexo chamado DeBERTa. Eles testaram os modelos com diferentes versões do texto da fatura. Uma versão incluía apenas o nome do fornecedor, a data e o preço. Outra incluía a lista completa de itens comprados. Uma terceira versão adicionou rótulos explícitos, como "Nome do Fornecedor:" ou "Preço:", para fazer o texto parecer mais estruturado para um leitor humano.

Os resultados revelaram uma verdade contraintuitiva sobre como as máquinas leem. A versão do texto que era mais fácil para um humano ler, com seus rótulos claros e formato estruturado, na verdade tornou mais difícil para a IA distinguir entre diferentes tipos de faturas. Quando o computador via as palavras "Nome do Fornecedor" e "Preço" repetidas em todos os documentos, a representação matemática interna daqueles documentos tornava-se demasiado semelhante, borrando as linhas entre eles. O modelo teve o melhor desempenho quando recebeu o texto bruto e não estruturado da fatura, tal como um contador humano faria ao olhar rapidamente para um recibo bagunçado. O modelo menor, SBERT, provou ser a escolha superior. Ao ser treinado com apenas algumas centenas de exemplos, alcançou um alto nível de precisidade, categorizando faturas corretamente muito melhor do que um modelo muito maior ou uma IA padrão "zero-shot" que não havia sido treinada para esta tarefa específica.

Um olhar mais profundo na memória interna do computador explicou por que o modelo menor teve sucesso onde o maior falhou. Os pesquisadores descobriram que a representação interna dos dados do modelo maior estava "colapsada". À medida que o texto se tornava mais longo e detalhado, a capacidade do modelo de distinguir entre diferentes significados desaparecia, e ele começava a depender mais do comprimento do texto do que do seu conteúdo. Em contraste, o modelo menor mantinha um espaço rico e multidimensional onde diferentes tipos de faturas ocupavam regiões distintas. Mesmo antes de ser treinado para a tarefa específica, o modelo agrupava naturalmente as faturas pela empresa que as emitia, mostrando que entendia a origem do documento. Mais importante ainda, ele conseguia separar diferentes categorias financeiras mesmo quando o texto era semelhante, desde que tivesse visto exemplos suficientes.

Esta capacidade de generalização foi crítica quando a equipe testou os modelos em um cliente completamente novo, cujo dados nunca haviam sido vistos antes. O modelo maior teve dificuldades significativas, exigindo centenas de novos exemplos para começar a funcionar corretamente. O modelo menor, no entanto, adaptou-se muito mais rápido, atingindo um alto nível de precisão com apenas cerca de cem novas faturas. Isso sugere que o modelo menor aprendeu uma forma mais robusta de compreender o significado do texto, em vez de apenas memorizar padrões. Ele podia transferir o que aprendeu de um negócio para outro, reconhecendo que um "conserto de motor" para um cliente era a mesma categoria que um "conserto de motor" para um novo cliente, independentemente do fornecedor específico.

O estudo conclui que, para tarefas como a categorização de faturas, um modelo menor e interno é frequentemente uma ferramenta melhor do que um massivo e genérico. Ele oferece um equilíbrio prático de custo, segurança e desempenho. Ao ser executado em um único computador, mantém os dados financeiros sensíveis privados e, por ser menor, é mais barato de operar. A pesquisa também mostrou que adicionar estrutura extra ao texto não ajuda a IA; na verdade, o texto bruto é frequentemente mais eficaz. Esta descoberta simplifica o processo para as empresas, pois elas não precisam gastar tempo e dinheiro reformatando suas faturas antes de alimentá-las ao sistema. O trabalho demonstra que, com a abordagem correta, a inteligência artificial pode lidar com o julgamento matizado e especializado exigido na contabilidade, desde que o sistema seja projetado para entender a geometria dos dados, em vez de apenas o volume do texto.