From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

Todos os dias, as empresas movimentam montanhas de papel e registros digitais, desde o envio de pacotes até a gestão de matrículas de estudantes. Uma parte crítica deste trabalho envolve a leitura de endereços. Enquanto humanos podem observar rapidamente uma nota manuscrita desorganizada ou uma linha de texto digitada e saber instantaneamente a cidade, o estado e o CEP, os computadores frequentemente têm dificuldade. Para uma máquina, uma sequência de palavras é apenas uma sequência de caracteres sem significado inerente. Para que as empresas automatizem seus fluxos de trabalho — permitindo que o software realize tarefas sem ajuda humana — elas precisam de uma maneira de transformar essas linhas de texto não estruturadas em dados organizados e limpos. É aqui que entra um campo da inteligência artificial chamado Reconhecimento de Entidades Nomeadas. Pense nisso como um marca-texto digital que varre uma frase e etiqueta palavras específicas como "cidade", "estado" ou "país". O desafio para os engenheiros é encontrar o tipo certo de cérebro digital para fazer esse destaque de forma rápida e precisa, especialmente quando os endereços vêm de diferentes fontes e parecem muito distintos entre si.

Uma equipe de pesquisadores da Bennett University, na Índia, partiu para resolver este enigma específico. Eles queriam saber qual dos cinco tipos mais populares de redes neurais — sistemas computacionais projetados para imitar a maneira como os cérebros humanos aprendem com padrões — funciona melhor para decompor endereços. Eles testaram três famílias distintas de modelos: aqueles que procuram por padrões pequenos e locais; aqueles que leem o texto como uma frase, acompanhando a ordem das palavras; e o tipo mais novo e poderoso que compreende o contexto completo de uma frase de uma só vez. Os pesquisadores não olharam apenas para qual modelo obtinha mais respostas corretas. Eles também mediram quanto tempo cada modelo levava para tomar uma decisão, porque no mundo real da automação empresarial, a velocidade é tão importante quanto a precisão. Eles testaram esses sistemas em dois conjuntos de dados do mundo real muito diferentes: registros de fornecedores aeroespaciais e uma lista massiva de escolas públicas nos Estados Unidos.

O estudo começou alimentando esses modelos com milhares de linhas de endereço. Os pesquisadores foram cuidadosos para garantir um teste justo. Eles dividiram os dados de modo que os modelos fossem treinados em alguns endereços e testados em outros completamente diferentes que nunca haviam visto antes, evitando que os computadores simplesmente memorizassem as respostas. Eles também testaram os modelos sob diferentes condições, às vezes dando-lhes apenas metade dos dados para aprender, e outras vezes dando-lhes o conjunto completo. Isso ajudou a entender quão bem cada sistema poderia aprender quando a informação era escassa versus quando era abundante. O objetivo era encontrar um sistema que pudesse lidar com a realidade desorganizada dos dados comerciais sem atrasar toda a operação.

Os resultados pintaram um quadro claro sobre as compensações envolvidas. Os modelos que dependiam de ler o texto palavra por palavra em sequência, conhecidos como redes LSTM, tiveram um bom desempenho e foram melhores em entender como as palavras se relacionam do que os modelos mais simples que apenas procuravam padrões locais. No entanto, os resultados mais poderosos vieram dos modelos baseados em transformadores (transformers), que são projetados para compreender todo o contexto de uma frase de uma só vez. Entre estes, um modelo chamado ELECTRA destacou-se como o mais eficiente. Quando os pesquisadores deram aos modelos a quantidade total de dados para trabalhar, o ELECTRA identificou corretamente os componentes do endereço 99,4% das vezes para os dados aeroespaciais e 99,6% das vezes para os dados escolares.

O que tornou o ELECTRA particularmente valioso não foi apenas sua pontuação alta, mas sua velocidade. Embora o modelo mais famoso e poderoso, o BERT, tenha alcançado uma precisão semelhante, ele levou significativamente mais tempo para processar cada endereço. Nos testes, o ELECTRA foi aproximadamente seis vezes mais rápido que o BERT, completando seu trabalho em cerca de 56 milissegundos, comparado a mais de 300 milissegundos do outro. Essa diferença é crucial para empresas que precisam processar milhares de registros em tempo real. Os pesquisadores descobriram que, embora os modelos mais simples e rápidos fossem bons o suficiente para endereços muito padronizados, eles não conseguiam igualar a precisão dos sistemas mais avançados quando os dados eram complexos. Por outro lado, os sistemas mais poderosos eram frequentemente lentos demais para tarefas de alto volume, a menos que um modelo como o ELECTRA fosse escolhido.

O estudo também revelou que ter mais dados ajudou todos os modelos a melhorar, mas os modelos de transformadores avançados foram os que mais se beneficiaram. Quando os pesquisadores deram aos modelos 100% dos dados disponíveis em vez de apenas 50%, a precisão dos principais modelos subiu ainda mais, enquanto os modelos mais simples tiveram ganhos mais modestos. Isso sugere que, para as tarefas de análise de endereço mais difíceis, o poder computacional extra dos modelos avançados vale o investimento, desde que uma versão rápida como o ELECTRA seja utilizada. Os pesquisadores observaram que essas descobertas são específicas aos dados estruturados que testaram, que seguiam majoritariamente os formatos de endereço da América do Norte. Eles alertaram que os resultados poderiam ser diferentes se os modelos fossem solicitados a ler notas manuscritas desorganizadas ou endereços de outros países com regras diferentes.

Em última análise, esta pesquisa fornece um guia prático para empresas que tentam automatizar seu processamento de dados. Ela mostra que não existe um único "melhor" modelo para todas as situações. Se uma empresa precisa processar milhões de endereços padronizados rapidamente, um modelo mais simples e leve pode ser a escolha certa. Se os endereços forem complexos e exigirem uma compreensão profunda, um modelo de transformador é necessário. No entanto, para aqueles que precisam do melhor dos dois mundos — alta precisão e velocidade elevada — o ELECTRA surgiu como o vencedor claro nesta comparação. O estudo confirma que, embora a inteligência artificial possa agora lidar com essas tarefas com uma precisão quase perfeita, a chave para o sucesso da automação reside na escolha da ferramenta certa para o trabalho específico, equilibrando a necessidade de precisão com a necessidade de velocidade.