From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

Chaque jour, les entreprises déplacent des montagnes de documents papier et numériques, qu'il s'agisse d'expédier des colis ou de gérer des inscriptions d'étudiants. Une partie critique de ce travail consiste à lire des adresses. Tandis que les humains peuvent jeter un coup d'œil à une note manuscrite désordonnée ou à une ligne de texte dactylographiée et instantanément identifier la ville, l'état et le code postal, les ordinateurs éprouvent souvent des difficultés. Pour une machine, une suite de mots n'est qu'une séquence de caractères sans signification intrinsèque. Pour que les entreprises puissent automatiser leurs flux de travail — en laissant les logiciels gérer des tâches sans l'aide humaine — elles ont besoin d'un moyen de transformer ces lignes de texte non structurées en données propres et organisées. C'est là qu'intervient un domaine de l'intelligence artificielle appelé la Reconnaissance d'Entités Nommées. Considérez cela comme un surligneur numérique qui scanne une phrase et marque des mots spécifiques comme « ville », « état » ou « pays ». Le défi pour les ingénieurs est de trouver le bon type de cerveau numérique pour effectuer ce surlignage rapidement et avec précision, surtout lorsque les adresses proviennent de sources différentes et se présentent sous des formes très variées.

Une équipe de chercheurs de l'Université Bennett en Inde s'est donné pour mission de résoudre ce casse-tête spécifique. Ils voulaient savoir quel type, parmi les cinq types de réseaux de neurones les plus populaires — des systèmes informatiques conçus pour imiter la façon dont le cerveau humain apprend à partir de modèles — fonctionne le mieux pour décomposer les adresses. Ils ont testé trois familles distinctes de modèles : ceux qui recherchent des motifs locaux et restreints ; ceux qui lisent le texte comme une phrase, en gardant une trace de l'ordre des mots ; et le type le plus récent et le plus puissant qui comprend le contexte complet d'une phrase d'un seul coup. Les chercheurs ne se sont pas contentés de regarder quel modèle obtenait le plus de bonnes réponses. Ils ont également mesuré le temps que chaque modèle mettait pour prendre une décision, car dans le monde réel de l'automatisation des entreprises, la vitesse est tout aussi importante que la précision. Ils ont testé ces systèmes sur deux ensembles de données réelles très différents : des registres de fournisseurs de l'aérospatiale et une liste massive d'écoles publiques à travers les États-Unis.

L'étude a commencé en soumettant ces modèles à des milliers de lignes d'adresses. Les chercheurs ont veillé à garantir un test équitable. Ils ont divisé les données de sorte que les modèles soient entraînés sur certaines adresses et testés sur d'autres, totalement différentes, qu'ils n'avaient jamais vues auparavant, empêchant ainsi les ordinateurs de simplement mémoriser les réponses. Ils ont également testé les modèles sous différentes conditions, en leur donnant parfois seulement la moitié des données pour apprendre, et d'autres fois la totalité du jeu de données. Cela les a aidés à comprendre la capacité de chaque système à apprendre lorsque l'information est rare par rapport à lorsqu'elle est abondante. L'objectif était de trouver un système capable de gérer la réalité désordonnée des données commerciales sans ralentir l'ensemble de l'opération.

Les résultats ont brossé un tableau clair des compromis impliqués. Les modèles qui reposent sur une lecture du texte mot par mot en séquence, connus sous le nom de réseaux LSTM, ont bien performé et étaient plus aptes à comprendre comment les mots sont liés entre eux que les modèles plus simples qui ne cherchent que des motifs locaux. Cependant, les résultats les plus puissants sont venus des modèles basés sur les transformeurs (transformers), qui sont conçus pour comprendre l'intégralité du contexte d'une phrase en une seule fois. Parmi ceux-ci, un modèle nommé ELECTRA s'est distingué comme étant le plus efficace. Lorsque les chercheurs ont fourni aux modèles la totalité des données disponibles, ELECTRA a correctement identifié les composants d'adresse 99,4 % du temps pour les données de l'aérospatiale et 99,6 % du temps pour les données scolaires.

Ce qui rendait ELECTRA particulièrement précieux, ce n'était pas seulement son score élevé, mais aussi sa vitesse. Bien que le modèle le plus célèbre et le plus puissant, BERT, atteigne une précision similaire, il mettait nettement plus de temps à traiter chaque adresse. Dans les tests, ELECTRA était environ six fois plus rapide que BERT, accomplissant son travail en environ 56 millisecondes contre plus de 300 millisecondes pour l'autre. Cette différence est cruciale pour les entreprises qui doivent traiter des milliers d'enregistrements en temps réel. Les chercheurs ont constaté que si les modèles plus simples et plus rapides étaient suffisants pour des adresses très standardisées, ils ne pouvaient égaler la précision des systèmes plus avancés lorsque les données étaient complexes. Inversement, les systèmes les plus puissants étaient souvent trop lents pour les tâches à haut volume, à moins de choisir un modèle comme ELECTRA.

L'étude a également révélé que disposer de plus de données aidait tous les modèles à s'améliorer, mais que les modèles transformeurs avancés en bénéficiaient le plus. Lorsque les chercheurs ont donné aux modèles 100 % des données disponibles au lieu de seulement 50 %, la précision des meilleurs modèles a grimpé encore plus haut, tandis que les modèles plus simples ont connu des gains plus modestes. Cela suggère que pour les tâches de parsing d'adresses les plus difficiles, la puissance de calcul supplémentaire des modèles avancés vaut l'investissement, à condition d'utiliser une version rapide comme ELECTRA. Les chercheurs ont noté que ces conclusions sont spécifiques aux données structurées qu'ils ont testées, lesquelles suivaient principalement les formats d'adresses nord-américains. Ils ont averti que les résultats pourraient différer si les modèles devaient lire des notes manuscrites désordonnées ou des adresses provenant d'autres pays avec des règles différentes.

En fin de compte, cette recherche fournit un guide pratique pour les entreprises cherchant à automatiser leur traitement de données. Elle montre qu'il n'existe pas de modèle unique « meilleur » pour chaque situation. Si une entreprise doit traiter des millions d'adresses standardisées rapidement, un modèle plus simple et léger peut être le bon choix. Si les adresses sont complexes et nécessitent une compréhension profonde, un modèle transformeur est nécessaire. Cependant, pour ceux qui recherchent le meilleur des deux mondes — haute précision et grande vitesse — ELECTRA est apparu comme le grand gagnant de cette comparaison. L'étude confirme que si l'intelligence artificielle peut désormais gérer ces tâches avec une précision quasi parfaite, la clé d'une automatisation réussie réside dans le choix du bon outil pour le travail spécifique, en équilibrant le besoin de précision et le besoin de vitesse.