From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

Elke dag verplaatsen bedrijven bergen papier en digitale records, van verzendpakketten tot het beheren van studenteninschrijvingen. Een cruciaal onderdeel van dit werk is het lezen van adressen. Terwijl mensen met een vluchtige blik naar een slordig handgeschreven briefje of een getypte regel tekst kunnen kijken en direct de stad, staat en postcode herkennen, hebben computers daar vaak moeite mee. Voor een machine is een reeks woorden slechts een opeenvolging van tekens zonder inherente betekenis. Om bedrijven hun workflows te laten automatiseren—waardoor software taken kan afhandelen zonder menselijke hulp—hebben ze een manier nodig om deze ongestructureerde regels tekst om te zetten in nette, georganiseerde gegevens. Hier komt een veld van kunstmatige intelligentie genaamd Named Entity Recognition kijken. Denk aan het als een digitale markeerstift die een zin scant en specifieke woorden labelt als "stad", "staat" of "land". De uitdaging voor ingenieurs is het vinden van het juiste soort digitale hersenen om dit markeren snel en nauwkeurig te doen, vooral wanneer de adressen uit verschillende bronnen komen en sterk van elkaar verschillen.

Een team onderzoekers aan de Bennett University in India zette zich af om dit specifieke puzzelstuk op te lossen. Ze wilden weten welk van de vijf meest populaire typen neurale netwerken—computersystemen die ontworpen zijn om de manier waarop menselijke hersenen patronen leren te imiteren—het beste werkt voor het ontleden van adressen. Ze testten drie verschillende families van modellen: die zoeken naar kleine, lokale patronen; die tekst lezen als een zin door de volgorde van woorden bij te houden; en het nieuwste, krachtigste type dat de volledige context van een zin in één keer begrijpt. De onderzoekers keken niet alleen naar welk model de meeste antwoorden goed had. Ze maten ook hoe lang elk model erover deed om een beslissing te nemen, want in de echte wereld van bedrijfsautomatisering is snelheid net zo belangrijk als nauwkeurigheid. Ze testten deze systemen op twee zeer verschillende sets real-world data: records van luchtvaarttoeleveranciers en een enorme lijst van openbare scholen in de Verenigde Staten.

De studie begon door deze modellen duizenden adresregels te voeden. De onderzoekers waren zorgvuldig om een eerlijke test te garanderen. Ze splitsten de data zodat de modellen getraind werden op sommige adressen en getest werden op volledig andere adressen die ze nog nooit hadden gezien, om te voorkomen dat de computers simpelweg de antwoorden zouden memoriseren. Ze testten de modellen ook onder verschillende omstandigheden, waarbij ze de modellen soms slechts de helft van de data gaven om van te leren, en op andere tijden de volledenset. Dit hielp hen te begrijpen hoe goed elk systeem kon leren wanneer informatie schaars versus overvloedig was. Het doel was om een systeem te vinden dat de rommelige realiteit van bedrijfsdata kon afhandelen zonder de hele operatie te vertragen.

De resultaten schetsen een duidelijk beeld van de afruil die betrokken is. De modellen die vertrouwden op het woord-voor-woord lezen van tekst in een sequentie, bekend als LSTM-netwerken, presteerden goed en waren beter in het begrijpen van hoe woorden met elkaar samenhangen dan de simpelere modellen die alleen naar lokale patronen kijken. Echter, de meest krachtige resultaten kwamen van de transformer-gebaseerde modellen, die ontworpen zijn om de volledige context van een zin in één keer te begrijpen. Onder deze modellen viel één model genaamd ELECTRA op als de meest efficiënte. Wanneer de onderzoekers de modellen de volledige hoeveelheid data lieten gebruiken, identificeerde ELECTRA de adrescomponenten in 99,4% van de gevallen voor de luchtvaartdata en in 99,6% van de gevallen voor de schooldata.

Wat ELECTRA bijzonder waardevol maakte, was niet alleen de hoge score, maar ook de snelheid. Hoewel het meest beroemde en krachtige model, BERT, een vergelijkbare nauwkeurigheid bereikte, deed het er aanzienlijk langer over om elk adres te verwerken. In de tests was ELECTRA ongeveer zes keer sneller dan BERT, waarbij het zijn werk voltooide in ongeveer 56 milliseconden vergeleken met meer dan 300 milliseconden voor de ander. Dit verschil is cruciaal voor bedrijven die duizenden records in realtime moeten verwerken. De onderzoekers ontdekten dat hoewel de simpelere, snellere modellen goed genoeg waren voor zeer gestandaardiseerde adressen, ze de precisie van de meer geavanceerde systemen niet konden evenaren wanneer de data complex was. Omgekeerd waren de krachtigste systemen vaak te traag voor taken met een hoog volume, tenzij een model zoals ELECTRA werd gekozen.

De studie onthulde ook dat het hebben van meer data alle modellen hielp te verbeteren, maar dat de geavanceerde transformer-modellen er het meeste baat bij hadden. Wanneer de onderzoekers 100% van de beschikbare data gaven in plaats van slechts 50%, steeg de nauwkeurigheid van de topmodellen nog verder, terwijl de simpelere modellen meer bescheiden winst lieten zien. Dit suggereert dat voor de moeilijkste adres-parsing taken, de extra rekenkracht van de geavanceerde modellen de investering waard is, mits een snelle versie zoals ELECTRA wordt gebruikt. De onderzoekers merkten op dat deze bevindingen specifiek zijn voor de gestructureerde data die zij testten, die voornamelijk Noord-Amerikaanse adresformaten volgde. Zij waarschuwden dat de resultaten er anders uit zouden zien als de modellen gevraagd zouden worden om rommelige, handgeschreven notities of adressen uit andere landen met andere regels te lezen.

Uiteindelijk biedt dit onderzoek een praktische gids voor bedrijven die hun gegevensverwerking willen automatiseren. Het laat zien dat er niet één enkel "beste" model is voor elke situatie. Als een bedrijf miljoenen gestandaardiseerde adressen snel moet verwerken, is een simpeler, lichtgewicht model misschien de juiste keuze. Als de adressen complex zijn en een diep begrip vereisen, is een transformer-model noodzakelijk. Echter, voor hen die het beste van beide werelden nodig hebben—hoge nauwkeurigheid en hoge snelheid—kwam ELECTRA als de duidelijke winnaar uit de bus in deze vergelijking. De studie bevestigt dat hoewel kunstmatige intelligentie deze taken nu met bijna perfecte nauwkeurigheid kan afhandelen, de sleutel tot succesvolle automatisering ligt in het kiezen van het juiste instrument voor de specifieke taak, waarbij een balans wordt gevonden tussen de behoefte aan precisie en de behoefte aan snelheid.