From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

Cada día, las empresas mueven montañas de papel y registros digitales, desde el envío de paquetes hasta la gestión de inscripciones de estudiantes. Una parte crítica de este trabajo consiste en leer direcciones. Mientras que los humanos pueden echar un vistazo a una nota manuscrita desordenada o a una línea de texto mecanografiada y saber instantáneamente la ciudad, el estado y el código postal, las computadoras a menudo tienen dificultades. Para una máquina, una cadena de palabras es solo una secuencia de caracteres sin significado inherente. Para que las empresas puedan automatizar sus flujos de trabajo —permitiendo que el software realice tareas sin ayuda humana—, necesitan una forma de convertir estas líneas de texto no estructuradas en datos ordenados y organizados. Aquí es donde entra en juego un campo de la inteligencia artificial llamado Reconocimiento de Entidades Nombradas. Piense en esto como un resaltador digital que escanea una oración y etiqueta palabras específicas como "ciudad", "estado" o "país". El desafío para los ingenieros es encontrar el tipo adecuado de cerebro digital para realizar este resaltado de manera rápida y precisa, especialmente cuando las direcciones provienen de diferentes fuentes y se ven muy diferentes entre sí.

Un equipo de investigadores de la Universidad Bennett en la India se propuso resolver este rompecabezas específico. Querían saber qué tipo de las cinco redes neuronales más populares —sistemas informáticos diseñados para imitar la forma en que los cerebros humanos aprenden de los patrones— funciona mejor para desglosar direcciones. Probaron tres familias distintas de modelos: aquellos que buscan patrones locales pequeños; aquellos que leen texto como una oración, manteniendo el seguimiento del orden de las palabras; y el tipo más nuevo y potente que comprende el contexto completo de una oración a la vez. Los investigadores no solo observaron qué modelo obtenía más respuestas correctas. También midieron cuánto tiempo tardaba cada modelo en tomar una decisión, porque en el mundo real de la automatización empresarial, la velocidad es tan importante como la precisión. Probaron estos sistemas en dos conjuntos de datos muy diferentes del mundo real: registros de proveedores aeroespaciales y una lista masiva de escuelas públicas en todo Estados Unidos.

El estudio comenzó alimentando estos modelos con miles de líneas de direcciones. Los investigadores fueron cuidadosos para asegurar una prueba justa. Dividieron los datos de modo que los modelos fueran entrenados con algunas direcciones y probados con otras completamente diferentes que nunca habían visto antes, evitando que las computadoras simplemente memorizaran las respuestas. También probaron los modelos bajo diferentes condiciones, a veces dándoles solo la mitad de los datos para aprender, y otras veces dándoles el conjunto completo. Esto les ayudó a comprender qué tan bien podía aprender cada sistema cuando la información era escasa frente a cuando era abundante. El objetivo era encontrar un sistema que pudiera manejar la realidad desordenada de los datos empresariales sin ralentizar toda la operación.

Los resultados pintaron un panorama claro de las compensaciones involucradas. Los modelos que dependían de leer el texto palabra por palabra en secuencia, conocidos como redes LSTM, funcionaron bien y fueron mejores para entender cómo se relacionan las palabras entre sí que los modelos más simples que solo buscaban patrones locales. Sin embargo, los resultados más potentes provinieron de los modelos basados en transformadores, que están diseñados para comprender el contexto completo de una oración a la vez. Entre estos, un modelo llamado ELECTRA destacó como el más eficiente. Cuando los investigadores dieron a los modelos la cantidad total de datos con la que trabajar, ELECTRA identificó correctamente los componentes de la dirección el 99.4% de las veces para los datos aeroespaciales y el 99.6% de las veces para los datos escolares.

Lo que hizo que ELECTRA fuera particularmente valioso no fue solo su puntuación alta, sino su velocidad. Mientras que el modelo más famoso y potente, BERT, logró una precisión similar, tardó significativamente más en procesar cada dirección. En las pruebas, ELECTRA fue aproximadamente seis veces más rápido que BERT, completando su trabajo en unos 56 milisegundos en comparación con más de 300 milisegundos del otro. Esta diferencia es crucial para las empresas que necesitan procesar miles de registros en tiempo real. Los investigadores encontraron que, si bien los modelos más simples y rápidos eran suficientes para direcciones muy estandarizadas, no podían igualar la precisión de los sistemas más avanzados cuando los datos eran complejos. Por el contrario, los sistemas más potentes solían ser demasiado lentos para tareas de alto volumen, a menos que se eligiera un modelo como ELECTRA.

El estudio también reveló que tener más datos ayudaba a todos los modelos a mejorar, pero los modelos de transformadores avanzados se beneficiaron más. Cuando los investigadores dieron a los modelos el 100% de los datos disponibles en lugar de solo el 50%, la precisión de los mejores modelos subió aún más, mientras que los modelos más simples tuvieron ganancias más modestas. Esto sugiere que para las tareas de procesamiento de direcciones más difíciles, la potencia computacional adicional de los modelos avanzados vale la inversión, siempre que se utilice una versión rápida como ELECTRA. Los investigadores señalaron que estos hallazgos son específicos para los datos estructurados que probaron, los cuales seguían mayoritariamente formatos de direcciones de América del Norte. Advirtieron que los resultados podrían verse diferentes si se pidiera a los modelos leer notas manuscritas desordenadas o direcciones de otros países con reglas diferentes.

En última instancia, esta investigación proporciona una guía práctica para las empresas que intentan automatizar su procesamiento de datos. Muestra que no existe un único "mejor" modelo para cada situación. Si una empresa necesita procesar millones de direcciones estandarizadas rápidamente, un modelo más simple y ligero podría ser la elección correcta. Si las direcciones son complejas y requieren una comprensión profunda, un modelo de transformadores es necesario. Sin embargo, para aquellos que necesitan lo mejor de ambos mundos —alta precisión y velocidad rápida—, ELECTRA emergió como el claro ganador en esta comparación. El estudio confirma que, si bien la inteligencia artificial ya puede manejar estas tareas con una precisión casi perfecta, la clave para una automatización exitosa reside en elegir la herramienta adecuada para el trabajo específico, equilibrando la necesidad de precisión con la necesidad de velocidad.