Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

Imagina que eres un detective tratando de resolver un misterio, pero en lugar de buscar huellas dactilares, estás cazando palabras específicas escondidas dentro de millones de artículos de periódicos. Este es el mundo del Procesamiento de Lenguaje Natural (NLP), una rama de la informática donde enseñamos a las máquinas a leer, comprender y dar sentido al lenguaje humano. Piensa en el NLP como un traductor superpotente que no solo intercambia palabras entre idiomas, sino que realmente capta el significado detrás de ellas. Una de las herramientas más útiles en el kit de este detective se llama Reconocimiento de Entidades Nombradas (NER). Si imaginas una oración como una pila desordenada de piezas de LEGO, el NER es el brazo robótico que las clasifica instantáneamente en pilas ordenadas: "Personas", "Lugares", "Organizaciones" y "Fechas".

¿Por qué a alguien le importa enseñar a los robots a clasificar palabras? Porque el mundo se está ahogando en información. Cada día se escriben miles de noticias sobre todo, desde mercados bursátiles hasta sitios de construcción. Para los humanos, leer todo esto para encontrar un riesgo específico —como una escasez de acero o una disputa política— es como intentar encontrar una sola aguja en un pajar mientras usas una venda en los ojos. Aquí es donde entran los Transformers. Piensa en un Transformer no como un robot, sino como un estudiante superatento que puede leer un libro entero de un solo vistazo y entender instantáneamente cómo cada palabra se conecta con todas las demás, sin importar lo lejos que estén. Este artículo profundiza en cómo podemos usar estos estudiantes superatentos para ayudar a la industria de la construcción en Australia a mantenerse segura y evitar desastres.

---

La Misión del Artículo: Enseñando a los Robots a Leer Noticias de Construcción

La industria de la construcción en Australia es un poco como un rompecabezas gigante y complejo. Involucra a cientos de proveedores, reglas estrictas y materiales que vienen de todo el mundo. A veces, las piezas del rompecabezas se pierden o se rompen, lo que provoca "riesgos en la cadena de suministro": cosas que pueden retrasar un proyecto de construcción o hacer que cueste mucho más de lo previsto. Por lo general, los expertos tienen que leer manualmente los artículos de noticias para detectar estos riesgos. Pero con tanta información llegando, esto es lento y propenso a errores.

Este artículo plantea una pregunta sencilla: ¿Podemos enseñar a una computadora a leer estos artículos de noticias más rápido y mejor que un humano, específicamente para encontrar riesgos de construcción en Australia?

Para responder a esto, los investigadores recopilaron alrededor de 2,000 artículos de noticias de fuentes como The Australian, Sky News y Bloomberg. Luego enseñaron a una computadora a actuar como un bibliotecario, etiquetando cada palabra importante en el texto. Utilizaron un sistema llamado etiquetado "BIO", que es como poner notas adhesivas en las palabras:

• B- (Inicio) e I- (Interior) para el comienzo y el medio de un nombre (como "B-Compañía" e "I-Nombre").
• O (Fuera) para palabras que no importan.

Se centraron en seis tipos específicos de "notas adhesivas" (entidades):

1. Personas (PER)
2. Eventos de Riesgo (RRE) – como huelgas o retrasos.
3. Grupos Políticos/Nacionales (PNR)
4. Organizaciones/Proveedores (OSC)
5. Unidades Geo-Políticas (GPU) – como países o estados.
6. Materiales de Construcción (CMS) – como concreto o acero.

Después de etiquetar 39,500 de estas entidades, introdujeron los datos en siete modelos "Transformer" diferentes (los estudiantes superatentos). Estos incluían modelos famosos como BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5 y GPT-3.

Los Resultados: ¿Quién Ganó el Concurso de Lectura?

Los investigadores pusieron a prueba estos modelos para ver cuál podía identificar correctamente los riesgos. Midieron el éxito utilizando tres puntuaciones: Precisión (¿cuántos de los riesgos identificados eran realmente reales?), Recall (¿cuántos de los riesgos reales encontró el modelo?) y la puntuación F1 (un equilibrio entre los dos).

Esto es lo que encontraron:

• El Campeón: RoBERTa surgió como el mejor desempeño. Logró una puntuación F1 promedio de 0.8580, lo que significa que fue el mejor para equilibrar el hallazgo de todos los riesgos sin cometer demasiados errores. Fue un segundo lugar muy cercano para BERT, que obtuvo 0.8356.
• El Modelo "Demasiado Exigente": T5 fue interesante. Tuvo la Precisión más alta (0.9924), lo que significa que cuando decía que había encontrado un riesgo, casi siempre tenía razón. Sin embargo, pasó por alto un gran número de riesgos reales (bajo Recall de 0.3645). Era como un detective que solo resuelve los casos más fáciles e ignora el resto.
• Los Modelos Generativos: GPT-3, que es famoso por escribir historias, no funcionó tan bien en esta tarea específica de "hallazgo". Su puntuación F1 fue de 0.7518. El artículo sugiere que esto se debe a que GPT-3 está construido para generar texto, no para etiquetar partes específicas del texto, lo que lo hace un poco como usar un martillo para introducir un tornillo: puede funcionar, pero no es la mejor herramienta para el trabajo.
• Los Héroes Ligeros: DistilBERT y ALBERT fueron ligeramente menos precisos que RoBERTa, pero eran mucho más rápidos y requerían menos potencia de cómputo. Esto los convierte en excelentes opciones si no tienes una supercomputadora para ejecutarlos.

La Receta Secreta: Ajustando las Perillas

Los investigadores no solo eligieron un modelo y esperaron lo mejor. Pasaron tiempo "ajustando" los modelos, lo que es como ajustar las perillas de una radio para obtener la señal más clara. Probaron diferentes configuraciones para:

• Tasa de Aprendizaje (Learning Rate): Qué tan rápido aprende el modelo.
• Tamaño de Lote (Batch Size): Cuántos artículos de noticias lee a la vez.
• Optimizadores: Las herramientas matemáticas utilizadas para mejorar el modelo (específicamente Adam y AdamW).

Descubrieron que las tasas de aprendizaje más bajas (aprender lenta y cuidadosamente) generalmente conducían a mejores resultados. También descubrieron que el optimizador AdamW a menudo ayudaba a los modelos a desempeñarse mejor que el optimizador Adam estándar, especialmente para modelos como BERT y ALBERT. Curiosamente, descubrieron que usar tamaños de lote más pequeños (leer menos artículos a la vez) funcionaba mejor que leer grandes bloques, lo cual fue un poco sorprendente.

Lo Que Esto Significa para el Futuro

El artículo concluye que el uso de estas herramientas de IA es un cambio de juego para la gestión de riesgos en la construcción. En lugar de que un humano pase horas leyendo noticias, un modelo como RoBERTa puede escanear miles de artículos en segundos, señalando riesgos como "una escasez de acero en Victoria" o "inestabilidad política que afecta a los proveedores en China".

Los autores sugieren que, en el futuro, esta tecnología podría integrarse directamente en el software de gestión de proyectos. Imagina un tablero que proporcione una "alerta en tiempo real" a los gerentes de proyectos cada vez que una noticia mencione un riesgo para su proyecto específico. Esto les permitiría solucionar problemas antes de que causen retrasos o sobrecostos.

Sin embargo, el artículo también señala que esto es solo el comienzo. No probaron todos los modelos posibles (como XLNet o DeBERTa) y admiten que se necesita más trabajo para hacer que estos sistemas sean aún más inteligentes. Pero el mensaje central es claro: al enseñar a las computadoras a leer las noticias, podemos construir proyectos de construcción más seguros y resilientes en Australia.