Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais qu'au lieu de chercher des empreintes digitales, vous traquez des mots spécifiques cachés dans des millions d'articles de journaux. C'est le monde du Traitement du Langage Naturel (NLP), une branche de l'informatique où nous apprenons aux machines à lire, comprendre et donner du sens au langage humain. Considérez le NLP comme un super-traducteur qui ne se contente pas d'échanger des mots entre les langues, mais qui saisit réellement la signification derrière ceux-ci. L'un des outils les plus utiles dans la panoplie de ce détective s'appelle la Reconnaissance d'Entités Nommées (NER). Si vous imaginez une phrase comme un tas désordonné de briques LEGO, la NER est le bras robotisé qui les trie instantanément en piles bien nettes : « Personnes », « Lieux », « Organisations » et « Dates ».

Pourquoi s'intéresser à l'apprentissage du tri de mots par les robots ? Parce que le monde est noyé sous l'information. Chaque jour, des milliers d'articles de presse sont écrits sur tout, des marchés boursiers aux chantiers de construction. Pour les humains, lire tout cela pour trouver un risque spécifique — comme une pénurie d'acier ou un différend politique — revient à essayer de trouver une aiguille dans une botte de foin tout en portant un bandeau sur les yeux. C'est là qu'interviennent les Transformers. Considérez un Transformer non pas comme un robot, mais comme un étudiant extrêmement attentif capable de lire un livre entier d'un seul regard et de comprendre instantanément comment chaque mot se connecte à tous les autres, peu importe la distance qui les sépare. Ce document explore comment nous pouvons utiliser ces étudiants super-attentifs pour aider l'industrie de la construction en Australie à rester en sécurité et à éviter les catastrophes.

---

La mission du document : Enseigner aux robots à lire l'actualité de la construction

L'industrie de la construction en Australie est un peu comme un puzzle géant et complexe. Elle implique des centaines de fournisseurs, des règles strictes et des matériaux provenant du monde entier. Parfois, les pièces du puzzle se perdent ou se cassent, entraînant des « risques de la chaîne d'approvisionnement » — des événements qui peuvent retarder un projet de construction ou faire exploser les coûts. Habituellement, des experts doivent lire manuellement les articles de presse pour repérer ces risques. Mais avec l'afflux massif d'informations, ce processus est lent et sujet aux erreurs.

Ce document pose une question simple : Pouvons-nous apprendre à un ordinateur à lire ces articles de presse plus vite et mieux qu'un humain, spécifiquement pour identifier les risques de construction en Australie ?

Pour répondre à cela, les chercheurs ont rassemblé environ 2 000 articles de presse provenant de sources telles que The Australian, Sky News et Bloomberg. Ils ont ensuite appris à un ordinateur à agir comme un bibliothécaire, en étiquetant chaque mot important dans le texte. Ils ont utilisé un système appelé marquage « BIO », qui revient à poser des post-it sur les mots :

• B- (Beginning / Début) et I- (Inside / Intérieur) pour le début et le milieu d'un nom (comme « B-Company » et « I-Name »).
• O (Outside / Extérieur) pour les mots qui n'ont pas d'importance.

Ils se sont concentrés sur six types spécifiques de « post-it » (entités) :

1. Personnes (PER)
2. Événements de risque (RRE) – comme des grèves ou des retards.
3. Groupes politiques/nationaux (PNR)
4. Organisations/Fournisseurs (OSC)
5. Unités géopolitiques (GPU) – comme des pays ou des États.
6. Matériaux de construction (CMS) – comme le béton ou l'acier.

Après avoir étiqueté 39 500 de ces entités, ils ont injecté les données dans sept modèles « Transformer » différents (les étudiants super-attentifs). Ceux-ci incluaient des modèles célèbres comme BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5 et GPT-3.

Les résultats : Qui gagne le concours de lecture ?

Les chercheurs ont mis ces modèles à l'épreuve pour voir lequel pouvait identifier correctement les risques. Ils ont mesuré le succès à l'aide de trois scores : la Précision (combien des risques identifiés étaient réellement réels ?), le Rappel (combien des risques réels le modèle a-t-il trouvés ?) et le score F1 (un équilibre entre les deux).

Voici ce qu'ils ont découvert :

• Le Champion : RoBERTa s'est imposé comme le meilleur performeur. Il a atteint un score F1 moyen de 0,8580, ce qui signifie qu'il était le meilleur pour équilibrer la détection de tous les risques sans commettre trop d'erreurs. Il arrive juste derrière BERT, qui a obtenu un score de 0,8356.
• Le modèle « trop pointilleux » : T5 était intéressant. Il avait la Précision la plus élevée (0,9924), ce qui signifie que lorsqu'il disait avoir trouvé un risque, il avait presque toujours raison. Cependant, il a manqué un nombre énorme de risques réels (faible Rappel de 0,3645). C'était comme un détective qui ne résout que les affaires les plus faciles et ignore le reste.
• Les modèles génératifs : GPT-3, célèbre pour sa capacité à écrire des histoires, n'a pas été aussi performant pour cette tâche spécifique de « recherche ». Son score F1 était de 0,7518. Le document suggère que c'est parce que GPT-3 est conçu pour générer du texte, et non pour étiqueter des parties spécifiques de texte, ce qui revient un peu à utiliser un marteau pour visser une vis — cela peut fonctionner, mais ce n'est pas l'outil idéal.
• Les héros légers : DistilBERT et ALBERT étaient légèrement moins précis que RoBERTa, mais beaucoup plus rapides et nécessitaient moins de puissance de calcul. Cela en fait de bonnes options si vous ne disposez pas d'un supercalculateur.

La recette secrète : Ajuster les réglages

Les chercheurs n'ont pas simplement choisi un modèle en espérant que cela fonctionne. Ils ont passé du temps à « affiner » (fine-tuning) les modèles, ce qui revient à ajuster les boutons d'une radio pour obtenir le signal le plus clair. Ils ont testé différents réglages pour :

• Le taux d'apprentissage (Learning Rate) : La vitesse à laquelle le modèle apprend.
• La taille des lots (Batch Size) : Le nombre d'articles de presse lus simultanément.
• Les optimiseurs : Les outils mathématiques utilisés pour améliorer le modèle (spécifiquement Adam et AdamW).

Ils ont découvert qu'un taux d'apprentissage plus faible (apprendre lentement et prudemment) menait généralement à de meilleurs résultats. Ils ont également découvert que l'optimiseur AdamW aidait souvent les modèles à de meilleures performances que l'optimiseur Adam standard, particulièrement pour des modèles comme BERT et ALBERT. Curieusement, ils ont découvert que l'utilisation de tailles de lots plus petites (lire moins d'articles à la fois) fonctionnait mieux que de lire de gros blocs, ce qui était assez surprenant.

Ce que cela signifie pour l'avenir

Le document conclut que l'utilisation de ces outils d'IA change la donne pour la gestion des risques dans la construction. Au lieu qu'un humain passe des heures à lire l'actualité, un modèle comme RoBERTa peut scanner des milliers d'articles en quelques secondes, signalant des risques tels que « une pénurie d'acier dans le Victoria » ou « des troubles politiques affectant les fournisseurs en Chine ».

Les auteurs suggèrent qu'à l'avenir, cette technologie pourrait être directement intégrée aux logiciels de gestion de projet. Imaginez un tableau de bord qui envoie une « alerte en temps réel » aux chefs de projet dès qu'une information mentionne un risque pour leur projet spécifique. Cela leur permettrait de corriger les problèmes avant qu'ils ne causent des retards ou des dépassements de coûts.

Cependant, le document note également que ce n'est que le début. Ils n'ont pas testé tous les modèles possibles (comme XLNet ou DeBERTa) et admettent que des travaux supplémentaires sont nécessaires pour rendre ces systèmes encore plus intelligents. Mais le message central est clair : en apprenant aux ordinateurs à lire l'actualité, nous pouvons construire des projets de construction plus sûrs et plus résilients en Australie.