Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van te zoeken naar vingerafdrukken, ben je op zoek naar specifieke woorden die verborgen zitten in miljoenen krantenartikelen. Dit is de wereld van Natural Language Processing (NLP), een tak van de computerwetenschap waarbij we machines leren lezen, begrijpen en betekenis te geven aan menselijke taal. Denk aan NLP als een superkrachtige vertaler die niet alleen woorden tussen talen uitwisselt, maar ook daadwerkelijk de betekenis erachter begrijpt. Een van de meest nuttige instrumenten in de gereedschapskist van deze detective wordt Named Entity Recognition (NER) genoemd. Als je een zin voor je ziet als een rommelige stapel LEGO-blokjes, dan is NER de robotarm die ze direct sorteert in nette stapels: "Mensen," "Plaatsen," "Organisaties" en "Data."

Waarom geeft iemand erom de moeite te doen om robots te leren woorden te sorteren? Omdat de wereld verdrinkt in informatie. Elke dag worden duizenden nieuwsberichten geschreven over alles van aandelenmarkten tot bouwplaatsen. Voor mensen is het lezen van al dit materiaal om een specifiek risico te vinden – zoals een tekort aan staal of een politiek geschil – alsof je probeert een enkele naald in een hooiberg te vinden terwijl je een blinddoek draagt. Dit is waar Transformers in beeld komen. Denk aan een Transformer niet als een robot, maar als een supergeconcentreerde student die een heel boek in één oogopslag kan lezen en direct begrijpt hoe elk woord met elk ander woord verbonden is, ongeacht hoe ver ze uit elkaar staan. Dit artikel duikt in hoe we deze supergeconcentreerde studenten kunnen gebruiken om de bouwsector in Australië veilig te houden en rampen te voorkomen.

---

De Missie van het Papier: Robots Leren de Bouwnieuws te Lezen

De bouwsector in Australië is een beetje als een gigantische, complexe puzzel. Het omvat honderden leveranciers, strikte regels en materialen die van over de hele wereld komen. Soms raken de puzzelstukjes kwijt of gaan ze kapot, wat leidt tot "supply chain risks" (risico's in de toeleveringsketen) – zaken die een bouwproject kunnen vertragen of de kosten enorm kunnen opdrijven. Meestal moeten experts handmatig door nieuwsartikelen lezen om deze risico's op te sporen. Maar met de enorme hoeveelheid nieuws die binnenkomt, is dit traag en foutgevoelig.

Dit papier stelt een eenvoudige vraag: Kunnen we een computer leren om deze nieuwsartikelen sneller en beter te lezen dan een mens, specifiek om bouwrisico's in Australië te vinden?

Om dit te beantwoorden, verzamelden de onderzoekers ongeveer 2.000 nieuwsartikelen uit bronnen zoals The Australian, Sky News en Bloomberg. Vervolgens leerden ze een computer om als een bibliothecaris te werken, waarbij elke belangrijke term in de tekst werd gelabeld. Ze gebruikten een systeem genaamd "BIO"-tagging, wat lijkt op het plakken van briefjes op woorden:

• B- (Beginning) en I- (Inside) voor het begin en het midden van een naam (zoals "B-Bedrijf" en "I-Naam").
• O (Outside) voor woorden die er niet toe doen.

Ze richtten zich op zes specifieke soorten "briefjes" (entiteiten):

1. Personen (PER)
2. Risicogebeurtenissen (RRE) – zoals stakingen of vertragingen.
3. Politieke/Nationale groepen (PNR)
4. Organisaties/Leveranciers (OSC)
5. Geopolitieke eenheden (GPU) – zoals landen of staten.
6. Bouwmaterialen (CMS) – zoals beton of staal.

Na het labelen van 39.500 van deze entiteiten, voedden ze de data aan zeven verschillende "Transformer"-modellen (de supergeconcentreerde studenten). Deze omvatten beroemde modellen zoals BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5 en GPT-3.

De Resultaten: Wie Won de Leeswedstrijd?

De onderzoekers onderwierpen deze modellen aan een test om te zien welke erin slaagde de risico's correct te identificeren. Ze maten het succes aan de hand van drie scores: Precisie (hoeveel van de geïdentificeerde risico's waren daadwerkelijk echt?), Recall (hoeveel van de echte risico's heeft het model gevonden?) en de F1-score (een balans tussen die twee).

Dit is wat ze vonden:

• De Kampioen: RoBERTa kwam als beste uit de bus. Het behaalde een gemiddelde F1-score van 0,8580, wat betekent dat het het beste was in het balanceren van het vinden van alle risico's zonder te veel fouten te maken. Het kwam een zijsprongtje tekort voor BERT, dat een score van 0,8356 behaalde.
• Het "Te Selectieve" Model: T5 was interessant. Het had de hoogste Precisie (0,9924), wat betekent dat wanneer het zei dat het een risico had gevonden, het bijna altijd juist was. Echter, het miste een enorm aantal werkelijke risico's (lage Recall van 0,3645). Het was als een detective die alleen de makkelijkste zaken oplost en de rest negeert.
• De Generatieve Modellen: GPT-3, dat beroemd is om het schrijven van verhalen, deed het minder goed bij deze specifieke "zoektaak". De F1-score was 0,7518. Het papier suggereert dat dit komt omdat GPT-3 gebouwd is om tekst te genereren, niet om specifieke delen van tekst te labelen, waardoor het een beetje is als het gebruiken van een hamer om een schroef in te draaien – het kan wel werken, maar het is niet het beste gereedschap voor de klus.
• De Lichtgewicht Helden: DistilBERT en ALBERT waren iets minder accuraat dan RoBERTa, maar waren veel sneller en vereisten minder computerkracht. Dit maakt ze uitstekende opties als je niet over een supercomputer beschikt om ze te draaien.

De Geheime Saus: De Knoppen Afstellen

De onderzoekers hebben de modellen niet zoma van de hand gerekend en op het beste gehoopt. Ze besteedden tijd aan het "fine-tunen" van de modellen, wat vergelijkbaar is met het afstellen van de knoppen op een radio om het duidelijkste signaal te krijgen. Ze testten verschillende instellingen voor:

• Learning Rate (Leersnelheid): Hoe snel het model leert.
• Batch Size (Batchgrootte): Hoeveel nieuwsartikelen het model tegelijkertijd leest.
• Optimizers (Optimalisatie-algoritmen): De wiskundige hulpmiddelen die worden gebruikt om het model te verbeteren (specifiek Adam en AdamW).

Ze ontdekten dat lagere leersnelheden (langzaam en zorgvuldig leren) over het algemeen tot betere resultaten leidden. Ze ontdekten ook dat de AdamW optimizer vaak hielp om de modellen beter te laten presteren dan de standaard Adam optimizer, vooral voor modellen zoals BERT en ALBERT. Interessant genoeg ontdekten ze dat het gebruik van kleinere batchgroottes (minder artikelen tegelijk lezen) beter werkte dan het lezen van enorme blokken, wat een beetje verrassend was.

Wat Dit Betekent voor de Toekomst

Het papier concludeert dat het gebruik van deze AI-tools een gamechanger is voor risicobeheer in de bouw. In plaats van dat een mens urenlang nieuws leest, kan een model zoals RoBERTa duizenden artikelen in seconden scannen en risico's signaleren zoals "een tekort aan staal in Victoria" of "politieke onrust die leveranciers in China beïnvloedt."

De auteurs suggereren dat deze technologie in de toekomst direct in projectmanagementsoftware kan worden ingebouwd. Stel je een dashboard voor dat projectmanagers een "real-time waarschuwing" geeft telkens wanneer een nieuwsbericht een risico voor hun specifieke project vermeldt. Dit zou hen in staat stellen problemen op te lossen voordat ze leiden tot vertragingen of kostenoverschrijdingen.

Het papier merkt echter ook op dat dit pas het begin is. Ze hebben niet elk mogelijk model getest (zoals XLNet of DeBERTa) en geven toe dat er meer werk nodig is om deze systemen nog slimmer te maken. Maar de kernboodschap is duidelijk: door computers te leren het nieuws te lezen, kunnen we veiligere en veerkrachtigere bouwprojecten in Australië bouwen.