Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken zu suchen, jagen Sie nach bestimmten Wörtern, die in Millionen von Zeitungsartikeln versteckt sind. Dies ist die Welt der Natural Language Processing (NLP), eines Zweigs der Informatik, in dem wir Maschinen beibringen, menschliche Sprache zu lesen, zu verstehen und zu interpretieren. Betrachten Sie NLP als einen superstarken Übersetzer, der nicht nur Wörter zwischen Sprachen austauscht, sondern tatsächlich die Bedeutung dahinter erfasst. Eines der nützlichsten Werkzeuge in dem Koffer dieses Detektivs wird Named Entity Recognition (NER) genannt. Wenn Sie einen Satz als einen unordentlichen Haufen LEGO-Steine vorstellen, dann ist NER der Roboterarm, der sie sofort in ordentliche Stapel sortiert: „Personen“, „Orte“, „Organisationen“ und „Daten“.

Warum kümmert es jemanden, Robotern das Sortieren von Wörtern beizubringen? Weil die Welt in Informationen ertrinkt. Jeden Tag werden tausende Nachrichtenartikel über alles Mögliche geschrieben, von Aktienmärkten bis hin zu Baustellen. Für Menschen ist das Lesen all dessen, um ein spezifisches Risiko zu finden – wie etwa einen Stahlmangel oder einen politischen Streit –, so als würde man versuchen, eine einzelne Nadel im Heuhaufen zu finden, während man eine Augenbinde trägt. Hier kommen Transformer ins Spiel. Betrachten Sie einen Transformer nicht als Roboter, sondern als einen superaufmerksamen Schüler, der ein ganzes Buch mit einem einzigen Blick lesen kann und sofort versteht, wie jedes Wort mit jedem anderen Wort zusammenhängt, egal wie weit sie voneinander entfernt sind. Dieses Paper untersucht, wie wir diese superaufmerksamen Schüler einsetzen können, um die Bauindustrie in Australien sicherer zu machen und Katastrophen zu vermeiden.

---

Die Mission des Papers: Robotern das Lesen von Baunachrichten beizubringen

Die Bauindustrie in Australien ist ein wenig wie ein riesiges, komplexes Puzzle. Sie umfasst hunderte von Lieferanten, strenge Regeln und Materialien, die aus der ganzen Welt kommen. Manchmal gehen Puzzleteile verloren oder gehen kaputt, was zu „Lieferkettenrisiken“ führt – Dingen, die ein Bauprojekt verzögern oder viel zu teuer machen können. Normalerweise müssen Experten Nachrichtenartikel manuell lesen, um solche Risiken aufzuspüren. Aber bei der Menge an täglichen Nachrichten ist dies langsam und fehleranfällig.

Dieses Paper stellt eine einfache Frage: Können wir einen Computer lehren, diese Nachrichtenartikel schneller und besser als ein Mensch zu lesen, speziell um Baurisiken in Australien zu finden?

Um dies zu beantworten, sammelten die Forscher etwa 2.000 Nachrichtenartikel aus Quellen wie The Australian, Sky News und Bloomberg. Dann brachten sie einem Computer bei, wie ein Bibliothekar zu agieren, indem er jedes wichtige Wort im Text kennzeichnete. Sie verwendeten ein System namens „BIO“-Tagging, was so ist, als würde man Wörter mit Klebezetteln versehen:

• B- (Beginning/Anfang) und I- (Inside/Innerhalb) für den Anfang und die Mitte eines Namens (wie „B-Company“ und „I-Name“).
• O (Outside/Außerhalb) für Wörter, die nicht wichtig sind.

Sie konzentrierten sich auf sechs spezifische Arten von „Klebezetteln“ (Entitäten):

1. Personen (PER)
2. Risikoereignisse (RRE) – wie Streiks oder Verzögerungen.
3. Politische/Nationale Gruppen (PNR)
4. Organisationen/Lieferanten (OSC)
5. Geopolitische Einheiten (GPU) – wie Länder oder Bundesstaaten.
6. Baumaterialien (CMS) – wie Beton oder Stahl.

Nachdem sie 39.500 dieser Entitäten etikettiert hatten, fütterten sie die Daten in sieben verschiedene „Transformer“-Modelle (die superaufmerksamen Schüler). Dazu gehörten berühmte Modelle wie BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5 und GPT-3.

Die Ergebnisse: Wer gewann den Lesewettbewerb?

Die Forscher stellten diese Modelle auf die Probe, um zu sehen, welches am besten die Risiken identifizieren konnte. Sie maßen den Erfolg anhand von drei Werten: Precision (Präzision – wie viele der identifizierten Risiken waren tatsächlich echt?), Recall (Trefferquote – wie viele der echten Risiken hat das Modell gefunden?) und dem F1-Score (ein Gleichgewicht zwischen beiden).

Hier ist, was sie herausfanden:

• Der Champion: RoBERTa kristallisierte sich als der beste Performer heraus. Es erreichte einen durchschnittlichen F1-Score von 0,8580, was bedeutet, dass es am besten darin war, alle Risiken zu finden, ohne zu viele Fehler zu machen. Es belegte den zweiten Platz, dicht gefolgt von BERT, das einen Wert von 0,8356 erreichte.
• Das „zu wählerische“ Modell: T5 war interessant. Es hatte die höchste Precision (0,9924), was bedeutet, dass es, wenn es ein Risiko meldete, fast immer richtig lag. Es übersah jedoch eine riesige Anzahl tatsächlicher Risiken (niedriger Recall von 0,3645). Es war wie ein Detektiv, der nur die einfachsten Fälle löst und den Rest ignoriert.
• Die generativen Modelle: GPT-3, das berühmt dafür ist, Geschichten zu schreiben, schnitt bei dieser spezifischen „Findaufgabe“ nicht so gut ab. Sein F1-Score lag bei 0,7518. Das Paper legt nahe, dass dies daran liegt, dass GPT-3 darauf ausgelegt ist, Text zu generieren und nicht, um spezifische Teile von Text zu etikettieren, was es ein wenig so macht, als würde man einen Hammer benutzen, um eine Schraube einzudrehen – es kann zwar funktionieren, ist aber nicht das beste Werkzeug für die Aufgabe.
• Die leichten Helden: DistilBERT und ALBERT waren etwas weniger genau als RoBERTa, aber viel schneller und benötigten weniger Rechenleistung. Dies macht sie zu großartigen Optionen, wenn man keinen Supercomputer zur Verfügung hat.

Das Geheimrezept: Das Drehen an den Reglern

Die Forscher haben die Modelle nicht einfach ausgewählt und gehofft, dass es klappt. Sie verbrachten Zeit damit, die Modelle „feinzutunen“ (fine-tuning), was so ist, als würde man an den Knöpfen eines Radios drehen, um das klarste Signal zu erhalten. Sie testeten verschiedene Einstellungen für:

• Learning Rate (Lernrate): Wie schnell das Modell lernt.
• Batch Size (Batch-Größe): Wie viele Nachrichtenartikel es gleichzeitig liest.
• Optimizer (Optimierer): Die mathematischen Werkzeuge, die das Modell verbessern (speziell Adam und AdamW).

Sie fanden heraus, dass niedrigere Lernraten (langsames und vorsichtiges Lernen) im Allgemeinen zu besseren Ergebnissen führten. Sie entdeckten auch, dass der AdamW-Optimierer den Modellen oft besser half, besser zu werden, insbesondere bei Modellen wie BERT und ALBERT. Interessanterweise stellten sie fest, dass die Verwendung kleinerer Batch-Größen (das Lesen weniger Artikel zur Zeit) besser funktionierte als das Lesen riesiger Textblöcke, was etwas überraschend war.

Was dies für die Zukunft bedeutet

Das Paper kommt zu dem Schluss, dass der Einsatz dieser KI-Tools ein Wendepunkt für das Risikomanagement im Bauwesen ist. Anstatt dass ein Mensch Stunden damit verbringt, Nachrichten zu lesen, kann ein Modell wie RoBERTa tausende Artikel in Sekunden scannen und Risiken wie „ein Stahlmangel in Victoria“ oder „politische Unruhen, die Lieferanten in China betreffen“ melden.

Die Autoren schlagen vor, dass diese Technologie in Zukunft direkt in Projektmanagement-Software integriert werden könnte. Stellen Sie sich ein Dashboard vor, das Projektmanagern eine „Echtzeit-Warnung“ gibt, wann immer eine Nachricht ein Risiko für ihr spezifisches Projekt erwähnt. Dies würde es ihnen ermöglichen, Probleme zu beheben, bevor sie zu Verzögerungen oder Kostenüberschreitungen führen.

Das Paper merkt jedoch auch an, dass dies erst der Anfang ist. Sie haben nicht jedes mögliche Modell getestet (wie XLNet oder DeBERTa) und geben zu, dass weitere Arbeit nötig ist, um diese Systeme noch intelligenter zu machen. Aber die Kernbotschaft ist klar: Indem wir Computern beibringen, die Nachrichten zu lesen, können wir sicherere und widerstandsfähigere Bauprojekte in Australien erschaffen.