Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप लाखों समाचार लेखों के भीतर छिपे विशिष्ट शब्दों की तलाश कर रहे हैं। यह नेचुरल लैंग्वेज प्रोसेसिंग (NLP) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ हम मशीनों को पढ़ना, समझना और मानव भाषा का अर्थ निकालना सिखाते हैं। NLP को एक सुपर-पावर्ड अनुवादक के रूप में सोचें जो न केवल भाषाओं के बीच शब्दों को बदलता है, बल्कि उनके पीछे के अर्थ को भी समझता है। इस जासूस के किट में सबसे उपयोगी उपकरणों में से एक है जिसे नेम्ड एंटिटी रिकग्निशन (NER) कहा जाता है। यदि आप एक वाक्य को लेगो (LEGO) ईंटों के ढेर के रूप में देखते हैं, तो NER वह रोबोटिक हाथ है जो उन्हें तुरंत "लोग," "स्थान," "संगठन," और "तिथियाँ" जैसे साफ-सुथरे ढेरों में छाँट देता है।

कोई रोबोट को शब्द छाँटने के लिए क्यों सिखाना चाहता है? क्योंकि दुनिया सूचनाओं से भरी हुई है। हर दिन, शेयर बाजारों से लेकर निर्माण स्थलों तक, सब कुछ के बारे में हजारों खबरें लिखी जाती हैं। मनुष्यों के लिए, किसी विशिष्ट जोखिम को खोजने के लिए इन सभी को पढ़ना—जैसे स्टील की कमी या कोई राजनीतिक विवाद—एक आंखों पर पट्टी बांधकर घास के ढेर में सुई खोजने जैसा है। यहीं पर ट्रांसफॉर्मर्स (Transformers) काम आते हैं। एक ट्रांसफॉर्मर को एक रोबोट के रूप में नहीं, बल्कि एक अत्यंत ध्यान केंद्रित करने वाले छात्र के रूप में सोचें जो एक नज़र में पूरी किताब पढ़ सकता है और तुरंत समझ सकता है कि हर शब्द दूसरे शब्द से कैसे जुड़ता है, चाहे वे एक-दूसरे से कितनी भी दूर क्यों न हों। यह शोध पत्र इस बारे में है कि कैसे हम इन अत्यधिक ध्यान देने वाले छात्रों का उपयोग ऑस्ट्रेलिया में निर्माण उद्योग को सुरक्षित रखने और आपदा से बचने में मदद करने के लिए कर सकते हैं।

---

शोध पत्र का मिशन: रोबोट को निर्माण समाचार पढ़ना सिखाना

ऑस्ट्रेलिया में निर्माण उद्योग एक विशाल, जटिल पहेली की तरह है। इसमें सैकड़ों आपूर्तिकर्ता, सख्त नियम और दुनिया भर से आने वाली सामग्रियां शामिल हैं। कभी-कभी, पहेली के टुकड़े खो जाते हैं या टूट जाते हैं, जिससे "सप्लाई चेन रिस्क" (आपूर्ति श्रृंखला जोखिम) पैदा होते हैं—ऐसी चीजें जो किसी निर्माण परियोजना में देरी कर सकती हैं या उसकी लागत बहुत अधिक बढ़ा सकती हैं। आमतौर पर, विशेषज्ञों को इन जोखिमों को पहचानने के लिए समाचार लेखों को मैन्युअल रूप से पढ़ना पड़ता है। लेकिन इतनी अधिक खबरें आने के कारण, यह काम धीमा है और इसमें गलतियों की संभावना अधिक है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम एक कंप्यूटर को इन समाचार लेखों को मानव से तेज़ और बेहतर तरीके से पढ़ने के लिए सिखा सकते हैं, विशेष रूप से ऑस्ट्रेलिया में निर्माण जोखिमों को खोजने के लिए?

इसका उत्तर देने के लिए, शोधकर्ताओं ने द ऑस्ट्रेलियन, स्काई न्यूज और ब्लूमबर्ग जैसे स्रोतों से लगभग 2,000 समाचार लेख एकत्र किए। फिर उन्होंने एक कंप्यूटर को एक लाइब्रेरियन की तरह कार्य करने के लिए प्रशिक्षित किया, जो पाठ में प्रत्येक महत्वपूर्ण शब्द को लेबल करता है। उन्होंने "BIO" टैगिंग नामक एक प्रणाली का उपयोग किया, जो शब्दों पर स्टिकी नोट्स लगाने जैसा है:

• B- (शुरुआत - Beginning) और I- (अंदर - Inside) किसी नाम की शुरुआत और मध्य के लिए (जैसे "B-Company" और "I-Name")।
• O (बाहर - Outside) उन शब्दों के लिए जिनका कोई महत्व नहीं है।

उन्होंने छह विशिष्ट प्रकार के "स्टिकी नोट्स" (एंटिटीज) पर ध्यान केंद्रित किया:

1. लोग (PER)
2. जोखिम की घटनाएं (RRE) – जैसे हड़ताल या देरी।
3. राजनीतिक/राष्ट्रीय समूह (PNR)
4. संगठन/आपूर्तिकर्ता (OSC)
5. भू-राजनीतिक इकाइयाँ (GPU) – जैसे देश या राज्य।
6. निर्माण सामग्री (CMS) – जैसे कंक्रीट या स्टील।

इन 39,500 संस्थाओं को लेबल करने के बाद, उन्होंने इस डेटा को सात अलग-अलग "ट्रांसफॉर्मर" मॉडलों (उन अत्यधिक ध्यान देने वाले छात्रों) में डाला। इनमें BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5, और GPT-3 जैसे प्रसिद्ध मॉडल शामिल थे।

परिणाम: कौन जीता पढ़ने की प्रतियोगिता?

शोधकर्ताओं ने यह देखने के लिए इन मॉडलों को परख किया कि कौन सा मॉडल जोखिमों को सही ढंग से पहचान सकता है। उन्होंने सफलता को तीन स्कोर का उपयोग करके मापा: प्रिसिजन (Precision - पहचाने गए जोखिमों में से कितने वास्तव में वास्तविक थे?), रिकॉल (Recall - मॉडल ने वास्तविक जोखिमों में से कितने खोजे?), और F1-स्कोर (F1-score - इन दोनों के बीच का संतुलन)।

यहाँ उन्हें क्या मिला:

• विजेता: RoBERTa शीर्ष प्रदर्शन करने वाला मॉडल बनकर उभरा। इसने 0.8580 का औसत F1-स्कोर प्राप्त किया, जिसका अर्थ है कि यह बिना बहुत अधिक गलतियाँ किए सभी जोखिमों को खोजने के मामले में सबसे अच्छा था। यह BERT के बहुत करीब था, जिसने 0.8356 का स्कोर प्राप्त किया।
• "बहुत ज्यादा चयनात्मक" मॉडल: T5 दिलचस्प था। इसकी प्रिसिजन (0.9924) सबसे अधिक थी, जिसका अर्थ है कि जब इसने किसी जोखिम को खोजने का दावा किया, तो वह लगभग हमेशा सही था। हालाँकि, इसने वास्तविक जोखिमों की एक बड़ी संख्या को छोड़ दिया (कम रिकॉल 0.3645)। यह एक ऐसे जासूस की तरह था जो केवल आसान मामलों को हल करता है और बाकी को अनदेखा कर देता है।
• जेनरेटिव मॉडल: GPT-3, जो कहानियाँ लिखने के लिए प्रसिद्ध है, इस विशिष्ट "खोजने" वाले कार्य में उतना अच्छा नहीं कर सका। इसका F1-स्कोर 0.7518 था। शोध पत्र सुझाव देता है कि ऐसा इसलिए है क्योंकि GPT-3 को टेक्स्ट बनाने (generate) के लिए बनाया गया है, न कि टेक्स्ट के विशिष्ट हिस्सों को लेबल करने के लिए, जो इसे एक पेंच को कसने के लिए हथौड़े का उपयोग करने जैसा बनाता है—यह काम कर सकता है, लेकिन यह सबसे अच्छा उपकरण नहीं है।
• हल्के-फुल्के नायक: DistilBERT और ALBERT RoBERTa की तुलना में थोड़े कम सटीक थे लेकिन वे बहुत तेज़ थे और उन्हें कम कंप्यूटर शक्ति की आवश्यकता थी। यदि आपके पास उन्हें चलाने के लिए सुपर-कंप्यूटर नहीं है, तो ये बेहतरीन विकल्प हैं।

गुप्त नुस्खा: नॉब्स को ट्यून करना

शोधकर्ताओं ने केवल एक मॉडल नहीं चुना और उम्मीद नहीं की। उन्होंने मॉडलों को "फाइन-ट्यूनिंग" करने में समय बिताया, जो रेडियो से स्पष्ट सिग्नल पाने के लिए उसके नॉब्स को एडजस्ट करने जैसा है। उन्होंने निम्नलिखित के लिए विभिन्न सेटिंग्स का परीक्षण किया:

• लर्निंग रेट (Learning Rate): मॉडल कितनी तेज़ी से सीखता है।
• बैच साइज (Batch Size): मॉडल एक बार में कितने समाचार लेख पढ़ता है।
• ऑप्टिमाइज़र (Optimizers): मॉडल को बेहतर बनाने के लिए गणितीय उपकरण (विशेष रूप से Adam और AdamW)।

उन्होंने पाया कि कम लर्निंग रेट (धीरे और सावधानी से सीखना) आम तौर पर बेहतर परिणाम देता है। उन्होंने यह भी पाया कि AdamW ऑप्टिमाइज़र ने अक्सर मानक Adam की तुलना में मॉडलों को बेहतर प्रदर्शन करने में मदद की, विशेष रूप से BERT और ALBERT जैसे मॉडलों के लिए। दिलचस्प बात यह है कि उन्होंने पाया कि बड़े टुकड़ों को पढ़ने के बजाय छोटे बैच साइज (एक बार में कम लेख पढ़ना) का उपयोग करना बेहतर काम करता है, जो कि थोड़ा आश्चर्यजनक था।

भविष्य के लिए इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि इन AI उपकरणों का उपयोग निर्माण जोखिम प्रबंधन के लिए एक गेम-चेंजर है। समाचार पढ़ने में घंटों समय बिताने के बजाय, एक मॉडल जैसे RoBERTa सेकंडों में हजारों लेखों को स्कैन कर सकता है, और "विक्टोरिया में स्टील की कमी" या "चीन में आपूर्तिकर्ताओं को प्रभावित करने वाली राजनीतिक अशांति" जैसे जोखिमों को चिह्नित कर सकता है।

लेखक सुझाव देते हैं कि भविष्य में, इस तकनीक को सीधे प्रोजेक्ट मैनेजमेंट सॉफ्टवेयर में शामिल किया जा सकता है। कल्पना कीजिए कि एक डैशबोर्ड है जो प्रोजेक्ट प्रबंधकों को "रियल-टाइम अलर्ट" देता है जब भी कोई समाचार कहानी उनके विशिष्ट प्रोजेक्ट के लिए जोखिम का उल्लेख करती है। इससे वे समस्याओं के देरी या लागत बढ़ने से पहले ही उन्हें ठीक कर सकेंगे।

हालाँकि, शोध पत्र यह भी नोट करता है कि यह तो बस शुरुआत है। उन्होंने हर संभव मॉडल (जैसे XLNet या DeBERTa) का परीक्षण नहीं किया और स्वीकार किया कि इन प्रणालियों को और अधिक स्मार्ट बनाने के लिए और अधिक काम की आवश्यकता है। लेकिन मुख्य संदेश स्पष्ट है: कंप्यूटर को समाचार पढ़ना सिखाकर, हम ऑस्ट्रेलिया में सुरक्षित और अधिक लचीली निर्माण परियोजनाएं बना सकते हैं।