Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुराग इंडेक्स कार्ड पर करीने से लिखे हुए नहीं हैं। इसके बजाय, वे पुराने, कुचले हुए रसीदों के हाशिये में बिखरे हुए हैं, जो दो भाषाओं के मिश्रण में लिखे गए हैं, और कुछ कागज को एक भूखे कुत्ते ने चबाकर खराब भी कर दिया है। यही इंजीनियरिंग चेंज मैनेजमेंट (ECM) की दुनिया है। मशीनों को बनाने के उच्च-दांव वाले खेल में, चीजें शायद ही कभी योजना के अनुसार चलती हैं। एक पुर्जा टूट सकता है, एक नियम बदल सकता है, या किसी सामग्री को बदलने की आवश्यकता हो सकती है। बड़ी, शानदार फैक्ट्रियों में, इन बदलावों को विशाल, डिजिटल डेटाबेस में ट्रैक किया जाता है जो व्यवस्थित फाइलिंग कैबिनेट की तरह काम करते हैं। लेकिन छोटी कार्यशालाओं (workshops) में, इन बदलावों का "इतिहास" अक्सर पुराने कंप्यूटर सिस्टम पर श्रमिकों द्वारा छोड़े गए छोटे, अव्यवस्थित नोट्स में जीवित रहता है। ये नोट्स विनिर्माण जगत का "फ्री टेक्स्ट" हैं: छोटे, अराजक और अक्सर वाक्य के बीच में ही कटे हुए क्योंकि जिस पुराने सॉफ्टवेयर में उन्हें लिखा गया था, उसकी मेमोरी बहुत कम थी।

वैज्ञानिकों के लिए चुनौती इन बिखरे हुए, द्विभाषी (पारंपरिक चीनी और अंग्रेजी का मिश्रण) नोटों को एक साफ, संरचित सूची में बदलना है जिसे कंप्यूटर वास्तव में पढ़ और उपयोग कर सके। इसे इंफॉर्मेशन एक्सट्रैक्शन (Information Extraction) कहा जाता है। यह एक रोबोट को एक किशोर के अराजक टेक्स्ट संदेशों को पढ़ने और उन्हें एक औपचारिक रिपोर्ट में बदलने के लिए सिखाने जैसा है। लक्ष्य यह पता लगाना है कि क्या बदला, कब बदला, और कैसे एक जॉब ऑर्डर दूसरे से जुड़ा हुआ है, और इस पूरी प्रक्रिया में कहानी को खोए बिना। यदि हम ऐसा नहीं कर पाते हैं, तो कंपनियां अपनी गलतियों या सुधारों का पता लगाने की क्षमता खो देती हैं, जो कि बिना यह जाने कार चलाने जैसा है कि सड़क कहाँ जा रही है।

---

255-कैरेक्टर की सीमा का रहस्य

इस अध्ययन में, ताइवान के शोधकर्ताओं ने एक बहुत ही विशिष्ट, बहुत ही अव्यवस्थित समस्या का समाधान किया। वे एक CNC मशीनरी कंपनी (एक ऐसी जगह जो सटीक धातु के पुर्जे बनाती है) के पास गए और उनके पुराने वर्क ऑर्डर्स का अध्ययन किया। उन्होंने इन 399 ऑर्डर्स को पाया, लेकिन केवल 217 में ही कोई नोट मौजूद था। नोट्स पारंपरिक चीनी और अंग्रेजी का एक अराजक मिश्रण थे, जिनमें उद्योग की शब्दावली (jargon) भरी हुई थी, और—सबसे बड़ी बात—125 नोट ठीक 255 कैरेक्टर्स पर ही काट दिए गए थे।

255 क्यों? दरअसल, कंपनी एक पुराना डेटाबेस सिस्टम इस्तेमाल कर रही थी जिसे माइक्रोसॉफ्ट एक्सेस (Microsoft Access) कहा जाता है, जिसमें एक नियम था कि एक टेक्स्ट बॉक्स केवल 255 अक्षर ही रख सकता था। यदि किसी कर्मचारी ने लंबा नोट लिखा, तो कंप्यूटर ने उसे बीच में ही काट दिया, अक्सर एक वाक्य या एक महत्वपूर्ण विवरण के ठीक बीच में। यह एक रेसिपी को पढ़ने जैसा है जहाँ निर्देश "अंडे डालें" के बाद "डालें..." पर ही खत्म हो जाते हैं और फिर कुछ नहीं बचता।

टीम यह देखना चाहती थी कि क्या वे एक स्मॉल लैंग्वेज मॉडल (SLM)—एक प्रकार का AI जो भाषा समझने के लिए पर्याप्त स्मार्ट है लेकिन इतना छोटा है कि बिना इंटरनेट के सामान्य कंप्यूटर पर चल सके—का उपयोग करके इस गड़बड़ी को ठीक कर सकते हैं। वे कंपनी के गुप्त डेटा को किसी विशाल क्लाउड सर्वर पर नहीं भेजना चाहते थे; वे इसे स्थानीय और निजी रखना चाहते थे।

जासूस का टूलकिट: पइडेंटिक (Pydantic) और "ग्राउंडिंग" टेस्ट

इसे हल करने के लिए, शोधकर्ताओं ने एक विशेष "टेम्पलेट" बनाया जिसे पइडेंटिक स्कीमा (Pydantic schema) कहा जाता है। इसे एक बहुत ही सख्त, डिजिटल कुकी कटर की तरह समझें। चाहे आटा (टेक्स्ट) कितना भी अव्यवस्थित क्यों न हो, कटर उसे एक आदर्श आकार में ढाल देता है। AI को इन बिखरे हुए नोट्स को देखने और जानकारी को इस विशिष्ट आकार में डालने के लिए प्रशिक्षित किया गया था, जिसमें "कंपोनेंट" (किस भाग में बदलाव हुआ), "सबस्टीट्यूशन" (किस चीज से बदला गया), और "ट्रेसिबिलिटी लिंक्स" (यह पिछला जॉब कैसे जुड़ा है) जैसी चीजें पहचानी गईं।

उन्होंने एक 3-बिलियन-पैरामीटर वाले मॉडल (लार्ज लैंग्वेज मॉडल्स की दुनिया में एक "छोटा" AI) का उपयोग किया और उसे इस कुकी कटर को भरने के लिए सिखाया। लेकिन एक पेच था: AI थोड़ा दिवास्वप्न देखने वाला (daydreamer) है। जब वह मशीन के पुर्जे के बारे में कोई नोट देखता है, तो वह कभी-कभी इस बात को लेकर इतना उत्साहित हो जाता है कि जो सच हो सकता है, वह उन विवरणों को भी बना देता है जो वास्तव में वहां नहीं हैं। इसे हैलुसिनेशन (hallucination) कहा जाता है। यह एक ऐसे छात्र की तरह है, जिसे किसी कहानी का सारांश लिखने के लिए कहा गया हो, और वह कहानी को बेहतर बनाने के चक्कर में एक ऐसा पात्र बना देता है जो किताब में था ही नहीं।

परिणाम: खोजने में अच्छे, छानने में बुरे

परिणाम सफलता और एक बहुत ही विशिष्ट प्रकार की विफलता का मिश्रण थे।

पहले, अच्छी खबर: AI नियमों का पालन करने में अविश्वसनीय रूप से अच्छा था। 96.9% बार, इसने एक पूरी तरह से फॉर्मेट किया गया उत्तर दिया जो कुकी कटर में फिट बैठता था। इसने अधिकांश बदलावों को सफलतापूर्वक खोज लिया और यह भी पहचान सका कि नोट कहाँ कटा हुआ था।

हालाँकि, AI में एक बड़ी व्यक्तिगत खामी थी: वह अत्यधिक उदार (over-generous) था।

• चीजों को खोजने के लिए (Recall): यह बहुत अच्छा था। इसने वर्क ऑर्डर्स के बीच वास्तविक संबंधों में से 80% को खोज निकाला।
• सटीक होने के लिए (Precision): यह बहुत बुरा था। जिन कनेक्शनों का दावा उसने किया था, उनमें से केवल 10% ही वास्तव में वास्तविक थे।

साधारण शब्दों में: AI चिल्ला रहा था, "मुझे एक लिंक मिला! मुझे एक लिंक मिला!" और वह 10 में से केवल 1 बार सही था। वह 10 में से 9 बार तब भी "मुझे एक लिंक मिला!" चिल्ला रहा था जब वहां कोई लिंक ही नहीं था। वह मदद करने के चक्कर में कनेक्शन बना रहा था, जो एक फैक्ट्री में खतरनाक है जहाँ आपको सटीक रूप से जानने की जरूरत होती है कि क्या हुआ था।

दो समाधान: एक चेतावनी बनाम एक फिल्टर

शोधकर्ताओं ने AI को मनगढ़ंत बातें करने से रोकने के लिए दो अलग-अलग तरीके आजमाए।

प्रयास 1: "केवल तथ्यों तक सीमित रहें" प्रॉम्प्ट (The "Just the Facts" Prompt)
उन्होंने AI से बात करने की कोशिश की, प्रॉम्प्ट में एक विशेष निर्देश जोड़ा: "केवल वही लिखें जो आप टेक्स्ट में देख सकते हैं। यदि आप सुनिश्चित नहीं हैं, तो इसे खाली छोड़ दें।"

• परिणाम: यह उल्टा पड़ गया। AI ने न केवल मनगढ़ंत बातें बनाना बंद किया, बल्कि उसने कुछ भी उपयोगी लिखना भी बंद कर दिया। वह गलती करने से इतना डर गया कि उसने वास्तविक जानकारी भी हटा दी। सही लिंक की संख्या 80% से गिरकर 40% हो गई। "केवल तथ्यों तक सीमित रहें" के निर्देश ने AI को अपना काम करने के लिए बहुत अधिक संकोची बना दिया।

प्रयास 2: "सत्य फिल्टर" (The "Truth Filter")
AI को सावधान रहने के लिए कहने के बजाय, शोधकर्ताओं ने एक अलग, स्वचालित फिल्टर बनाया जो AI के काम पूरा करने के बाद चलता था। इस फिल्टर का एक सरल नियम था: "यदि AI ने कोई शब्द या संख्या लिखी है, तो जांचें कि क्या वह सटीक शब्द या संख्या मूल टेक्स्ट में मौजूद है। यदि नहीं, तो उसे हटा दें।"

• परिणाम: यह एक बड़ा सुधार था, लेकिन कोई जादुмयी इलाज नहीं। फिल्टर ने यह नहीं बदला कि AI कितनी चीजें ढूंढता है (Recall 80% ही रहा), और इसने सभी नकली शब्दों को मिटा दिया जो टेक्स्ट में नहीं थे, जिससे मनगढ़ंत स्ट्रिंग्स की संख्या शून्य हो गई। हालाँकि, AI की सटीकता (Precision) केवल 10% से बढ़कर 13.3% हुई।

यह 100% तक क्यों नहीं पहुँच पाया? क्योंकि AI अभी भी एक अलग तरह की गलती कर रहा था। भले ही उसके द्वारा उपयोग किए गए शब्द वास्तविक और मौजूद थे, फिर भी वह उन्हें गलत संबंध (relationship) के साथ जोड़ देता था। उदाहरण के लिए, वह एक नोट में दो वर्क ऑर्डर नंबर देख सकता है और अनुमान लगा सकता है कि वे आपस में जुड़े हुए हैं, जबकि वे वास्तव में केवल किसी अन्य कारण से अगल-बगल लिखे गए थे। फिल्टर इसे नहीं पकड़ सकता क्योंकि शब्द तो वहां हैं; त्रुटि कनेक्शन के तर्क (logic) में है, न कि शब्दों में।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि इस विशिष्ट, अव्यवस्थित प्रकार के डेटा के लिए, आप केवल AI को "ईमानदार रहने" के लिए नहीं कह सकते। इस आकार में, AI वास्तव में "जो टेक्स्ट में है" और "जो मुझे लगता है कि टेक्स्ट में है" के बीच के अंतर को नहीं समझता है। इसे एक डिटरमिनिस्टिक फिल्टर (deterministic filter)—एक कठोर, भावनाहीन नियम-जांचकर्ता—की आवश्यकता है ताकि वह अपनी गड़बड़ी को साफ कर सके।

अध्ययन दिखाता है कि हम इन पुराने, कटे-छंटे नोट्स से इंजीनियरिंग परिवर्तनों के इतिहास को रिकवर कर सकते हैं, लेकिन हमें यह स्वीकार करना होगा कि फिल्टर करने के बाद भी AI तार्किक गलतियाँ करेगा। "ग्राउंडिंग" निर्देश (उसे सावधान रहने के लिए कहना) स्थिति को बिगाड़ देता है, लेकिन एक "पोस्ट-हॉक फिल्टर" (उसके काम की बाद में जांच करना) सभी मनगढ़ंत शब्दों को सफलतापूर्वक हटा देता है और सटीकता में सुधार करता है, हालांकि यह AI की चीजों को जोड़ने की उलझन को ठीक नहीं कर सकता। यह एक याद दिलाता है कि कभी-कभी, दिवास्वप्न देखने वाले रोबोट को संभालने का सबसे अच्छा तरीका उसे उपदेश देना नहीं, बल्कि उसे एक तथ्य-जांचकर्ता (fact-checker) देना है जो झूठ पकड़ सके, भले ही रोबोट कहानी के मोड़ (plot twists) को गलत समझता रहे।