EngTrace: A Symbolic Benchmark for Verifiable Process Supervision of Engineering Reasoning
यह शोधपत्र EngTrace प्रस्तुत करता है, जो 1,350 संदूषण-प्रतिरोधी (contamination-resistant) इंजीनियरिंग समस्याओं और एक सत्यापन योग्य दो-चरणीय मूल्यांकन ढांचे से युक्त एक प्रतीकात्मक बेंचमार्क है, जिसका उद्देश्य सुरक्षा-महत्वपूर्ण, भौतिकी-आधारित वर्कफ़्लो में बड़े भाषा मॉडल (LLMs) की प्रक्रिया पर्यवेक्षण और एकीकृत तर्क क्षमताओं का कड़ाई से आकलन करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पुल डिजाइन करने के लिए एक नए इंजीनियर को काम पर रख रहे हैं। आप केवल यह नहीं चाहते कि वे स्टील की बीम के लिए सही संख्या का अनुमान लगाएं; आप देखना चाहते हैं कि उनका काम कैसा है। यदि वे गलती से सही उत्तर प्राप्त कर लेते हैं, या किसी ऐसे समान प्रश्न की नकल करते हैं जिसे उन्होंने याद किया है, तो वह पुल फिर भी ढह सकता है।
यह शोध पत्र EngTrace नामक एक नया "परीक्षण" पेश करता है, जिसे यह जांचने के लिए बनाया गया है कि क्या आर्टिफिशियल इंटेलिजेंस (AI) मॉडल वास्तव में इंजीनियरों की तरह सोच सकते हैं, न कि केवल अंतिम सही संख्या का अनुमान लगा सकते हैं।
यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "जादुई ट्रिक" बनाम वास्तविक इंजीनियरिंग
वर्तमान AI परीक्षण (जैसे गणित या कोडिंग क्विज़) एक जादूगर से टोपी से खरगोश निकालने के लिए कहने जैसा है। यदि खरगोश प्रकट होता है, तो जादूगर को एक अंक मिलता है। लेकिन वास्तविक इंजीनियरिंग में, आप केवल टोपी से खरगोश नहीं निकाल सकते; आपको यह जानना होगा कि खरगोश वहाँ कैसे पहुँचा, उसने क्या खाया, और क्या टोपी काफी मजबूत है।
मौजूदा AI बेंचमार्क अक्सर केवल अंतिम उत्तर की जाँच करते हैं। यदि एक AI कहता है "पुल को 50 टन स्टील की आवश्यकता है," तो उसे पास माना जाता है, भले ही उसका तर्क निरर्थक हो। यह खतरनाक है क्योंकि वास्तविक दुनिया में, एक गलत प्रक्रिया एक ढहा हुआ पुल पैदा करती है, न कि केवल गलत ग्रेड।
2. समाधान: EngTrace (द "ब्लूप्रिंट" टेस्ट)
शोधकर्ताओं ने EngTrace नामक एक नया परीक्षण क्षेत्र बनाया। इसे एक विशाल, स्वचालित कारखाने के रूप में सोचें जो चलते समय अद्वितीय इंजीनियरिंग पहेलियाँ बनाता है।
- कारखाना: 1,350 प्रश्न हाथ से लिखने के बजाय (जिसमें बहुत समय लगेगा और जो AI के प्रशिक्षण डेटा में लीक हो सकते हैं), उन्होंने 90 "ब्लूप्रिंट्स" (टेम्पलेट्स) लिखे।
- असेंबली लाइन: ये ब्लूप्रिंट्स स्वचालित रूप से अद्वितीय समस्याएँ उत्पन्न करते हैं। उदाहरण के लिए, एक ब्लूप्रिंट एक रासायनिक रिएक्टर के बारे में पूछ सकता है। कारखाना "प्रोपलीन" को "बेंजीन" से बदल सकता है, प्रवाह दर को 2.5 से 5.0 कर सकता है, और तुरंत एक बिल्कुल नई, पहले कभी न देखी गई समस्या बना सकता है।
- स्वर्ण मानक (The Gold Standard): महत्वपूर्ण रूप से, प्रत्येक समस्या के लिए जिसे कारखाना बनाता है, वह एक पूर्ण, चरण-दर-चरण समाधान (स्वर्ण मानक) भी प्रिंट करता है। यह शोधकर्ताओं को न केवल अंतिम उत्तर की जाँच करने की अनुमति देता है, बल्कि उस हर चरण की भी जाँच करने की अनुमति देता जो AI ने वहाँ तक पहुँचने के लिए लिया था।
3. परीक्षण विषय: 27 अलग-अलग "छात्र"
उन्होंने 27 अलग-अलग AI मॉडलों का परीक्षण किया, जिनमें सबसे शक्तिशाली "सुपर-ब्रेन" (फ्रंटियर मॉडल) से लेकर छोटे, ओपन-सोर्स मॉडल और गणित पर विशेष रूप से प्रशिक्षित मॉडल तक शामिल थे।
उन्होंने इन AI को तीन मुख्य क्षेत्रों में समस्याओं को हल करने के लिए कहा:
- केमिकल इंजीनियरिंग: जैसे एक विशाल, उच्च-दबाव वाली रसोई में सामग्री मिलाना।
- इलेक्ट्रिकल इंजीनियरिंग: जैसे एक जटिल शहर के पावर ग्रिड की वायरिंग करना।
- मैकेनिकल इंजीनियरिंग: जैसे कार या रोबोट के चलते हुए हिस्सों का निर्माण करना।
4. निर्णय: "कॉम्प्लेक्सिटी क्लिफ" (जटिलता की ढलान)
परिणामों ने एक आश्चर्यजनक और चिंताजनक पैटर्न का खुलासा किया, जिसे लेखक "कॉम्प्लेक्सिटी क्लिफ" कहते हैं।
- आसान चीजें: जब समस्याएँ सरल थीं (जैसे बुनियादी गणित या एकल-चरण सूत्र), तो लगभग सभी AI मॉडल अच्छा प्रदर्शन करते थे। यह एक छात्र द्वारा पहाड़े (multiplication tables) पर क्विज़ पास करने जैसा था।
- कठिन चीजें: जैसे-जैसे समस्याएँ कठिन होती गईं और उनमें कई भौतिक नियमों को एक साथ जोड़ने की आवश्यकता पड़ी, छोटे और "ओपन" मॉडल एक ढलान से नीचे गिर गए। उनका प्रदर्शन गिर गया। वे जटिलता को संभालने में असमर्थ थे।
- "गणित" का जाल: दिलचस्प बात यह है कि विशेष रूप से गणित पर प्रशिक्षित मॉडल इन इंजीनियरिंग कार्यों पर बेहतर नहीं कर सके। यह एक छात्र को गणित का जादूगर बनाने के लिए प्रशिक्षित करने जैसा है और फिर उससे घर बनाने के लिए कहने जैसा; बीजगणित (algebra) जानने का मतलब यह नहीं है कि आप ईंटें बिछाना या भौतिकी को समझना जानते हैं।
5. काम की जाँच कैसे की गई: "AI ट्रिब्यूनल"
चूंकि मनुष्य 27 मॉडलों के लिए 1,350 समस्याओं की जाँच नहीं कर सकते (यह 36,000+ जाँचें हैं!), इसलिए शोधकर्ताओं ने एक ट्रिब्यूनल बनाया।
- स्तर 1 (कैलकुलेटर): एक कंप्यूटर प्रोग्राम यह जाँचता है कि क्या संख्याएँ नियमों से मेल खाती हैं।
- स्तर 2 (न्यायाधीशों का पैनल): यदि कंप्यूटर सुनिश्चित नहीं है, तो तीन अलग-अलग, बहुत बुद्धिमान AI मॉडल का एक पैनल एक जूरी के रूप में कार्य करता है। वे चरणों को देखते हैं और निर्णय लेते हैं: "क्या छात्र ने सही सूत्र का उपयोग किया?" "क्या उन्होंने गणित की गलती की?" या "क्या उन्होंने केवल अनुमान लगाया?"
6. बड़ी खोज: विफलता के दो प्रकार
अध्ययन ने पाया कि विभिन्न मॉडल अलग-अलग तरीकों से विफल होते हैं:
- "सुपर-ब्रेन" (फ्रंटियर मॉडल): वे आमतौर पर सही भौतिकी और सही सूत्र जानते हैं। उनकी मुख्य गलती अंकगणित (arithmetic) है। वे जानते हैं कि क्या करना है, लेकिन वे अंत में गुणा या भाग करने में गलती कर देते हैं।
- "छोटे" मॉडल: वे अक्सर अवधारणा (concept) में विफल होते हैं। वे पूरी तरह से गलत सूत्र चुन लेते हैं, या वे समस्या की सेटिंग को गलत समझते हैं। वे गलत पहेली को हल करने की कोशिश कर रहे होते हैं।
सारांश
EngTrace यह परीक्षण करने का एक नया, कठोर तरीका है कि क्या AI वास्तव में इंजीनियरिंग कार्य कर सकता है। यह साबित करता है कि हालांकि AI गणित में बेहतर हो रहा है, फिर भी इसे गणित को वास्तविक भौतिकी के साथ जोड़ने में संघर्ष करना पड़ता है। शोध पत्र निष्कर्ष निकालता है कि हम अभी भी सुरक्षा-महत्वपूर्ण चीजों (जैसे पुल या रिएक्टर) को डिजाइन करने के लिए वर्तमान AI पर भरोसा नहीं कर सकते, क्योंकि वे बहुत जटिल होने पर अक्सर विफल हो जाते हैं, और वे केवल उत्तर में ही नहीं, बल्कि प्रक्रिया में भी गलतियाँ करते हैं।
शोध पत्र यह दावा नहीं करता है कि:
- यह दावा नहीं करता कि ये AI वास्तविक कारखानों या अस्पतालों में उपयोग के लिए तैयार हैं।
- यह सुझाव नहीं देता कि AI जल्द ही मानव इंजीनियरों की जगह ले लेगा।
- यह AI को ठीक करने का समाधान नहीं देता; यह केवल "गणित जानने" और "इंजीनियरिंग करने" के बीच के अंतर को उजागर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।