A large scale benchmark resource for data driven steel materials design

समस्या विवरण

उन्नत इस्पात (steel) का विकास अभी भी अत्यधिक रूप से पुनरावृत्ति वाले, लागतपूर्ण 'ट्रायल-एंड-एरर' (प्रयास और त्रुटि) रणनीतियों पर निर्भर है, क्योंकि रासायनिक संरचना, थर्मोमैकेनिकल प्रोसेसिंग रूट और यांत्रिक गुणों के बीच जटिल युग्मन (coupling) होता है। हालांकि डेटा-संचालित दृष्टिकोण और मशीन लर्निंग (ML) खोज प्रक्रिया को तेज करने का एक मार्ग प्रदान करते हैं, लेकिन उनकी प्रभावकारिता वर्तमान में मानकीकृत, पता लगाने योग्य (traceable) और बड़े पैमाने के बेंचमार्क डेटासेट की कमी के कारण सीमित है। मौजूदा साहित्य खनन (literature mining) प्रयास अक्सर निम्नलिखित समस्याओं से ग्रस्त होते हैं:

• विखंडन (Fragmentation): महत्वपूर्ण डेटा (संरचना, प्रसंस्करण, गुण) विषम पूर्ण-पाठ लेखों, तालिकाओं और चित्रों में बिखरा हुआ है।
• अपूर्णता (Incompleteness): कई निष्कर्षण पाइपलाइनें पूर्ण, संदर्भ-जागरूक सामग्री अवस्थाओं के पुनर्निर्माण के बजाय स्थानीय संस्थाओं (entities) या सरल ट्रिपलेट्स पर ध्यान केंद्रित करती हैं।
• पता लगाने की क्षमता का अभाव (Lack of Traceability): मैनुअल क्यूरेशन श्रम-गहन है और इसे स्केल करना कठिन है, जबकि स्वचालित विधियों में अक्सर प्रोवेनेंस ट्रैकिंग (provenance tracking) की कमी होती है, जिससे सत्यापन और निष्पक्ष मॉडल तुलना करना कठिन हो जाता है।

कार्यप्रणाली: स्टीलप्रोबेंच (SteelProBench) पाइपलाइन

लेखक स्टीलप्रोबेंच प्रस्तुत करते हैं, जो एक पुनरुत्पादक, तीन-चरणीय साहित्य-खनन पाइपलाइन के माध्यम से निर्मित एक बड़े पैमाने का बेंचमार्क है, जिसे विषम धातुकर्म (metallurgical) लेखों को मानकीकृत, मशीन-पठनीय रिकॉर्ड में बदलने के लिए डिज़ाइन किया गया है।

1. चरण 1: साहित्य प्राप्ति और कॉर्पस संगठन

   • अंतर्ग्रहण (Ingestion): स्वचालित प्राप्ति सार्वजनिक रिपॉजिटरी से 18,019 DOI-ट्रेसेबल लेख एकत्र करती है।
   • फिल्टरिंग: लेखों को पूर्ण-पाठ उपलब्धता, स्टील प्रासंगिकता, और आवश्यक स्कीमा तत्वों (संरचना, प्रसंस्करण, या गुण) की उपस्थिति के लिए स्क्रीन किया जाता है।
   • वर्गीकरण: दस्तावेजों को नियम-आधारित मिलान और LLM फॉलबैक का उपयोग करके 12 प्रमुख स्टील परिवारों (जैसे, उन्नत उच्च-शक्ति इस्पात, स्टेनलेस स्टील) में वर्गीकृत किया जाता है।
   • प्रतिनिधित्व: लेखों को मेटाडेटा, खंडित टेक्स्ट ब्लॉक्स और निकाले गए तालिकाओं वाले एक एकीकृत ढांचे में पार्स किया जाता है, जो मूल दस्तावेज़ संरचना को संदर्भ के लिए सुरक्षित रखता है।

2. चरण 2: सहयोगात्मक मल्टी-LLM निष्कर्षण

   • सेक्शन-अवेयर चंकिंग (Section-Aware Chunking): स्थानीय वैज्ञानिक संदर्भ (जैसे, एक ही प्रयोगात्मक संदर्भ के भीतर संरचना और प्रसंस्करण विवरण रखना) को बनाए रखने के लिए लेखों को खंड-आधारित चंक्स में विभाजित किया जाता है।
   • मल्टी-मॉडल निष्कर्षण: तीन अलग-अलग LLMs (Qwen3-32B, Gemma3-27B, और gpt-oss-20b) को एक साझा, स्कीमा-प्रतिबंधित प्रॉम्प्ट का उपयोग करके समानांतर में क्वेरी किया जाता है। यह एन्सेम्बल दृष्टिकोण व्यक्तिगत मॉडल पूर्वाग्रहों और संदर्भ सीमाओं को कम करता है।
   • निष्कर्षण लक्ष्य: मॉडल सामग्री डिस्क्रिप्टर, रासायनिक संरचना, प्रसंस्करण मार्ग (तापमान और समय जैसे मापदंडों सहित), और यांत्रिक गुणों को निकालते हैं, जो साक्ष्य स्पैन (evidence spans) के साथ संरचित JSON प्रदान करते हैं।

3. चरण 3: पोस्ट-प्रोसेसिंग और मानकीकरण

   • धातु विज्ञान-जागरूक सत्यापन (Metallurgy-Aware Validation): निकाले गए क्षेत्रों की भौतिकी-आधारित नियमों (जैसे, संरचनाओं की गैर-ऋणात्मकता, $YS \leq UTS$, यथार्थवादी तापमान सीमाएं) के विरुद्ध जांच की जाती है। अमान्य मानों को इम्प्यूट (impute) करने के बजाय फ्लैग किया जाता है या नल (null) सेट किया जाता है।
   • विश्वसनीयता-भारित संलयन (Reliability-Weighted Fusion): तीन मॉडलों के उम्मीदवार आउटपुट को एक होल्ड-आउट कैलिब्रेशन सेट से प्राप्त भारों का उपयोग करके संलयित किया जाता है। संख्यात्मक क्षेत्रों के लिए भारित औसत (weighted averaging) का उपयोग किया जाता है; श्रेणीबद्ध और टेक्स्ट क्षेत्रों के लिए भारित वोटिंग और सिमेंटिक समानता का उपयोग किया जाता है।
   • डुप्लिकेट हटाना (Deduplication): एक ही DOI के रिकॉर्ड की तुलना एक संयुक्त समानता स्कोर (संरचना वेक्टर कोसाइन समानता + प्रसंस्करण मार्ग सिमेंटिक समानता) का उपयोग करके की जाती है। सबसे पूर्ण और विश्वसनीय रिकॉर्ड को बरकरार रखा जाता है।
   • सामान्यीकरण (Normalization): विषम इकाइयों और शब्दावली को मानकीकृत किया जाता है (जैसे, GPa को MPa में बदलना, घंटों को मिनटों में बदलना), और प्रसंस्करण मार्गों को क्रमित चरणों में क्रमबद्ध किया जाता है।

प्रमुख योगदान

• स्टीलप्रोबेंच डेटासेट: एक संसाधन जिसमें 14,825 DOI-ट्रेसेबल रिकॉर्ड हैं जो सामग्री पदनाम, रासायनिक संरचना, प्रसंस्करण मार्गों और यांत्रिक गुणों (YS, UTS, EL) को जोड़ते हैं।
• एकीकृत स्कीमा: पिछले डेटासेट्स के विपरीत जो अलग-थलग गुणों पर ध्यान केंद्रित करते हैं, स्टीलप्रोबेंच डेटा को सामग्री-अवस्था स्तर (material-state level) पर व्यवस्थित करता है, जो प्रदर्शन से प्रसंस्करण इतिहास को स्पष्ट रूप से जोड़ता है।
• पुनरुत्पादक पाइपलाइन: एक पूरी तरह से ओपन-सोर्स वर्कफ़्लो जो सहयोगात्मक मल्टी-LLM निष्कर्षण, धातु विज्ञान-जागरूक सत्यापन और प्रोवेनेंस ट्रैकिंग को जोड़ता है।
• ट्रेसेबिलिटी (Traceability): प्रत्येक रिकॉर्ड में DOI-स्तर का प्रोवेनेंस और साक्ष्य स्पैन शामिल है जो निकाले गए मानों को मूल टेक्स्ट से जोड़ता है।

परिणाम और सत्यापन

• भौतिक निरंतरता: डेटासेट विविध स्टील परिवारों में फैला हुआ है और स्ट्रेंथ-डक्टिलिटी स्पेस (UTS बनाम EL) और प्रसंस्करण क्रिया आवृत्तियों (जैसे, रोलिंग, एनीलिंग) में भौतिक रूप से सार्थक वितरण प्रदर्शित करता है जो धातुकर्म साहित्य के रुझानों के अनुरूप है।
• विशेषज्ञ ऑडिट: डोमेन विशेषज्ञों द्वारा यादृच्छिक 5% उपसमुच्चय (741 रिकॉर्ड) के मैनुअल ऑडिट ने 98.38% की समग्र रिकॉर्ड-स्तरीय सटीकता प्राप्त की।
  • यांत्रिक गुणों और रासायनिक संरचनाओं ने 100% सहमति प्राप्त की।
  • प्रसंस्करण मार्गों ने 94.6% सहमति प्राप्त की, जहाँ विसंगतियां मुख्य रूप से तथ्यात्मक त्रुटियों के बजाय सिमेंटिक संपीड़न (semantic compression) के कारण थीं।
• SteelBERT के साथ तुलना: SteelBERT प्रोजेक्ट के 406 रिकॉर्ड के स्वतंत्र, मैन्युअल रूप से क्यूरेट किए गए उपसमुच्चय के विरुद्ध तुलना करने पर:
  • पाइपलाइन ने उच्च-विश्वास संरेखण स्कोर (>80/100) के साथ मूल्यांकित DOIs के 78% को पुनः प्राप्त किया।
  • औसत संरेखण स्कोर 93.54/100 (38.75/40 कवरेज, 56.60/60 सटीकता) था।
  • सूचना लाभ (Information Gain): स्वचालित पाइपलाइन ने 38 अतिरिक्त वैध रिकॉर्ड की पहचान की (अनमैच्ड उम्मीदवारों का 71.71%), जिन्हें मैनुअल क्यूरेशन द्वारा मिस कर दिया गया था, जो कि 9.36% प्रभावी सूचना लाभ का प्रतिनिधित्व करता है।
• डाउनस्ट्रीम उपयोगिता: स्टीलप्रोबेंच पर ओपन-सोर्स LLMs (Qwen3, Gemma3, DeepSeek-R1) को फाइन-ट्यून करने से संपत्ति भविष्यवाणी प्रदर्शन में काफी सुधार हुआ।
  • बेस मॉडल खराब सटीकता ($R^2 \approx 0$ या नकारात्मक) दिखाते हैं।
  • फाइन-ट्यून्ड मॉडल ने स्ट्रेंथ भविष्यवाणी (YS/UTS) के लिए $R^2 > 70\%$ प्राप्त किया।
  • एलोंगेशन (EL) भविष्यवाणी अधिक चुनौतीपूर्ण बनी हुई है ($R^2 कम$), जो केवल टेक्स्ट से सूक्ष्म संरचनात्मक विशेषताओं (microstructural features) का अनुमान लगाने की कठिनाई को दर्शाती है।

महत्व और दावे

यह पेपर दावा करता है कि स्टीलप्रोबेंच डेटासेट स्केल और डेटा फिडेलिटी (fidelity) के बीच सामंजस्य स्थापित करता है, जो पुनरुत्पादक AI-सहायता प्राप्त स्टील डिजाइन के लिए एक अनिवार्य ट्रेसेबल बेंचमार्क प्रदान करता है।

• एंटिटी एक्सट्रैक्शन से परे: यह कार्य प्रदर्शित करता है कि पूर्ण-पाठ साहित्य से पूर्ण सामग्री अवस्थाओं का पुनर्निर्माण करना संभव है, जो सरल एंटिटी एक्सट्रैक्शन से आगे बढ़कर प्रोसेस-अवेयर मॉडलिंग की ओर बढ़ता है।
• मैनुअल क्यूरेशन का पूरक: परिणाम एक पूरक मॉडल का सुझाव देते जहाँ डोमेन विशेषज्ञ स्कीमा और सत्यापन नियम परिभाषित करते हैं, जबकि स्वचालित निष्कर्षण बड़े, विषम साहित्य संग्रहों में कवरेज का विस्तार करता है, जिससे वह जानकारी भी प्राप्त होती है जो अक्सर मैनुअल क्यूरेशन द्वारा छूट जाती है।
• भविष्य के कार्य के लिए आधार: डेटासेट टेक्स्ट-व्युत्पन्न सामग्री डेटा से क्या सीखा जा सकता है, इसका मूल्यांकन करने के लिए एक कठोर परीक्षण मंच प्रदान करता है, जो वर्तमान सीमाओं (जैसे, डक्टिलिटी भविष्यवाणी) को उजागर करता है और भविष्य की जरूरतों (जैसे, मल्टीमॉडल एकीकरण - माइक्रोस्ट्रक्चर, फेज-लेवल डेटा) की ओर संकेत करता है।
• विस्तारणीयता (Extensibility): पाइपलाइन को अन्य मिश्र धातु प्रणालियों (जैसे, सुपरअलॉयज, हाई-एंट्रॉपी अलॉय) के लिए अनुकूलित करने के लिए डिज़ाइन किया गया है जहाँ प्रदर्शन रचना-प्रसंस्करण-संरचना के युग्मित संबंधों द्वारा नियंत्रित होता है।

लेखक इस बात पर जोर देते हैं कि स्टीलप्रोबेंच मैनुअल क्यूरेशन का विकल्प नहीं है, बल्कि इसे बढ़ाने वाला एक स्केलेबल टूल है, जो अगली पीढ़ी के सामग्री सूचना विज्ञान (materials informatics) के लिए एक संरचित, मानकीकृत और ऑडिट योग्य आधार प्रदान करता है।