← नवीनतम पेपर
🔬 materials science

SCALAR: Quantifying Structural Hallucination, Consistency, and Reasoning Gaps in Materials Foundation Models

यह शोध पत्र SCALAR को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि सामग्री फाउंडेशन मॉडल विविध नैनोपार्टिकल संरचनाओं में ज्यामितीय पैमाने के सामान्यीकरण (geometric scale generalization) और संरचनात्मक तर्क को कैसे संभालते हैं, जो यह प्रकट करता है कि हालांकि स्पष्ट भौतिकी-आधारित तर्क (physics-grounded reasoning) मतिभ्रम (hallucinations) और त्रुटियों को कम कर सकता है, लेकिन यह अक्सर आउटपुट की निरंतरता और वैधता से समझौता करता है।

मूल लेखक: Can Polat, Erchin Serpedin, Mustafa Kurban, Hasan Kurban

प्रकाशित 2026-02-02
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Can Polat, Erchin Serpedin, Mustafa Kurban, Hasan Kurban

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर आर्किटेक्ट है जो पूर्ण, अनंत गगनचुंबी इमारतों के ब्लूप्रिंट (नक्शों) को पढ़ने में अविश्वसनीय रूप से कुशल है। यह आर्किटेक्ट (एक प्रकार का AI जिसे "फाउंडेशन मॉडल" कहा जाता है) उस इमारत की सामग्री, मजबूती और डिज़ाइन के बारे में सब कुछ बता सकता है, बस उसके ब्लूप्रिंट को देखकर।

लेकिन इसमें एक पेंच है: उस आर्किटेक्ट को कभी भी उस गगनचुंबी इमारत का LEGOs से बना एक छोटा मॉडल डिजाइन करने के लिए नहीं कहा गया है, न ही उसे यह समझने के लिए कहा गया है कि केवल एक LEGO ब्रिक (ईंट) को हाथ में लेकर मूल गगनचुंबी इमारत कैसी दिखती होगी।

यह शोध पत्र एक नया परीक्षण पेश करता है जिसे SCALAR कहा जाता है, यह देखने के लिए कि क्या ये AI आर्किटेक्ट "अनंत गगनचुंबी इमारत" से "छोटे LEGO मॉडल" के बीच के बदलाव को संभाल सकते हैं या वे अपना मानसिक संतुलन खो देंगे।

मुख्य समस्या: "हैलुसिनेशन" (भ्रम) का जाल

AI की दुनिया में, "हैलुसिनेशन" का मतलब केवल कुछ मनगढ़ंत कहना नहीं है; बल्कि आत्मविश्वास के साथ कुछ ऐसा कहना है जो सही तो लगता है लेकिन भौतिकी (फिजिक्स) के नियमों का उल्लंघन करता है।

इसे इस तरह सोचिए: यदि आप किसी इंसान से पानी से बने एक पूर्ण गोले (sphere) की कल्पना करने को कहें, तो वे जानते हैं कि वह गोल होगा। लेकिन यदि आप उनसे पानी के एक घन (cube) की कल्पना करने को कहें, तो वे हिचकिचा सकते हैं क्योंकि पानी स्वाभाविक रूप से घन नहीं बनाता है। लेकिन यदि आप एक AI से एक "घनीय जल क्रिस्टल" की कल्पना करने को कहें और वह आत्मविश्वास से कहे, "हाँ, इसके कोने नुकीले हैं और घनत्व उच्च है," तो उसने हैलुसिनेशन किया है। उसने इस तथ्य को अनदेखा कर दिया कि पानी के अणु इस तरह काम नहीं करते।

यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल किसी पदार्थ के "अनंत" संस्करण (बल्क क्रिस्टल) का वर्णन करने में तो बेहतरीन हैं, लेकिन जब उन्हें उसके "सीमित" संस्करण (नैनोपार्टिकल) का वर्णन करने के लिए कहा जाता है, तो वे अक्सर बुरी तरह विफल हो जाते हैं। वे संख्याएँ तो सही बता सकते हैं, लेकिन उन अंतर्निहित नियमों का उल्लंघन कर सकते हैं कि परमाणु आपस में कैसे जुड़ते हैं।

यह परीक्षण कैसे काम करता है (तीन चुनौतियाँ)

शोधकर्ताओं ने 1-1 परमाणु से लेकर 18,000 से अधिक परमाणुओं तक की संरचनाओं का एक विशाल डेटासेट बनाया। फिर उन्होंने AI को तीन विशिष्ट परीक्षणों के माध्यम से परखा:

  1. "ज़ूम-आउट" परीक्षण (CIF से प्रॉपर्टी):

    • सेटअप: आप AI को एक पूर्ण क्रिस्टल (यूनिट सेल) का ब्लूप्रिंट देते हैं।
    • कार्य: AI को उस क्रिस्टल के एक छोटे, कटे हुए हिस्से (नैनोपार्टिकल) के गुणों की भविष्यवाणी करनी होती है।
    • ट्विस्ट: AI को यह पता लगाना होगा कि जैसे-जैसे वह टुकड़ा बड़ा या छोटा होता है, उसके गुण कैसे बदलते हैं।
    • परिणाम: कई AI ने बुनियादी गणित तो सही किया, लेकिन वे "ट्रेंड" (रुझान) को समझने में विफल रहे। वे लगातार यह नहीं कह सके कि, "जैसे-जैसे टुकड़ा बड़ा होगा, घनत्व समान रहना चाहिए," या "जैसे-जैसे यह छोटा होगा, सतह का क्षेत्रफल बदलेगा।"

  2. "सोचो और बताओ" परीक्षण (चेन-ऑफ-थॉट):

    • सेटअप: शोधकर्ताओं ने AI से कहा: "मुझे केवल उत्तर न दें; भौतिकी का उपयोग करके अपने तर्क को चरण-दर-चरण समझाएं।"
    • परिणाम: यह एक दोधारी तलवार साबित हुआ। कभी-कभी, AI को "सोचने" के लिए मजबूर करने से वह अधिक सटीक हो गया। लेकिन अक्सर, इसने AI को कम सुसंगत (inconsistent) बना दिया। यह एक ही प्रश्न के लिए एक बार में बेहतरीन स्पष्टीकरण दे देता था, और अगली बार बिल्कुल अलग और गलत स्पष्टीकरण देता था, भले ही सवाल बिल्कुल वही हो। यह एक ऐसे छात्र की तरह है जो गणित के सवाल को हल तो कर लेता है, लेकिन अगर उसे यह समझाना पड़े कि उसने ऐसा क्यों किया, तो वह भ्रमित हो जाता है।

  3. "रिवर्स डिटेक्टिव" परीक्षण (इनवर्स रिट्रीवल):

    • सेटअप: आप AI को गुणों का एक सेट देते हैं (जैसे, "यह सामग्री भारी है, इसका एक विशिष्ट आयतन है, और यह बहुत घनी है")।
    • कार्य: AI को उम्मीदवारों की एक कतार में से सही ब्लूप्रिंट चुनना होगा।
    • परिणाम: कुछ AI इस काम में आश्चर्यजनक रूप से अच्छे थे, वे जासूसों की तरह काम करते थे। हालाँकि, अन्य AI गलत ब्लूप्रिंट चुन लेते थे, भले ही उनका उस सामग्री का विवरण भौतिक रूप से तर्कसंगत लग रहा हो। उन्होंने एक ऐसा "निकटतम मिलान" चुना जो सुनने में सही लगा लेकिन वास्तव में गलत सामग्री थी।

बड़ी खोज: सटीकता एक झूठ है

इस शोध पत्र की सबसे महत्वपूर्ण खोज यह है कि आप AI पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वह सही संख्या दे रहा है।

कल्प_ना कीजिए कि एक छात्र परीक्षा दे रहा है।

  • छात्र A के 90% उत्तर सही हैं, लेकिन जब भी आप उससे एक ही सवाल पूछते हैं, वह अपना उत्तर बदल देता है।
  • छात्र B के 85% उत्तर सही हैं, लेकिन उसके उत्तर हमेशा सुसंगत होते हैं और एक तार्किक पैटर्न का पालन करते हैं।

वर्तमान बेंचमार्क आमतौर पर केवल स्कोर (90% बनाम 85%) देखते हैं। यह शोध पत्र कहता है, "ठहरिए! छात्र A अविश्वसनीय है क्योंकि वह अपनी बात पर कायम नहीं रह सकता।"

शोधकर्ताओं ने पाया कि जब उन्होंने AI का परीक्षण "आउट-ऑफ-डिस्ट्रीब्यूशन" डेटा (ऐसे आकार जो AI ने पहले नहीं देखे थे) पर किया, तो AI की सुसंगत रहने और भौतिक नियमों का पालन करने की क्षमता ढह गई, भले ही उसके कच्चे सटीकता नंबर ठीक लग रहे हों।

निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि हमें विज्ञान में AI को मापने के लिए एक नए तरीके की आवश्यकता है। हम केवल यह नहीं पूछ सकते, "क्या उत्तर सही है?" हमें यह पूछना होगा:

  • "क्या उत्तर सुसंगत है?"
  • "क्या यह भौतिकी के नियमों का पालन करता है?"
  • "जब वस्तु का आकार बदलता है, तो क्या यह भ्रम (hallucinate) पैदा करता है?"

SCALAR बेंचमार्क एक ऐसा उपकरण है जिसे इन "स्मार्ट लेकिन पागल" क्षणों को पकड़ने के लिए बनाया गया है, इससे पहले कि हम इन AI मॉडलों पर बैटरी या दवाओं जैसी वास्तविक दुनिया की चीजों के लिए सामग्री डिजाइन करने के लिए भरोसा करें। यह एक वास्तविकता की जांच है ताकि यह सुनिश्चित हो सके कि जब कोई AI परमाणुओं के बारे में बात करता है, तो वह वास्तव में परमाणुओं के बारे में बात कर रहा होता है, न कि केवल एक ऐसी कहानी बना रहा होता है जो वैज्ञानिक लगती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🔬 cond-mat.mtrl-sci →