Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models
यह शोध पत्र Linear-LLM-SCM को प्रस्तुत करता है, जो लीनियर-गौसियन स्ट्रक्चरल कॉज़ल मॉडल्स में मात्रात्मक कॉज़ल गुणांकों (quantitative causal coefficients) का अनुमान लगाने की लार्ज लैंग्वेज मॉडल्स की क्षमता को बेंचमार्क करने के लिए एक फ्रेमवर्क है, जो वास्तविक दुनिया के डेटासेट्स में उनकी सटीकता और स्थिरता की महत्वपूर्ण सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर मौजूद लगभग हर किताब, लेख और वेबसाइट को पढ़ लिया है। आप उससे एक सवाल पूछते हैं, और वह एक अनुभवी प्रोफेसर के आत्मविश्वास के साथ उत्तर देता है। लेकिन यहाँ एक पेंच है: हालाँकि यह रोबोट यह बताने में अद्भुत है कि दो चीजें आपस में कैसे जुड़ी हैं (जैसे कि "धूम्रपान से खांसी होती है"), लेकिन यह अक्सर इस बात में संघर्ष करता है कि वे कितनी गहराई से जुड़ी हैं (जैसे कि "धूम्रपान से खांसी ठीक 15% बढ़ जाती है")। यह गुणात्मक तर्क (qualitative reasoning - कहानी जानना) और मात्रात्मक तर्क (quantitative reasoning - गणित जानना) के बीच का अंतर है। विज्ञान की दुनिया में, हम "कॉज़ल मॉडल्स" (causal models) का उपयोग इन कहानियों को मैप करने के लिए करते हैं। कॉज़ल मॉडल को एक फ्लोचार्ट या एक रेसिपी की तरह समझें जहाँ तीर दिखाते हैं कि एक सामग्री दूसरी को कैसे बदलती है। आमतौर पर, वैज्ञानिकों को उस रेसिपी में सटीक मात्रा निर्धारित करने के लिए वास्तविक प्रयोगों से नंबर निकालने की आवश्यकता होती है। लेकिन क्या होगा यदि हम बस अपने सुपर-स्मार्ट रोबोट से यह अनुमान लगाने के लिए कह सकें कि वे नंबर क्या हैं, जो उसने पढ़ा है? यही वह बड़ा सवाल है जो आज शोधकर्ता पूछ रहे हैं: क्या एक AI, जो दुनिया के बारे में सब कुछ जानता है, भविष्य की सटीक भविष्यवाणी करने के लिए गणित भी कर सकता है?
इस शोध पत्र का शीर्षक "Linear-LLM-SCM" है, जो ठीक इसी बात का परीक्षण करने के लिए एक खेल का मैदान तैयार करता है। शोधकर्ताओं ने एक खेल बनाया जहाँ उन्होंने सात अलग-अलग "लार्ज लैंग्वेज मॉडल्स" (LLMs - इन सुपर-स्मार्ट रोबोट्स का फैंसी नाम) को एक वास्तविक दुनिया की प्रणाली का नक्शा दिया—एक 'डायरेक्टेड एसाइक्लिक ग्राफ' (Directed Acyclic Graph), या संक्षेप में DAG। आप एक DAG को कारण और प्रभाव के एकतरफा सड़क मानचित्र के रूप में समझ सकते हैं, जहाँ आप चक्कर नहीं लगा सकते। उस मानचित्र ने दिखाया कि कौन से चर (variables) (जैसे कि "ग्लूकोज का स्तर" या "पैसे खर्च करना") दूसरों को प्रभावित करते हैं। रोबनों का काम एक विशेषज्ञ सांख्यिकीविद् की तरह व्यवहार करना और उन सटीक गणितीय समीकरणों को लिखना था जो इन संबंधों का वर्णन करते हैं, विशेष रूप से "कोएफिशिएंट्स" (coefficients - वे नंबर जो बताते हैं कि प्रभाव कितना मजबूत है) का अनुमान लगाना।
टीम ने सात अलग-अलग वास्तविक दुनिया के मानचित्रों का परीक्षण किया, जिसमें लोगों के पैसे खर्च करने के तरीके से लेकर शैवाल (algae) में पौधों के बढ़ने तक की चीजें शामिल थीं। उन्होंने रोबोटों से मानचित्र और चरों के विवरण को देखने के लिए कहा, और फिर प्रत्येक भाग के लिए एक रिग्रेशन समीकरण (एक गणितीय सूत्र) लिखने को कहा। इसके बाद उन्होंने रोबots के अनुमानों की तुलना "ग्राउंड ट्रुथ" (ground truth) से की—यानी उन वास्तविक, सही नंबरों से जिन्हें वैज्ञानिकों ने पहले ही वास्तविक दुनिया में मापा था।
परिणाम "बुरे नहीं हैं" और "ओह, गलती हो गई" का मिश्रण थे। शोधकर्ताओं ने पाया कि हालांकि रोबोट कभी-कभी सही दिशा (सकारात्मक या नकारात्मक प्रभाव) का अनुमान लगा सकते थे, लेकिन वास्तविक नंबर बहुत ही अनिश्चित थे। यहाँ तक कि जब शोधकर्ताओं ने रोबोटों को यथासंभव सुसंगत होने के लिए कहा (एक "टेम्परेचर" को शून्य पर सेट करके, जो रोबोट को अनुमान लगाने के बजाय केवल गणना करने के लिए कहने जैसा है), तब भी उत्तर एक प्रयास से दूसरे प्रयास में बहुत भिन्न थे। उदाहरण के लिए, "कैक्सिया" (Cachexia - मांसपेशियों की बर्बादी से संबंधित) मानचित्र पर, एक रोबोट ने 1.07 का कोएफिशिएंट बताया, जबकि दूसरे ने 1.04, लेकिन भिन्नता इतनी अधिक थी कि चिंताजनक थी। "एल्गल" (Algal) मानचित्र पर, एक छोटे रोबोट मॉडल (Llama 3.1 8B) ने तो एक पठनीय समीकरण लिखने में ही पूरी तरह से विफलता दिखाई।
शोधकर्ताओं ने यह देखने के लिए कि वे कितने कठिन हैं, रोबोटों का एक 'स्ट्रेस टेस्ट' भी किया। सबसे पहले, उन्होंने माप की इकाइयों को बदल दिया (जैसे माइक्रोमीटर से नैनोमीटर में बदलना)। आश्चर्यजनक रूप से, कभी-कभी इसने रोबोटों के उत्तरों को गलती से बेहतर बना दिया, जो संभवतः इसलिए क्योंकि नंबर लिखना आसान हो गया था, न कि इसलिए कि रोबोटों ने भौतिकी (physics) को बेहतर ढंग से समझा। दूसरा, उन्होंने मानचित्र में नकली कनेक्शन (spurious edges) जोड़कर रोबोटों को चकमा दिया। जब मानचित्र में एक नकली तीर था जो एक चीज़ से दूसरी चीज़ की ओर इशारा कर रहा था लेकिन वास्तव में उसे प्रभावित नहीं कर रहा था, तो रोबोट का प्रदर्शन गिर गया। वे भ्रमित हो गए, और विभिन्न कारकों के महत्व को रैंक करने की उनकी क्षमता खराब हो गई।
मुख्य निष्कर्ष यह है कि जबकि ये AI मॉडल कारण और प्रभाव की कहानी समझने में बहुत अच्छे हैं, वे वर्तमान में उन प्रभावों के सटीक आकार की भविष्यवाणी करने के लिए गणित करने में अविश्वसनीय हैं। यह अध्ययन सुझाव देता है कि स्वास्थ्य सेवा या क्लिनिकल सेटिंग्स जैसे उच्च-दांव वाले निर्णयों के लिए इन रोबोटों का उपयोग करना अभी जोखिम भरा है क्योंकि उनके नंबर असंगत हो सकते हैं और समस्या को प्रस्तुत करने के तरीके में छोटे बदलावों के प्रति संवेदनशील होते हैं। लेखक यह नहीं कह रहे हैं कि रोबोट बेकार हैं; वे कह रहे हैं कि हमें बहुत सावधान रहने की आवश्यकता है और अंतिम नंबरों के लिए उन पर भरोसा नहीं करना चाहिए जब तक कि वे बहुत अधिक स्थिर न हो जाएं। उन्होंने अपना परीक्षण ढांचा (testing framework) सार्वजनिक रूप से जारी कर दिया है ताकि अन्य वैज्ञानिक इस समस्या को ठीक करने की कोशिश जारी रख सकें, इस उम्मीद में कि एक दिन, हमारे डिजिटल सहायक न केवल हमें कहानी बता पाएंगे, बल्कि उनका गणित भी पूरी तरह से कर पाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।