XDomainBench: Diagnosing Reasoning Collapse in High-Dimensional Scientific Knowledge Composition
यह शोध पत्र XDomainBench प्रस्तुत करता है, जो 20 वैज्ञानिक डोमेन में 8,500 से अधिक इंटरैक्टिव सत्रों वाला एक नैदानिक बेंचमार्क है, जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल, बहु-विषयक वर्कफ़्लो में बढ़ते संरचनात्मक (compositional) कठिनाई और त्रुटि-प्रवर्धक इंटरैक्शन पैटर्न के कारण व्यवस्थित तर्क-विहीनता (reasoning collapse) का शिकार होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए शोध पत्र XDomainBench: High-Dimensional Scientific Knowledge Composition में Reasoning Collapse का निदान का विवरण दिया गया है।
बड़ी तस्वीर: वह "सुपर-हेल्पर" जो भ्रमित हो जाता है
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, सर्वज्ञ सहायक (एक Large Language Model, या LLM) है जो इतिहास, गणित, जीव विज्ञान और वित्त के बारे में आपके सवालों के जवाब दे सकता है। आप उससे जीव विज्ञान के बारे में एक सरल प्रश्न पूछते हैं, और वह उसे सही बताता है। आप गणित का एक प्रश्न पूछते हैं, और वह उसे भी सही बताता है।
लेकिन क्या होता है जब आप उससे एक जटिल प्रश्न पूछते जिसमें जीव विज्ञान और गणित और वित्त सबको एक साथ मिलाने की आवश्यकता हो? और क्या होगा यदि आप ऐसे प्रश्नों की एक श्रृंखला पूछते हैं जहाँ हर मोड़ पर विषय थोड़ा बदल जाता है, जैसे कि एक वास्तविक वैज्ञानिक अनुसंधान परियोजना में होता है?
यह शोध पत्र XDomainBench नामक एक नया परीक्षण पेश करता है ताकि यह पता लगाया जा सके कि ये AI सहायक इस तरह के "मिक्स-एंड-मैच" (मिलावट वाले) सोचने के काम को कितनी अच्छी तरह संभालते हैं। शोधकर्ताओं ने एक डरावना पैटर्न पाया: जैसे-जैसे प्रश्न अधिक जटिल होते जाते हैं और उनमें अधिक विभिन्न विषय शामिल होते हैं, AI केवल थोड़ा खराब ही नहीं होता; बल्कि वह "रीज़निंग कोलैप्स" (तर्क विफलता) का शिकार हो जाता है। वह गलतियाँ करने लगता है, भ्रमित होने लगता है, और अंततः पूरी बातचीत से हार मान लेता है।
समस्या: "सिंगल-ट्रैक" बनाम "स्विस आर्मी नाइफ"
AI के लिए वर्तमान परीक्षण एक सीधी, खाली हाईवे पर कार चलाने की तरह हैं। वे AI से एक समय में एक प्रश्न पूछते हैं, जो आमतौर पर केवल एक विषय (जैसे "फ्रांस की राजधानी क्या है?") के बारे में होता है। यह AI के लिए आसान है।
लेकिन वास्तविक वैज्ञानिक कार्य एक अराजक, बहु-लेन वाले शहर के चौराहे (intersection) में कार चलाने जैसा है, जबकि साथ ही:
- एक मानचित्र (इतिहास) पढ़ रहा है।
- ईंधन दक्षता (गणित) की गणना कर रहा है।
- एक ट्रैफिक पुलिसकर्मी के साथ बातचीत (कानून) कर रहा है।
- मौसम (भौतिकी) के बारे में रेडियो प्रसारण सुन रहा है।
यह शोध पत्र तर्क देता है कि हमने AI को इस "शहर के चौराहे" वाली ड्राइविंग के लिए टेस्ट नहीं किया है। हमने केवल इसे हाईवे पर टेस्ट किया है। XDomainBench पहला परीक्षण है जो AI को उस अराजक चौराहे को पार करने के लिए मजबूर करता है।
परीक्षण: अराजकता का नुस्खा (लेकिन नियंत्रित अराजकता)
शोधकर्ताओं ने 20 अलग-अलग डोमेन (जैसे रसायन विज्ञान, कला, कानून और इंजीनियरिंग) में 8,598 इंटरैक्टिव सत्रों (बातचीत) का एक विशाल डेटासेट बनाया।
उन्होंने केवल यादृच्छिक (random) प्रश्न नहीं फेंके। उन्होंने यह नियंत्रित करने के लिए एक "नुस्खा" (recipe) का उपयोग किया कि AI को ठीक से कैसे चुनौती दी जाए:
- सामग्री (डोमेन): उन्होंने एक ही बातचीत में 1, 2, 3 या 4 अलग-अलग विषयों को मिलाया।
- पकाने की विधि (ट्रैजेक्टरी): उन्होंने नियंत्रण किया कि बातचीत कैसे आगे बढ़ती है। कभी-कभी कठिनाई एक समान रहती थी; कभी-कभी यह अचानक बढ़ जाती थी; कभी-कभी विषयों का मिश्रण जंगली तरीके से बदल जाता था।
इसे एक कुकिंग प्रतियोगिता की तरह समझें।
- स्तर 1: एक सैंडविच बनाएं (1 सामग्री)।
- स्तर 2: सलाद बनाएं जिसमें लेट्यूस और टमाटर हो (2 सामग्रियां)।
- स्तर 3: मांस, सब्जियों और मसालों वाला एक स्टू (stew) बनाएं (3 सामग्रियां)।
- स्तर 4: एक 5-कोर्स वाला शानदार भोजन बनाएं जिसका स्वाद हर निवाले के साथ बदलता रहे (4 सामग्रियां)।
शोधकर्ता यह देखना चाहते थे कि किस स्तर पर शेफ (AI) खाना जलाना शुरू कर देता है।
खोज: "कोलैप्स" (पतन)
जब उन्होंने परीक्षण किए, तो उन्हें प्रदर्शन में एक स्पष्ट, गैर-रैखिक गिरावट मिली।
- स्तर 1 (एकल विषय): AI ठीक-ठाक था (लगभग 38% सटीकता)।
- स्तर 4 (चार मिश्रित विषय): AI का प्रदर्शन गिरकर लगभग 27% रह गया।
लेकिन डरावनी बात केवल कम स्कोर नहीं थी; बल्कि यह था कि क्यों यह विफल हुआ। शोधकर्ताओं ने इस गिरावट के दो मुख्य कारणों की पहचान की:
1. "भारी बैकपैक" प्रभाव (प्रत्यक्ष कठिनाई)
ठीक वैसे ही जैसे एक भारी बैकपैक ले जाने वाला हाइकर जल्दी थक जाता है, AI "संज्ञानात्मक रूप से ओवरलोड" (cognitively overloaded) हो जाता है जब आप इसे एक साथ बहुत सारे क्षेत्रों को मिलाने के लिए कहते हैं। जिस क्षण आप ऐसा प्रश्न पूछते हैं जिसमें जीव विज्ञान और भौतिकी दोनों की आवश्यकता होती है, AI को दोनों का "भार" उठाना पड़ता है, और उसकी स्पष्ट रूप से सोचने की क्षमता तुरंत गिर जाती है।
2. "डोमिनो प्रभाव" (अप्रत्यक्ष अंतःक्रिया)
यह अधिक सूक्ष्म विफलता है। कल्पना करें कि एक बातचीत में AI टर्न 1 में एक छोटी सी गलती करता है। क्योंकि बातचीत इंटरैक्टिव है, वह गलती टर्न 2 को बिगाड़ देती है। टर्न 2 की त्रुटि टर्न 3 को और भी बदतर बना देती है।
- त्रुटि संचय (Error Accumulation): AI छोटी-छोटी गलतियों को जमा करता जाता है।
- तर्क टूटना (Reasoning Breaks): AI अचानक उस तर्क को भूल जाता है जिसका वह उपयोग कर रहा था और मतिभ्रम (hallucinations) दिखाने लगता है।
- डोमेन भ्रम (Domain Confusion): AI यह भूलने लगता है कि वह इतिहास के बारे में बात कर रहा है जबकि वास्तव में उसे रसायन विज्ञान के बारे में बात करनी चाहिए।
शोध पत्र इसे "सेशन कोलैप्स" कहता है। AI केवल एक प्रश्न गलत नहीं करता; पूरी बातचीत बिखर जाती है क्योंकि त्रुटियां एक-दूसरे को बढ़ाती हैं।
"डायग्नोसिस" टूल
खास बात यह है कि XDomainBench केवल यह नहीं कहता कि "AI विफल रहा।" यह एक चिकित्सा नैदानिक उपकरण (medical diagnostic tool) की तरह कार्य करता है। यह प्रत्येक बातचीत को विशिष्ट "लक्षणों" के साथ टैग करता है:
- क्या AI इसलिए विफल हुआ क्योंकि विषय बहुत कठिन था?
- क्या वह इसलिए विफल हुआ क्योंकि विषय बहुत तेज़ी से बदला?
- क्या वह इसलिए विफल हुआ क्योंकि वह भ्रमित हो गया कि वह किस विषय पर चर्चा कर रहा है?
यह शोधकर्ताओं को यह समझने में मदद करता है कि AI का दिमाग बिल्कुल कहाँ टूटता है, न कि केवल एक कम स्कोर दिखाकर।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि बड़े AI मॉडल इस मामले में आवश्यक रूप से बेहतर नहीं हैं। यहाँ तक कि सबसे स्मार्ट मॉडल्स ने भी दिखाया कि जब जटिलता बहुत अधिक हो गई, तो उनमें यह "कोलैप्स" हुआ।
शोधकर्ताओं ने पाया कि MoE (Mixture of Experts) मॉडल—वे मॉडल जिनके अंदर अलग-अलग "विशेषज्ञ" होते हैं—थोड़ा बेहतर प्रदर्शन करते हैं, जो यह सुझाव देता है कि विभिन्न विषयों के लिए विशेष "विशेषज्ञों" का होना मदद करता है। लेकिन कुल मिलाकर, वर्तमान पीढ़ी का AI अभी भी बहुत नाजुक है जब इसे वास्तविक दुनिया की, बहु-चरणीय, बहु-विषयक वैज्ञानिक तर्क करने के लिए कहा जाता है।
संक्षेप में: हमने एक ऐसा परीक्षण बनाया है जो साबित करता है कि AI एकल प्रश्नों का उत्तर देने में महान है लेकिन जटिल, बहु-चरणीय वैज्ञानिक समस्याओं में संघर्ष करता है जहाँ विभिन्न क्षेत्र आपस में टकराते हैं। यह शोध पत्र इस कमजोरी को मापने के लिए ब्लूप्रिंट प्रदान करता है ताकि हम अंततः इसे ठीक कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।