ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning
यह शोधपत्र ReasonBench का परिचय देता है, जो एक ऐसा बेंचमार्क सुइट है जो यह प्रदर्शित करता है कि LLM तर्क प्रदर्शन बार-बार निष्पादन के दौरान महत्वपूर्ण, संरचित अस्थिरता प्रदर्शित करता है, जिससे यह तर्क दिया जाता है कि एकल-बिंदु मूल्यांकन अपर्याप्त हैं और गुणवत्ता, लागत एवं विश्वसनीयता के बीच के व्यापारों को सटीक रूप से पकड़ने के लिए वितरण-जागरूक मूल्यांकन की वकालत की जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ ReasonBENCH पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "सिक्का उछालने" (Coin Flip) की समस्या
कल्पना कीजिए कि आपने एक विशिष्ट व्यंजन बनाने के लिए एक शेफ को काम पर रखा है। आप उनसे उसे 30 बार बनाने के लिए कहते हैं।
- पुराना तरीका: आप उनसे इसे एक बार बनाने को कहते हैं, चखते हैं, और कहते हैं, "यह शेफ 9/10 है।"
- वास्तविकता: जब आप उनसे इसे 30 और बार बनाने के लिए कहते हैं, तो कभी व्यंजन 10/10 होता है, कभी 4/10 होता है, और कभी तो वह रसोई ही जला देता है। फिर भी, इसका औसत (average) अभी भी 9/10 जैसा दिख सकता है।
यह पेपर तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए—जो चैटबॉट्स के पीछे के AI दिमाग हैं—हम केवल औसत को देखकर खुद से झूठ बोल रहे हैं।
शोधकर्ताओं ने पाया कि भले ही आप AI को "लालची" (greedy) होने के लिए कहें (जिसका अर्थ है कि उसे हमेशा सबसे स्पष्ट, सुरक्षित उत्तर चुनना चाहिए, जैसे बिना किसी रैंडमनेस के एक रोबोट), परिणाम फिर भी बहुत अधिक उतार-चढ़ाव दिखाते हैं। एक बार यह गणित की समस्या को पूरी तरह से हल करता है; अगली बार यह उसी समस्या में विफल हो जाता है।
नया टूल: ReasonBENCH
इसे साबित करने के लिए, लेखकों ने ReasonBENCH नामक एक टेस्टिंग लैब बनाई। एक समस्या को एक बार हल करने के बजाय, उन्होंने AI को वही समस्या लगातार 30 बार हल करने के लिए कहा। उन्होंने यह किया:
- 12 अलग-अलग AI मॉडल्स के लिए (OpenAI, Google, Anthropic जैसी कंपनियों के)।
- 10 अलग-अलग सोचने की रणनीतियों के लिए (जैसे "Chain of Thought," "Tree of Thoughts," या सिर्फ "Ask and Answer")।
- 6 अलग-अलग प्रकार के कार्यों के लिए (गणित की पहेलियाँ, कोडिंग, कविता लिखना, पेचीदा सवालों के जवाब देना)।
मुख्य निष्कर्ष (Aha! मोमेंट्स)
1. "स्टेबिलिटी टैक्सोनॉमी" (चार प्रकार के शेफ)
शोधकर्ताओं ने महसूस किया कि "अस्थिरता" (instability) केवल रैंडम शोर नहीं है। इसका एक पैटर्न है। उन्होंने दो अक्षों (axes) के साथ एक मानचित्र बनाया:
- ग्लोबल नॉइज़ (Global Noise): AI का प्रदर्शन इस आधार पर कितना बदलता है कि आप उसे क्या कार्य देते हैं? (क्या यह एक विशेषज्ञ है जो केवल गणित पर काम करता है लेकिन कविता में विफल हो जाता है?)
- रन नॉइज़ (Run Noise): जब आप AI को एक ही कार्य दो बार देते हैं, तो उसका प्रदर्शन कितना बदल जाता है? (क्या यह एक ऐसा शेफ है जो यह तय करने के लिए सिक्का उछालता है कि आज सूप का स्वाद कैसा होगा?)
उन्होंने चार प्रकार के सिस्टम पाए:
- स्टेबल जनरलिस्ट (Stable Generalists): हर चीज़ में अच्छा, हर बार। (एक भरोसेमंद शेफ)।
- नॉइज़ी जनरलिस्ट (Noisy Generalists): हर चीज़ में अच्छा, लेकिन कभी-कभी उनका बुरा दिन होता है।
- स्टेबल स्पेशलिस्ट (Stable Specialists): एक चीज़ में महान, दूसरी चीज़ों में बेकार, लेकिन सुसंगत (consistent)।
- डबली नॉइज़ी (Doubly Noisy): अप्रत्याशित और असंगत।
चौंकाने वाली बात: AI जो "सोचने की रणनीति" उपयोग करता है, वह भविष्यवाणी करती है कि वह किस श्रेणी में आएगा। कुछ रणनीतियाँ स्वाभाविक रूप से अधिक अराजक होती हैं, चाहे AI मॉडल कितना भी स्मार्ट क्यों न हो।
2. "लागत बनाम गुणवत्ता" का जाल (The Cost vs. Quality Trap)
हम अक्सर सोचते हैं: "अगर मैं एक स्मार्ट AI के लिए अधिक भुगतान करूँ या एक अधिक जटिल सोचने की विधि का उपयोग करूँ, तो मुझे बेहतर परिणाम मिलेंगे।"
पेपर कहता है: ज़रूरी नहीं कि ऐसा हो।
- महंगी विफलता (The Expensive Failure): कुछ बहुत महंगी, हाई-एंड मॉडल्स और जटिल रणनीतियाँ अक्सर कई बार चलाने पर अधिक बार विफल होती हैं। वे औसत रूप से सही उत्तर दे सकती हैं, लेकिन वे वहां तक पहुँचने के लिए बहुत अधिक कंप्यूट लागत (compute costs) भी खर्च करती हैं, और कभी-कभी वे बस क्रैश हो जाती हैं।
- सस्ती प्रतिरक्षा (The Cheap Immunity): आश्चर्यजनक रूप से, सस्ते, सरल तरीके (जैसे AI से सीधे पूछना) एक विशिष्ट प्रकार की विफलता के प्रति "प्रतिरक्षित" (immune) हैं। वे कभी बहुत अधिक लागत नहीं लेते, इसलिए भले ही वे गलत उत्तर दें, उन्होंने आपका पैसा बर्बाद नहीं किया है।
- उपमा (Analogy): कल्पना कीजिए कि आप लॉटरी टिकट खरीद रहे हैं।
- सस्ता तरीका: आप 1 ही खोया।
- महंगा तरीका: आप 1,000 भी हार सकते हैं। पेपर ने पाया कि महंगे टिकट अक्सर हमारी सोच से कहीं अधिक बार हार जाते हैं, भले ही वे कभी-कभी बड़ा जीत जाते हों।
3. यह क्यों हो रहा है? (यह केवल "रैंडमनेस" नहीं है)
आप सोच सकते हैं, "AI बस शब्दों को चुनने के लिए पासा फेंक रहा है।"
शोधकर्ताओं ने "पासा फेंकने" को बंद करके (तापमान को 0 पर सेट करके, जो AI को डिटरमिनिस्टिक बनाता है) इसका परीक्षण किया। अस्थिरता दूर नहीं हुई।
इसका मतलब है कि समस्या केवल AI द्वारा रैंडम शब्द चुनने की नहीं है। अस्थिरता गहरे मुद्दों से आती है:
- API: AI को चलाने वाले सर्वर बैकग्राउंड में डेटा को इधर-उधर शिफ्ट कर रहे होंगे।
- रणनीति (Strategy): सोचने के कुछ तरीके (जैसे कई संभावनाओं के माध्यम से खोजना) स्वाभाविक रूप से अव्यवस्थित होते हैं।
- इवैल्यूएटर (Evaluator): यदि AI को अपने काम का मूल्यांकन करना है, और ग्रेड देने वाला थोड़ा अस्थिर है, तो पूरी प्रक्रिया अस्थिर हो जाएगी।
हमें क्या करना चाहिए? (सीख)
पेपर सुझाव देता है कि हमें AI को आंकने का तरीका बदलने की ज़रूरत है:
- एकल नंबरों को देखना बंद करें: केवल यह न कहें कि "मॉडल A 85% सटीक है।" कहें कि "मॉडल A 85% सटीक है, लेकिन यह हर बार चलाने पर 60% और 95% के बीच झूलता रहता है।"
- "संयुक्त विफलता" (Joint Failure) की जाँच करें: AI को तैनात करते समय, आपको यह जानने की आवश्यकता है: "इस बात की क्या संभावना है कि यह AI महंगा और गलत दोनों होगा?" पेपर दिखाता है कि महंगे तरीके सस्ते तरीकों की तुलना में महंगे और गलत दोनों होने की अधिक संभावना रखते हैं।
- इवैल्यूएटर को ठीक करें, न कि केवल AI को: यदि आप एक जटिल रणनीति (जैसे सर्च ट्री) का उपयोग कर रहे हैं, तो स्थिरता लाने के लिए आप सबसे बड़ा काम यह कर सकते हैं कि "जज" (वह हिस्सा जो उत्तर की जाँच करता है) को परफेक्ट बनाएं। प्रॉम्प्ट या AI मॉडल को ठीक करने से उतना मदद नहीं मिलता जितना कि जज को ठीक करने से मिलता है।
सारांश
ReasonBENCH एक चेतावनी है। यह हमें बताता है कि AI रीजनिंग मौसम प्रणाली की तरह है, न कि एक लाइट स्विच की तरह। यह केवल "ऑन" या "ऑफ" नहीं है। यह उतार-चढ़ाव करता है। यदि हम केवल औसत मौसम रिपोर्ट देखते हैं, तो हम तूफान में फंस सकते हैं। हमें परिणामों के वितरण (distribution) को देखने की आवश्यकता है ताकि हमें पता चल सके कि क्या कोई AI वास्तव में विश्वसनीय है या केवल भाग्यशाली है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।