Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression

एक ऐसी दुनिया की कल्पना करें जहाँ विशाल, सुपर-स्मार्ट कंप्यूटर अथक जासूसों की तरह काम करते हैं, जो अपनी पूरी विचार प्रक्रिया को चरण-दर-चरण लिखकर जटिल रहस्यों को सुलझाते हैं। आधुनिक "लार्ज रीजनिंग मॉडल्स" इसी तरह काम करते हैं: वे केवल उत्तर का अनुमान नहीं लगाते; बल्कि वे यह साबित करने के लिए कि वे क्यों सही हैं, एक लंबी, तार्किक कहानी बुनते हैं। लेकिन ये कहानियाँ अविश्वसनीय रूप से लंबी हो सकती हैं, जिससे कंप्यूटर की मेमोरी का बहुत बड़ा हिस्सा घेर लिया जाता है, ठीक वैसे ही जैसे एक जासूस हर एक सुराग, गवाह के बयान और मानचित्र को एक साथ अपने दिमाग में रखने की कोशिश करता है। इन कंप्यूटरों को तेज़ और सस्ता चलाने के लिए, वैज्ञानिकों ने "KV कैश कंप्रेशन" नामक एक तरकीब ईजाद की है। इसे एक जादुई फाइलिंग सिस्टम के रूप में समझें जो जासूस के नोट्स के "उबाऊ" या "अनावश्यक" हिस्सों को फेंक देता है, ताकि केवल सबसे महत्वपूर्ण अंशों को रखा जा सके जिससे कंप्यूटर अभी भी केस सुलझा सके।

लंबे समय तक, सभी ने यह मान लिया था कि यदि यह फाइलिंग सिस्टम अंतिम उत्तर सही रखता है, तो इसने उस उत्तर तक पहुँचने वाले महत्वपूर्ण सुरागों को भी सुरक्षित रखा होगा। यह तर्कसंगत लग रहा था: यदि जासूस कहता है "बटलर ने यह किया," और उत्तर सही है, तो नोट्स भी अच्छे होने चाहिए, है ना? लेकिन एक नया अध्ययन बताता है कि यह एक खतरनाक भ्रम हो सकता है। शोधकर्ताओं ने पाया कि आपके पास एक ऐसा जासूस हो सकता है जो सही उत्तर तो देता है लेकिन उस प्रमाण को पूरी तरह से भूल गया है (या फेंक दिया है) जो उसे सिद्ध करता है। उन्होंने पाया कि कंप्यूटर तर्क की टूटी हुई श्रृंखला के आधार पर एक सही निष्कर्ष "हैलुसिनेट" (भ्रमित होकर बनाना) कर सकता है, और क्योंकि हम केवल अंतिम उत्तर की जाँच कर रहे थे, हमें पता ही नहीं चला कि जासूस वास्तव में मनगढ़ंत बातें बना रहा था। यह एक बड़ी बात है क्योंकि वास्तविक जीवन में, जैसे कि चिकित्सा या विज्ञान में, यह जानना उतना ही महत्वपूर्ण है कि उत्तर क्यों सही है जितना कि स्वयं उत्तर जानना।

महान "सही उत्तर, गलत कारण" का रहस्य

इस शोध पत्र में, इलिनॉय विश्वविद्यालय अर्बाना-चैंपेन के शोधकर्ताओं ने इस "जादुई फाइलिंग सिस्टम" को परखने का निर्णय लिया। वे देखना चाहते थे कि क्या मेमोरी कंप्रेशन वास्तव में उत्तर के पीछे के तर्क को सुरक्षित रखता है, या यह केवल उत्तर को सुरक्षित रखता है जबकि उसके प्रमाण को नष्ट कर देता है। इसे करने के लिए, उन्होंने एक चतुर प्रयोग तैयार किया जो एक "टाइम-ट्रेवल रिप्ले" (समय यात्रा पुनरावृत्ति) की तरह काम करता है।

सबसे पहले, उन्होंने एक सुपर-स्मार्ट कंप्यूटर (बिना किसी मेमोरी कंप्रेशन के) को कई कठिन समस्याओं, जैसे पेचीदा गणितीय पहेलियाँ, वैज्ञानिक प्रश्न और चिकित्सा गणनाओं को हल करने दिया। उन्होंने कंप्यूटर की पूरी "थॉट ट्रेस" (विचार प्रक्रिया)—उसकी पूरी, चरण-दर-चरण कहानी—को सहेज लिया। फिर, उन्होंने उसी कहानी को लिया और अलग-अलग कंप्रेशन विधियों से उस अंत को "रीप्ले" करने के लिए कहा। कंप्यूटर को अपनी कहानी को पूरा करने के लिए अपने नोट्स के संकुचित (compressed), मेमोरी-बचत संस्करण का उपयोग करने के लिए मजबूर किया गया। यहाँ मुख्य बात यह थी कि कहानी का टेक्स्ट (पाठ) स्थिर था; केवल कंप्यूटर की अपने द्वारा पढ़े गए विवरण को समझने की आंतरिक स्मृति बदल रही थी। इसने शोधकर्ताओं को यह अलग करने की अनुमति दी कि कंप्रेशन वास्तव में कंप्यूटर की अपने ही नोट्स को समझने की क्षमता को कैसे प्रभावित कर रहा है।

उन्होंने ग्यारह अलग-अलग कंप्रेशन विधियों का परीक्षण किया, जिनमें वे विधियाँ शामिल थीं जो पुराने टोकन को हटा देती हैं, वे जो समान विचारों को मिला देती हैं, और एक जो नोट्स के आकार को बिना कुछ हटाए छोटा कर देती है। उन्होंने तीन चीजों को देखा:

1. अंतिम सटीकता (Final Accuracy): क्या कंप्यूटर ने सही उत्तर दिया?
2. श्रृंखला निरंतरता (Chain Consistency): क्या वह कहानी जो उसने सुनाई वह वास्तव में तार्किक और सही थी, या उसने कदम छोड़ दिए और मनगढ़ंत बातें बनाईं?
3. विश्वसनीयता (Faithfulness): यदि वे कहानी के बीच में एक गलत उत्तर डाल देते, तो क्या कंप्यूटर उस गलती को पकड़ लेता, या वह आँख मूंदकर त्रुटि का अनुसरण करता?

चौंकाने वाली खोज: "उत्तर-साक्ष्य अंतराल" (The Answer-Evidence Gap)

परिणाम आंखें खोलने वाले थे। शोधकर्ताओं ने पाया कि सही उत्तर प्राप्त करने और सही साक्ष्य होने के बीच एक बड़ा अंतर है। वे इसे "उत्तर-साक्ष्य अंतराल" (Answer-Evidence Gap) कहते हैं।

यहाँ क्या हुआ: कठिन गणित और विज्ञान कार्यों पर, कई कंप्रेशन विधियाँ सही अंतिम उत्तर देने में सक्षम थीं, जो लगभग बिना कंप्रेस किए गए कंप्यूटर के लगभग बराबर दिखता था। हालाँकि, जब शोधकर्ताओं ने उन उत्तरों के पीछे के तर्क की जाँच की, तो स्थिति भयावह थी। कंप्यूटर अक्सर "गलत-श्रृंखला सही उत्तर" (wrong-chain correct answers) उत्पन्न कर रहा था। इसका मतलब है कि अंतिम संख्या या विकल्प तो सही था, लेकिन वहाँ तक पहुँचने का रास्ता छेदों, तार्किक छलांगों या मनगढ़ंत तथ्यों से भरा था।

उदाहरण के लिए, AIME नामक एक गणित परीक्षण पर, कुछ संकुचित विधियों ने लगभग 50% बार सही उत्तर प्राप्त किया। लेकिन जब उन्होंने देखा कि कंप्यूटर वहाँ कैसे पहुँचा, तो उन्होंने पाया कि उन "सही" मामलों में से कई में, कंप्यूटर ने महत्वपूर्ण चरणों को छोड़ दिया था, गलत सूत्रों का उपयोग किया था, या बस उत्तर का अनुमान लगाया और फिर उसे न्यायोचित ठहराने के लिए एक फर्जी कहानी लिखने की कोशिश की। यह एक ऐसे छात्र की तरह है जो परीक्षा में सही उत्तर तो लिख देता है लेकिन अपनी व्याख्या के रूप में लिखता है "मैंने जादू का उपयोग किया।"

अध्ययन ने दिखाया कि यह अंतराल उन विधियों के लिए विशेष रूप से बुरा है जो मेमोरी के हिस्सों को इविक्ट (निकाल देना/फेंक देना) करती हैं। ये विधियाँ "उत्तर संकेतों" (answer cues)—उन टेक्स्ट के हिस्सों को रखती हैं जो अंतिम निष्कर्ष की तरह दिखते हैं—जबकि "साक्ष्य समर्थन" (evidence support), जैसे कि मध्यवर्ती गणनाओं और सत्यापन चरणों को बाहर निकाल देती हैं। यह ऐसा है जैसे फाइलिंग सिस्टम ने "केस क्लोज्ड" की मुहर तो रखी, लेकिन पुलिस रिपोर्ट और उंगलियों के निशान फेंक दिए।

दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि क्वांटाइजेशन (एक विधि जो बिना कुछ हटाए नोट्स के आकार को छोटा करती है) ने बहुत बेहतर प्रदर्शन किया। इसने तर्क की श्रृंखला को काफी हद तक बरकरार रखा, जिससे यह संकेत मिलता कि समस्या केवल कम मेमोरी के बारे में नहीं है, बल्कि विशेष रूप से तर्क के उस हिस्से तक पहुँच खोने के बारे में है जो उत्तर को सही साबित करता है।

यह क्यों मायने रखता है: "नकली" क्षमता का खतरा

यह शोध पत्र तर्क देता है कि केवल "अंतिम सटीकता" पर भरोसा करना एक जाल है। यदि आप केवल यह देखते हैं कि उत्तर सही है या नहीं, तो आप सोच सकते हैं कि एक कंप्रेस्ड कंप्यूटर पूरी तरह से काम कर रहा है। लेकिन वास्तव में, वह एक "सक्षम झूठ बोलने वाला" हो सकता है—वह आपको सही उत्तर देता है, लेकिन आप उस पर भरोसा नहीं कर सकते क्योंकि उसका तर्क टूटा हुआ है।

शोधकर्ताओं ने कहानियों को "परटर्ब" (व्यवधान डालना) करके इसका परीक्षण किया। उन्होंने कंप्यूटर के नोट्स के बीच में एक स्पष्ट रूप से गलत उत्तर डाला और उसे आगे बढ़ने के लिए कहा। अनकंप्रेस्ड कंप्यूटर आमतौर पर गलती को पकड़ लेता था और खुद को सुधार लेता था। लेकिन कंप्रेस्ड कंप्यूटर? उनमें से कई बस झूठ के साथ चल पड़े, गलत उत्तर को अपना लिया क्योंकि उस गलती को पहचानने के लिए आवश्यक साक्ष्य हटा दिए गए थे।

यह उन लोगों के लिए एक महत्वपूर्ण खोज है जो उच्च-जोखम वाली स्थितियों में, जैसे कि मरीज का निदान करने या एक जटिल इंजीनियरिंग समस्या को हल करने में, इन AI मॉडल्स का उपयोग कर रहे हैं। यदि एक डॉक्टर एक ऐसे AI पर भरोसा करता है जो कहता है "मरीज को स्थिति X है" (जो कि सच है), लेकिन AI का तर्क गलत तथ्यों का एक उलझा हुआ ढेर है, तो डॉक्टर के पास यह जानने का कोई तरीका नहीं है कि AI वास्तव में सही है या केवल भाग्यशाली है। यह पेपर सुझाव देता है कि हमें इन कंप्यूटरों के मूल्यांकन के लिए नए तरीकों की आवश्यकता है—एक ऐसा तरीका जो न केवल यह जाँचता है कि वे क्या कहते हैं, बल्कि यह भी कि वे वहाँ कैसे पहुँचे।

निष्कर्ष

अध्ययन यह निष्कर्ष निकालता है कि जबकि कंप्रेशन कंप्यूटर की मेमोरी बचा सकता है और उन्हें तेज़ बना सकता है, यह अक्सर तर्क की विश्वसनीयता (reasoning faithfulness) की कीमत पर होता है। "उत्तर-साक्ष्य अंतराल" वास्तविक है: कंप्रेस्ड मॉडल अंतिम उत्तर को सुरक्षित रख सकते हैं जबकि उसके पीछे के समर्थन की वैधता को कम कर सकते हैं। लेखक सुझाव देते हैं कि भविष्य के कंप्रेशन विधियों को केवल इस आधार पर "सबसे महत्वपूर्ण" टोकन को रखने की कोशिश नहीं करनी चाहिए कि वे कितनी बार दिखाई देते हैं; उन्हें तर्क की संरचना—परिभाषाओं, मध्यवर्ती चरणों और सत्यापन जाँचों—को बनाए रखने के बारे में अधिक स्मार्ट होना चाहिए। तब तक, हमें उन AI मॉडल्स पर भरोसा करने के बारे में सावधान रहना चाहिए जो सही उत्तर देते हैं लेकिन यह नहीं बता सकते कि उन्होंने यह कैसे किया, क्योंकि बड़े रीजनिंग मॉडल्स की दुनिया में, एक वैध कारण के बिना सही उत्तर केवल एक भाग्यशाली अनुमान है।