Compression Favors Consistency, Not Truth: When and Why Language Models Prefer Correct Information
यह शोध पत्र 'कंप्रेशन-कंसिस्टेंसी प्रिंसिपल' (संपीड़न-संगति सिद्धांत) प्रस्तावित करता है ताकि यह प्रदर्शित किया जा सके कि भाषा मॉडलों की सत्य के प्रति स्पष्ट प्राथमिकता कोई अंतर्निहित प्रेरणा नहीं है, बल्कि संपीड़न दबाव का एक उपोत्पाद है जो उन परिकल्पनाओं का पक्ष लेता है जो प्रशिक्षण डेटा के संक्षिप्त और अधिक आंतरिक रूप से सुसंगत विवरण प्रस्तुत करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा, रचनात्मक उपमाओं और रूपकों के साथ विवरण दिया गया है।
मुख्य विचार: "कुशल नोट-टेकर" (The Efficient Note-Taker)
कल्पना कीजिए कि आपके पास एक छात्र है जो अविश्वसनीय रूप से बुद्धिमान है लेकिन उसका एक जुनून है: वह एक पाठ्यपुस्तक का सबसे छोटा संभव सारांश लिखना चाहता है। उसे इस बात की परवाह नहीं है कि पाठ्यपुस्तक सही है या गलत; उसे केवल इस बात से मतलब है कि वह कम से कम शब्दों का उपयोग करके सारांश लिख सके।
यह शोध पत्र एक सरल प्रश्न पूछता है: यदि पाठ्यपुस्तक में सही तथ्यों और फर्जी तथ्यों का मिश्रण है, तो क्या यह छात्र सच सीख पाएगा?
शोधकर्ताओं के अनुसार, इसका उत्तर है: यह इस पर निर्भर करता है कि फर्जी तथ्य कितने "अव्यवस्थित" (messy) हैं।
- यदि फर्जी तथ्य यादृच्छिक (random) और अराजक हैं, तो छात्र सच सीख जाता है क्योंकि सारांश बनाना आसान होता है।
- यदि फर्जी तथ्य अपने स्वयं के पूर्ण, सुसंगत तर्क (logic) का पालन करते हैं (भले ही वे गलत हों), तो छात्र फर्जी तथ्यों को भी उतनी ही आसानी से सीख लेता है जितना कि सच को।
शोधकर्ता इसे कंप्रेशन-कंसिस्टेंसी प्रिंसिपल (Compression-Consistency Principle) कहते हैं। संक्षेप में: AI सत्य के बजाय निरंतरता (consistency) को प्राथमिकता देता है।
प्रयोग: तीन परिदृश्य (Scenarios)
शोधकर्ताओं ने छोटे AI मॉडल को गणित की समस्याओं पर प्रशिक्षित करके इसका परीक्षण किया। उन्होंने यह देखने के लिए तीन अलग-अलग "पाठ्यपुस्तकें" (डेटासेट) बनाईं कि AI कैसे प्रतिक्रिया देता है।
1. "रैंडम नॉइज़" परिदृश्य (सत्य की जीत होती है)
एक गणित की पाठ्यपुस्तक की कल्पना करें जहाँ 50% उत्तर सही हैं, और अन्य 50% में यादृच्छिक, बेतुली गलतियाँ हैं।
- उदाहरण: "2 + 2 = 4" (सही) बनाम "2 + 2 = 7" (यादृच्छिक त्रुटि)।
- AI का संघर्ष: "रैंडम" पक्ष का सारांश बनाने के लिए, AI को हर एक अजीब गलती को व्यक्तिगत रूप से याद करना होगा। यह एक ऐसी किताब का सारांश लिखने जैसा है जिसके हर पन्ने पर एक अलग, असंबंधित टाइपिंग की गलती (typo) है। इसे लिखना बहुत लंबा और अक्षम है।
- परिणाम: AI महसूस करता है कि "सही" पक्ष का सारांश देना बहुत आसान है क्योंकि यह एक सरल नियम का पालन करता है। भले ही सही उदाहरण कम हों, AI सच को चुनता है क्योंकि इसे लिखना छोटा (shorter) है।
- स्कोर: AI ने 83% बार सही उत्तर चुना।
2. "सुसंगत झूठ" परिदृश्य (सत्य हार जाता है)
अब, एक ऐसी पाठ्यपुस्तक की कल्पना करें जहाँ गलत उत्तर यादृच्छिक नहीं हैं। इसके बजाय, वे एक सख्त, सुसंगत लेकिन गलत नियम का पालन करते हैं।
- नियम: "गुणा हमेशा परिणाम से 1 घटा देता है।" इसलिए, "2 x 2" बन जाता है "3" (क्योंकि 4 में से 1 घटाने पर)।
- AI का संघर्ष: यह फर्जी नियम वास्तव में सारांशित करने में बहुत आसान है! यह बस एक वाक्य है: "परिणाम से 1 घटाएं।" यह वास्तविक नियम जितना ही छोटा और व्यवस्थित है।
- परिणाम: चूंकि सच और झूठ दोनों को सारांशित करना समान रूप से आसान है, AI को इस बात की परवाह नहीं है कि कौन सा सच है। वह बस उसे चुनता है जिसे उसने अधिक बार देखा। यदि झूठ 50% बार आता है, तो AI 50% बार झूठ को चुनता है।
- स्कोर: AI ने केवल 47% बार सही उत्तर चुना (लगभग तुक्का मारना)।
3. "कई छोटे झूठ" परिदृश्य (मध्य मार्ग)
क्या होगा यदि फर्जी पाठ्यपुस्तक में केवल एक गलत नियम के बजाय 10 अलग-अलग गलत नियम हों?
- परिणाम: AI को गलत होने के 10 अलग-अलग तरीकों को याद रखना होगा। यह फिर से अव्यवस्थित हो जाता है। जैसे-जैसे अलग-अलग गलत नियमों की संख्या बढ़ती है, AI फिर से एकल, सरल सत्य को प्राथमिकता देने लगता है।
- स्कोर: 10 अलग-अलग गलत नियमों के साथ, AI वापस सच चुनने लगा जिसका स्कोर 88% था।
"वेरिफिकेशन" ट्विस्ट (The Verification Twist)
शोधकर्ताओं ने यह देखने के लिए कि क्या वे AI को "सुसंगत झूठ" पकड़ने के लिए मजबूर कर सकते हैं, एक "चेक-अप" चरण जोड़ा।
- सेटअप: AI एक "झूठ" वाले नियम का उपयोग करके एक समस्या को हल करता है, लेकिन फिर उसे अपना काम जांचने के लिए एक दूसरा चरण (जैसे रिवर्स कैलकुलेशन) करना होता है।
- परिणाम: "झूठ" के लिए, यह चेक-अप एक अव्यवset, अप्रत्याशित संख्या बनाता है जो पैटर्न को तोड़ देता है। अचानक, झूठ फिर से "सारांशित करने में कठिन" हो जाता है।
- स्कोर: इस चेक-अप के साथ, AI फिर से सच चुनने लगा (71%)।
हालाँकि, एक पेच था: जैसे-जैसे AI बड़ा और अधिक स्मार्ट होता गया, वह चेक-अप को अनदेखा करने और सरल झूठ पर टिके रहने में बेहतर होता गया। यह सुझाव देता है कि बहुत बुद्धिमान AI के लिए, निरंतर, भारी सत्यापन (verification) के बिना एक सुसंगत झूठ को पकड़ना बहुत कठिन हो सकता है।
यह क्यों मायने रखता है (निष्कर्ष)
1. AI "सत्य खोजने वाला" नहीं, बल्कि "पैटर्न खोजने वाला" है।
हम अक्सर उम्मीद करते हैं कि जैसे-जैसे AI बड़ा होता जाएगा, वह स्वाभाविक रूप से अधिक ईमानदार हो जाएगा। यह शोध पत्र सुझाव देता है कि यह स्वतः नहीं होता है। यदि कोई झूठ सुसंगत और तार्किक है (जैसे कि कोई षड्यंत्र सिद्धांत या सुसंगत लेकिन गलत वैज्ञानिक सिद्धांत), तो AI उसे पसंद कर सकता है क्योंकि बिखरी हुई वास्तविकता की तुलना में उसे कंप्रेस करना "साफ-सुथरा" (cleaner) होता है।
2. यादृच्छिक त्रुटियां आसानी से ठीक हो जाती हैं; व्यवस्थित झूठ पकड़ना कठिन है।
यदि AI यादृच्छिक रूप से भ्रमित (hallucinate) होता है (जैसे आज कहना "पेरिस जर्मनी में है" और कल "पेरिस मंगल ग्रह पर है"), तो वह संभवतः सच सीख लेगा क्योंकि सच सरल है। लेकिन यदि AI झूठ की एक पूरी प्रणाली सीख लेता है जो आंतरिक रूप से तर्कसंगत है, तो उसे कभी पता नहीं चलेगा कि वह गलत है।
3. "कंप्रेशन" का जाल (The Compression Trap)।
AI को एक परीक्षा देने वाले छात्र के रूप में सोचें।
- यादृच्छिक त्रुटियां (Random Errors): छात्र एक प्रश्न देखता है जिसमें टाइपिंग की गलती है। वे महसूस करते हैं, "इसका कोई अर्थ नहीं है, मैं इसे अनदेखा कर दूँगा।"
- सुसंगत झूठ (Coherent Lies): छात्र एक प्रश्न देखता है जिसमें एक सुसंगत, तार्किक नियम है जो गलत है। वे सोचते, "ओह, मुझे पैटर्न समझ आ गया! मैं इसका उपयोग करूँगा।"
निचोड़ (The Bottom Line)
भाषा मॉडल कुशल कंप्रेसर (compressors) होने के लिए डिज़ाइन किए गए हैं, नैतिक रक्षक (moral guardians) नहीं। वे खुशी-खुशी एक सुसंगत झूठ सीख लेंगे यदि उसे बिखरी हुई सच्चाई को लिखने की तुलना में लिखना आसान है। उन्हें सच बोलने के लिए मजबूर करने के लिए, हम केवल उनके "स्मार्ट" होने पर भरोसा नहीं कर सकते; हमें यह सुनिश्चित करना होगा कि उन्हें दिए जाने वाले झूठ अव्यवस्थित, असंगत और कंप्रेस करने में कठिन हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।