Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability
यह लेख प्रदर्शित करता है कि गणित और कोड जैसे संरचित डोमेन में अनउत्तरदायी (unanswerable) प्रश्नों का पता लगाने के लिए जनरेशन से पूर्व, एक उत्तरयोग्य संदर्भ सेट से हिडन स्टेट्स (hidden states) के ज्यामितीय विचलन को मापना एक विश्वसनीय, अनसुपरवाइज्ड सिग्नल प्रदान करता है, हालांकि यह प्रभाव तथ्यात्मक प्रॉम्प्ट्स पर सामान्यीकृत नहीं होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन (AI) है जो एक प्रश्न का उत्तर देने वाली है। सामान्यतः, हमें यह केवल तब पता चलता है कि लाइब्रेरियन मनगढ़ंत बातें कर रही है या नहीं, जब वह उत्तर दे देती है। लेकिन क्या होगा अगर लाइब्रेरियन के मस्तिष्क से हमें अपना मुँह खोलने से पहले ही एक सूक्ष्म "चेतावनी संकेत" मिल सके?
यह लेख ठीक यही खोज निकालता है। शोधकर्ताओं ने पूछा: क्या हम AI के विचारों के "आकार" (इसके आंतरिक ज्यामिति/geometry) के आधार पर यह बता सकते हैं कि कोई प्रश्न अनुत्तरित है या नहीं, बिना उत्तर की प्रतीक्षा किए या AI की गलतियों का मूल्यांकन करने के लिए किसी शिक्षक की आवश्यकता के बिना?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके सारांश दिया गया है:
1. AI का मस्तिष्क "जीपीएस" (GPS)
AI की आंतरिक स्थिति को एक विशाल मानचित्र के रूप में कल्पना करें। जब AI एक ऐसा प्रश्न देखता है जिसका उत्तर वह दे सकता है (जैसे "2+2 क्या है?"), तो उसके विचार इस मानचित्र पर एक विशिष्ट पड़ोस में एक साथ घनीभूत (cluster) हो जाते हैं। शोधकर्ता इसे "उत्तर देने योग्य पड़ोस" (Answerable Neighborhood) कहते हैं।
उन्होंने परिकल्पना की कि यदि आप AI से ऐसा प्रश्न पूछते हैं जिसका उत्तर वह नहीं दे सकता (जैसे "वास्तविक दुनिया में ऋणात्मक संख्या का वर्गमूल क्या है?"), तो AI के विचार "भटक" जाएंगे और इस पड़ोस से दूर चले जाएंगे। उन्होंने इस विचलन को "ज्यामितीय विचलन" (Geometric Deviation) नामक उपकरण का उपयोग करके मापा। यह जाँचने जैसा है कि एक कार मुख्य सड़क से कितनी दूर भटक गई है।
2. परिणाम: यह प्रश्न के "आकार" पर निर्भर करता है
शोधकर्ताओं ने तीन प्रकार के प्रश्नों पर इसका परीक्षण किया: गणित (Math), तथ्य (Facts), और कोड (Code)। परिणाम आश्चर्यजनक थे और पूरी तरह से प्रश्न के प्रकार पर निर्भर थे।
गणित के प्रश्न (एक स्पष्ट संकेत):
कल्पना कीजिए कि गणित की एक समस्या है जिसमें एक हिस्सा गायब है, जैसे "सबसे बड़ी अभाज्य संख्या (prime number) क्या है?" (ऐसी कोई संख्या नहीं होती)।- निष्कर्ष: जब AI ने इन "टूटे हुए" गणित के प्रश्नों को देखा, तो उसके विचार तुरंत "उत्तर देने योग्य पड़ोस" से बहुत दूर भटक गए। संकेत स्पष्ट और ज़ोरदार था।
- उपमा: यह एक चुंबक के पास लाने पर सुई के पागलों की तरह घूमने वाले कंपास की तरह है। AI के मस्तिष्क की ज्यामिति को तुरंत पता चल गया: "यह गणितीय नियमों में फिट नहीं बैठता," इससे पहले कि उसने उत्तर देने का प्रयास भी किया।
- प्रदर्शन: यह तरीका यह देखने से बेहतर था कि क्या AI "मुझे नहीं पता" कहता है (अस्वीकार करना) और यहाँ तक कि यह पूछने से भी बेहतर था कि क्या एक ही प्रश्न को पाँच बार पूछने पर वह भ्रमित हो जाता है (स्व-संगति/self-consistency)।
तथ्य वाले प्रश्न (एक मौन संकेत):
अब ऐसी चीज़ के बारे में तथ्य वाला प्रश्न पूछें जो अस्तित्व में नहीं है, जैसे "एटलेंटिस (Atlantis) की राजधानी क्या है?"- निष्कर्ष: AI के विचार भटके नहीं। वे बिल्कुल उसी तरह "उत्तर देने योग्य पड़ोस" में बने रहे, जैसा कि वे पेरिस या टोक्यो के बारे में होने पर दिखते।
- उपमा: AI का मस्तिष्क "एटलेंटिस" और "पेरिस" के साथ एक जैसा व्यवहार करता है क्योंकि वे व्याकरणिक और संरचनात्मक रूप से समान दिखते हैं। "जीपीएस" ने कोई संकेत नहीं दिया। लेख निष्कर्ष निकालता है कि यह ज्यामितीय युक्ति सामान्य तथ्यों के लिए काम नहीं करती है।
कोड वाले प्रश्न (एक मिश्रित संकेत):
कोड के बारे में उन प्रश्नों के लिए जो क्रैश हो सकते हैं (जैसे शून्य से भाग देना), AI के विचार गणित की तरह ही दूर भटक गए। हालाँकि, संकेत गणित की तुलना में थोड़ा अधिक "ज़ोरदार" और कम सुसंगत था, जिससे पता चलता है कि यह काम तो करता है लेकिन इसे पूरी तरह विश्वसनीय बनाने के लिए अधिक डेटा की आवश्यकता हो सकती है।
3. संकेत कब दिखाई देता है? ("प्रारंभिक चेतावनी प्रणाली")
शोधकर्ताओं ने AI के प्रत्येक स्तर (layer) का परीक्षण किया, जैसे प्याज के छिलके उतारना।
- निष्कर्ष: "विचलन" का संकेत AI की प्रोसेसिंग के बहुत शुरुआती चरणों में (पहले कुछ स्तरों में) दिखाई दिया और वास्तव में अंतिम उत्तर उत्पन्न करने के करीब पहुँचने पर कमजोर होता गया।
- उपमा: यह एक स्मोक अलार्म की तरह है जो चिंगारी उड़ते ही तुरंत बज उठता है, लेकिन जैसे-जैसे आग (उत्तर) बढ़ने लगती है, यह शांत होता जाता है। AI जानता है कि प्रश्न "टूटा हुआ" है, लेकिन जब तक वह बोलने के लिए तैयार होता है, तब तक वह उस अहसास को इस तरह सुचारू (smooth out) कर देता है कि वह एक उत्तर प्रदान कर सके।
4. "अस्वीकार" बनाम "भ्रम" (Refusal vs. Hallucination) का मोड़
शोधकर्ताओं ने यह भी देखा कि अलग-अलग AI मॉडल इन "टूटे हुए" प्रश्नों के प्रति कैसे प्रतिक्रिया देते हैं, भले ही उनके मस्तिष्क ज्यामितीय रूप से समान दिखते हों।
- निष्कर्ष: दो अलग-अलग AI मॉडल (Llama और Qwen) ने एक टूटे हुए गणित के प्रश्न के लिए बिल्कुल एक ही "विचलन" संकेत दिखाया। हालाँकि, Qwen ने कहा: "मैं इसका उत्तर नहीं दे सकता," जबकि Llama ने आत्मविश्वास के साथ एक गलत उत्तर गढ़ दिया।
- उपमा: कल्पना कीजिए कि दो ड्राइवर लाल बत्ती (ज्यामितीय संकेत) देखते हैं। एक ड्राइवर (Qwen) कार रोकता है। दूसरा ड्राइवर (Llama) चलता रहता है लेकिन दावा करता है कि उसने लाइट नहीं देखी। "संकेत" (लाल बत्ती) दोनों के लिए मौजूद था, लेकिन उनके प्रशिक्षण (alignment) ने उन्हें अलग तरह से प्रतिक्रिया करने के लिए सिखाया।
सारांश
यह लेख सिद्ध करता है कि गणित जैसे संरचित कार्यों के लिए, हम AI के बोलने से पहले उसके आंतरिक "आकार" के आधार पर यह बता सकते हैं कि कोई प्रश्न अनुत्तरित है या नहीं। यह गणित की त्रुटियों के लिए एक तेज़, मुफ्त और विश्वसनीय चेतावनी प्रणाली है।
हालाँकि, सामान्य तथ्यों के लिए, यह युक्ति अभी तक काम नहीं करती है क्योंकि AI का मस्तिष्क "सत्य तथ्यों" और "असत्य तथ्यों" के बीच उसी तरह अंतर नहीं करता जैसे वह संरचनात्मक अंतर करता है। संकेत वास्तविक है, लेकिन यह तभी काम करता है जब प्रश्न नियमों के ढांचे (जैसे गणित या कोड में) को तोड़ता है, न कि केवल तब जब सामग्री गलत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।