Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स के लिए वर्तमान अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification) विधियाँ मौलिक रूप से विफल रहती हैं क्योंकि वे बाहरी तथ्यात्मक शुद्धता के बजाय केवल अनसुपरवाइज्ड क्लस्टरिंग के माध्यम से आंतरिक पीढ़ी निरंतरता को मापती हैं, जिससे सुरक्षा की एक भ्रामक भावना पैदा होती है जो आत्मविश्वासी मतिभ्रम (hallucinations) का पता नहीं लगा सकती।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए शोध पत्र का विवरण दिया गया है।
मुख्य विचार: "इको चैंबर" (गूँजने वाला कमरा) की समस्या
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई अफवाह सच है। आप दोस्तों के एक समूह से पूछते हैं, "क्या यह अफवाह सच है?" और वे सभी एक सुर में चिल्लाते हैं, "हाँ!" आप सोच सकते हैं, "वाह, वे सब सहमत हैं, तो यह सच ही होगा!"
यह शोध पत्र तर्क देता है कि AI यह जाँचने के वर्तमान तरीके कि AI आश्वस्त है या भ्रमित, बिल्कुल यही कर रहे हैं। वे AI को अलग-अलग तरीकों से खुद को दोहराने के लिए कह रहे हैं, यह देख रहे हैं कि क्या उत्तर एक जैसे सुनाई देते हैं (आंतरिक निरंतरता), और यह मान रहे हैं कि यदि उत्तर सुसंगत हैं, तो वे सही ही होंगे।
लेखकों का दावा है कि यह एक श्रेणी संबंधी त्रुटि (category error) है। उनका कहना है कि ये तरीके वास्तव में "सत्य" को नहीं माप रहे हैं; वे केवल समान दिखने वाले उत्तरों को एक साथ क्लस्टरिंग (समूहीकृत) कर रहे हैं। यदि AI आत्मविश्वास के साथ गलत है, और वह एक ही गलत बात को पाँच बार कहता है, तो सिस्टम सोचता है, "बहुत बढ़िया! उच्च आत्मविश्वास!" जबकि उसे चिल्लाना चाहिए, "खतरा! मतिभ्रम (Hallucination)!"
तीन मुख्य समस्याएँ (विकृतियाँ)
पत्र इन तीन विशिष्ट तरीकों की पहचान करता है जिनसे यह "क्लस्टरिंग" दृष्टिकोण विफल हो जाता है:
1. "डायल-सेंसिटिव" जाल (हाइपरपैरामीटर संवेदनशीलता)
- उपमा: कल्पना कीजिए कि एक मेटल डिटेक्टर है जो केवल तभी बीप करता है जब आप उसे एक बहुत ही विशिष्ट कोण पर पकड़कर चलते हैं और एक विशिष्ट गति से चलते हैं। यदि आप इसे एक डिग्री भी झुकाते हैं या एक कदम तेज़ चलते हैं, तो यह काम करना बंद कर देता है।
- वास्तविकता: वर्तमान AI सुरक्षा जाँचें बहुत छोटी सेटिंग्स (जैसे कि AI कितना "रैंडम" होने की अनुमति है) के प्रति अविश्वसनीय रूप से संवेदनशील हैं। यदि शोधकर्ता इन सेटिंग्स में थोड़ा सा बदलाव करते हैं, तो सुरक्षा स्कोर नाटकीय रूप से बदल जाता है। यह इन उपकरणों पर वास्तविक दुनिया में भरोसा करना असंभव बनाता है क्योंकि हमें नहीं पता कि सही "डायल सेटिंग" कौन सी है।
2. "इको चैंबर" जाल (आंतरिक मूल्यांकन)
- उपमा: कल्पना कीजिए कि एक छात्र एक फर्जी इतिहास का निबंध लिखता है। यदि वह एक ही फर्जी कहानी तीन बार लिखता है, तो उसे बहुत आत्मविश्वास महसूस हो सकता है। लेकिन यदि आप एक शिक्षक से पूछते हैं, तो शिक्षक कहेंगे, "यह सुसंगत है, लेकिन यह फिर भी एक झूठ है।"
- वास्तविकता: वर्तमान तरीके यह मान लेते हैं कि यदि AI सुसंगत है, तो वह सही है। लेकिन AI मॉडल अक्सर "आत्मविश्वासपूर्ण मतिभ्रम" (confident hallucinations) में फंस जाते हैं—वे एक ही झूठ को बार-बार दोहराते हैं। सुरक्षा जाँच इस दोहराव को देखती है, इसे "उच्च आत्मविश्वास" समझती है, और झूठ को मंजूरी दे देती है। यह स्थिरता (एक ही बात कहना) को सत्य समझने की गलती करता है।
3. "रबर रूलर" जाल (ग्राउंड ट्रुथ का अभाव)
- उपमा: कल्पना कीजिए कि आप रबर बैंड का उपयोग करके एक मेज की लंबाई मापने की कोशिश कर रहे हैं। यदि रबर बैंड खिंचता है, तो आपका माप बदल जाता है। इससे भी बुरा यह है कि यदि आप पहले रबर बैंड की जाँच करने के लिए दूसरे रबर बैंड का उपयोग करते हैं, तो आप केवल दो खिंचने वाली चीजों की आपस में तुलना कर रहे हैं।
- वास्तविकता: यह जानने के लिए कि क्या कोई AI अनिश्चित है, हमें "सही उत्तर" जानने की आवश्यकता है। लेकिन खुले प्रश्नों के लिए, अक्सर जाँचने के लिए कोई एक "सही उत्तर" नहीं होता है। इसलिए, शोधकर्ता पहले AI को जाँचने के लिए अन्य AI मॉडल का उपयोग करते हैं। यह एक चक्र है: एक रबर बैंड से दूसरे रबर बैंड को मापना। पत्र का तर्क है कि यह सुरक्षा का एक झूठा अहसास पैदा करता है क्योंकि कोई ठोस "ग्राउंड ट्रुथ" (वास्तविक आधार) नहीं है जो माप को स्थिर कर सके।
प्रस्तावित समाधान: एक नया रोडमैप
लेखक सुझाव देते हैं कि हमें "क्लस्टरिंग" तरीकों को ठीक करने की कोशिश छोड़ देनी चाहिए और इसके बजाय एक ऐसी प्रणाली बनानी चाहिए जो वास्तव में वास्तविकता के विरुद्ध जाँच करे। वे तीन चरणों वाली योजना प्रस्तावित करते हैं:
1. औसत के बजाय सबसे खराब मामलों का परीक्षण करें
- उपमा: केवल शांत दिन में पैराशूट का परीक्षण न करें। इसका परीक्षण तब करें जब हवा तेज़ चल रही हो और पैराशूट उलझा हुआ हो।
- योजना: AI सुरक्षा को "आसान" सवालों पर उसके प्रदर्शन से न आंकें। इसके बजाय, विशेष रूप से उन क्षणों पर इसका तनाव परीक्षण (stress-test) करें जहाँ इसके आत्मविश्वास के साथ गलत होने की सबसे अधिक संभावना है। यदि सुरक्षा प्रणाली एक आत्मविश्वासपूर्ण झूठ को पकड़ने में विफल रहती है, तो वह विफल मानी जाएगी, भले ही वह आसान सवालों पर 99% बार सफल रही हो।
2. AI के डीएनए में अनिश्चितता को शामिल करें
- उपमा: कार से यह पूछने के बजाय कि "क्या आप तेज़ चलाने के लिए सुनिश्चित हैं?" जब वह पहले से ही तेज़ चल रही हो, तो इंजन में एक स्पीडोमीटर लगा दें जो ड्राइवर को बहुत तेज़ होने से पहले चेतावनी दे सके।
- योजना: AI के आउटपुट का विश्लेषण उसके काम पूरा करने के बाद न करें। AI को खुद यह जानने के लिए प्रशिक्षित करें कि वह कब अनिश्चित है। उसे सिखाएं कि वह केवल अनुमान लगाने के बजाय यह कहना कि, "मैं निश्चित नहीं हूँ," या "यह एक अनुमान है।"
3. "परमाणु तथ्य" (Atomic Fact) जाँच का उपयोग करें
- उपमा: अपने मित्र से यह पूछने के बजाय कि "क्या यह पूरी कहानी सच है?", कहानी को छोटे तथ्यों में तोड़ दें: "क्या घटना मंगलवार को हुई थी?" "क्या व्यक्ति ने लाल टोपी पहनी थी?" प्रत्येक छोटे तथ्य की किसी लाइब्रेरी या डेटाबेस के विरुद्ध जाँच करें।
- योजना: AI को खुद को जज न करने दें। उसके उत्तरों को छोटे, अविभाज्य तथ्यों में तोड़ें और उन विशिष्ट तथ्यों की वास्तविक दुनिया के डेटाबेस, कोड निष्पादन या सर्च इंजन के विरुद्ध जाँच करें। यह AI के आत्मविश्वास को उसके अपने आंतरिक विचारों के बजाय वस्तुनिष्ठ वास्तविकता से जोड़ता है।
निष्कर्ष
पत्र निष्कर्ष निकालता है कि हम वर्तमान में एक ऐसी समस्या को हल करने के लिए अनसुपरवाइज्ड क्लस्टरिंग (समान उत्तरों को समूहबद्ध करना) का उपयोग कर रहे हैं जिसके लिए सुपरवाइज्ड वेरिफिकेशन (सत्य के विरुद्ध जाँच) की आवश्यकता है।
जब तक हम केवल इस बात पर निर्भर रहेंगे कि AI अपने आप के साथ "सुसंगत" है या नहीं, हम आत्मविश्वासपूर्ण मतिभ्रम (confident hallucinations) के प्रति अंधे बने रहेंगे। कानून और चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों के लिए AI को सुरक्षित बनाने के लिए, हमें AI के आंतरिक इको चैंबर पर भरोसा करना छोड़ना होगा और उसके आत्मविश्वास को वस्तुनिष्ठ, बाहरी वास्तविकता से जोड़ना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।