Identification and Learning of Semantic Observation Kernels: Partial Observation, Uniform Recovery, & Minimax Limits
यह शोध पत्र सिमेंटिक ऑब्जर्वेशन कर्नेल्स (semantic observation kernels) का उपयोग करके अवलोकन योग्य भाषा संभाव्यताओं (observable language probabilities) से पुनरुत्पादनीय अवस्था पोस्टीरियर्स (reproducible state posteriors) को पुनः प्राप्त करने के लिए सैद्धांतिक स्थितियों और अनुभवजन्य विधियों को स्थापित करता है, जो आंतरिक मॉडल विश्वासों पर निर्भर किए बिना ऑडिट योग्य अवस्था मापन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बोलने वाली मशीन का रहस्य
कल्पना कीजिए कि आप एक रहस्यमय मशीन को समझने की कोशिश कर रहे हैं जो पहेलियों में बात करती है। यह कोई जादू का खेल नहीं है; यह विज्ञान का एक कोना है जिसे सांख्यिकी (statistics) कहा जाता है, विशेष रूप से इस बात का अध्ययन कि जब डेटा अव्यवस्थित या अधूरा हो, तो हम उससे कैसे सीखते हैं। सांख्यिकी की दुनिया में, दो बड़े विचार हैं जो हमें इस अराजकता को समझने में मदद करते हैं। पहला है पहचान (identification): यह इस सवाल के बारे में है कि क्या हमारे पास जो सुराग हैं वे वास्तव में सही उत्तर जानने के लिए पर्याप्त हैं, या क्या अलग-अलग उत्तर बिल्कुल एक जैसे दिख सकते हैं। दूसरा है इनवर्स प्रॉब्लम्स (inverse problems): आमतौर पर, हमें नियम पता होते हैं और हम परिणाम का अनुमान लगाना चाहते हैं (जैसे यह जानना कि केक बनाने के लिए सामग्री क्या है)। लेकिन कभी-कभी, हम केवल केक देखते हैं और सामग्री का अनुमान लगाने के लिए पीछे की ओर काम करना पड़ता है। यह कठिन है क्योंकि केक को देखने में एक छोटी सी गलती भी सामग्री के बारे में एक बहुत बड़ी, गलत कल्पना की ओर ले जा सकती है।
कोई इसकी परवाह क्यों करता है? क्योंकि आज, हमारे पास शक्तिशाली कंप्यूटर प्रोग्राम हैं जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं, और विशेषज्ञों की तरह भी लग सकते हैं। लेकिन यहाँ एक पेंच है: ये प्रोग्राम वाक्य में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित हैं, न कि वास्तविक दुनिया के बारे में सच बताने के लिए। यदि एक डॉक्टर AI से पूछता है, "क्या यह मरीज बीमार है?" और AI कहता है, "तत्काल हस्तक्षेप की 70% संभावना है," तो वह संख्या केवल उस कहानी का हिस्सा है जो AI सुना रहा है। यह वास्तव में मरीज की स्थिति की वास्तविक संभावना को नहीं दर्शा सकता है। हमें AI की इन "कहानी सुनाने वाली संभावनाओं" (storytelling probabilities) को वास्तविक, भरोसेमंद "स्टेट प्रोबेबिलिटीज" (state probabilities) में बदलने का एक तरीका चाहिए ताकि हम चिकित्सा ट्राइएज या वित्तीय जोखिम जैसे गंभीर निर्णयों के लिए इनका उपयोग कर सकें।
शब्दों के खेल से वास्तविक सत्य तक
यह शोध पत्र एक जासूसी कहानी की तरह है कि कैसे एक AI के "शब्दों के खेल" को वास्तविकता के एक विश्वसनीय मानचित्र में अनुवादित किया जाए। लेखक, मैथ्यू डिक्सन, एक सरल लेकिन पेचीदा सवाल पूछते हैं: क्या हम AI द्वारा विभिन्न वाक्यांशों के लिए दी गई संभावनाओं को ले सकते हैं, उन्हें अर्थ के आधार पर समूहबद्ध कर सकते हैं, और गणितीय रूप से वास्तविक दुनिया की स्थिति की वास्तविक संभावना को रिवर्स-इंजीनियर कर सकते हैं?
AI को एक ऐसे शेफ के रूप में सोचें जो आपको केवल यह बताता है कि "तीखी सूप," "हल्का सूप," या "कोई सूप नहीं" परोसने की संभावना कितनी है। लेकिन आप, ग्राहक, वास्तव में रसोई की स्थिति के बारे में जानना चाहते हैं: "क्या चूल्हा जल रहा है?" (अर्जेंट/तत्काल), "क्या यह केवल खाना बना रहा है?" (रूटीन/सामान्य), या "क्या रसोई खाली है?" (अपर्याप्त जानकारी)। शेफ शायद 38% बार "तीखा सूप" और 17% बार "हल्का सूप" कहेगा। आप इन दोनों को एक साथ रखते हैं क्योंकि दोनों का अर्थ है "चूल्हा जल रहा है," जिससे आपको कुल 55% मिलता है। लेकिन क्या यह 55% वास्तव में यह मतलब है कि चूल्हा जलने की 55% संभावना है? जरूरी नहीं। यह पेपर इस बात का पता लगाने के लिए एक पुल बनाता है।
पुल: सिमेंटिक मैप और कैलिब्रेशन
यह पेपर "AI क्या कहता है" से "वास्तव में क्या सत्य है" तक जाने के लिए दो-चरणीय पुल का प्रस्ताव देता है।
- सिमेंटिक मैप (The Semantic Map): सबसे पहले, हम तय करते हैं कि कौन से वाक्यांश एक ही अर्थ रखते हैं। हम "अर्जेंट रिव्यू" और "इमीडिएट एस्केलेशन" को एक ही बकेट में डालते हैं जिसे "अर्जेंट" कहा जाता है। यह शब्दों की संभावनाओं की एक लंबी सूची को "अर्थ" की संभावनाओं की एक छोटी सूची में बदल देता है।
- कैलिब्रेशन मैप (The Calibration Map): यह जादुई हिस्सा है। हमें यह सीखने की आवश्यकता है कि उन "अर्थ की संभावनाओं" को "वास्तविक स्थिति की संभावनाओं" में कैसे बदला जाए। इसे करने के लिए, पेपर एक फ्रोजन (स्थिर) अभ्यास मामलों के सेट का उपयोग करने का सुझाव देता है। कल्पना कीजिए कि हमारे पास 520 विभिन्न परिदृश्यों के लिए एक गुप्त उत्तर कुंजी (एक संदर्भ पोस्टीरियर) है। हम इन परिदृश्यों को AI को देते हैं, देखते हैं कि वह क्या संभावनाएँ देता है, और फिर उस नियम को गणितीय रूप से सीखते हैं जो AI के अनुमानों को सही उत्तरों में बदल देता है। एक बार जब हम यह नियम सीख लेते हैं, तो हम इसे "फ्रीज" कर देते हैं। हम इसे अब बदलते नहीं हैं। फिर, जब कोई नया, वास्तविक-दुनिया का परिदृश्य आता है, तो हम AI के नए अनुमानों को एक विश्वसनीय अनुमान में बदलने के लिए इसी फ्रीज किए गए नियम का उपयोग करते हैं।
बड़ी खोज: यह केवल एक बार सही होने के बारे में नहीं है
पेपर पाता है कि यह प्रक्रिया संभव है, लेकिन इसके साथ सख्त नियम और चेतावनियाँ भी हैं।
- "इनवर्स मोडुलस" (The Inverse Modulus - संवेदनशीलता मीटर): लेखक एक अवधारणा पेश करते हैं जिसे "इनवर्स मोडुलस" कहा जाता है। एक मशीन के डायल की कल्पना करें। यदि डायल को "1" पर सेट किया गया है, तो AI के अनुमान में एक छोटी सी त्रुटि आपके अंतिम उत्तर में एक छोटी सी त्रुटि की ओर ले जाती है। लेकिन यदि डायल "0.05" पर है, तो AI के अनुमान में एक छोटी सी त्रुटि एक विशाल, बेकार त्रुटि में बदल जाती है। पेपर सिद्ध करता है कि इस प्रणाली के काम करने के लिए, "डायल" स्थिर होना चाहिए। यदि AI की भाषा प्रश्न पूछने के तरीके (प्रॉम्प्ट वर्डिंग) के प्रति बहुत संवेदनशील है, तो पूरा सिस्टम टूट जाता है।
- मिसिंग मास की समस्या (The Missing Mass Problem): कभी-कभी AI सभी संभावित विकल्पों को सूचीबद्ध नहीं करता है; वह केवल शीर्ष दो विकल्प देता है। यदि आप मान लेते हैं कि अनलिस्टेड विकल्पों की संभावना 0% है, तो आप खुद से झूठ बोल रहे हैं। पेपर दिखाता है कि आपको अनलिस्टेड विकल्पों को एक संख्या के बजाय एक "संभावनाओं के बादल" (एक सेट) के रूप में मानना चाहिए। आपको अपनी गणनाओं के माध्यम से इस अनिश्चितता के बादल को साथ लेकर चलना होगा। यदि आप गायब हिस्सों को अनदेखा करते हैं, तो आपका अंतिम उत्तर आत्मविश्वास के साथ गलत होगा।
- स्टेबिलिटी ट्रैप (The Stability Trap): यह सबसे आश्चर्यजनक खोज है। पेपर दिखाता है कि सिर्फ इसलिए कि आपका सिस्टम एक बार सही उत्तर की भविष्यवाणी करता है, इसका मतलब यह नहीं है कि यह बार-बार उपयोग करने पर भी काम करेगा। बार-बार उपयोग के लिए सुरक्षित होने के लिए (जैसे हर घंटे मरीज की जांच करने वाला डॉक्टर), सिस्टम को "कॉन्ट्रैक्टिव" (contractive) होना चाहिए। इसका मतलब है कि यदि आप एक छोटी सी गलती करते हैं, तो अगला कदम उस गलती को कम करना चाहिए, न कि उसे बढ़ाना चाहिए। पेपर सिद्ध करता है कि यह जांचना कि कोई सिस्टम "कॉन्ट्रैक्टिव" है या नहीं, केवल यह जांचने से कहीं अधिक कठिन है कि वह सटीक है या नहीं। इसके लिए सिस्टम के व्यवहार के स्लोप (ढलान) को मापने की आवश्यकता होती है, न कि केवल परिणाम को।
यह पेपर किन चीजों को खारिज करता है
लेखक बहुत स्पष्ट हैं कि यह विधि क्या नहीं कर सकती।
- यह AI का दिमाग नहीं पढ़ सकता: पेपर स्पष्ट रूप से कहता है कि यह एक बाहरी माप है। हम यह दावा नहीं कर रहे हैं कि AI कुछ "मानता" है या उसका कोई आंतरिक राज्य है। हम केवल इसके आउटपुट का उपयोग बाहरी दुनिया को मापने के लिए एक शोर वाले सिग्नल (noisy signal) के रूप में कर रहे हैं।
- यह खराब प्रॉम्प्ट्स को ठीक नहीं कर सकता: यदि आप प्रश्न पूछने के तरीके (प्रॉम्प्ट) को इस तरह बदलते हैं जो अर्थ को बदल देता है, तो सिस्टम टूट जाता है। पेपर दिखाता है कि यदि आप "प्रॉम्प्ट प्रेजेंटेशन बायस" को ध्यान में नहीं रखते हैं, तो आपके परिणाम बेकार होंगे। आपको प्रॉम्प्ट शैली को फ्रीज करना होगा या पहले से इसके लिए सुधार करना होगा।
- यह सभी AI के लिए जादुई समाधान नहीं है: यह विधि तभी काम करती है जब AI की भाषाई संभावनाओं में विभिन्न स्थितियों के बीच अंतर करने के लिए पर्याप्त जानकारी हो। यदि दो अलग-अलग वास्तविक स्थितियां AI को बिल्कुल एक ही बात कहने पर मजबूर करती हैं, तो कोई भी गणित उन्हें अलग नहीं कर सकता। पेपर इसे "ऑब्जर्वेशनल इक्विवेलेंस" (observational equivalence) कहता है, और उन मामलों में, उत्तर केवल "अज्ञात" होता है।
हम कितने आश्वस्त हैं?
यह पेपर कठोर गणित और सावधानीपूर्वक परीक्षण का मिश्रण है।
- गणित: लेखकों ने सिद्ध किया है कि यह प्रणाली कब काम करती है, कब विफल होती है, और यह कितनी तेजी से सीखती है। उन्होंने सटीक सूत्र निकाले हैं कि कितनी बार माप को दोहराने पर आप कितनी त्रुटि की उम्मीद कर सकते हैं।
- सिमुलेशन: उन्होंने कंप्यूटर सिमुलेशन चलाए जहाँ वे "सही उत्तर" को पहले से जानते थे। इन परीक्षणों में, विधि ने ठीक वैसा ही काम किया जैसा गणित ने भविष्यवाणी की थी। उदाहरण के लिए, जब उन्होंने बार-बार किए गए अवलोकनों की संख्या को दोगुना किया, तो त्रुटि लगभग दो के वर्गमूल (square root of two) के अनुपात में कम हो गई, जैसा कि सिद्धांत ने कहा था।
- वास्तविक दुनिया का परीक्षण: उन्होंने इसे 520 वित्तीय बाजार परिदृश्यों के एक फ्रीज किए गए डेटासेट पर टेस्ट किया। उन्होंने दो अलग-अलग लैंग्वेज मॉडल्स (GPT-4.1-mini और GPT-4o-mini) का उपयोग किया। परिणामों ने दिखाया कि विधि उच्च सटीकता (लगभग 90-94% कवरेज) के साथ सही संभावनाओं को पुनः प्राप्त कर सकती है और परिणाम तब भी स्थिर रहे जब प्रॉम्प्ट की शब्दावली में थोड़ा बदलाव किया गया। हालांकि, वे इस बात पर जोर देते हैं कि यह एक नियंत्रित, फ्रीज किया गया प्रयोग था। उन्होंने यह साबित नहीं किया है कि यह हर संभव प्रॉम्प्ट या हर वास्तविक दुनिया की स्थिति के लिए काम करता है, केवल उनके द्वारा परीक्षण किए गए विशिष्ट मामलों के लिए।
निष्कर्ष (The Takeaway)
यह पेपर यह नहीं कहता कि "AI पूर्ण है" या "AI बेकार है।" इसके बजाय, यह हमें यह जानने के लिए एक टूलकिट देता है कि हम क्या जानते हैं। यह हमें बताता है कि हम AI के शब्दों वाले अनुमानों को एक विश्वसनीय संभावना में बदल सकते हैं, लेकिन केवल तभी जब हम शब्दों को सही ढंग से समूहबद्ध करें, गायब विकल्पों का हिसाब रखें, और यह जांचें कि सिस्टम बार-बार उपयोग के लिए स्थिर है या नहीं। यह AI के "ब्लैक बॉक्स" को एक मापने योग्य उपकरण में बदल देता है, बशर्ते हम माप की सीमाओं का सम्मान करें। यदि हम चरणों को छोड़ने की कोशिश करते हैं—जैसे गायब मास को अनदेखा करना या बिना जांचे यह मान लेना कि AI स्थिर है—तो परिणाम एक अनुमान लगाने वाले खेल द्वारा बनाई गई मौसम रिपोर्ट की तरह अविश्वसनीय होंगे। लेकिन यदि हम नियमों का पालन करते हैं, तो हम भाषा के भीतर छिपे सत्य की एक स्पष्ट, ऑडिट योग्य तस्वीर प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।