🤖 machine learning

Epistemic Uncertainty for Test-Time Discovery

यह शोध पत्र UG-TTT को प्रस्तुत करता है, जो एक टेस्ट-टाइम डिस्कवरी फ्रेमवर्क है जो प्रति-टोकन एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को म्यूचुअल इंफॉर्मेशन के माध्यम से मापने के लिए लो-रैंक एडेप्टर्स के एक एनसेंबल का लाभ उठाता है, और इस सिग्नल का उपयोग एक एक्सप्लोरेशन बोनस के रूप में करके लार्ज लैंग्वेज मॉडल्स को परिचित पैटर्नों को प्राथमिकता देने वाले मानक सुदृढीकरण शिक्षण (reinforcement learning) के दोषों से बचाते हुए वास्तव में नवीन वैज्ञानिक समाधानों की ओर निर्देशित करता है।

मूल लेखक: Kainat Riaz, Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Umer, Ayesha Mohsin, Aqib Riaz, Ali Subhan, John M. Cioffi

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kainat Riaz, Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Umer, Ayesha Mohsin, Aqib Riaz, Ali Subhan, John M. Cioffi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "UG-TTT: Uncertainty Guided Test-Time Training" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "सुरक्षित" वैज्ञानिक

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान AI सहायक (एक Large Language Model) है जिसका काम नए वैज्ञानिक रहस्यों को सुलझाना है। इसने अब तक लिखी गई हर किताब पढ़ ली है, लेकिन इसने आपके सामने रखे इस विशिष्ट पहेली को पहले कभी नहीं देखा है।

पेपर का तर्क है कि मानक AI प्रशिक्षण विधियाँ सहायक को बहुत अधिक सावधान (cautious) बना देती हैं।

उपमा: एक हाइकर (पगडंडी पर चलने वाले) के रूप में AI की कल्पना करें जो एक छिपे हुए खजाने की खोज करने की कोशिश कर रहा है। मानक प्रशिक्षण हाइकर को बताता है: "उन पगडंडियों पर टिके रहो जहाँ तुम जानते हो कि ज़मीन सुरक्षित है। यदि तुम रास्ते से भटक जाते हो, तो तुम खो सकते हैं, इसलिए हम जोखिम लेने के लिए तुम्हें दंडित करेंगे।"
परिणाम: हाइकर सुरक्षित, परिचित रास्तों पर ही रहता है। वे छोटे कंकड़ (औसत पुरस्कार) तो ढूंढ लेते हैं, लेकिन वे कभी भी सुनहरा खजाना (बड़ी खोज) नहीं ढूंढ पाते क्योंकि खजाना अनछुए, धुंधले जंगल में छिपा होता है। AI एक "सेफ ज़ोन" में फंस जाता है और अपने सर्वोत्तम संभव स्कोर को सुधारना बंद कर देता है।

समाधान: "विशेषज्ञों की समिति" (A Committee of Experts)

लेखकों ने UG-TTT नामक एक नई विधि बनाई है। एक AI मॉडल का उपयोग करने के बजाय, वे एक ही AI के पाँच थोड़े अलग संस्करणों वाली एक छोटी समिति का उपयोग करते हैं।

उपमा: कल्पना करें कि हाइकर वास्तव में पाँच खोजकर्ताओं की एक टीम है। उन सभी के पास एक ही समान मानचित्र (फ्रोजन बेस मॉडल) है, लेकिन प्रत्येक के पास एक हल्का, छोटा नोटबुक (जिसे LoRA adapter कहा जाता है) है जहाँ वे अपने स्वयं के अद्वितीय सिद्धांत लिखते हैं।
वे कैसे काम करते हैं: जब टीम पहेली के एक कठिन चरण का सामना करती है, तो वे सभी अपना अनुमान लिखते हैं।
- यदि पाँचों विशेषज्ञ उत्तर पर सहमत होते हैं, तो वे आश्वस्त होते हैं।
- यदि वे आपस में बहुत अधिक मतभेद (disagree) रखते हैं, तो इसका मतलब है कि वे एक ऐसे "धुंधले" क्षेत्र में हैं जहाँ उनके पास अभी पर्याप्त ज्ञान नहीं है।

गुप्त मंत्र: "असहमति" को मापना

पेपर का मुख्य नवाचार इस असहमंती (disagreement) को खोज के संकेत के रूप में उपयोग करना है।

संकेत: मानक AI में, यदि मॉडल भ्रमित है, तो वह बस कहता है "मुझे नहीं पता।" UG-TTT में, सिस्टम यह मापता है कि पाँचों विशेषज्ञ आपस में कितना असहमत हैं।
- उच्च असहमति = उच्च क्षमता: इसका मतलब है कि AI अपने ज्ञान के किनारे पर है। यह ठीक वही जगह है जहाँ एक वैज्ञानिक सफलता (breakthrough) होने की संभावना अधिक होती है।
- कम असहमति = उबाऊ: इसका मतलब है कि AI केवल वही दोहरा रहा है जो वह पहले से जानता है।
पुरस्कार: सिस्टम AI को उन क्षेत्रों को खोजने के लिए "बोनस पॉइंट" देता है जहाँ विशेषज्ञ असहमत हैं। यह AI को कहता है: "केवल सुरक्षित उत्तर मत चुनो। उस धुंधले क्षेत्र की खोज करो जहाँ हम सब इस बात पर बहस कर रहे हैं कि आगे क्या करना है।"

गड़बड़ी: "क्लोनिंग" की समस्या

एक पेच था। यदि आप पाँच विशेषज्ञों को एक साथ प्रशिक्षित करते हैं, तो वे एक-दूसरे की नकल करने लगते हैं। कुछ दिनों के बाद, वे सभी अपनी नोटबुक में बिल्कुल एक जैसा लिखना शुरू कर देते हैं। वे असहमत होना बंद कर देते हैं, और "धुंधला" संकेत गायब हो जाता है। टीम फिर से एक एकल, सावधान व्यक्ति बन जाती है।

सुधार: लेखकों ने एक विशेष नियम जोड़ा जिसे Nuclear Norm Regularizer कहा जाता है।
उपमा: कल्पना करें कि एक कोच पाँच खोजकर्ताओं को निर्देश दे रहा है: "आप में से प्रत्येक को दुनिया को एक पूरी तरह से अलग कोण से देखना चाहिए। यदि आप सभी एक ही दिशा में देखना शुरू करते हैं, तो आपको दंड मिलेगा।"
परिणाम: यह विशेषज्ञों को अलग बने रहने के लिए मजबूर करता है। एक बाईं ओर देखता है, एक दाईं ओर, एक ऊपर की ओर। वे उपयोगी तरीकों से असहमत रहना जारी रखते हैं, जिससे "डिस्कवरी सिग्नल" पूरे प्रशिक्षण के दौरान जीवित रहता है।

उन्होंने क्या पाया

टीम ने चार कठिन गणितीय और वैज्ञानिक पहेलियों पर इसका परीक्षण किया।

पुराना तरीका (Baseline): AI ने अच्छे समाधान खोजे लेकिन अपने सर्वोत्तम समाधान में सुधार करना जल्दी ही बंद कर दिया। यह "सुरक्षित" उत्तरों के लूप में फंस गया।
नया तरीका (UG-TTT):
- इसने चार में से तीन पहेलियों पर बेहतर अधिकतम स्कोर प्राप्त किए।
- इसने बहुत अधिक विविध समाधानों को जीवित रखा (उच्च "एन्ट्रॉपी"), जिसका अर्थ है कि इसने केवल एक प्रकार का उत्तर नहीं चुना और बाकी को अनदेखा नहीं किया।
- इसने अद्वितीय, उच्च-गुणवत्ता वाले समाधान खोजे (जैसे "फूरियर इनिशियलाइजेशन" नामक एक विशिष्ट गणितीय ट्रिक या एक विशिष्ट कोडिंग लाइब्रेरी का उपयोग करना) जिन्हें पुराना तरीका पूरी तरह से छोड़ देता।

सारांश

UG-TTT एक अकेले वैज्ञानिक को एक विविध अनुसंधान टीम में अपग्रेड करने जैसा है।

यह यह पता लगाने के लिए एक समिति का उपयोग करता है कि AI कहाँ भ्रमित है (अनिश्चितता)।
यह AI को सुरक्षित, ज्ञात रास्तों पर टिके रहने के बजाय उन भ्रमित, अनछुए क्षेत्रों की खोज करने के लिए पुरस्कृत करता है।
यह सुनिश्चित करने के लिए एक कठोर नियम का उपयोग करता है कि समिति के सदस्य क्लोन न बन जाएं, जिससे टीम का दृष्टिकोण विविध बना रहे।

यह AI को उसकी अपनी सीमाओं को पार करने और वास्तविक वैज्ञानिक सफलताओं को खोजने की अनुमति देता है जिन्हें मानक, सावधान AI विधियाँ चूक जाती हैं।

तकनीकी सारांश: UG-TTT (अनसर्टेन्टी-गाइडेड टेस्ट-टाइम ट्रेनिंग)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके स्वचालित वैज्ञानिक खोज (automated scientific discovery) एक संरचनात्मक सीमा का सामना करती है: जबकि मानक सुदृढीकरण शिक्षण (reinforcement learning - RL) औसत प्रदर्शन में सुधार कर सकता है, यह अक्सर वास्तव में नवीन समाधानों की खोज करने में विफल रहता है, जिससे अधिकतम प्राप्त होने वाला रिवॉर्ड (reward) समय से पहले ही स्थिर (plateau) हो जाता है। यह घटना, जिसे मोड कोलैप्स (mode collapse) कहा जाता है, इसलिए होती है क्योंकि मानक RL उद्देश्य अपेक्षित रिवॉर्ड को अधिकतम करते हैं, जो स्वाभाविक रूप से उच्च-विचलन वाले उत्परिवर्तनों (high-variance mutations) को दंडित करता है। फलस्वरूप, पॉलिसी प्रशिक्षण डेटा में पाए जाने वाले "सुरक्षित," परिचित पैटर्न पर केंद्रित हो जाती है, बजाय इसके कि वह ज्ञान की सीमा के विरल (sparse), उच्च-रिवॉर्ड वाले क्षेत्रों की खोज करे।

इसे कम करने के प्रयास, जैसे कि एंट्रॉपी बोनस या कॉन्फिडेंस-आधारित वेटिंग, एक एकल प्रशिक्षित नेटवर्क पर निर्भर करते हैं। ये विधियाँ एलेयटोरिक अनसर्टेन्टी (aleatoric uncertainty) (अपरिहार्य इनपुट अस्पष्टता) और एपिस्टेमिक अनसर्टेन्टी (epistemic uncertainty) (मॉडल के सीखे हुए ज्ञान में अंतराल) के बीच अंतर करने में विफल रहती हैं। वैज्ञानिक खोज के लिए, यह भ्रम घातक है; पॉलिसी अस्पष्ट लेकिन परिचित क्षेत्रों पर कंप्यूट खर्च करती है, बजाय उस वास्तविक ज्ञान सीमा के जहाँ बड़ी सफलताएँ संभव हैं। इसके अलावा, मौजूदा टेस्ट-टाइम ट्रेनिंग (TTT) सिस्टम अक्सर विविधता पतन (diversity collapse) से ग्रस्त होते हैं, जहाँ कई एडैप्टर्स या ट्रेजेक्टरीज समान वेट कॉन्फ़िगरेशन में अभिसरित (converge) हो जाते हैं, जिससे कोई भी एक्सप्लोरेशन सिग्नल शून्य हो जाता है।

कार्यप्रणाली: UG-TTT

लेखक UG-TTT (अनसर्टेन्टी-गाइडेड टेस्ट-टाइम ट्रेनिंग) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जिसे एनसेंबल विविधता बनाए रखने और खोज को उच्च एपिस्टेमिक अनसर्टेन्टी वाली स्थितियों की ओर निर्देशित करने के लिए डिज़ाइन किया गया है। यह विधि तीन युग्मित घटकों के साथ TTT-DISCOVER बेसलाइन का विस्तार करती है:

1. LoRA एनसेम्बल्स के माध्यम से एपिस्टेमिक अनसर्टेन्टी

एक एकल एडैप्टर के बजाय, UG-TTT एक साझा फ्रीज़्ड बेस मॉडल पर $K$ लो-रैंक एडैप्टर्स (LoRA) का एक एनसेंबल बनाए रखता है। प्रत्येक एडैप्टर $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ को एक वेरिएशनल पोस्टीरियर के स्वतंत्र नमूने के रूप में माना जाता है।

सिग्नल: सिस्टम टोकन स्तर पर म्युचुअल इंफॉर्मेशन (MI) की गणना करके एपिस्टेमिक अनसर्टेन्टी को मात्रात्मक रूप से मापता है। इसे एनसेंबल के मिश्रण वितरण (mixture distribution) की एंट्रॉपी और व्यक्तिगत एडैप्टर्स की औसत एंट्रॉपी के अंतर के रूप में परिभाषित किया गया है:
$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$
व्याख्या: उच्च MI इंगित करता है कि एनसेंबल के सदस्य अगले टोकन पर असहमत हैं, जो एक ऐसे क्षेत्र का संकेत देता जिसे मॉडल ने अभी तक हल नहीं किया है (उच्च एपिस्टेमिक अनसर्टेन्टी)। निम्न MI सहमति को दर्शाता है, भले ही टोकन अस्पष्ट हों (एलेयटोरिक अनसर्टेन्टी)।
एकत्रीकरण (Aggregation): सार्थक सिग्नल पर ध्यान केंद्रित करने के लिए, MI को केवल सबसे अनिश्चित शीर्ष 7% टोकन पर औसत निकाला जाता है, जिससे सिंटैक्टिक बॉयलरप्लेट (syntactic boilerplate) को फ़िल्टर किया जा सके जहाँ एडैप्टर्स स्वाभाविक रूप से सहमत होते हैं।

2. अनसर्टेन्टी-शेप्ड एडवांटेज (Uncertainty-Shaped Advantage)

कच्चे MI सिग्नल को एक्सप्लोरेशन बोनस के रूप में पॉलिसी ग्रेडिएंट में एकीकृत किया जाता है।

नॉर्मलाइजेशन: प्रत्येक रोलआउट ग्रुप के भीतर MI स्कोर को स्केल इनवेरिएंट बनाने के लिए मानकीकृत किया जाता है।
डायनेमिक कपलिंग: एक्सप्लोरेशन गुणांक को एक एडेप्टिव एंट्रोपिक टेम्परेचर $\beta(s)$ के साथ जोड़ा जाता है, जो पॉलिसी कॉन्फिडेंस को मापता है। जैसे-जैसे पॉलिसी शार्प (sharp) होती है (जो मोड कोलैप्स का संकेत है), एक्सप्लोरेशन प्रेशर स्वतः बढ़ जाता है। यह सुनिश्चित करता है कि बोनस ठीक उसी समय लागू किया जाए जब पॉलिसी एक संकीर्ण समाधान सेट पर अभिसरित होने के जोखिम में हो।
लॉस फंक्शन: शेप्ड एडवांटेज $A^{shaped}_i$ मानक एडवांटेज के स्थान पर क्लिप्ड इम्पोर्टेंस-सैंपलिंग लॉस में उपयोग किया जाता है, जो पॉलिसी को उच्च-MI स्थितियों की ओर निर्देशित करता है।

3. सबस्पेस-डाइवर्सिटी रेगुलराइज़र (NNM)

एनसेंबल एडैप्टर्स को समान वेट कॉन्फ़िगरेशन में ढलने (जिससे MI शून्य हो जाएगा) से रोकने के लिए, लेखक एक न्यूक्लियर-नॉर्म मैक्सिमाइजेशन (NNM) रेगुलराइज़र पेश करते हैं।

तंत्र: रेगुलराइज़र एनसेंबल में स्टैक्ड डाउन-प्रोजेक्शन मैट्रिसेस ( $A^{(k)}$ ) के न्यूक्लियर नॉर्म (सिंगुलर वैल्यूज का योग) को अधिकतम करता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (प्रपोजिशन 2) कि एक निश्चित फ्रोबेनियस नॉर्म बाधा के तहत, न्यूक्लियर नॉर्म का ग्लोबल मैक्सिमम तब प्राप्त होता है जब एडैप्टर्स के रो स्पेस (row spaces) परस्पर ऑर्थोगोनल (orthogonal) होते हैं। यह ज्यामितीय स्थिति सुनिश्चित करती है कि प्रत्येक एडैप्टर एक विशिष्ट इनपुट सबस्पेस पर ध्यान केंद्रित करे, जिससे BALD (बेयसियन एक्टिव लर्निंग बाय डिसग्रीमेंट) डिकंपोजिशन की गैर-तुच्छता (non-triviality) बनी रहती है।

मुख्य योगदान

अनसर्टेन्टी का अपघटन (Decomposition of Uncertainty): यह पेपर प्रदर्शित करता है कि स्वतंत्र रूप से एडेप्टेड वेट हाइपोथीसिस (LoRA एनसेम्बल्स के माध्यम से) के बीच असहमति को मापना एपिस्टेमिक अनसर्टेन्टी को अलग करने के लिए आवश्यक है, जो कि सिंगल-नेटवर्क दृष्टिकोणों में अनुपस्थित होता है।
नवीन रेगुलराइजेशन: न्यूक्लियर-नॉर्म मैक्सिमाइजेशन रेगुलराइज़र का परिचय एनसेंबल विविधता को बनाए रखने के लिए महत्वपूर्ण तंत्र के रूप में पहचाना गया है। इसके बिना, एडैप्टर्स दो इपोक के भीतर समान समाधानों में अभिसरित हो जाते हैं, जिससे एक्सप्लोरेशन सिग्नल समाप्त हो जाता है।
कुशल टेस्ट-टाइम ट्रेनिंग: UG-TTT फुल मॉडल रेप्लिकेशन की कम्प्यूटेशनल लागत से बचते हुए, लो-रैंक एडैप्टर्स के एक छोटे एनसेंबल के साथ ये लाभ प्राप्त करता है, जबकि वेट्स पर एक विशिष्ट पोस्टीरियर बनाए रखता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Qwen3-8B मॉडल का उपयोग करके चार वैज्ञानिक खोज बेंचमार्क (AC1, AC2, CP26, और Erdős) पर किया गया।

अधिकतम रिवॉर्ड: UG-TTT ने चार में से तीन कार्यों पर TTT-DISCOVER बेसलाइन की तुलना में अधिकतम रिवॉर्ड ( $R_{max}$ ) में सुधार किया। चौथे कार्य (Erdős) पर, इसने बेसलाइन की ऊपरी सीमा (ceiling) के बराबर प्रदर्शन किया, जबकि गुणात्मक रूप से भिन्न समाधानों की खोज की।
विविधता संरक्षण: जबकि बेसलाइन का सॉल्यूशन-फैमिली एंट्रॉपी इपोक 5 तक $\approx 0.65$ बिट्स तक गिर गया, UG-TTT ने $\approx 1.42$ बिट्स की एंट्रॉपी बनाए रखी। यह इंगित करता है कि मॉडल ने एक एकल "सुरक्षित" रणनीति पर अभिसरित होने के बजाय विविध एल्गोरिथमिक परिवारों की खोज जारी रखी।
नवीन समाधानों की खोज:
- AC1: UG-TTT ने 18/30 टॉप रोलआउट्स में कॉची-श्वार्ज़ टारगेट ( $\sqrt{2n}$ ) की खोज की, जबकि बेसलाइन ने इसे केवल 1/30 में पाया।
- AC2: बेसलाइन scipy.optimize.differential_evolution का उपयोग करने में विफल रहा (0/30 टॉप रोलआउट), जबकि UG-TTT ने इसे 13/30 में उपयोग किया, जिससे उच्च रिवॉर्ड प्राप्त हुआ।
- Erdős: UG-TTT ने एक फूरियर-आधारित इनिशियलाइजेशन रणनीति की खोज की जिसे बेसलाइन ने कभी नहीं देखा।
दक्षता (Efficiency): UG-TTT ने CP26 पर स्टेट-ऑफ-द-आर्ट सीलिंग तक 384 रोलआउट्स में पहुँच गया, जो बेसलाइन द्वारा आवश्यक 25,600 रोलआउट्स की तुलना में काफी कम है।

महत्व और दावे

पेपर का दावा है कि टेस्ट-टाइम डिस्कवरी में विविधता पतन एक एकल-मॉडल, स्केलर-रिवॉर्ड ऑप्टिमाइजेशन का संरचनात्मक परिणाम है। एक एनसेंबल-आधारित म्यूचुअल इंफॉर्मेशन सिग्नल को न्यूक्लियर-नॉर्म रेगुलराइज़र के साथ जोड़कर, UG-TTT सफलतापूर्वक पॉलिसी को "ज्ञान की सीमा" की ओर निर्देशित करता है जहाँ वास्तविक खोज संभव है।

लेखक इस बात पर जोर देते हैं कि न्यूक्लियर-नॉर्म रेगुलराइज़र सिस्टम का "लोड-बेयरिंग कंपोनेंट" है; एब्लेशन अध्ययन पुष्टि करते हैं कि इसे हटाने से अनसर्टेन्टी सिग्नल ध्वस्त हो जाता है और सिस्टम मानक RL व्यवहार में वापस चला जाता है। यह कार्य सुझाव देता है कि एडैप्टर्स के बीच सबस्पेस ऑर्थोगोनैलिटी बनाए रखना स्पार्स-रिवॉर्ड वैज्ञानिक खोज कार्यों में एक्सप्लोरेशन को बनाए रखने के लिए एक आवश्यक शर्त है।

पेपर सामान्यीकरण (generalization) के संबंध में विनम्र बना हुआ है, यह नोट करते हुए कि परिणाम एक विशिष्ट मॉडल (Qwen3-8B), एक एकल GPU कॉन्फ़िगरेशन, और एडैप्टर्स की एक निश्चित संख्या ( $K=5$ ) पर आधारित हैं। यह स्वीकार करता है कि स्ट्रीमिंग अर्ली-स्टॉप मैकेनिज्म के लिए विशिष्ट कार्यों के लिए अनुभवजन्य अंशांकन (empirical calibration) की आवश्यकता थी और शोर वाले या सीखे गए वेरीफायर (verifiers) में पोर्ट करने के लिए पुन: अंशांकन की आवश्यकता होगी।