🤖 AI

OLLM: Options-based Large Language Models

यह शोध पत्र ऑप्शंस-आधारित लार्ज लैंग्वेज मॉडल्स (OLLM) को प्रस्तुत करता है, जो एक हल्का आर्किटेक्चरल प्लग-इन है जो सिंगल नेक्स्ट-टोकन प्रेडिक्शन को एक डिस्क्रीट लेटेंट वेरिएबल द्वारा इंडेक्स किए गए सीखे हुए ऑप्शंस के सेट से बदल देता है, जिससे मानक बेसलाइन्स की तुलना में अधिक सैंपल-एफिशिएंट पॉलिसी लर्निंग और गणितीय तर्क प्रदर्शन में महत्वपूर्ण सुधार सक्षम होता है।

मूल लेखक: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "OLLM: ऑप्शंस-बेस्ड लार्ज लैंग्वेज मॉडल्स" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए स्पष्टीकरण दिया गया है।

समस्या: "एक-विकल्प" की दुविधा (The "One-Choice" Dilemma)

कल्पना कीजिए कि आप एक दोस्त के साथ कहानी लिख रहे हैं जो एक AI है। हर बार जब आप एक वाक्य पूरा करते हैं, तो AI को अगले शब्द का अनुमान लगाना होता है।

मानक AI मॉडल्स में, AI डिक्शनरी के सभी संभावित शब्दों (हजारों शब्द) को देखता है और अगले शब्द के रूप में केवल एक को चुनता है। यह एक जंगल में से एक ही रास्ता चुनने जैसा है, भले ही वहाँ तीन या चार समान रूप से अच्छे रास्ते मौजूद हों। यदि AI शुरुआत में ही "गलत" रास्ता चुन लेता है (भले ही वह एक वैध रास्ता हो), तो वह बाद में एक डेड एंड (बंद रास्ते) में फंस सकता है।

AI को अधिक रचनात्मक या विविध बनाने के लिए, डेवलपर्स आमतौर पर "टेम्परेचर" (temperature) नॉब का उपयोग करते हैं। यह पासे (dice) को हिलाने जैसा है ताकि AI रैंडम शब्द चुन सके। लेकिन यह अव्यवस्थित है। कभी-कभी यह ऐसा शब्द चुन लेता है जिसका कोई अर्थ नहीं होता, या यह दूसरी भाषा बोलने लगता है, या गोल-गोल घूमने लगता है। यह स्टीयरिंग व्हील पर डार्ट फेंककर कार चलाने की कोशिश करने जैसा है।

समाधान: "मेन्यू" दृष्टिकोण (The "Menu" Approach - OLLM)

इस पेपर के लेखक, शशांक शर्मा और उनके सहयोगियों ने OLLM (ऑप्शंस लार्ज लैंग्वेज मॉडल) नामक एक स्मार्ट तरीका प्रस्तावित किया है।

AI को तुरंत एक शब्द चुनने के लिए मजबूर करने के बजाय, वे AI को अगले शब्द के लिए विकल्पों का एक छोटा मेन्यू (जैसे 10 विकल्प) देते हैं।

इसे एक रेस्टोरेंट में ऑर्डर देने की तरह समझें:

पुराना तरीका: वेटर (AI) पूरे मेन्यू में से एक रैंडम डिश चिल्लाकर बताता है। अगर आपको वह पसंद नहीं आई, तो आपको फिर से शुरुआत करनी होगी।
OLLM तरीका: वेटर आपके सामने आपके वर्तमान ऑर्डर के अनुकूल 10 स्वादिष्ट व्यंजनों की एक छोटी, चुनिही हुई सूची पेश करता है। फिर आप (या एक स्मार्ट मैनेजर) उस सूची में से सबसे अच्छा विकल्प चुनते हैं।

यह कैसे काम करता है: "ट्रांसलेटर" और "मैनेजर"

यह पेपर एक सरल "प्लग-इन" सिस्टम पेश करता है जो पूरे मॉडल को फिर से बनाए बिना मौजूदा AI मॉडल्स पर फिट हो जाता है। यह दो छोटे हिस्से जोड़ता है:

एन्कोडर (द ट्रांसलेटर - अनुवादक):
जब AI अगले शब्द के बारे में सोच रहा होता है, तो यह हिस्सा संदर्भ (context) और सही उत्तर (ट्रेनिंग के दौरान) को देखता है। यह "कौन सा शब्द?" के जटिल निर्णय को एक सरल कोड में बदल देता है, जैसे कि 1 से 10 तक की एक संख्या।

उपमा: कल्पना कीजिए कि एक अनुवादक एक जटिल वाक्य सुनता है और कहता है, "ठीक है, इस भाग के लिए, हम विकल्प 3 के क्षेत्र में हैं।"

डिकोडर (द मैनेजर - प्रबंधक):
यह हिस्सा उस सरल कोड (विकल्प 3) को लेता है और AI की सोच को इस तरह समायोजित करता है कि वह सुनिश्चित हो सके कि चुना गया शब्द उस विकल्प के अनुकूल हो।

उपमा: मैनेजर किचन को बताता है, "आज हम विकल्प 3 बना रहे हैं, इसलिए केवल वही व्यंजन परोसें जो विकल्प 3 के अनुकूल हों।"

असली जादू: "लो-डायमेंशनल" पॉलिसी (The "Low-Dimensional" Policy)

असली जादू तब होता है जब AI का वास्तव में उपयोग किया जा रहा होता है (inference)। AI द्वारा रैंडम अनुमान लगाने के बजाय, एक छोटा, स्मार्ट "पॉलिसी" (एक छोटा मैनेजर) स्थिति को देखता है और सबसे अच्छा विकल्प नंबर (जैसे, "चलिए विकल्प 4 के साथ चलते हैं") चुनता है।

यह बेहतर क्यों है?

दक्षता (Efficiency): एक मैनेजर के लिए 10 विकल्पों में से चुनना बहुत आसान है बजाय इसके कि वह 50,000 शब्दों में से चुने। यह 10 सुइयों वाली एक छोटी डिब्बे में सुई खोजने जैसा है, न कि घास के ढेर में सुई खोजने जैसा।
सुरक्षा (Safety): क्योंकि AI को केवल उन्हीं विकल्पों में से चुनने की अनुमति है जो उसने अपनी ट्रेनिंग के दौरान सीखे हैं, यह अचानक फ्रेंच बोलने या बेतुकी बातें (hallucinations) करने का निर्णय नहीं ले सकता। यह उन "सुरक्षित रास्तों" पर बना रहता है जिन्हें वह पहले से जानता है।
गणितीय शक्ति (Math Superpowers): इस पेपर का परीक्षण गणित की समस्याओं पर किया गया। मानक AI मॉडल्स ने लगभग 51% उत्तर सही दिए। OLLM मॉडल, जब उसे चुनने के लिए सबसे अच्छा विकल्प दिया गया, तो वह 70% तक पहुँच सका।

"पेड़" की उपमा (The "Tree" Analogy)

कल्पना कीजिए कि गणित की समस्या हल करना एक पेड़ की शाखाओं पर चढ़ने जैसा है।

मानक AI: यह रैंडम तरीके से एक शाखा चुनता है। यदि वह शाखा एक डेड एंड (बंद रास्ते) की ओर ले जाती है, तो पूरा उत्तर गलत हो जाता है।
OLLM: यह देखता है कि इस विशिष्ट मोड़ पर, तीन वैध शाखाएँ हैं। यह उन तीनों को अपने "विकल्प मेन्यू" में जीवित रखता है। बाद में, एक स्मार्ट मैनेजर पूरे पेड़ को देखता है और उस शाखा को चुनता है जो फल (सही उत्तर) की ओर ले जाती है।

यह क्यों महत्वपूर्ण है

यह तरीका एक "प्लग-एंड-प्ले" अपग्रेड है। आपको AI के पूरे विशाल मस्तिष्क को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आपको बस ये दो छोटे लेयर्स जोड़ने हैं। यह AI को बनाता है:

गणित में स्मार्ट: यह समस्या को हल करने के विभिन्न तरीकों को खोज सकता है बिना रास्ता भटके।
अधिक नियंत्रणीय: हम अलग-अलग "विकल्पों" को चुनकर AI को रचनात्मक या तार्किक बनाने के लिए निर्देशित कर सकते हैं।
कम बर्बादी वाला: इसे एक अच्छा उत्तर खोजने के लिए लाखों रैंडम अनुमान लगाने की आवश्यकता नहीं है।

संक्षेप में, OLLM AI को अंधे होकर अनुमान लगाने से रोकता है और उसे अच्छे विकल्पों का एक मेन्यू देना शुरू करता है, जिससे एक स्मार्ट मैनेजर विजेता का चयन कर सके। यह AI को तेज़, सुरक्षित और कठिन समस्याओं को हल करने में बहुत बेहतर बनाता है।

यहाँ शोध पत्र "OLLM: Options-based Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

पारंपरिक लार्ज लैंग्वेज मॉडल्स (LLMs) एक सिंगल नेक्स्ट-टोकन प्रेडिक्शन (single next-token prediction) प्रतिमान पर कार्य करते हैं। विविध आउटपुट उत्पन्न करने के लिए, वे स्टोकेस्टिक सैंपलिंग ह्यूरिस्टिक्स (जैसे तापमान/temperature, top-k, top-p) पर निर्भर करते हैं। इस दृष्टिकोण की कई सीमाएँ हैं:

निहित विविधता (Implicit Diversity): विविधता को शोर (noise) के माध्यम से प्रेरित किया जाता है न कि इसे स्पष्ट रूप से मॉडल किया जाता है, जिससे इसे नियंत्रित या अनुकूलित करना कठिन हो जाता है।
प्रतिस्पर्धा (Competition): संभावित वैकल्पिक टोकन एक ही प्रोबेबिलिटी सिम्प्लेक्स (softmax) के भीतर प्रतिस्पर्धा करते हैं, जो अक्सर मॉडल को एक प्रमुख मोड (dominant mode) पर ओवरफिट होने या वास्तविक मल्टीमोडैलिटी (multimodality) को पकड़ने में विफल होने के लिए मजबूर करता है।
अकुशल RL (Inefficient RL): पूरे वोकैबुलरी (vocabulary) पर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) फाइन-ट्यूनिंग, सैंपल-अकुशल है और "रिवॉर्ड हैकिंग" या अपभ्रंश व्यवहार (जैसे भाषा बदलना, असंगत तर्क) के प्रति संवेदनशील है क्योंकि एक्शन स्पेस बहुत बड़ा और असंरचित है।
अस्पष्टता बनाम नियतता (Ambiguity vs. Determinism): अनुभवजन्य विश्लेषण से पता चलता है कि जबकि कई टोकन स्थितियाँ नियत (deterministic) हैं (जैसे गणितीय सूत्र को पूरा करना), एक महत्वपूर्ण हिस्सा (~58%) अत्यधिक अस्पष्ट है, जो कई संभावित निरंतरताओं को स्वीकार करता है। मानक LLMs बिना एक एकल मोड में सिमटे इन विकल्पों को स्पष्ट रूप से प्रदर्शित करने में संघर्ष करते हैं।

2. कार्यप्रणाली: ऑप्शंस LLM (OLLM)

लेखक OLLM का प्रस्ताव करते हैं, जो एक हल्का आर्किटेक्चरल संशोधन है जो सिंगल नेक्स्ट-टोकन डिस्ट्रीब्यूशन को एक सेट लर्न किए गए ऑप्शंस (learned options) से बदल देता है, जो एक डिस्क्रीट लेटेंट वेरिएबल द्वारा इंडेक्स किए गए होते हैं।

आर्किटेक्चर (Architecture)

OLLM एक "प्लग-इन" मॉड्यूल के रूप में कार्य करता है जिसे किसी भी प्री-ट्रेन्ड LLM के आउटपुट हेड (lm_head) से पहले डाला जाता है। इसमें दो नए लेयर्स शामिल हैं:

एनकोडर ( $E_\psi$ ):
- इनपुट: कॉन्टेक्स्टुअल हिडन स्टेट ( $h_t$ ) और ग्राउंड-ट्रुथ नेक्स्ट टोकन का एम्बेडिंग ( $e(y_{t+1})$ )।
- कार्य: ये इनपुट एक छोटे, डिस्क्रीट लेटेंट स्पेस $Z = \{1, \dots, K\}$ पर प्रोबेबिलिटी डिस्ट्रीब्यूशन को मैप करते हैं।
- लक्ष्य: प्रशिक्षण के दौरान, यह लक्ष्य टोकन के आधार पर सही "ऑप्शन" (लेटेंट) को असाइन करना सीखता है।
डिकोडर ( $D_\omega$ ):
- इनपुट: चयनित लेटेंट वेरिएबल $z$ और हिडन स्टेट $h_t$ ।
- कार्य: यह एक बायस वेक्टर $\Delta h_t$ उत्पन्न करता है जिसे वोकैबुलरी प्रोजेक्शन से पहले हिडन स्टेट में जोड़ा जाता है।
- प्रभाव: यह लॉजिट्स (logits) को इस तरह से बायस करता है कि विभिन्न लेटेंट ऑप्शंस अलग-अलग लॉजिट स्पेस से मेल खाते हैं, जो प्रभावी रूप से प्रतिस्पर्धी निरंतरताओं को अलग (disentangle) करता है।

प्रशिक्षण उद्देश्य (Training Objectives)

मॉडल को तीन लॉस (losses) के संयोजन का उपयोग करके प्रशिक्षित किया जाता है:

क्रॉस-एंट्रॉपी लॉस ( $L_{CE}$ ): मानक टोकन प्रेडिक्शन लॉस, जो यह सुनिश्चित करता है कि लेटेंट $z$ दिए जाने पर सही टोकन की भविष्यवाणी की जाए।
KL डाइवर्जेंस रेगुलराइजेशन ( $L_{KL}$ ): एनकोडर के डिस्ट्रीब्यूशन को एक यूनिफॉर्म प्रायर (uniform prior) के करीब रहने के लिए प्रोत्साहित करता है ताकि "लेटेंट कोलैप्स" (जहाँ सभी टोकन एक ही ऑप्शन पर मैप होते हैं) को रोका जा सके। एक लक्षित KL मान (0.2) बनाए रखने के लिए एक एडेप्टिव स्केलिंग फैक्टर का उपयोग किया जाता है।
पॉलिसी लॉस ( $L_{policy}$ ): एक हल्का पॉलिसी नेटवर्क $\pi_\phi$ सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से एनकोडर की नकल करने के लिए प्रशिक्षित किया जाता है। यह सीधे हिडन स्टेट $h_t$ से लेटेंट $z$ की भविष्यवाणी करता है (ग्राउंड-ट्रुथ टोकन तक पहुँच के बिना)।

अनुमान (Inference)

अनुमान के दौरान, एनकोडर को पॉलिसी द्वारा प्रतिस्थापित किया जाता है। पॉलिसी हिडन स्टेट से एक लेटेंट $z$ का चयन करती है, और डिकोडर तदनुसार जनरेशन को बायस करता है। यह डाउनस्ट्रीम ऑप्टिमाइजेशन एक्शन स्पेस को पूरी वोकैबुलरी ( $V$ ) से घटाकर छोटे लेटेंट सेट ( $K$ ) तक सीमित कर देता है।

3. मुख्य योगदान (Key Contributions)

स्पष्ट विकल्प मॉडलिंग (Explicit Option Modeling): OLLM विविधता को स्पष्ट रूप से मॉडल करता है, जो सैंपलिंग नॉइज़ पर निर्भर रहने के बजाय एक कॉम्पैक्ट लेटेंट स्पेस को सीखता है जो कई संभावित नेक्स्ट-टोकन विकल्पों को इंडेक्स करता है।
प्लग-एंड-प्ले दक्षता (Plug-and-Play Efficiency): इस आर्किटेक्चर के लिए केवल दो अतिरिक्त लेयर्स (Encoder/Decoder) की आवश्यकता होती है। प्रयोगों में, कुल पैरामीटर्स का केवल 1.56% (1.7B बैकबोन पर) ट्रेन करने योग्य था, जो इसे अत्यधिक पैरामीटर-एफिशिएंट बनाता है।
विच्छेदित तर्क (Disentangled Reasoning): प्रतिस्पर्धी निरंतरताओं को अलग-अलग लेटेंट ऑप्शंस में विभाजित करके, मॉडल "सॉफ्टमैक्स प्रतियोगिता" की समस्या से बचता है, जिससे यह कई वैध तर्क पथों को एक साथ बनाए रखने में सक्षम होता है।
सैंपल-एफिशिएंट RL फाउंडेशन (Sample-Efficient RL Foundation): लो-डायमेंशनल लेटेंट स्पेस भविष्य के RL के लिए एक संकुचित एक्शन स्पेस के रूप में कार्य करता है, जो पॉलिसी को SFT के दौरान सीखे गए डिस्ट्रीब्यूशन के बाहर अमान्य या अपभ्रंश व्यवहारों को खोजने से रोकता है।
कोई बाहरी लेबल नहीं (No External Labels): नियंत्रण योग्य जनरेशन के पिछले तरीकों के विपरीत, OLLM को बाहरी लेबल (जैसे सेंटीमेंट, टॉपिक) की आवश्यकता नहीं होती है; ऑप्शंस डेटा संरचना से शुद्ध रूप से सीखे जाते हैं।

4. प्रायोगिक परिणाम (Experimental Results)

डेटासेट: OpenMathReasoning पर प्रशिक्षित और OmniMath (एक यूनिवर्सल ओलंपियाड-लेवल बेंचमार्क) पर मूल्यांकित।
बेसलाइन: स्टेट-ऑफ-द-आर्ट LoRA-अनुकूलित बेसलाइन्स ने 51% पीक फाइनल आंसर करेक्टनेस प्राप्त की।
OLLM प्रदर्शन:
- इष्टतम चयन (Optimal Selection): ऑप्टिमल लेटेंट सिलेक्शन (ओरेकल) के तहत, OLLM ने ~70% फाइनल आंसर करेक्टनेस और ~83% पर-टोकन सटीकता प्राप्त की।
- पॉलिसी प्रदर्शन: लेटेंट स्पेस में काम करने वाले एक साधारण SFT-प्रशिक्षित पॉलिसी के साथ भी, OLLM ने बेसलाइन्स को काफी पीछे छोड़ दिया, जिससे सिद्ध हुआ कि लेटेंट स्पेस ने आवश्यक विविधताओं को सफलतापूर्वक कैप्चर किया।
गुणात्मक विश्लेषण (Qualitative Analysis):
- निश्चयात्मक मामलों में (जैसे गणितीय प्रतीक), मॉडल एक सुसंगत विकल्प पर सिमट गया।
- अस्पष्ट मामलों में (जैसे रीजनिंग स्टेप शुरू करना), मॉडल ने अलग-अलग लॉजिकल ब्रांचों के अनुरूप विशिष्ट ऑप्शंस को सफलतापूर्वक सीखा।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

बेहतर नियंत्रण क्षमता (Improved Controllability): OLLM प्रदर्शित करता है कि जनरेशन को सीखे गए ऑप्शन स्पेस तक सीमित करने से जटिल KL पेनल्टी या हस्तनिर्मित एलाइनमेंट लॉस की आवश्यकता के बिना मजबूती बढ़ती है और सामान्य मिसअलाइनमेंट (जैसे भाषा बदलना) कम होता है।
व्याख्यात्मकता (Interpretability): विभिन्न लेटेंट ऑप्शंस अलग-अलग तर्क पथों (reasoning trajectories) के अनुरूप हो सकते हैं, जो LLM निर्णय लेने की प्रक्रिया में व्याख्यात्मकता का एक नया स्तर प्रदान करते हैं।
भविष्य की दिशाएं: लेखक इस लेटेंट स्पेस का उपयोग सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के लिए करने का प्रस्ताव करते हैं। चूंकि एक्शन स्पेस छोटा है और SFT डेटा में आधारित है, इसलिए RL ऑप्टिमाइजेशन पारंपरिक RLHF की तुलना में बहुत अधिक सैंपल-एफिशिएंट और स्थिर होने की उम्मीद है। भविष्य के कार्य इसे कोड जनरेशन, वैज्ञानिक QA और मल्टी-स्टेप प्लानिंग तक विस्तारित करेंगे।

निष्कर्ष:
OLLM "सैंपलिंग विविधता" से "मॉडलिंग विविधता" की ओर एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। ऑप्शंस के एक डिस्क्रीट लेटेंट स्पेस को स्पष्ट रूप से सीखकर, यह LLMs में अधिक कुशल, नियंत्रणीय और मजबूत तर्क को सक्षम बनाता है, विशेष रूप से गणित जैसे जटिल डोमेन में।