🤖 AI

Free Lunch for Pass@ $k$ ? Low Cost Diverse Sampling for Diffusion Language Models

यह शोध पत्र डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक प्रशिक्षण-मुक्त, कम लागत वाले हस्तक्षेप का प्रस्ताव करता है जो महत्वपूर्ण कम्प्यूटेशनल ओवरहेड के बिना जनरेटिव विविधता को बढ़ाने और रीजनिंग कार्यों पर Pass@ $k$ प्रदर्शन में सुधार करने के लिए एक बैच में मध्यवर्ती नमूनों को क्रमिक रूप से प्रतिकर्षित (repel) करता है।

मूल लेखक: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली सुलझाने की कोशिश कर रहे हैं, जैसे कि कोई कोड लिखना जो काम करे या गणित की कोई जटिल समस्या हल करना। आप मदद के लिए एक AI से पूछते हैं।

यदि आप AI से एक बार पूछते हैं, तो वह एक उत्तर देता है। लेकिन क्या होगा अगर वह उत्तर गलत हो? AI की दुनिया में, हम अक्सर उससे एक साथ कई बार (मान लीजिए 16 बार) प्रयास करने के लिए कहते हैं ताकि यह देखा जा सके कि क्या उन प्रयासों में से कोई एक सही समाधान तक पहुँच पाता है। इसे Pass@k (k प्रयासों पर पास होना) कहा जाता है।

समस्या यह है कि वर्तमान AI मॉडल थोड़े जिद्दी छात्र की तरह हैं, जो जब 16 बार प्रयास करने के लिए कहा जाता है, तो बस एक ही गलत उत्तर को 16 बार लिखता है, बस उसकी लिखावट थोड़ी अलग होती है। वे विफलता के एक "लूप" में फंस जाते हैं। इसे मोड कोलैप्स (mode collapse) कहा जाता है।

यह पेपर एक चतुर, मुफ्त ट्रिक पेश करता है जिसे ODD (Orthogonal Diverse Diffusion) कहते हैं, जो इसे ठीक करती है। यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "इको चैंबर" (गूँज का कमरा)

कल्पना कीजिए कि आप एक कमरे में 16 लोगों (AI सैंपल्स) के साथ हैं जो बाहर निकलने का रास्ता खोजने की कोशिश कर रहे हैं।

पुराना तरीका (Standard Sampling): हर कोई एक ही रेडियो स्टेशन सुन रहा है। वे सभी एक ही गलत दिशा सुनते हैं। भले ही वहां 16 लोग हैं, वे सभी एक ही दीवार से टकरा जाते हैं। आपके पास 16 लोग हैं, लेकिन केवल 1 अनूठा विचार है। यह ऊर्जा की बर्बादी है।

2. समाधान: "विकर्षण क्षेत्र" (Repulsion Field)

लेखक इस खेल के लिए एक नया नियम प्रस्तावित करते हैं। जैसे-जैसे AI इन 16 प्रयासों को उत्पन्न करता है, यह उन्हें अलग-अलग, अलग-थलग घटनाओं के रूप में नहीं देखता। इसके बजाय, यह उन्हें एक टीम के रूप में देखता है जिसे फैलने की आवश्यकता है।

उपमा: कल्पना कीजिए कि पहला व्यक्ति गलियारे में चलना शुरू करता है। दूसरे व्यक्ति को कहा जाता है, "वहाँ मत चलो जहाँ पहला व्यक्ति चल रहा है; बाईं ओर जाओ।" तीसरे व्यक्ति को कहा जाता है, "वहाँ मत चलो जहाँ पहला या दूसरा व्यक्ति चल रहा है; एक नया रास्ता खोजो।"
जादू: AI एक गणितीय "विकर्षण बल" (repulsion force) का उपयोग करता है। जैसे-जैसे यह दूसरा, तीसरा और चौथा उत्तर उत्पन्न करता है, यह सक्रिय रूप से उन्हें पिछले उत्तरों की विशेषताओं से दूर धकेलता है। यह उन्हें समाधान के विभिन्न कोनों को खोजने के लिए मजबूर करता है।

3. यह कैसे काम करता है (एक "फ्री लंच")

सबसे अच्छी बात यह है कि इसके लिए किसी रीट्रेनिंग (retraining) की आवश्यकता नहीं है।

रूपक: कल्पना कीजिए कि आप एक केक बना रहे हैं (AI मॉडल)। आमतौर पर, केक का स्वाद बदलने के लिए, आपको रेसिपी बदलनी पड़ती है या पूरी नई खेप शून्य से बनानी पड़ती है (रीट्रेनिंग)।
ODD की ट्रिक: रेसिपी बदलने के बजाय, बेकर मिश्रण करते समय ही सामग्री को पुनर्व्यवस्थित करता है। वे उस बैटर (मिश्रण) को लेते हैं जो पहले केक जैसा दिखता है और उसे जमने से पहले धीरे से एक अलग दिशा में धकेल देते हैं।
परिणाम: आपको एक ही बैटर (मिश्रण) से 16 अलग-अलग केक (समाधान) मिलते हैं, जिसमें अतिरिक्त समय या लागत लगभग न के बराबर लगती है।

4. यह क्यों महत्वपूर्ण है

गणित और कोडिंग के लिए: इन क्षेत्रों में, "सही" उत्तर अक्सर दुर्लभ होता है। यदि AI बार-बार एक ही गलत चीज़ का अनुमान लगाता रहता है, तो वह सही समाधान तक कभी नहीं पहुँच पाएगा। AI को 16 अलग दृष्टिकोण आज़माने के लिए मजबूर करके, "गोल्डन टिकट" (सही समाधान) मिलने की संभावना आसमान छू लेती है।
समझौता (Trade-off): कभी-कभी, AI को अलग होने के लिए मजबूर करने से एक व्यक्तिगत उत्तर थोड़ा खराब हो सकता है (क्योंकि वह एक जोखिम भरा रास्ता अपना रहा है)। लेकिन, 16 उत्तरों का समूह बहुत अधिक संभावना रखता है कि उसमें कम से कम एक सटीक समाधान मौजूद हो।

सारांश

ODD को AI के लिए एक "विविधता कोच" (Diversity Coach) के रूप में सोचें।

पहले: AI एक ऐसे गायक दल (choir) की तरह था जहाँ हर कोई एक ही स्वर गा रहा था, भले ही वह सुर से बाहर हो।
बाद में: कोच प्रत्येक गायक को फुसफुसाता है, "तुम, एक ऊँचा स्वर लगाओ। तुम, एक नीचा स्वर लगाओ। तुम, एक अलग लय आजमाओ।"
परिणाम: भले ही गायक दल एक कठिन गाना गा रहा हो, इस बात की संभावना बहुत अधिक है कि कोई तो एकदम सही सुर लगा ही देगा, और वे ऐसा बिना नए गायक रखने या नए वाद्य यंत्र खरीदने के कर लेते हैं।

पेपर यह सिद्ध करता है कि यह कठिन गणितीय समस्याओं (GSM8K) और कोडिंग चुनौतियों (HumanEval) पर काम करता है, जो दिखाता है कि इस सरल, कम लागत वाले बदलाव के साथ, AI उन समस्याओं को हल कर सकता है जिन्हें वह पहले नहीं कर पा रहा था, केवल अधिक रचनात्मक और कम दोहराव वाला बनकर।

यहाँ शोध पत्र "Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेक्स्ट जनरेशन में अतिरेक (redundancy) और मोड कोलैप्स (mode collapse) की समस्या को संबोधित करता है, विशेष रूप से डिफ्यूजन लैंग्वेज मॉडल्स (DLMs) जैसे कि LLaDA के संदर्भ में।

संदर्भ: जटिल तर्क कार्यों (जैसे, कोड जनरेशन, गणितीय समस्या समाधान) में, सफलता को अक्सर Pass@k द्वारा मापा जाता है, जिसके लिए कम से कम एक सही समाधान खोजने हेतु $k$ विशिष्ट उम्मीदवारों को उत्पन्न करने की आवश्यकता होती है।
चुनौती: पारंपरिक सैंपलिंग विधियाँ (टेम्परेचर स्केलिंग, बीम सर्च) अक्सर अत्यधिक सह-संबंधित (correlated) आउटपुट उत्पन्न करती हैं। जब कई समाधानों का नमूना लिया जाता है, तो मॉडल अक्सर एक ही "विफलता मोड" (failure mode) या दोहराव वाले प्रक्षेपवक्र (trajectory) में ढह जाता है, जिससे कंप्यूटेशनल संसाधनों की बर्बादी होती है और वह समाधान स्थान (solution space) को प्रभावी ढंग से एक्सप्लोर करने में विफल रहता है।
मौजूदा समाधानों की सीमाएँ:
- ऑटोरिग्रेसिव (AR) मॉडल: विविध बीम सर्च विधियाँ मौजूद हैं लेकिन वे अक्सर उच्च विलंबता (latency) लाती हैं या अलग से वैल्यू मॉडल की आवश्यकता होती है।
- DLMs: जबकि DLMs अनुक्रम का एक वैश्विक दृश्य (global view) प्रदान करते हैं (जो बेहतर हस्तक्षेप की अनुमति देता है), मौजूदा विविधता विधियाँ (जैसे, DiverseFlow) अक्सर वैश्विक बैच अनुकूलन (जैसे, Determinantal Point Processes) पर निर्भर करती हैं जो कम्प्यूटेशनल रूप से महंगी हो सकती हैं या विविधता लाने के लिए उच्च-संभाव्यता वाले नमूनों को निम्न-गुणवत्ता वाले मोड में धकेल सकती हैं।
- पोस्ट-ट्रेनिंग: कई विविधता विधियों के लिए रीइन्फोर्समेंट लर्निंग (RL) पोस्ट-ट्रेनिंग की आवश्यकता होती है, जो महंगी है और बेस मॉडल को बदल देती है।

2. कार्यप्रणाली: ODD (Orthogonal Diverse Diffusion)

लेखक ODD प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, इन्फरेंस-टाइम इंटरवेंशन है जो नगण्य कंप्यूटेशनल ओवरहेड के साथ जेनेरेटिव डाइवर्सिटी को बढ़ाता है।

मुख्य अवधारणा (Core Concept)

ODD एक बैच के मध्यवर्ती नमूनों (intermediate samples) के लॉजिट्स (logits) को क्रमिक रूप से संशोधित करता है। जैसे-जैसे प्रत्येक नमूना $i$ उत्पन्न किया जाता है, उसका फीचर वेक्टर सक्रिय रूप से पिछले सभी नमूनों $\{1, \dots, i-1\}$ के फीचर वेक्टर्स द्वारा बनाए गए सबस्पेस (subspace) से "प्रतिकर्षित" (repelled) किया जाता है। यह सुनिश्चित करता है कि प्रत्येक नया नमूना समाधान स्थान में एक अद्वितीय दिशा का अन्वेषण करे।

तकनीकी कार्यान्वयन (Technical Implementation)

फीचर निष्कर्षण ( $F$ ):
- भारी बाहरी एनकोडर के बजाय, ODD मॉडल के आउटपुट डिस्ट्रीब्यूशन (logits) पर सीधे काम करने वाले एक हल्के फीचर एक्सट्रैक्टर का उपयोग करता है।
- यह अनुक्रम के लिए एक एकीकृत संभाव्यता वितरण $P_i$ का निर्माण करता है।
- गुणवत्ता जागरूकता (Quality Awareness): केवल विविधता के लिए मॉडल को असंगत टेक्स्ट उत्पन्न करने से रोकने के लिए, अनमास्क्ड टोकन के औसत आत्मविश्वास के आधार पर एक गुणवत्ता स्कोर $q_i$ की गणना की जाती है। यह स्कोर डाइवर्सिटी लॉस को वेट करता है, जिससे उच्च-कॉन्फिडेंस क्षेत्रों में विविधता को हतोत्साहित किया जाता है।
ऑर्थोगोनल प्रोजेक्शन और लॉस फंक्शन:
- $i$ -वें नमूने के लिए फीचर वेक्टर $v_i$ के साथ, एल्गोरिदम ग्राम-श्मिट प्रक्रिया (Gram-Schmidt process) का उपयोग करके पिछले नमूनों का एक ऑर्थोगोनल बेसिस $B_{<i}$ बनाए रखता है।
- डाइवर्सिटी लॉस $L_{orth}$ को पिछले नमूनों के सबस्पेस पर $v_i$ के प्रोजेक्शन के बाद अवशेष (residual) के नेगेटिव स्क्वेर्ड नॉर्म के रूप में परिभाषित किया गया है, जिसे गुणवत्ता स्कोर $q_i$ द्वारा स्केल किया गया है:
  $L_{orth}(v_i, v_{<i}) \triangleq q_i \cdot \left( -\|v_i - \text{proj}_{B_{<i}}(v_i)\|^2 \right)$
- लॉजिट्स को ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है: $\hat{x}_i = x_i - \alpha \cdot \nabla_{x_i} L_{orth}$ ।
क्रमिक बनाम वैश्विक अनुकूलन (Sequential vs. Global Optimization):
- DiverseFlow (जो पूरे बैच को वैश्विक रूप से अनुकूलित करता है) के विपरीत, ODD एक लालची, क्रमिक दृष्टिकोण (greedy, sequential approach) का उपयोग करता है।
- नमूना $i$ केवल नमूनों $1 $से$ i-1$ के विरुद्ध प्रतिकर्षण करता है।
- मुख्य लाभ: यह नमूना $i$ के जनरेशन प्रक्षेपवक्र को बैच-साइज इनवेरिएंट (batch-size invariant) बनाता है। नमूना $i$ वही आउटपुट देगा चाहे कुल बैच साइज 16 हो या 128, बशर्ते बेस लॉजिट्स समान हों। यह संयुक्त वैश्विक अनुकूलन में देखे जाने वाले अराजक अनुकूलन प्रक्षेपवक्रों से बचता है।
दक्षता (Efficiency):
- विधि प्रोजेक्शन ऑपरेशन्स पर स्टॉप-ग्रेडिएंट्स (stop-gradients) का उपयोग करती है, जिससे स्थापित सबस्पेस को एक फिक्स्ड टारगेट के रूप में माना जाता है। यह एक महंगे रिकर्सिव कंप्यूटेशन ग्राफ के निर्माण को रोकता है।
- प्रतिकर्षण शक्ति $\alpha$ को डिफ्यूजन स्टेप्स के दौरान लीनियरली एनेलिएट (anneal) किया जाता है, जो जनरेशन के शुरुआती चरणों में (जब संरचना बनती है) अधिक विविधता दबाव लगाता है और बाद के चरणों में (जब बारीक विवरण भरे जाते हैं) कम दबाव लगाता है।

3. मुख्य योगदान (Key Contributions)

ट्रेनिंग-फ्री फ्रेमवर्क: मॉडल वेट को पुन: प्रशिक्षित या संशोधित किए बिना DLMs में विविधता में सुधार करने वाली एक विधि पेश करता है।
कम ओवरहेड: यह हस्तक्षेप नगण्य कंप्यूटेशनल लागत जोड़ता है और बेस मॉडल के आकार से स्वतंत्र है।
नया एल्गोरिदम (ODD): वैश्विक बैच विधियों की तुलना में अधिक प्रभावी ढंग से अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाने के लिए एक क्रमिक ऑर्थोगोनल प्रोजेक्शन रणनीति का प्रस्ताव करता है।
ओपन सोर्स: विविध सैंपलिंग में आगे के अनुसंधान को सुगम बनाने के लिए कोड, लॉग और डेटा जारी किए गए हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन LLaDA-8B-Instruct मॉडल का उपयोग करके HumanEval (कोड जनरेशन) और GSM8K (गणितीय तर्क) पर किया गया।

Pass@k प्रदर्शन:
- GSM8K: ODD ने विभिन्न टेम्परेचर पर Pass@16 में महत्वपूर्ण सुधार किया। उदाहरण के लिए, $\theta=1.0$ पर, Pass@16 बेसलाइन के ~76.6% से बढ़कर 87.9% (ODD) हो गया।
- HumanEval: ODD ने भारी लाभ दिखाया, विशेष रूप से निम्न-टेम्परेचर शासन (regimes) में जहाँ बेसलाइन मॉडल मोड कोलैप्स का शिकार होते हैं। $\theta=0.0$ पर, Pass@16 19.5% से उछलकर 41.3% हो गया।
- मजबूती (Robustness): ODD बेसलाइन की तुलना में टेम्परेचर सेटिंग्स के प्रति कम संवेदनशील है, जो व्यापक हाइपरपैरामीटर ट्यूनिंग के बिना निरंतर सुधार प्रदान करता है।
विविधता बनाम गुणवत्ता ट्रेड-ऑफ (Diversity vs. Quality Trade-off):
- पारेटो दक्षता (Pareto Efficiency): HumanEval पर, ODD ने Pass@1 (व्यक्तिगत नमूना सटीकता) को कम किए बिना Pass@16 में पारेटो सुधार प्राप्त किया।
- अन्वेषण (Exploration): GSM8K पर, ODD ने Pass@1 को थोड़ा कम किया (जो कम संभावित पथों के अन्वेषण को मजबूर करता है) लेकिन Pass@16 को नाटकीय रूप से बढ़ा दिया, जो यह सिद्ध करता है कि जोखिम भरे पथों के अन्वेषण की "लागत" एक बैच के भीतर सही समाधान खोजने की उच्च संभावना प्रदान करती है।
कवरेज विश्लेषण (Coverage Analysis):
- ODD ने HumanEval पर संचयी समस्या कवरेज को 67% (बेसलाइन) से बढ़ाकर 78.7% कर दिया, जिससे उन वैध समाधानों को खोजा जा सका जिन्हें बेसलाइन 640 परीक्षणों के बाद भी पूरी तरह से मिस कर देती है।
- GSM8K पर, जबकि बेसलाइन कवरेज जल्दी संतृप्त (saturate) हो गया, ODD ने खोज को सुव्यवस्थित किया, जिससे एक निश्चित कंप्यूट बजट के भीतर सही उत्तर अधिक कुशलता से मिले।
कंप्यूटेशनल ओवरहेड:
- समय: केवल 3.9% से 5.8% लेटेंसी जोड़ी।
- मेमोरी: VRAM ओवरहेड नगण्य (5–15%) था और मॉडल के आकार से स्वतंत्र रूप से स्केल हुआ।

5. महत्व (Significance)

तर्क में दक्षता: जैसे-जैसे इन्फरेंस-टाइम कंप्यूट रीजनिंग क्षमताओं को स्केल करने के लिए एक बाधा बनता जा रहा है, ODD कंप्यूट को उपयोगी अन्वेषण (useful exploration) में बदलने का एक तरीका प्रदान करता है, न कि केवल रेडंडेंट सैंपलिंग में।
प्रतिमान लाभ (Paradigm Advantage): यह शोध पत्र ऑटोरिग्रेसिव मॉडलों की तुलना में डिफ्यूजन मॉडलों का एक अनूठा लाभ रेखांकित करता है: हर स्टेप पर जनरेशन प्रक्रिया पर वैश्विक रूप से हस्तक्षेप करने की क्षमता। ODD कम लागत वाले सुधार प्राप्त करने के लिए इसका लाभ उठाता है।
तत्काल प्रयोज्यता: चूंकि यह ट्रेनिंग-फ्री और लाइटवेट है, ODD को विविध समाधान खोज (कोडिंग, गणित, प्रमेय सिद्ध करना) की आवश्यकता वाले मौजूदा और भविष्य के DLMs पर तुरंत लागू किया जा सकता है।

संक्षेप में, ODD ऑर्थोगोनल प्रोजेक्शन के माध्यम से गणितीय रूप से विविधता को लागू करके Pass@k के लिए एक "फ्री लंच" प्रदान करता है, यह सुनिश्चित करता है कि बैच में प्रत्येक अतिरिक्त नमूना न्यूनतम कंप्यूटेशनल दंड के साथ समाधान स्थान में एक अनूठा दृष्टिकोण जोड़े।