🤖 machine learning

IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

यह शोध पत्र IRIS का प्रस्ताव करता है, जो एक एकीकृत सेल्फ-प्ले फाइन-ट्यूनिंग फ्रेमवर्क है जो प्रशिक्षण चरणों के दौरान महत्व भारण (इम्पॉर्टेंस वेटिंग) को गतिशील रूप से अनुकूलित करने के लिए निरंतर समायोज्य रेनी डायवर्जेंस पैरामीटर का लाभ उठाता है, जिससे यह मौजूदा विधियों से बेहतर प्रदर्शन करता है और काफी कम एनोटेटेड नमूनों के साथ उत्कृष्ट परिणाम प्राप्त करता है।

मूल लेखक: Wenjie Liao, Like Wu, Liangjie Zhao, Shihui Xu, Shigeru Fujimura

प्रकाशित 2026-04-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenjie Liao, Like Wu, Liangjie Zhao, Shihui Xu, Shigeru Fujimura

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (AI) को एक आदर्श निबंध लिखना सिखा रहे हैं।

पुराना तरीका: सख्त शिक्षक

परंपरागत रूप से, AI को बेहतर बनाने के लिए, आपको एक मानव शिक्षक की आवश्यकता होती है जो हजारों निबंधों को ग्रेड दे सके। शिक्षक कहता है, "यह वाक्य अच्छा है, यह वाला बुरा है।" इसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है।

समस्या: मानव शिक्षकों को काम पर रखना महंगा और धीमा होता है। एक बार जब AI उपलब्ध निबंधों से सीख लेता है, तो वह एक "सीमा" (ceiling) पर पहुँच जाता है। वह इससे बेहतर नहीं हो सकता क्योंकि उसके पास मानव फीडबैक खत्म हो चुका है।

"सेल्फ-प्ले" का विचार: छात्र बनाम छात्र

इस सीमा को तोड़ने के लिए, शोधकर्ताओं ने सेल्फ-प्ले (Self-Play) का आविष्कार किया। कल्पना कीजिए कि AI एक शतरंज खिलाड़ी है। मानव के खिलाफ खेलने के बजाय, यह अपने ही एक थोड़े पुराने संस्करण के खिलाफ खेलता है।

प्रतिद्वंद्वी: AI एक "नकली" निबंध बनाता है (जैसे कोई छात्र नकल करने की कोशिश कर रहा हो)।
मुख्य खिलाड़ी: वर्तमान AI यह पहचानने की कोशिश करता है कि वास्तविक मानव निबंध और उसके अपने "नकली" निबंध के बीच क्या अंतर है।
लक्ष्य: यदि AI उनके बीच अंतर कर सकता है, तो वह सीख जाता है कि मानव निबंध को क्या खास बनाता है और वह अधिक मानव जैसा लिखने की कोशिश करता है।

यह अच्छी तरह से काम करता है, लेकिन इसमें एक दोष है। इसे "हॉट एंड कोल्ड" (Hot and Cold) के खेल की तरह समझें।

प्रशिक्षण के शुरुआती चरण में: AI लिखने में बहुत खराब होता है। इसके नकली निबंध और वास्तविक निबंध के बीच का अंतर बहुत बड़ा होता है (बहुत "ठंडा")। AI तेजी से सीखता है।
प्रशिक्षण के अंतिम चरण में: AI बहुत अच्छा हो जाता है। नकली निबंध वास्तविक निबंधों के लगभग समान दिखने लगते हैं। "तापमान" शून्य तक गिर जाता है। AI भ्रमित हो जाता है क्योंकि संकेत (signal) इतना कमजोर होता है कि यह बताना मुश्किल हो जाता है कि कौन सा क्या है। यह सीखना बंद कर देता है या गलतियाँ करने लगता है।

वर्तमान समाधानों के साथ समस्या

वैज्ञानिकों ने खेल के नियम बदलकर इसे ठीक करने की कोशिश की, लेकिन उनके पास पूरे खेल के लिए केवल एक ही नियम था:

नियम A (कोमल नियम): शुरुआत के लिए अच्छा है जब AI भ्रमित होता है, लेकिन जब AI को सटीक होने की आवश्यकता होती है तो यह बहुत नरम है।
नियम B (सख्त नियम): अंत के लिए बहुत अच्छा है जब AI लगभग पूर्ण हो जाता है, लेकिन शुरुआत में बहुत कठोर और भ्रमित करने वाला है।

वे एक "एक ही आकार के सभी के लिए" (one-size-fits-all) नियम का उपयोग करने में फंसे हुए थे, जिसका अर्थ था कि AI या तो बहुत धीरे सीख रहा था या निराश हो रहा था।

समाधान: IRIS (स्मार्ट कोच)

यह पेपर IRIS (इंटरपोलेटिव रेनी इटरेटिव सेल्फ-प्ले) पेश करता है। IRIS को एक स्मार्ट कोच के रूप में सोचें जिसके पास एक ही नियम पुस्तिका नहीं है। इसके बजाय, कोच के पास एक डायल (dial) है जो वास्तविक समय में खेल की कठिनाई को समायोजित करता है।

"डायल" का उदाहरण

कल्पना कीजिए कि AI पेंटिंग करना सीख रहा है।

शुरुआती चरण (डायल "ब्रॉड स्ट्रोक्स" पर सेट है): AI बिखरा हुआ है। कोच कहता है, "बारीकियों की चिंता मत करो! बस यह सुनिश्चित करो कि तुम्हारी पेंटिंग कुछ हद तक एक वास्तविक परिदृश्य जैसी दिखे।" AI को विभिन्न शैलियों को खोजने और आज़माने के लिए प्रोत्साहित किया जाता है। यह एक व्यापक, उदार नियम का उपयोग करने जैसा है।
अंतिम चरण (डायल "फाइन डिटेल" पर सेट है): अब AI एक मास्टर पेंटर है। कोच कहता है, "ठीक है, अब सूक्ष्म ब्रशस्ट्रोक को देखो। यदि तुम्हारी पेंटिंग पूरी तरह से मानव जैसी नहीं है, तो हमें इसे तुरंत ठीक करने की आवश्यकता है।" AI छोटे अंतरों पर तीव्रता से ध्यान केंद्रित करता है। यह एक सख्त, सटीक नियम का उपयोग करने जैसा है।

IRIS स्वचालित रूप से इस डायल को घुमाता है।

जब AI पूर्ण होने से दूर होता है, तो यह "व्यापक" सेटिंग का उपयोग करता है ताकि तेजी से सीखा जा सके।
जैसे-जैसे AI पूर्णता के करीब पहुंचता है, यह अंतिम विवरणों को निखारने के लिए सहजता से "फाइन-ट्यूनिंग" सेटिंग पर स्विच हो जाता है।

यह एक बड़ी बात क्यों है

यह लचीला है: अन्य तरीकों के विपरीत जो एक ही "नियम" (जैसे केवल सख्त या केवल कोमल होना) में फंसे हुए हैं, IRIS जैसे-जैसे AI सीखता है, अपना निर्णय बदलता रहता है।
यह कुशल है: पेपर दिखाता है कि IRIS एक मॉडल को कम मानव डेटा (26,000 निबंध) पर प्रशिक्षित करके, पुराने तरीकों का उपयोग करके भारी मात्रा में डेटा (200,000 निबंध) पर प्रशिक्षित मॉडलों से बेहतर प्रदर्शन करने के लिए ले जा सकता है। यह एक ऐसे छात्र की तरह है जो एक पूरी विश्वकोश पढ़ने वाले छात्र की तुलना में एक छोटी, अच्छी तरह से चुनी गई लाइब्रेरी से अधिक सीखता है जो यह नहीं जानता कि ध्यान कैसे केंद्रित करना है।
यह स्थिर है: यह AI को प्रशिक्षण के अंतिम चरणों में "भ्रमित" होने से रोकता है, यह सुनिश्चित करता है कि वह अंत तक बेहतर होता रहे।

संक्षेप में

IRIS AI के लिए एक नया प्रशिक्षण तरीका है जो एक स्मार्ट कोच की तरह कार्य करता है। एक ही, कठोर नियमों के सेट का उपयोग करने के बजाय, यह लगातार अपनी शिक्षण शैली को बदलता रहता है—व्यापक प्रोत्साहन के साथ शुरू होता है और सटीक सुधार के साथ समाप्त होता है। यह AI को तेजी से सीखने, कम मानव डेटा का उपयोग करने और पहले से कहीं अधिक बुद्धिमत्ता के स्तर तक पहुँचने की अनुमति देता है।

यहाँ शोध पत्र "IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को आमतौर पर ह्यूमन फीडबैक से रिइन्फोर्समेंट लर्निंग (RLHF) या डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) का उपयोग करके मानव प्राथमिकताओं के साथ संरेखित (align) किया जाता है। हालाँकि, ये विधियाँ महंगे, क्यूरेटेड प्रेफरेंस डेटासेट पर निर्भर करती हैं जिन्हें स्केल करना कठिन है। सेल्फ-प्ले फाइन-ट्यूनिंग (SPIN) एक समाधान प्रदान करता है, जो मॉडल को नए मानव एनोटेशन के बिना सुधार करने की अनुमति देता है, जहाँ फाइन-ट्यूनिंग को एक खेल के रूप में फ्रेम किया जाता है जहाँ वर्तमान मॉडल अपने पिछले जनरेशन से मानव प्रतिक्रियाओं के बीच अंतर करना सीखता है।

इसके बावजूद, मौजूदा SPIN विधियाँ एक निश्चित डाइवर्जेंस रिजीम (fixed divergence regime) (जैसे, KL-divergence, Jensen-Shannon, या $\chi^2$ -divergence) पर निर्भर होने के कारण उप-इष्टतम शिक्षण गतिकी (suboptimal learning dynamics) से ग्रस्त हैं।

KL-divergence: प्रशिक्षण के शुरुआती चरणों में सुचारू ग्रेडिएंट प्रदान करता है, लेकिन जैसे-जैसे वितरण (distributions) अभिसरण (converge) करते हैं, यह संवेदनशीलता खो देता है, जिससे वैनिशिंग ग्रेडिएंट्स की समस्या होती है।
$\chi^2$ -divergence: अभिसरण के पास सूक्ष्म भेदभाव प्रदान करता है, लेकिन शुरुआत में आउटलेयर्स को अत्यधिक दंडित कर सकता है, जिससे अस्थिरता आती है।
Jensen-Shannon (JS): स्वतंत्र वर्गीकरण के माध्यम से स्थिरता सुनिश्चित करता है, लेकिन बाद के चरणों में संवेदनशीलता की कमी होती है।

कोई भी एकल निश्चित डाइवर्जेंस सभी प्रशिक्षण चरणों में इष्टतम प्रदर्शन प्रदान नहीं करता है। मुख्य समस्या एक एकीकृत ढांचे (unified framework) की कमी है जो मॉडल और लक्षित डेटा के बीच विकसित होते वितरण अंतराल (distributional gap) के अनुसार डाइवर्जेंस ज्योमेट्री को अनुकूलित कर सके।

2. कार्यप्रणाली: IRIS (Methodology: IRIS)

लेखक IRIS (Interpolative Rényi Iterative Self-play) का प्रस्ताव करते हैं, जो रेनी डाइवर्जेंस (Rényi divergence) ( $D_\alpha$ ) पर आधारित एक एकीकृत ढांचा है, जो एक ऑर्डर पैरामीटर $\alpha$ के माध्यम से विभिन्न डाइवर्जेंस रिजीमों के बीच निरंतर इंटरपोलेशन करता है।

A. IRIS ऑब्जेक्टिव (The IRIS Objective)

IRIS एक लॉस फंक्शन का निर्माण करता है जो एनोटेटेड (वास्तविक) और सिंथेटिक (मॉडल-जनरेटेड) डेटा पर दो स्वतंत्र पदों (terms) में विभाजित होता है, जो टिल्टेड रिस्क (tilted risk) सिद्धांत का उपयोग करता है। ऑब्जेक्टिव फंक्शन $L_{IRIS}(\theta; \alpha)$ को इस प्रकार परिभाषित किया गया है:

$L_{IRIS}(\theta; \alpha) = -\frac{1}{\alpha-1} \log \mathbb{E}_{y \sim p_{data}} \left[ e^{(\alpha-1)r(x,y)} \right] + \frac{1}{\alpha} \log \mathbb{E}_{y' \sim p_{\theta_t}} \left[ e^{\alpha r(x,y')} \right]$

जहाँ:

$r(x, \hat{y}) = \log p_\theta(\hat{y}|x) - \log p_{\theta_t}(\hat{y}|x)$ लॉग-रेशियो रिवॉर्ड है।
पहला पद वास्तविक डेटा पर एक नेगेटेड टिल्टेड रिस्क (negated tilted risk) है (मानव प्रतिक्रियाओं के लिए उच्च रिवॉर्ड को प्रोत्साहित करता है)।
दूसरा पद सिंथेटिक डेटा पर एक टिल्टेड रिस्क (tilted risk) है (मॉडल-जनरेटेड प्रतिक्रियाओं के लिए उच्च रिवॉर्ड को दंडित करता है)।
$\alpha > 0, \alpha \neq 1$ रेनी ऑर्डर पैरामीटर है।

मुख्य गुण:

फिक्स्ड पॉइंट (Fixed Point): ग्लोबल मिनिमम तब प्राप्त होता है जब $p_\theta = p_{data}$ हो, जो अभिसरण (convergence) सुनिश्चित करता है।
ग्रेडिएंट स्ट्रक्चर: ग्रेडिएंट में एक्सपोनेंशियल इम्पोर्टेंस वेट्स ( $\tilde{w} \propto \exp((\alpha-1)r)$ ) शामिल हैं। यह एक डिफरेंशिएबल अटेंशन मैकेनिज्म के रूप में कार्य करता है, जो सूचनात्मक नमूनों (informative samples) पर सीखने को केंद्रित करता है।
एकीकरण (Unification): $\alpha$ $α$ को बदलकर, IRIS मौजूदा विधियों को विशेष मामलों के रूप में प्राप्त करता है:
- $\alpha \to 1$ : KL-divergence को प्राप्त करता है (SPIN, T-SPIN, DRIFT)।
- $\alpha = 2$ : $\chi^2$ -divergence को प्राप्त करता है (SPIF, SPPO)।
- $\alpha = 1/2$ : Hellinger distance को प्राप्त करता है (एक नया रिजीम जो मोड-कवरिंग पर जोर देता है)।
- $\alpha = 1$ (NCE लिमिट के माध्यम से): Jensen-Shannon को प्राप्त करता है (SPACE, SGALM)।

B. एडेप्टिव ऑर्डर शेड्यूल (Adaptive Order Schedule)

$\alpha$ को स्थिर रखने के बजाय, IRIS एक एडेप्टिव शेड्यूल $\alpha_t$ पेश करता है जो वर्तमान वितरण अंतराल के आधार पर डाइवर्जेंस ज्योमेट्री को समायोजित करता है।

डिस्ट्रीब्यूशनल गैप फीडबैक: $\alpha_t = 1 + c \cdot \hat{D}_t$ $α_{t} = 1 + c \cdot \hat{D}_{t}$ , जहाँ $\hat{D}_t$ $\hat{D}_{t}$ वास्तविक और सिंथेटिक डेटा के बीच अपेक्षित रिवॉर्ड गैप है।
- प्रारंभिक प्रशिक्षण (बड़ा गैप): $\alpha_t$ बड़ा होता है (जैसे, $\approx 3$ ), जो मोड-कवरिंग एक्सप्लोरेशन (mode-covering exploration) को बढ़ावा देता है और वेट्स को हाई-गैप सैंपल्स पर केंद्रित करता है।
- विलंबित प्रशिक्षण (छोटा गैप): $\alpha_t$ 1 की ओर घटता है, जो यूनिफॉर्म ग्रेडिएंट्स के साथ स्मूथ रिफाइनमेंट (smooth refinement) (KL रिजीम) की ओर शिफ्ट होता है ताकि अभिसरण के पास अस्थिरता से बचा जा सके।
जियोमेट्रिक एनीलिंग (Geometric Annealing): एक सरल विकल्प जो इटरेशन के दौरान $\alpha_{max}$ से $\alpha_{min}$ तक इंटरपोलेट करता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण (Theoretical Unification): यह शोध पत्र स्थापित करता है कि विविध सेल्फ-प्ले ऑब्जेक्टिव्स (SPIN, SPACE, SPIF) केवल रेनी डाइवर्जेंस परिवार के विशिष्ट रिजीम हैं, जो एक एकीकृत सैद्धांतिक परिप्रेक्ष्य प्रदान करते हैं।
IRIS फ्रेमवर्क: एक निरंतर रूप से एडजस्टेबल ऑब्जेक्टिव और एक एडेप्टिव ऑर्डर शेड्यूल के साथ एक नया सेल्फ-प्ले फ्रेमवर्क प्रस्तावित करता है जो वर्तमान प्रशिक्षण चरण के लिए इष्टतम डाइवर्जेंस को गतिशील रूप से चुनता है।
सैद्धांतिक विश्लेषण: IRIS के फिक्स्ड-पॉइंट गुण को सिद्ध करता है और विश्लेषण करता है कि $\alpha$ कैसे ग्रेडिएंट कंसंट्रेशन और इम्पोर्टेंस वेटिंग को नियंत्रित करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): कई बेंचमार्क और मॉडल साइज पर मजबूत बेसलाइन्स को पछाड़ते हुए प्रदर्शन करता है, जहाँ अन्य विधियाँ प्लेटो (plateau) हो जाती हैं या खराब होने लगती हैं, वहीं IRIS निरंतर सुधार बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Zephyr-7B और Qwen2.5-3B-Instruct पर दस बेंचमार्क (GSM8K, MATH, MMLU, IFEval आदि सहित) पर किए गए।

प्रदर्शन: IRIS ने उच्चतम औसत स्कोर प्राप्त किया। Zephyr-7B पर, इसने इटरेशन 4 में 44.57% प्राप्त किया, जो T-SPIN (43.56%), SPACE (42.40%), और SPIN (41.17%) से अधिक है।
स्थिरता: SPIN और SPIF के विपरीत, जो बाद के इटरेशन में प्रदर्शन गिरावट या प्लेटो दिखाते हैं, IRIS निरंतर सुधार बनाए रखता है।
डेटा दक्षता: एक महत्वपूर्ण निष्कर्ष यह है कि केवल 26k एनोटेटेड सैंपल्स (2 इटरेशन के लिए) पर प्रशिक्षित IRIS ने पूरे 200k डेटासेट पर प्रशिक्षित मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) को भी पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- फिक्स्ड $\alpha$ मानों (जैसे, 0.5, 1.5, 2.0) के परिणामस्वरूप स्थिरता और आक्रामकता के बीच ट्रेड-ऑफ देखे गए।
- डिस्ट्रीब्यूशनल गैप फीडबैक शेड्यूल ने जियोमेट्रिक एनीलिंग से बेहतर प्रदर्शन किया, जो पुष्टि करता है कि वास्तविक प्रशिक्षण सिग्नल के अनुकूल होना पूर्व-निर्धारित प्रक्षेपवक्र (trajectory) से बेहतर है।
- ट्रेनिंग डायनेमिक्स ने दिखाया कि IRIS वास्तविक डेटा पर रिवॉर्ड को सफलतापूर्वक बढ़ाता है और सिंथेटिक डेटा पर रिवॉर्ड को कम करता है, जिससे गैप-आधारित विधियों में देखी जाने वाली "रिवॉर्ड कोलैप्स" से बचा जा सका।

5. महत्व (Significance)

IRIS, फिक्स्ड-डाइवर्जेंस सेल्फ-प्ले विधियों की मौलिक सीमा को संबोधित करके LLM अलाइनमेंट में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

सैद्धांतिक अंतर्दृष्टि: यह विजातीय (disparate) सेल्फ-प्ले एल्गोरिदम के बीच के अंतर को पाटता है, यह दिखाते हुए कि वे रेनी ऑर्डर द्वारा नियंत्रित एक निरंतरता (continuum) के बिंदु हैं।
व्यावहारिक प्रभाव: अपने लर्निंग ऑब्जेक्टिव को गतिशील रूप से समायोजित करके, IRIS मॉडल्स को सीमित एनोटेटेड डेटा से अधिक मूल्य निकालने में सक्षम बनाता है, जिससे अलाइनमेंट की लागत कम होती है।
स्केलेबिलिटी: यह विधि मौजूदा सेल्फ-प्ले कोडबेस के साथ संगत है, जिसमें केवल लॉस मॉड्यूल को बदलने की आवश्यकता होती है, जिससे इसे भविष्य के बड़े पैमाने के प्रशिक्षण के लिए आसानी से अपनाया जा सकता है।

संक्षेप में, IRIS एक गणितीय रूप से ठोस, एडेप्टिव मैकेनिज्म पेश करके सेल्फ-प्ले फाइन-ट्यूनिंग में "वन-साइज-फिट्स-ऑल" की समस्या को हल करता है, जो एक्सप्लोरेशन से रिफाइनमेंट तक लर्निंग ट्रजेक्टरी को ऑप्टिमाइज़ करता है।