💬 NLP

LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models

यह शोध पत्र LARFT का प्रस्ताव करता है, जो एक ऐसा प्रशिक्षण ढांचा है जो लंबाई-उन्मुख सुदृढीकरण शिक्षण (reinforcement learning) को पश्चदृष्टि-आधारित आत्म-जागरूकता (hindsight self-awareness) के साथ एकीकृत करके लंबाई संबंधी निर्देशों के पालन में संज्ञानात्मक-क्रिया अंतराल (cognition-action gap) को पाटता है, जिससे मॉडल की आंतरिक लंबाई समझ को उसकी पीढ़ी नीति (generation policy) के साथ संरेखित करने में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं और सामान्य क्षमताओं पर न्यूनतम प्रभाव पड़ता है।

मूल लेखक: Wei Zhang, Lintong Du, Yuanhe Zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su

प्रकाशित 2026-03-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Zhang, Lintong Du, Yuanhe Zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, रचनात्मक लेखक (AI) को अपने लिए एक कहानी लिखने के लिए काम पर रख रहे हैं। आप उसे एक बहुत ही विशिष्ट निर्देश देते हैं: "एक ऐसी कहानी लिखें जो ठीक 500 शब्दों की हो।"

अतीत में, यहाँ तक कि सबसे स्मार्ट AI लेखक भी इस काम में कठिनाई महसूस करते थे। वे या तो बहुत छोटा 50-शब्दों का लेख लिख देते थे या 5,000 शब्दों तक लंबा लेख लिख देते थे। वे कंटेंट (कहानी खुद) में तो बहुत अच्छे थे लेकिन गिनती करने में बहुत खराब थे।

प्रस्तुत शोध पत्र एक नई प्रशिक्षण विधि पेश करता है जिसे LARFT (लेंथ-अवेयर रीइन्फोर्समेंट फाइन-ट्यूनिंग) कहा जाता है। LARFT को एक विशेष कोचिंग प्रोग्राम के रूप में समझें जो AI को न केवल यह सिखाता है कि क्या लिखना है, बल्कि यह भी सिखाता है कि लिखते समय कैसे गिनना है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: "कॉग्निशन-एक्शन गैप" (संज्ञान-क्रिया अंतराल)

एक ऐसे शेफ की कल्पना करें जो स्वादिष्ट खाना बनाने में जीनियस है लेकिन उसे "समय" का कोई अंदाजा नहीं है। आप उसे कहते हैं, "इस स्टेक को ठीक 10 मिनट तक पकाएं।"

पुराना तरीका: शेफ बस अनुमान लगाता है। कभी वह इसे ज्यादा पका देता है, तो कभी कम। वह एक टाइमर (एक बाहरी उपकरण) पर निर्भर रहता है या बस उम्मीद करता है कि सब ठीक रहेगा।
AI की समस्या: AI उसी शेफ की तरह है। उसके पास शब्दों की गिनती के लिए कोई आंतरिक "घड़ी" या "पैमाना" नहीं है। वह कहानी के विचार को जानता है, लेकिन वह कहानी लिखते समय उसकी लंबाई को "महसूस" नहीं कर पाता। जानने और करने के बीच का यह अंतर कॉग्निशन-एक्शन गैप कहलाता है।

2. समाधान: LARFT (दो-चरणीय कोचिंग)

LARFT इसे दो विशिष्ट प्रशिक्षण तकनीकों को एक साथ उपयोग करके ठीक करता है।

चरण A: "हाइंडसाइट" का सबक (गलतियों से सीखना)

कल्पना करें कि शेफ ने 10 मिनट तक पकाने की कोशिश की लेकिन गलती से 15 मिनट तक पका दिया।

पुरानी विधि: कोच बस कहता है, "बुरा काम किया, फिर से कोशिश करो," और आगे बढ़ जाता है।
LARFT विधि: कोच कहता है, "रुको! जो तुमने अभी पकाया है उसे देखो। इसमें 15 मिनट लगे। अब, मैं चाहता हूँ कि तुम उस 15 मिनट वाले स्टेक को देखो और मुझे बताओ कि इसमें वास्तव में कितना समय लगा।"

इसे हाइंडसाइट लेंथ अवेयरनेस (दृष्टिगत लंबाई जागरूकता) कहा जाता है।

AI एक कहानी बनाता है (भले ही वह गलत लंबाई की हो)।
केवल इसे फेंक देने के बजाय, AI को रुकने और अपने आउटपुट के शब्दों को गिनने के लिए मजबूर किया जाता है।
वह सीखता है: "ओह! जब मैंने इतना टेक्स्ट लिखा, तो इसका मतलब 500 शब्द हुआ।"
यह AI के मस्तिष्क के भीतर एक आंतरिक "पैमाना" बनाता है। वह अनुमान लगाना बंद कर देता है और जानने लगता है कि एक विशिष्ट लंबाई कैसी महसूस होती है।

चरण B: "रीइन्फोर्समेंट" गेम (अभ्यास से पूर्णता)

एक बार जब AI ने गिनना सीख लिया, तो वह लक्ष्य तक पहुँचने के लिए एक खेल खेलता है।

कोच AI को एक लक्ष्य देता है: "500 शब्द लिखें।"
AI कोशिश करता है।
यदि वह 490 या 510 लिखता है, तो उसे एक उच्च स्कोर (एक "रिवॉर्ड") मिलता है।
यदि वह 100 या 1,000 लिखता है, तो उसे कम स्कोर मिलता है।
AI अपने लेखन के तरीके को एडजस्ट करना सीख जाता है ताकि वह "स्वीट स्पॉट" में बना रहे।

3. सीक्रेट सॉस: दोनों को एक साथ करना

LARFT का जादू यह है कि यह केवल चरण A फिर चरण B नहीं करता। यह एक स्मार्ट तरीके से दोनों को एक साथ करता है।

प्रशिक्षण के शुरुआती दौर में: यह "हाइंडसाइट" सबक (गिनना सीखने) पर अधिक ध्यान केंद्रित करता है। यह एक छात्र की तरह है जो जटिल गणित समस्याओं को हल करने से पहले पहाड़े सीख रहा है।
प्रशिक्षण के बाद के दौर में: यह "रीइन्फोर्समेंट" गेम (लक्ष्य तक पहुँचने) पर ध्यान केंद्रित करता है।
इन दोनों को संतुलित करके, AI लिखना शुरू करने से पहले अपनी लंबाई की योजना बनाना और लिखते समय अपनी लंबाई की निगरानी करना सीख जाता है।

4. परिणाम: एक मास्टर शेफ

इस पेपर ने चार अलग-अलग AI मॉडल्स पर इसका परीक्षण किया। परिणाम प्रभावशाली थे:

सटीकता: AI सटीक शब्द गणना (जैसे निशाने पर निशाना लगाना) हासिल करने में अविश्वसनीय रूप से अच्छा हो गया।
कोई दुष्प्रभाव नहीं: आमतौर पर, जब आप किसी AI को एक विशिष्ट कार्य (जैसे गिनती) के लिए प्रशिक्षित करते हैं, तो वह अन्य चीजों (जैसे गणित के सवाल या कविता लिखना) में कमजोर हो जाता है। लेकिन LARFT इतना कुशल था कि AI अपनी सामान्य बुद्धिमत्ता खोए बिना लंबाई में बेहतर हो गया। यह ऐसा है जैसे शेफ स्वादिष्ट खाना बनाना भूले बिना समय का प्रबंधन करना सीख गया हो।

सारांश उपमा

AI को एक शराबी ड्राइवर के रूप में सोचें जो एक ही लेन में रहने की कोशिश कर रहा है।

पहले: ड्राइवर लेन के अंदर रहने की उम्मीद में इधर-उधर डगमगाता है, लेकिन वह लाइनों को स्पष्ट रूप से नहीं देख पाता।
LARFT: हम ड्राइवर को एक रियर-व्यू मिरर (हाइंडसाइट अवेयरनेस) देते हैं ताकि वह देख सके कि वह कहाँ है, और हम उसे एक लेन-कीपिंग असिस्ट (रीइन्फोर्समेंट) देते हैं जो उसे भटकने पर धीरे से वापस सही दिशा में मोड़ देता है।
परिणाम: ड्राइवर हर बार बिना किसी दूसरी कार से टकराए (अपनी सामान्य क्षमता खोए बिना) पूरी तरह से लेन में रहता है।

संक्षेप में: LARFT AI को उसके शब्दों की लंबाई को "महसूस" करना सिखाता है, जिससे यह एक अनुमान लगाने वाले खेल से बदलकर एक सटीक कौशल बन जाता है।

यहाँ शोध पत्र "LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जटिल निर्देश पालन (instruction following) में लार्ज लैंग्वेज मॉडल्स (LLMs) की उन्नत क्षमताओं के बावजूद, आउटपुट की लंबाई पर सटीक नियंत्रण एक निरंतर बनी रहने वाली बाधा है।

मुख्य मुद्दा: LLMs विशिष्ट लंबाई संबंधी बाधाओं (जैसे, "ठीक 100 शब्द लिखें") का पालन करने में संघर्ष करते हैं। यह टोकनाइजेशन की टोकन-आधारित प्रकृति और उन अंतर्निहित संरचनात्मक सीमाओं के कारण होता है जो मॉडल्स को "लंबाई" की एक अलग आंतरिक अवधारणा बनाने से रोकती हैं।
संज्ञान-क्रिया अंतराल (The Cognition-Action Gap): मौजूदा विधियाँ विफल हो जाती हैं क्योंकि वे लंबाई को एक बाहरी बाधा के रूप में मानती हैं, न कि एक आंतरिक अर्थपूर्ण विशेषता (semantic feature) के रूप में।
- बाहरी मार्कर (External Markers): विशेष टोकन या कठोर प्रॉम्प्ट का उपयोग करने वाली विधियाँ अक्सर लंबे प्रारूप के उत्पादन (long-form generation) में विफल रहती हैं और इनसे इन्फरेंस ओवरहेड बढ़ जाता है।
- पॉलिसी ऑप्टिमाइज़ेशन (Policy Optimization): सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण अक्सर लंबाई की बाधाओं को अर्थपूर्ण सामग्री (semantic content) के साथ उलझा देते हैं। क्योंकि पॉलिसी अपडेट्स सघन टोकन-स्तरीय निर्भरताओं (dense token-level dependencies) द्वारा संचालित होते हैं, मॉडल "कितना लिखना है" को "क्या लिखना है" से अलग करने में संघर्ष करता है, जिससे कम सैंपल दक्षता और अपरिष्कृत नियंत्रण होता है।
परिकल्पना (Hypothesis): मौलिक सीमा आंतरिक लंबाई संज्ञान (intrinsic length cognition) की कमी है। बिना लंबाई की आंतरिक समझ के, लंबाई संबंधी बाधाओं का पालन करने के लिए मॉडल्स को प्रशिक्षित करना एक दुर्भावनापूर्ण अनुकूलन समस्या (ill-posed optimization problem) है।

2. कार्यप्रणाली: LARFT फ्रेमवर्क (Methodology: LARFT Framework)

लेखक LARFT (Length-Aware Reinforcement Fine-Tuning) का प्रस्ताव करते हैं, जो एक एकीकृत फ्रेमवर्क है जिसे मॉडल के लंबाई के आंतरिक "संज्ञान" (cognition) को उसके बाहरी "क्रिया" (action) यानी जनरेशन के साथ संरेखित करने के लिए डिज़ाइन किया गया है। इस फ्रेमवर्क के तीन मुख्य घटक हैं:

A. लंबाई-उन्मुख सुदृढीकरण शिक्षण (Length-Oriented Reinforcement Learning - RL)

एल्गोरिदम: ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करता है।
रिवॉर्ड फॉर्मूलेशन (Reward Formulation): स्पार्स रिवॉर्ड्स के बजाय, LARFT एक सत्यापन योग्य लंबाई रिवॉर्ड (verifiable length reward) का उपयोग करता है।
- रिवॉर्ड की गणना जनरेट किए गए शब्द गणना और लक्षित बाधा $c$ के बीच सामान्यीकृत पूर्ण विचलन ( $\delta$ ) के आधार पर की जाती है।
- $R_{len} = \max(0, 1 - \delta)$ ।
- यह लक्षित लंबाई की ओर नीति को निर्देशित करने के लिए एक सघन, सीमित सिग्नल ( $[0, 1]$ ) प्रदान करता है।

B. हिंडसाइट लंबाई जागरूकता (Hindsight Length Awareness)

मानक RL में अर्थ और लंबाई के उलझाव को संबोधित करने के लिए, LARFT हिंडसाइट एक्सपीरियंस रिप्ले (Hindsight Experience Replay) से प्रेरित एक तंत्र पेश करता है:

अवधारणा: "विफल" जनरेशन प्रक्षेपवक्रों (वे जो लंबाई की बाधा को पूरा नहीं करते) को लंबाई संज्ञान के लिए मूल्यवान पर्यवेक्षण डेटा में बदलें।
प्रक्रिया:
1. सैंपलिंग: RL रोलआउट चरण के दौरान ऑन-पॉलिसी प्रक्षेपवक्र (trajectories) एकत्र करें।
2. लेबलिंग (Relabeling): एक जनरेट किए गए आउटपुट $\tau$ के लिए, एक जागरूकता निर्देश (जैसे, "ऊपर दिए गए टेक्स्ट में शब्दों की गिनती करें") के साथ $\tau$ को जोड़कर एक नया इनपुट प्रॉम्प्ट $x_{aware}$ बनाएँ।
3. सुपरविजन: मॉडल को अपने स्वयं के जनरेशन के वास्तविक शब्द काउंट ( $L(\tau)$ ) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, जो $x_{aware}$ दिया गया है।
लाभ: यह लंबाई के संकेतों को अर्थपूर्ण सामग्री से अलग करता है, जिससे मॉडल अपने स्वयं के आउटपुट का विश्लेषण करके लंबाई की आंतरिक समझ विकसित करने के लिए मजबूर होता है, प्रभावी रूप से जनरेशन की विफलताओं को सफल "गिनती" के उदाहरणों में बदल देता है।

C. एकीकृत अनुकूलन तंत्र (Unified Optimization Mechanism)

LARFT एक संयुक्त लॉस फंक्शन का उपयोग करता है जो दो उद्देश्यों को गतिशील रूप से संतुलित करता है:
$\mathcal{L}_{unified} = \mathcal{L}_{GRPO} + \lambda_t \cdot \mathcal{L}_{aware}$

$\mathcal{L}_{GRPO}$ : निर्देश पालन के लिए मानक पॉलिसी ऑप्टिमाइज़ेशन लॉस।
$\mathcal{L}_{aware}$ : जनरेट किए गए टेक्स्ट की लंबाई की भविष्यवाणी करने के लिए सुपरवाइज्ड लॉस।
डायनेमिक शेड्यूलिंग: वेट $\lambda_t$ $λ_{t}$ पर एक कोसाइन एनीलिंग (Cosine Annealing) शेड्यूल लागू किया जाता है।
- प्रशिक्षण के शुरुआती चरण में: उच्च $\lambda_t$ लंबाई संज्ञान (गिनना/लंबाई समझना सीखना) को प्राथमिकता देता है।
- प्रशिक्षण के अंतिम चरण में: $\lambda_t$ घटकर 0 हो जाता है, जिससे ध्यान सटीक जनरेशन नियंत्रण (लंबाई की बाधा को निष्पादित करना) की ओर स्थानांतरित हो जाता है।

3. मुख्य योगदान (Key Contributions)

बाधा की पहचान: यह पेपर लंबाई संबंधी निर्देश पालन की विफलता के प्राथमिक कारण के रूप में आंतरिक लंबाई संज्ञान की कमी की पहचान करता है, जो "जानने" (संज्ञान) और "करने" (क्रिया) के बीच अंतर करता है।
LARFT फ्रेमवर्क: एक नवीन प्रशिक्षण प्रतिमान जो लंबाई के संज्ञान और क्रिया के बीच के अंतराल को भरने के लिए लेंथ-ओरिएंटेड RL और हिंडसाइट लेंथ अवेयरनेस को एकीकृत करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: सामान्य क्षमताओं से समझौता किए बिना कई बेस मॉडल्स और बेंचमार्क पर महत्वपूर्ण सुधार प्रदर्शित करता है।
व्याख्यात्मकता (Interpretability): यह प्रमाण (लीनियर प्रोबिंग के माध्यम से) प्रदान करता है कि LARFT सफलतापूर्वक गहरे स्तरों (deep layers) में लंबाई नियोजन और उथले स्तरों (shallow layers) में लंबाई जागरूकता को आंतरिक रूप से आत्मसात करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेस मॉडल्स (Qwen2.5-3B/7B, Llama-3.2-3B, Llama-3.1-8B) पर तीन लंबाई बेंचमार्क और चार सामान्य क्षमता बेंचमार्क पर LARFT का मूल्यांकन किया।

लंबाई निर्देश पालन (Length Instruction Following):
- LIFEBench: LARFT ने सभी मॉडल्स में सबसे कम लेंथ डेविएशन (LD) और उच्चतम लेंथ स्कोर (LS) प्राप्त किया।
- सुधार: बेस मॉडल्स की तुलना में लंबाई बेंचमार्क पर औसत +20.92 अंक का सुधार।
- तुलना: इसने सबसे मजबूत RL बेसलाइन से +4.59 अंक बेहतर प्रदर्शन किया और SFT-आधारित विधियों (जो अक्सर छोटी बाधाओं पर विफल होती हैं) को काफी पीछे छोड़ दिया।
सामान्य क्षमताएं (General Capabilities):
- नगण्य गिरावट: LARFT ने सामान्य बेंचमार्क (MMLU, GSM8K, IFEval, GPQA) पर केवल -1.45 अंक की औसत गिरावट दिखाई।
- गुणवत्ता: कुछ मामलों में, जनरेशन की गुणवत्ता (ROUGE-L) में मामूली सुधार (+2.22 अंक) हुआ, जो दर्शाता है कि लंबाई नियंत्रण से अर्थपूर्ण सुसंगतता (semantic coherence) को नुकसान नहीं पहुँचता है।
एब्लेशन अध्ययन (Ablation Studies):
- संज्ञान-क्रिया अंतराल: केवल लंबाई जागरूकता (बिना RL के) पर प्रशिक्षित मॉडल्स ने जनरेशन में कोई महत्वपूर्ण सुधार नहीं दिखाया, जो पुष्टि करता है कि केवल संज्ञान पर्याप्त नहीं है।
- एकीकृत अनुकूलन: डायनेमिक शेड्यूलिंग (कोसाइन एनीलिंग) को हटाने से प्रदर्शन में भारी गिरावट आई, जो करिकुलम लर्निंग दृष्टिकोण (पहले संज्ञान, फिर क्रिया) की आवश्यकता को सिद्ध करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सैद्धांतिक अंतर्दृष्टि: यह पेपर इस धारणा को चुनौती देता है कि लंबाई नियंत्रण विशुद्ध रूप से एक डिकोडिंग या रिवॉर्ड-शेपिंग समस्या है। यह तर्क देता है कि मॉडल्स को विश्वसनीय रूप से निष्पादित करने के लिए पहले लंबाई की एक आंतरिक "अवधारणा" विकसित करनी चाहिए।
व्यावहारिक प्रभाव: LARFT उन अनुप्रयोगों के लिए एक मजबूत समाधान प्रदान करता है जिनमें सख्त लंबाई बाधाओं की आवश्यकता होती है, जैसे रचनात्मक लेखन, रिपोर्ट जनरेशन और सारांशीकरण, और इसके लिए बाहरी टोकन के साथ मॉडल को पुन: प्रशिक्षित करने या सामान्य बुद्धिमत्ता का त्याग करने की आवश्यकता नहीं है।
भविष्य की दिशाएं: यह फ्रेमवर्क अन्य संरचित जनरेशन कार्यों, जैसे तार्किक तर्क चरणों (logical reasoning steps) या शैलीगत बाधाओं (stylistic constraints) तक लंबाई संज्ञान को विस्तारित करने का मार्ग सुझाता है।

संक्षेप में, LARFT सफलतापूर्वक लंबाई के मॉडल के समझने और उस लंबाई के टेक्स्ट को जनरेट करने की उसकी क्षमता के बीच के अंतर को पाटता है, जो सुदृढीकरण शिक्षण और स्व-पर्यवेक्षित लंबाई जागरूकता के सहक्रियात्मक संयोजन के माध्यम से सटीक नियंत्रण प्राप्त करता है।