🤖 machine learning

LARK: Learnability-Grounded Trajectory Selection for Efficient Reasoning Distillation

यह शोध पत्र LARK को प्रस्तुत करता है, जो एक शिक्षणीयता-आधारित (learnability-grounded) ढांचा है जो उन शिक्षक तर्क प्रक्षेप पथों (reasoning trajectories) को कुशलतापूर्वक चुनकर डिस्टिलेशन के लिए प्राथमिकता देता है जो वितरण संबंधी कवरेज (distributional coverage) बनाए रखते हुए छात्र मॉडल की सीखने की दर को अधिकतम करते हैं, जिससे यह मौजूदा ह्यूरिस्टिक-आधारित चयन विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Tianrun Yu, Kaixiang Zhao, Chih-Chun Chen, Amanda Hughes, Taylor W. Killian, Fenglong Ma, Weitong Zhang, Porter Jenkins

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianrun Yu, Kaixiang Zhao, Chih-Chun Chen, Amanda Hughes, Taylor W. Killian, Fenglong Ma, Weitong Zhang, Porter Jenkins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: सही उदाहरणों के साथ एक छात्र को पढ़ाना

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र (एक छोटा AI मॉडल) को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक शानदार ट्यूटर (एक बड़ा AI मॉडल) है जो एक ही समस्या को हल करने के दर्जनों अलग-अलग तरीके उत्पन्न कर सकता है।

आपके ट्यूटर के कुछ स्पष्टीकरण (explanations) बेहतरीन हैं। कुछ अस्त-व्यस्त हैं। कुछ बहुत सरल हैं, और कुछ बहुत जटिल हैं।

समस्या:
छात्र को दिखाने के लिए कौन से स्पष्टीकरण चुनने हैं, इसके लिए वर्तमान में अधिकांश विधियाँ "अंतर्ज्ञान" (gut feelings) या सरल नियमों पर निर्भर करती हैं:

"क्या उत्तर सही है?" (हाँ/नहीं)
"क्या स्पष्टीकरण सुनने में सुचारू लगता है?"
"क्या छात्र को यह स्पष्टीकरण पसंद आया?"

लेखकों का तर्क है कि ये विधियाँ सबसे महत्वपूर्ण प्रश्न को छोड़ देती हैं: "क्या यह विशिष्ट छात्र इस विशिष्ट स्पष्टीकरण से वास्तव में सीख सकता है?"

सिर्फ इसलिए कि एक स्पष्टीकरण उच्च गुणवत्ता वाला है, इसका मतलब यह नहीं है कि वह इस छात्र के लिए, इस समय सही है। एक आदर्श स्पष्टीकरण बहुत आसान हो सकता है (छात्र इसे पहले से ही जानता है) या बहुत भ्रमित करने वाला हो सकता है (छात्र उस अंतर को पाट नहीं पाता है)।

समाधान: LARK (लर्नैबिलिटी-ग्राउंडेड एंकर-टाइम रैंकिंग)

यह पेपर LARK पेश करता है, जो सर्वोत्तम प्रशिक्षण उदाहरणों को चुनने का एक नया तरीका है। यह पूछने के बजाय कि "क्या यह एक अच्छा स्पष्टीकरण है?", LARK पूछता है, "क्या यह स्पष्टीकरण छात्र को सबसे तेज़ी से सुधार करने में मदद करेगा?"

इसे एक एथलीट के लिए व्यायाम चुनने वाले व्यक्तिगत ट्रेनर की तरह समझें:

पुरानी विधि: उन व्यायामों को चुनें जो सबसे अधिक प्रभावशाली दिखते हैं या जो सबसे लोकप्रिय हैं।
LARK विधि: उन व्यायामों को चुनें जो एथलीट को मजबूत बनाने के लिए उतने ही कठिन हैं जितने आवश्यक हैं, लेकिन इतने कठिन भी नहीं कि वे घायल हो जाएं या हार मान लें।

LARK कैसे काम करता है (पर्दे के पीछे का "जादू")

LARK हर एक विकल्प के लिए पूर्ण, महंगी ट्रेनिंग सेशन चलाए बिना, यह पता लगाने के लिए कि छात्र को क्या चाहिए, एक चतुर ट्रिक का उपयोग करता है।

1. "एंकर" (प्रारंभिक बिंदु)

कल्पना कीजिए कि छात्र एक मानचित्र पर एक विशिष्ट स्थान (उनके वर्तमान ज्ञान) पर खड़ा है। LARK सभी संभावित स्पष्टीकरणों (trajectories) को देखता है और पूछता है: "यदि हम इस स्पष्टीकरण का उपयोग करते हैं, तो छात्र कितनी तेज़ी से लक्ष्य की ओर बढ़ेगा?"

यह एक स्कोर की गणना करता है जिसे $\rho$ (रो) कहा जाता है।

उच्च $\rho$ : छात्र वर्तमान में इस विशिष्ट प्रकार की समस्या के साथ संघर्ष कर रहा है, और यह स्पष्टीकरण इसे ठीक करने के लिए एक स्पष्ट "धक्का" (nudge) प्रदान करता है। यह "गोल्डीलॉक्स" ज़ोन है—न बहुत आसान, न बहुत कठिन।
कम $\rho$ : छात्र इसे पहले से ही जानता है, या स्पष्टीकरण इतना अस्त-व्यस्त है कि छात्र यह समझ नहीं पाता कि उसे अपनी गलती कहाँ सुधारनी है।

2. "फॉरवर्ड-ओनली" शॉर्टकट

आमतौरता पर, यह जानने के लिए कि एक छात्र कितना सीखेगा, आपको वास्तव में उन्हें पाठ पढ़ाना होगा और देखना होगा कि वे कैसा प्रदर्शन करते हैं (जिसमें बहुत अधिक समय और कंप्यूटर शक्ति लगती है)।

LARK स्मार्ट है। यह एक गणितीय शॉर्टकट (एक "फॉरवर्ड-पास प्रॉक्सी") का उपयोग करता है। यह छात्र के वर्तमान अनुमानों और उनके अनुमान तथा सही उत्तर के बीच के अंतर को देखता है।

उपमा: छात्र को फिट होने के लिए पूरा मैराथन दौड़ने के लिए मजबूर करने के बजाय, LARK अभी उनके पोस्चर (posture) और सांस लेने के तरीके को देखता है ताकि यह भविष्यवाणी की जा सके कि उन्हें फिट होने के लिए वास्तव में कितनी दौड़ लगाने की आवश्यकता है। यह प्रत्येक उम्मीदवार के लिए महंगे "बैकवर्ड पास" (पूर्ण प्रशिक्षण दौड़) से बचता है।

3. "संतुलित आहार" (ची-स्क्वायर रेगुलराइजेशन)

यदि LARK केवल एक एकल "परफेक्ट" स्पष्टीकरण चुनता, तो छात्र ऊब सकता था या केवल एक संकीमित कौशल ही सीख पाता।

समाधान: LARK यह सुनिश्चित करने के लिए एक नियम (जिसे $\chi^2$ -रेगुलराइजेशन कहा जाता है) का उपयोग करता है कि छात्र को एक संतुलित आहार मिले। यह शीर्ष कुछ सर्वश्रेष्ठ स्पष्टीकरणों को चुनता है लेकिन उन्हें इस तरह से वेट (weight) देता है ताकि छात्र विभिन्न कौशलों को सीख सके, न कि केवल एक संकीमित ट्रिक को। यह सिस्टम को एक ही आसान उत्तर को बार-बार चुनकर स्कोर को "हैक" करने से रोकता है।

परिणाम: यह क्यों मायने रखता है

पेपर ने कई अलग-अलग AI मॉडल और गणितीय बेंचमार्क (जैसे AIME, AMC, और MATH) पर LARK का परीक्षण किया।

परिणाम: LARK ने लगातार अन्य सभी विधियों को पछाड़ दिया। चाहे शोधकर्ताओं ने प्रति समस्या केवल 1 उदाहरण चुना हो या 3 उदाहरण, LARK-प्रशिक्षित छात्रों ने तेज़ी से सीखा और बेहतर स्कोर प्राप्त किया।
प्रमाण: लेखकों ने दिखाया कि LARK स्कोर वास्तव में यह भविष्यवाणी करता है कि प्रशिक्षण के दौरान छात्र का "लॉस" (उनकी त्रुटि दर) कितनी तेज़ी से गिरता है।
- दृश्य प्रमाण: अपने प्रयोगों में, LARK के साथ प्रशिक्षित छात्रों की त्रुटि दर उन छात्रों की तुलना में बहुत तेज़ी से गिरी जो रैंडम उदाहरणों या केवल "गुणवत्ता" द्वारा चुने गए उदाहरणों से प्रशिक्षित थे।
- "क्यों": LARK विशेष रूप से उन उदाहरणों का चयन करता है जहाँ छात्र एक संरचित तरीके से "आत्मविश्वास के साथ गलत" (confidently wrong) होता है। छात्र जानता है कि वह गलत है, और स्पष्टीकरण उसे दिखाता है कि उसकी गलती वास्तव में कहाँ है, जिससे सुधार के लिए एक स्पष्ट मार्ग मिलता है।

एक वाक्य में सारांश

LARK एक स्मार्ट सेलेक्टर है जो उन विशिष्ट रीजनिंग उदाहरणों को चुनता है जिनकी एक छात्र AI को सबसे तेज़ी से सीखने के लिए अभी आवश्यकता है, और यह एक गणितीय शॉर्टकट का उपयोग करके "ठीक-इतने" कठिन स्तर को बिना समय बर्बाद किए ढूंढ लेता है, जो या तो बहुत आसान है या बहुत भ्रमित करने वाला।

तकनीकी सारांश: LARK (Learnability-Grounded Trajectory Selection)

समस्या विवरण (Problem Statement)

यह शोध पत्र रीजनिंग डिस्टिलेशन (reasoning distillation) की चुनौती को संबोधित करता है, जो एक ऐसा प्रतिमान (paradigm) है जहाँ एक छोटे छात्र (student) Large Language Model (LLM) को बड़े शिक्षक (teacher) मॉडलों द्वारा उत्पन्न रीजनिंग ट्राजेक्टरीज (reasoning trajectories) की नकल करने के लिए फाइन-ट्यून किया जाता है। जबकि मौजूदा डेटा चयन विधियाँ अक्सर प्रश्न-स्तर पर कार्य करती हैं या ट्राजेक्टरी की गुणवत्ता, शुद्धता, या मॉडल के आत्मविश्वास जैसे अनुमानी (heuristics) कारकों पर निर्भर करती हैं, वे एक महत्वपूर्ण कारक को अनदेखा कर देती हैं: सीखने की क्षमता (learnability)।

विशेष रूप से, एक ही प्रश्न के लिए, कई संभावित रीजनिंग ट्राजेक्टरीज मौजूद हो सकती हैं (विभिन्न शिक्षकों, सैंपलिंग रन, या शैलियों द्वारा उत्पन्न)। भले ही ये ट्राजेक्टरीज एक ही सही अंतिम उत्तर की ओर ले जाती हों, वे छात्र मॉडल को बहुत अलग प्रशिक्षण संकेत (training signals) प्रदान करती हैं। एक ट्राजेक्टरी जो "उच्च-गुणवत्ता" या "प्राकृतिक" प्रतीत होती है, वह आवश्यक रूप से वह नहीं है जिससे छात्र मॉडल सबसे कुशलता से सीख सकता है। केंद्रीय प्रश्न यह है: क्या हम एक सिद्धांत-आधारित ट्राजेक्टरी चयन मानदंड डिजाइन कर सकते है जो यह सुनिश्चित करे कि डिस्टिल्ड रीजनिंग ट्राजेक्टरीज छात्र मॉडल के लिए सीखने योग्य (learnable) हों?

कार्यप्रणाली (Methodology): LARK

लेखक LARK (Learnability-grounded Anchor-time Ranking) प्रस्तावित करते हैं, जो एक विधि है जो स्थिर गुणवत्ता मेट्रिक्स के बजाय अनुकूलन-सैद्धांतिक (optimization-theoretic) परिभाषा के आधार पर ट्राजेक्टरी का चयन करती है।

1. अनुकूलन उद्देश्य के रूप में सीखने की क्षमता (Learnability as an Optimization Objective)

LARK ट्राजेक्टरी चयन को एक पॉलिसी ऑप्टिमाइज़ेशन समस्या के रूप में फ्रेम करता है। यह एक लर्नैबिलिटी फैक्टर $\rho(\theta; q)$ को परिभाषित करता है, जो छात्र के प्रशिक्षण लॉस (loss) के घटने की दर को दर्शाता है। इस फैक्टर को स्क्वेयर्ड ग्रेडिएंट नॉर्म के लॉस के अनुपात के रूप में परिभाषित किया गया है:
$\rho(\theta; q) \triangleq \frac{\|\nabla_\theta \mathcal{L}(\theta; q)\|^2}{\mathcal{L}(\theta; q)}$
जहाँ $q$ , $K$ उम्मीदवार ट्राजेक्टरीज पर वेट वेक्टर है। Polyak–Łojasiewicz (PL) स्थिति के तहत, एक उच्च $\rho$ तेज़ अभिसरण (convergence) का संकेत देता है।

2. एंकर-टाइम सन्निकटन (Anchor-Time Approximation)

संपूर्ण फाइन-ट्यूनिंग ट्राजेक्टरी के दौरान समय-एकीकृत (time-integrated) लर्नैबिलिटी ऑब्जेक्टिव को सीधे ऑप्टिमाइज़ करना अव्यवहार्य है। LARK एंकर-रिलेटिव कंडीशन पेश करता है, जो यह मानता है कि "लेज़ी ट्रेनिंग" (lazy training) शासन के तहत ओवर-पैरामीटराइज्ड मॉडलों के लिए, सीखने की दर प्रारंभिक एंकर पैरामीटर्स $\theta_{ref}$ पर अपने मान के समानुपाती रहती है। यह ऑब्जेक्टिव को $\rho(\theta_{ref}; q)$ को अधिकतम करके अनुमानित करने की अनुमति देता है।

3. लोकल लीनियराइजेशन और फॉरवर्ड-पास प्रॉक्सी (Local Linearization and Forward-Pass Proxy)

$\rho(\theta_{ref}; q)$ को सीधे अधिकतम करना समस्यात्मक है क्योंकि यह एक क्वैसी-कॉन्वेक्स (quasi-convex) फंक्शन है जो एक डिजेनरेट "वन-हॉट" समाधान (केवल एक एकल ट्राजेक्टरी चुनना) की ओर झुक जाता है। इससे बचने के लिए, LARK:

लोकल लीनियराइजेशन (Local Linearization): एक प्रथम-क्रम टेलर विस्तार (first-order Taylor expansion) का उपयोग करके यूनिफॉर्म डिस्ट्रीब्यूशन $p$ (चयन के बिना मानक SFT) के आसपास $\rho$ का विस्तार करता है।
फॉरवर्ड-पास सरोगेट ( $\hat{g}_k$ ): सटीक ग्रेडिएंट्स की गणना करने के (जिसके लिए प्रत्येक उम्मीदवार के लिए बैकवर्ड पास की आवश्यकता होती) के बजाय, LARK केवल फॉरवर्ड पास का उपयोग करके एक गणना योग्य प्रॉक्सी $\hat{g}_k$ $\overset{g}{^}_{k}$ व्युत्पन्न करता है। यह प्रॉक्सी छात्र के टोकन-लेवल प्रेडिक्शन रेजिडुअल्स (residuals) और क्रॉस-एंट्रॉपी लॉस के आधार पर लर्नैबिलिटी रेट के स्थानीय ग्रेडिएंट का अनुमान लगाती है।
- विशेष रूप से, $\hat{g}_k$ उन ट्राजेक्टरीज का पक्ष लेता है जहाँ छात्र एक संरचित तरीके से "आत्मविश्वास के साथ गलत" (confidently wrong) होता है: लॉस $\ell_k$ अधिक है (जो खराब भविष्यवाणी का संकेत देता है), लेकिन रेजिड्यूल मास कुछ "नियर-मिस" (near-miss) टोकन्स पर केंद्रित है (जो एक स्पष्ट सुधार संकेत प्रदान करता है)।

4. $\chi^2$ -रेगुलराइज्ड सिलेक्शन पॉलिसी ( $\chi^2$ -Regularized Selection Policy)

सेलेक्टर को मूल डेटा वितरण से बहुत दूर जाने के कारण लर्नैबिलिटी मानदंड को "हैक" करने से रोकने के लिए (जो सामान्यीकरण को नुकसान पहुँचाता है), LARK एक $\chi^2$ -रेगुलराइजेशन टर्म लागू करता है। यह एक क्लोज्ड-फॉर्म, बजट-पैरामीटराइज्ड चयन नियम की ओर ले जाता है:

ट्राजेक्टरीज को उनके स्कोर $\hat{g}_k$ द्वारा रैंक किया जाता है।
शीर्ष $B$ ट्राजेक्टरीज का चयन किया जाता है।
हार्ड टॉप- $B$ ट्रंकेशन के विपरीत, LARK $(B+1)$ -वीं ट्राजेक्टरी के ऊपर के स्कोर मार्जिन के अनुपात में सॉफ्ट वेट्स असाइन करता है। यह वेटिंग नियम यूनिफॉर्म प्रायर से $\chi^2$ डायवर्जेंस को नियंत्रित करते हुए लर्नैबिलिटी इम्प्रूवमेंट के लोअर बाउंड को अधिकतम करने के लिए व्युत्पन्न किया गया है।

मुख्य योगदान (Key Contributions)

फॉर्मूलेशन: लेखक रीजनिंग ट्राजेक्टरी चयन को एक लर्नैबिलिटी-ग्राउंडेड पॉलिसी ऑप्टिमाइज़ेशन समस्या के रूप में तैयार करते हैं, जिसमें एंकर-टाइम लर्नैबिलिटी रेट $\rho$ को एक सिद्धांत-आधारित ऑब्जेक्टिव के रूप में पेश किया गया है।
एल्गोरिदम: वे एक क्लोज्ड-फॉर्म, बजट-पैरामीटराइज्ड चयन नियम व्युत्पन्न करते हैं जो एक फॉरवर्ड-पास सरोगेट $\hat{g}_k$ और $\chi^2$ -रेगुलराइजेशन का उपयोग करता है। यह महंगे प्रति-ट्राजेक्टरी बैकवर्ड पास को रोकता है और अनुमान त्रुटि और सामान्यीकरण पर स्पष्ट बाउंड के साथ सैद्धांतिक रूप से गारंटी देता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह शोध पत्र प्रदर्शित करता है कि LARK कई बेस मॉडल्स (Qwen-2.5-7B/1.5B, Llama-3.2-3B) और रीजनिंग बेंचमार्क्स (AIME, AMC, GPQA, MATH-500) में मौजूदा बेसलाइन्स (हीयुरिस्टिक, क्वालिटी-बेस्ड और स्टूडेंट-साइड स्कोरिंग विधियों सहित) को लगातार पछाड़ता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन: LARK ने सभी परीक्षण किए गए मॉडल-बजट सेटिंग्स में उच्चतम औसत Acc@5 प्राप्त किया। उदाहरण के लिए, $B=3$ के बजट के साथ Qwen-2.5-7B पर, LARK ने सबसे मजबूत बेसलाइन (RSR) की तुलना में प्रदर्शन में 7.07 प्रतिशत अंक का सुधार किया।
दक्षता: LARK एक फॉरवर्ड-पास-ओनली विधि है, जो सबसे कम लागत वाले स्टूडेंट-साइड बेसलाइन्स की कम्प्यूटेशनल लागत से मेल खाती है, जबकि सटीक ग्रेडिएंट-आधारित विधियों के लिए काफी अधिक गणना की आवश्यकता होगी।
डायग्नोस्टिक विश्लेषण:
- लॉस डिके (Loss Decay): LARK द्वारा चुनी गई ट्राजेक्टरीज ने प्रशिक्षण के दौरान SFT लॉस में सबसे तेज़ कमी प्रेरित की।
- प्रेडिक्टिव वैलिडिटी: टीचर मॉडल द्वारा एग्रीगेट किए जाने पर, LARK स्कोर $\hat{g}_k$ ने डाउनस्ट्रीम सटीकता के साथ एक मजबूत सकारात्मक सहसंबंध (Pearson $r=0.69$ ) दिखाया।
- टोकन-लेवल व्यवहार: चुनी गई ट्राजेक्टरीज में कम करेक्ट-टोकन प्रोबेबिलिटी लेकिन उच्च "रॉन्ग-टोकन कंसंट्रेशन" देखा गया, जो पुष्टि करता है कि LARK उन उदाहरणों को चुनता है जहाँ छात्र गलत है लेकिन त्रुटि संरचित और सुधारात्मक है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि लर्नैबिलिटी कुशल रीजनिंग डिस्टिलेशन के लिए एक विशिष्ट और प्रभावी सिद्धांत है, जो ट्राजेक्टरी की गुणवत्ता या कठिनाई से अलग है। लर्निंग डायनामिक्स में छात्र मॉडल को ग्राउंड करके, LARK उन ट्राजेक्टरीज की पहचान करता है जो सबसे कुशल लर्निंग सिग्नल प्रदान करती हैं।

लेखक इस बात पर जोर देते हैं कि उनकी विधि:

सामान्यीकरण बनाए रखती है: $\chi^2$ -रेगुलराइजेशन के माध्यम से, यह चयन नीति को संकीर्ण "आसान" या "हैक किए गए" ट्राजेक्टरीज के लिए ओवरफिट होने से रोकती है।
सैद्धांतिक रूप से सुदृढ़ है: इसका चयन नियम स्पष्ट त्रुटि बाउंड के साथ अनुकूलन सिद्धांत (PL कंडीशंस, ग्रेडिएंट फ्लो) के मूल सिद्धांतों से व्युत्पन्न है।
व्यावहारिक है: इसके लिए चयन नियम के लिए किसी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है (रेगुलराइजेशन स्ट्रेंथ बजट $B$ द्वारा निर्धारित होती है) और यह बैकवर्ड पास के कम्प्यूटेशनल ओवरहेड से बचता है।

यह कार्य सुझाव देता है कि भविष्य के विस्तार इस लर्नैबिलिटी-ग्राउंडेड परिप्रेक्ष्य को शोर वाले (noisier) कैंडिडेट पूल्स और व्यापक रीजनिंग डोमेन पर लागू कर सकते हैं, लेकिन वर्तमान दायरा गणितीय समस्या समाधान में रीजनिंग डिस्टिलेशन तक ही सीमित है।