🤖 machine learning

The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

यह शोध पत्र अनुक्रमिक शिक्षण (sequential learning) के लिए एक ज्यामितीय ढांचे का प्रस्ताव करता है जो इष्टतम प्रशिक्षण क्रमों की भविष्यवाणी करने के लिए ग्रेडिएंट अपडेट क्षेत्रों के ली-ब्रैकेट कम्यूटेटर (Lie-bracket commutator) का उपयोग करता है, जिससे एक स्केलेबल टूर्नामेंट-आधारित प्लानर सक्षम होता है जो विविध डोमेन में व्यापक मूल्यांकन की आवश्यकता के बिना, युग्मवार क्रम निर्धारण (pairwise ordering) और पाठ्यक्रम शेड्यूलिंग (curriculum scheduling) में उच्च सटीकता प्राप्त करता है।

मूल लेखक: John Sweeney

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: John Sweeney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को एक नया कौशल सिखाने की कोशिश कर रहे हैं, जैसे शतरंज खेलना। आपके पास उपयोग करने के लिए दो पाठ्यपुस्तकें हैं: एक शुरुआती चालों (Opening Moves) पर (स्रोत A) और दूसरी एंडगेम रणनीतियों (Endgame Strategies) पर (स्रोत B)।

बड़ा सवाल यह है: क्या क्रम मायने रखता है?
यदि आप पहले एंडगेम सिखाते हैं, और फिर ओपनिंग, तो क्या छात्र बेहतर सीखेगा या यदि आप पहले ओपनिंग सिखाते हैं, और फिर एंडगेम?

AI की दुनिया में, यह एक बहुत बड़ी समस्या है। यदि आपके पास केवल दो किताबें हैं, तो आप दोनों क्रम आजमा सकते हैं। लेकिन यदि आपके पास 100 अलग-अलग पाठ्यपुस्तकें (डोमेन) हैं, तो उन्हें व्यवस्थित करने के 100 ट्रिलियन (100!) से भी अधिक संभावित तरीके हैं। उन सभी को आज़माना असंभव है।

यह शोध पत्र एक चतुर "ज्यामितीय शॉर्टकट" (geometric shortcut) पेश करता है जो सब कुछ आजमाए बिना सबसे अच्छे क्रम की भविष्यवाणी कर सकता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए:

1. मूल विचार: "नॉन-कम्यूटेटिव" (Non-Commutative) दुनिया

गणित में, आमतौर पर $A + B = B + A$ होता है। लेकिन AI प्रशिक्षण की दुनिया में, कार्यों का क्रम पेंट मिलाने या खाना पकाने जैसा है।

पेंट मिलाना: यदि आप सफेद में लाल मिलाते हैं, तो आपको गुलाबी रंग मिलता है। यदि आप लाल में सफेद मिलाते हैं, तो भी आपको गुलाबी ही मिलेगा। (कम्यूटेटिव/क्रमविनिमेय)।
खाना पकाना: यदि आप अंडा तलते हैं और फिर ब्रेड को टोस्ट करते हैं, तो आपके पास एक गर्म भोजन होता है। यदि आप ब्रेड को टोस्ट करते हैं और फिर अंडा तलते हैं, तो ब्रेड गीली हो सकती है या अंडा ठंडा हो सकता है। परिणाम अलग होता है। (नॉन-कम्यूटेटिव/अक्रमविनिमेय)।

लेखक कहते हैं कि मॉडल के मस्तिष्क में डोमेन A पर फिर डोमेन B पर प्रशिक्षण देने से, B फिर A करने की तुलना में एक अलग "ट्रैजेक्टरी" (पथ) बनती है। वे जानना चाहते हैं कि कौन सा पथ बेहतर अंतिम परिणाम की ओर ले जाता है।

2. जादुई उपकरण: "लाई ब्रैकेट" (Lie Bracket - द ट्विस्ट डिटेक्टर)

यह शोध पत्र एक गणितीय अवधारणा का उपयोग करता है जिसे "लाई ब्रैकेट" (Lie Bracket) कहा जाता है। इसे एक "ट्विस्ट डिटेक्टर" (मोड़ का पता लगाने वाला) के रूप में सोचें।

कल्पना कीजिए कि आप एक जंगल में चल रहे हैं।

पथ A: 10 कदम उत्तर चलें, फिर 10 कदम पूर्व चलें।
पथ B: 10 कदम पूर्व चलें, फिर 10 कदम उत्तर चलें।
एक समतल मैदान में, आप एक ही स्थान पर पहुँचेंगे। लेकिन एक "वक्राकार" (curved) जंगल में (जैसे AI का जटिल सीखने का परिदृश्य), क्रम बदल देता है कि आप कहाँ पहुँचते हैं।

"लाई ब्रैकेट" ठीक से गणना करता है कि दोनों पथ एक-दूसरे से कितना अलग (ट्विस्ट होकर) हो जाते हैं।

यदि ट्विस्ट छोटा है, तो क्रम ज्यादा मायने नहीं रखता।
यदि ट्विस्ट बड़ा है, तो क्रम बहुत मायने रखता है।

लेखकों ने पाया है कि वे मॉडल की वर्तमान स्थिति, उसके ग्रेडिएंट्स (सीखने की दिशा), और उसकी वक्रता (सीखने वाली पहाड़ी कितनी खड़ी है) का उपयोग करके इस "ट्विस्ट" को मापने का एक तरीका खोज सकते हैं। वे इसे "ब्रैकेट वेक्टर" (Bracket Vector) कहते हैं।

3. भविष्यवाणी: "कंपास"

एक बार जब वे इस "ट्विस्ट" की गणना कर लेते हैं, तो वे इसकी लक्ष्य (Target Goal) (वह अंतिम कौशल जिसे वे AI को सिखाना चाहते हैं) से तुलना करते हैं।

उदाहरण: कल्पना कीजिए कि "ट्विस्ट" एक हवा है जो छात्र को बगल में धकेल रही है। "लक्ष्य" वह दिशा है जिसमें छात्र को जाना चाहिए।
यदि हवा (ट्विस्ट) छात्र को लक्ष्य से दूर धकेलती है, तो वह क्रम बुरा है।
यदि हवा उसे लक्ष्य की ओर धकेलती है, तो वह क्रम अच्छा है।

इस "ट्विस्ट" और "लक्ष्य" के बीच के कोण की जाँच करके, सिस्टम सटीक रूप से भविष्यवाणी कर सकता है कि A → B बेहतर है या B → A।

4. टूर्नामेंट: 100-किताबों की समस्या का समाधान

क्या होगा यदि आपके पास 100 अलग-अलग पाठ्यपुस्तकें हों? आप हर जोड़ी की जाँच नहीं कर सकते।
लेखक इसे एक "टूर्नामेंट" में बदल देते हैं।

वे प्रत्येक जोड़ी को एक मैच की तरह मानते हैं।
वे यह तय करने के लिए कि कौन सी किताब पहले आनी चाहिए (कौन मैच जीतता है), "ट्विस्ट डिटेक्टर" का उपयोग करते हैं।
100! संभावित शेड्यूल बनाने के बजाय, वे एक सरल स्कोरिंग प्रणाली (जैसे स्पोर्ट्स लीग टेबल) का उपयोग करते हैं ताकि यह रैंक किया जा सके कि किस किताब ने सबसे अधिक "मैच" जीते और उसके आधार पर सभी 100 किताबों को रैंक किया जा सके।

यह एक असंभव गणितीय समस्या को एक सरल सॉर्टिंग कार्य में बदल देता है जिसे कंप्यूटर तुरंत कर सकता है।

5. उन्होंने क्या पाया (परिणाम)

इस शोध पत्र का परीक्षण वास्तविक AI मॉडल (जैसे टेक्स्ट के लिए LLM और छवियों के लिए डिफ्यूजन मॉडल) पर किया गया:

पेयरवाइज सटीकता (Pairwise Accuracy): केवल दो किताबों की तुलना करते समय, यह विधि सरल कार्यों के लिए 98% बार और कई प्रशिक्षण चरणों के बाद भी 72-81% बार सही थी।
"बड़े" शेड्यूल: जब उन्होंने एक पायथन मॉडल को सिखाने के लिए 85 अलग-अलग प्रोग्रामिंग भाषाओं को रैंक किया, तो इस विधि ने एक ऐसा शेड्यूल खोजा जो सभी संभावित यादृच्छिक (random) क्रमों में शीर्ष 1% में था।
गति: इस "ट्विस्ट" की गणना करना मॉडल को विभिन्न क्रमों के साथ वास्तव में प्रशिक्षित करने की तुलना में बहुत तेज़ है। यह समय और कंप्यूटिंग शक्ति बचाता है।

सारांश

यह शोध पत्र तर्क देता है कि सीखने का क्रम केवल भाग्य नहीं, बल्कि ज्यामिति (geometry) है।
उन्होंने एक ऐसा उपकरण बनाया है जो दो चीजों को अलग-अलग क्रम में सीखने से होने वाले "ट्विस्ट" को मापता है। इस ट्विस्ट को मापकर, वे दो वस्तुओं के लिए सबसे अच्छा क्रम भविष्यवाणी कर सकते हैं, और इन भविष्यवाणियों का "टूर्नामेंट" चलाकर, वे सैकड़ों सीखने के स्रोतों को एक आदर्श पाठ्यक्रम में व्यवस्थित कर सकते हैं, बिना हर एक संभावना को आजमाए।

संक्षेप में: उन्होंने एक गणितीय तरीका खोजा है जिससे यह पता लगाया जा सके कि आपको "ब्रेड को टोस्ट करने से पहले अंडा तलना चाहिए" या इसके विपरीत, और उन्होंने साबित किया है कि यह AI मॉडल को सिखाने के लिए काम करता है।

तकनीकी सारांश: अनुक्रमिक शिक्षण की ज्यामिति (The Geometry of Sequential Learning)

समस्या विवरण (Problem Statement)
अनुक्रमिक शिक्षण पाइपलाइन (sequential learning pipelines), जिनमें नेक्स्ट-टोकन प्रीट्रेनिंग डोमेन अडैप्टेशन से लेकर इंस्ट्रक्शन फाइन-ट्यूनिंग (SFT) और डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) तक शामिल हैं, स्वाभाविक रूप से क्रम-निर्भर (order-dependent) होती हैं। जब एक मॉडल को $N$ संभावित स्रोत डोमेन से एक लक्ष्य डोमेन (target domain) में अनुकूलित किया जाता है, तो $N!$ संभावित प्रशिक्षण पाठ्यक्रम (training curricula) संभव होते हैं। मध्यम $N$ के लिए भी इस स्थान (space) की व्यापक खोज करना गणनात्मक रूप से अव्यवहार्य (intractable) है। मुख्य चुनौती यह अनुमान लगाना है कि क्या डोमेन $A$ के बाद $B$ पर प्रशिक्षण ( $A \to B$ ) उलटे क्रम ( $B \to A$ ) की तुलना में कम लक्ष्य हानि (target loss) प्रदान करेगा, बिना दोनों पूर्ण प्रशिक्षण अनुसूचियों को निष्पादित किए।

कार्यप्रणाली (Methodology)
यह शोध पत्र प्रतिपादित करता है कि क्रम-निर्भरता एक संरचित ज्यामितीय घटना है जो ग्रेडिएंट अपडेट ऑपरेटरों की गैर-क्रमविनिमेयता (non-commutativity) से उत्पन्न होती है। लेखक एक स्थानीय, गणनीय ज्यामितक मात्रा—ली-ब्रैकेट कम्यूटेटर (Lie-bracket commutator)—व्युत्पन्न करते हैं ताकि इष्टतम स्थानांतरण क्रम का पूर्वानुमान लगाया जा सके।

सैद्धांतिक आधार (Theoretical Foundation):
माना कि डोमेन $D$ पर हानि $L_D(\theta)$ है, जिसका ग्रेडिएंट $g_D$ और हेसियन (Hessian) $H_D$ है। एक एकल ग्रेडिएंट स्टेप एक ऑपरेटर $U_D(\theta) = \theta - \eta g_D(\theta)$ है। दो स्रोतों $A$ और $B$ के लिए, विपरीत क्रमों में दो स्टेप्स के बाद पैरामीटर स्पेस में अंतर है:
$\theta_{AB} - \theta_{BA} = \eta^2 (H_B g_A - H_A g_B) + O(\eta^3)$
पद $b_{AB} := H_B g_A - H_A g_B$ को ग्रेडिएंट फ्लो वेक्टर फील्ड्स के ली-ब्रैकेट (Lie bracket) के रूप में पहचाना गया है। यही इस क्रम-निर्भरता को संचालित करता है।
जोड़ीवार पूर्वानुमान (The Planner - Pairwise Prediction):
यह अनुमान लगाने के लिए कि कौन सा क्रम लक्ष्य डोमेन $E$ पर हानि को कम करेगा, यह विधि ब्रैकेट वेक्टर को लक्ष्य ग्रेडिएंट $g_E$ पर प्रोजेक्ट करती है। दिशात्मक स्कोर (directional score) है:
$\sigma^{(E)}_{AB} = \langle g_E, b_{AB} \rangle$
यदि $\sigma^{(E)}_{AB} < 0$ है, तो भविष्यवाणी की जाती है कि $A \to B$ कम हानि देगा; अन्यथा, $B \to A$ को प्राथमिकता दी जाती है।

ड्रिफ्ट-मैच्ड एस्टीमेशन (Drift-Matched Estimation): अनंत सूक्ष्म शासन (infinitesimal regime) से परे सटीकता में सुधार करने के लिए, लक्ष्य ग्रेडिएंट $g_E$ का मूल्यांकन प्रारंभिक बिंदु $\theta_0$ पर नहीं, बल्कि एक "ट्रोटर रेफरेंस पॉइंट" (Trotter reference point) $\theta_{ref} = \theta_0 - \eta(g_A + g_B)$ पर किया जाता है। यह बिंदु दोनों क्रमों के साझा प्रथम-क्रम ड्रिफ्ट (first-order drift) का अनुमान लगाता है, जिससे ग्रेडिएंट अनुमान में त्रुटि कम हो जाती है।
गणना दक्षता (Computational Efficiency): इस विधि के लिए केवल ग्रेडिएंट्स और हेसियन-वेक्टर प्रोडक्ट्स (HVPs) की आवश्यकता होती है। यह पूर्ण हेसियन मैट्रिसेस को भौतिक रूप से निर्मित नहीं करता है। व्यवहार में, गणनाएँ एक प्रशिक्षित पैरामीटर उपसमुच्चय (जैसे, LLMs के लिए अंतिम ट्रांसफॉर्मर लेयर्स) तक सीमित हैं, जिससे प्रत्येक जोड़ी के लिए लागत लगभग $3 $ग्रेडिएंट मूल्यांकन और$ 2$ HVPs होती है।

स्केलेबल शेड्यूलिंग (Lie-Bracket Tournaments):
$N > 2$ स्रोतों के लिए, जोड़ीवार स्कोर एक भारित टूर्नामेंट (weighted tournament) को परिभाषित करते हैं। लेखक $N!$ क्रमपरिवर्तन (permutations) का मूल्यांकन किए बिना पाठ्यक्रम क्रम निर्धारित करने के लिए बोर्डा/रो-सम रैंकिंग (Borda/row-sum ranking) का प्रस्ताव करते हैं।

मुख्य अनुकूलन (Key Optimization): सभी जोड़ियों के लिए एक साझा लक्ष्य-ग्रेडिएंट संदर्भ ( $\theta_0$ ) का उपयोग करके, जोड़ीवार किनारे के भार (edge weights) स्रोत ग्रेडिएंट्स और पूर्व-कंप्यूटेड HVPs ( $u_i = H_i g_E$ ) के डॉट उत्पादों के माध्यम से गणना योग्य होते हैं।
जटिलता (Complexity): यह शेड्यूलिंग समस्या को $O(N)$ डॉट प्रोडक्ट्स और $O(N \log N)$ सॉर्ट में बदल देता है, जिससे $O(N^2)$ पूर्ण जोड़ीवार मैट्रिक्स के निर्माण से बचा जा सकता है।

प्रमुख योगदान (Key Contributions)

स्थानांतरण क्रम का कम्यूटेटर सिद्धांत (Commutator Theory of Transfer Order): यह शोध पत्र क्रम-निर्भर लक्ष्य हानि अंतर और दिशात्मक ब्रैकेट स्कोर $\sigma^{(E)}_{AB}$ के बीच एक सैद्धांतिक संबंध स्थापित करता है, यह सिद्ध करते हुए कि इसका चिह्न इष्टतम जोड़ीवार क्रम की भविष्यवाणी करता है।
डिप्लॉयबल पेयरवाइज प्लानर (Deployable Pairwise Planner): एक ड्रिफ्ट-मैच्ड ट्रोटर एस्टीमेटर का परिचय जो ग्रेडिएंट्स और HVPs का उपयोग करके ऑर्डर प्रभावों का उच्च सटीकता के साथ पूर्वानुमान लगाता है, जिसमें "स्टेक्स" (प्रभाव परिमाण) और "कॉन्फिडेंस" (संरेखण) के मेट्रिक्स भी शामिल हैं।
ली-ब्रैकेट टूर्नामेंट्स (Lie-Bracket Tournaments): कई-डोमेन शेड्यूलिंग के लिए एक स्केलेबल विधि जो $N!$ पाठ्यक्रम खोज को एक रैंकिंग समस्या में बदल देती है, जिससे दर्जनों डोमेन के कुशल क्रम निर्धारण में सक्षम बनाया जाता है।
स्वचालित स्टेप-साइज़ चयन (Automated Step-Size Selection): एक सिद्धांत-आधारित "ऑटोपायलट" ( $\eta$ -autopilot) जो डिटेक्टेबिलिटी बनाम उच्च-क्रम स्थिरता बाधाओं के बीच संतुलन बनाने के लिए पायलट डेटा से स्टेप साइज़ का स्वचालित चयन करता है।
व्यापक सत्यापन (Broad Validation): इस ढांचे को इंस्ट्रक्शन-SFT, DPO, नेक्स्ट-टोकन प्रीट्रेनिंग अडैप्टेशन और डिफ्यूजन मॉडल अडैप्टेशन में मान्य किया गया है।

प्रायोगिक परिणाम (Experimental Results)

जोड़ीवार सटीकता (Pairwise Accuracy):
- इंस्ट्रक्शन-SFT: $k=1$ (प्रति डोमेन एक स्टेप) पर 98.1% साइन सटीकता और $k=20$ पर 73.1% प्राप्त की।
- DPO: $k=1$ पर 98.9% और $k=20$ पर 72.2% सटीकता प्राप्त की।
- प्रीट्रेनिंग/डिफ्यूजन: चार LLMs और एक डिफ्यूजन मॉडल में, इस विधि ने उच्च सटीकता बनाए रखी (जैसे, Llama-3.2-1B पर 92.0%, डिफ्यूजन पर 91.1%), जो रैंडम बेसलाइन्स से काफी बेहतर है।
लॉन्ग-होरिज़न जनरलाइजेशन (Long-Horizon Generalization): प्रारंभिक बिंदु पर गणना किया गया प्रेडिक्टर लंबे प्रशिक्षण क्षितिज पर प्रभावी बना रहा। Llama-3.2-1B पर, $k=20$ के लिए सटीकता 81.5% और $k=50$ (कुल 100 अपडेट) के लिए 65.3% रही, जो रैंडम ऑर्डरिंग की तुलना में महत्वपूर्ण रिग्रेट (regret) कमी दर्शाती है।
मेनी-डोमेन शेड्यूलिंग (Many-Domain Scheduling):
- छोटा $N$ ( $N=3$ ): विधि ने $3!$ शेड्यूल्स में से सर्वश्रेष्ठ को 87.5% परीक्षणों में रिकवर किया।
- बड़ा $N$ : 56 MMLU विषयों पर, विधि ने 99.0–99.6वें सैंपलड पर्सेंटाइल तक पहुँच प्राप्त की, जो डिसेंडिंग ग्रेडिएंट-नॉर्म बेसलाइन (जो 1st पर्सेंटाइल से नीचे गिर गया) से काफी बेहतर है। 85 Stack प्रोग्रामिंग-लैंग्वेज डोमेन पर, इसने पायथन लक्ष्य के लिए 99वें पर्सेंटाइल तक पहुँच प्राप्त की।
दक्षता (Efficiency): प्लानर लगभग $k \approx 3$ स्टेप्स प्रति डोमेन पर दोनों क्रमों के ब्रूट-फोर्स मूल्यांकन की तुलना में गणनात्मक रूप से सस्ता हो जाता है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र अनुक्रमिक शिक्षण को एक ज्यामितीय टूर्नामेंट समस्या (geometric tournament problem) के रूप में पुनर्गठित करता है। यह दावा करता है कि ली-ब्रैकेट कम्यूटेटर स्थानीय जोड़ीवार क्रम जानकारी और कई-डोमेन शेड्यूल बनाने के लिए एक स्केलेबल प्रिमिटिव (primitive) दोनों प्रदान करता है। परिणाम बताते हैं कि ग्रेडिएंट अपडेट की गैर-क्रमविनिमेयता (non-commutativity) करिकुलम डिज़ाइन में एक प्रमुख कारक है, और इस ज्यामितीय संरचना का लाभ उठाकर व्यापक खोज से बचा जा सकता है। लेखक इस बात पर जोर देते हैं कि यह विधि विशेष रूप से पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग परिदृश्यों (जैसे, अंतिम लेयर्स या एडेप्टर्स को ट्यून करना) के लिए प्रभावी है और यह विभिन्न प्रशिक्षण उद्देश्यों (SFT, DPO, प्रीट्रेनिंग) और आर्किटेक्चर (Transformers, UNets) में सामान्यीकृत होती है। यह शोध पत्र किसी भी मनमाने करिकुलम के ग्लोबल ऑप्टिमाइजेशन को हल करने का दावा नहीं करता है, बल्कि यह प्रदर्शित करता है कि एक स्थानीय ज्यामितीय ह्यूरिस्टिक न्यूनतम गणनात्मक ओवरहेड के साथ निकट-इष्टतम (near-optimal) शेड्यूल रिकवर कर सकता है।