💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

यह शोध पत्र पॉलिसी ऑप्टिमाइज़ेशन के लिए ऑनलाइन कॉज़ल कलमन फ़िल्टरिंग (KPO) का प्रस्ताव करता है, जो एक नवीन विधि है जो टोकन-स्तरीय ऑफ-पॉलिसी लर्निंग में उच्च-विचलन शोर और संरचनात्मक विसंगतियों को कम करने के लिए इम्पॉर्टेंस सैंपलिंग रेश्यो को कलमन फ़िल्टरिंग के माध्यम से अपडेट किए गए विकसित होने वाले लेटेंट स्टेट्स के रूप में मॉडल करती है, जिससे बड़े भाषा मॉडलों के लिए अधिक स्थिर और प्रभावी सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) प्राप्त होता है।

मूल लेखक: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अराजक (chaotic) छात्र (एक Large Language Model) को जटिल गणित की समस्याएं हल करना सिखा रहे हैं। आप उसे एक समस्या देते हैं, वह इसे चरण-दर-चरण हल करने की कोशिश करता है, और फिर आप उसे फीडबैक देते हैं: "अच्छा काम किया!" या "वह चरण गलत था।"

लक्ष्य छात्र के मस्तिष्क को इस तरह से ढालना है कि वह अगली बार कम गलतियाँ करे। इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है।

समस्या: "नॉइजी फीडबैक" (Noisy Feedback) लूप

अतीत में, जब छात्र गलती करता था, तो शिक्षक पूरे उत्तर को देखता था और कहता था, "पूरा उत्तर 80% अच्छा था।" यह एक पूरे निबंध के लिए एक एकल ग्रेड देने जैसा है। यह स्थिर है, लेकिन यह बहुत सटीक नहीं है।

अधिक सटीक होने के लिए, आधुनिक शिक्षकों ने छात्र द्वारा लिखे गए प्रत्येक शब्द को देखना शुरू किया। वे कहते थे, "शब्द 'इसलिए' (therefore) एकदम सही था, लेकिन शब्द 'गणना करें' (calculate) थोड़ा गलत था।"

यहाँ एक पेंच है: क्योंकि छात्र चलते-चलते सीख रहा है, उसकी "आंतरिक आवाज़" (पुरानी पॉलिसी) हर उस शब्द के साथ बदल जाती है जो वह लिखता है। जब शिक्षक एक शब्द-दर-शब्द नए उत्तर की तुलना पुराने से करने की कोशिश करता है, तो फीडबैक अविश्वसनीय रूप से अस्थिर और शोर भरा (jittery and noisy) हो जाता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक रस्सी पर चल रहे हैं (tightrope walking) जबकि कोई व्यक्ति हर सेकंड आपको यादृच्छिक (random) नंबर चिल्लाकर सुना रहा है। कभी वे चिल्लाते हैं "बाएं!", कभी "दाएं!", कभी "ऊपर!", तो कभी "नीचे!"—एक ही कदम के भीतर। यदि आप हर एक चिल्लाहट के आधार पर अपना संतुलन बदलने की कोशिश करते हैं, तो आप गिर जाएंगे। छात्र भ्रमित हो जाता है, प्रशिक्षण क्रैश हो जाता है, और मॉडल सीखना बंद कर देता है।

पुराने समाधान: बहुत अस्पष्ट या बहुत अव्यवस्थित

"पूरा निबंध" वाला दृष्टिकोण: कुछ शिक्षकों ने व्यक्तिगत शब्दों को देखना बंद कर दिया और बस पूरे उत्तर के लिए एक स्कोर दे दिया। यह स्थिर है, लेकिन यह एक छात्र को यह बताने जैसा है कि, "आपका निबंध अच्छा है," बिना यह बताए कि कौन सा पैराग्राफ खराब था। आप सूक्ष्म विवरणों को खो देते हैं।
"कच्चा शब्द" (Raw Word) वाला दृष्टिकोण: अन्य लोगों ने हर एक शब्द को व्यक्तिगत रूप से ठीक करने की कोशिश की। लेकिन जैसा कि हमने देखा, फीडबैक बहुत शोर भरा है। छात्र को विरोधाभासी सुधारों से चक्कर आ जाता है।

नया समाधान: KPO (द "स्मार्ट फ़िल्टर")

लेखकों ने एक नई विधि प्रस्तावित की है जिसे KPO (कलमन पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। उन्होंने महसूस किया कि हालांकि व्यक्तिगत शब्दों के लिए फीडबैक शोर भरा है, लेकिन छात्र के आत्मविश्वास का अंतर्निहित रुझान (underlying trend) सुचारू होना चाहिए।

उपमा: मौसम का पूर्वानुमान बनाम हवा का झोंका

कल्पना कीजिए कि आप तापमान का अनुमान लगाने की कोशिश कर रहे हैं।

कच्चा डेटा (Raw Data): एक हवा का झोंका आपके थर्मामीटर से टकराता है, और एक सेकंड के लिए यह 100°F पढ़ता है। फिर एक बादल गुजर जाता है, और यह 40°F पढ़ता है। फिर सूरज निकल आता है, और यह 90°F पढ़ता है। यदि आप इस डेटा के हर एक सेकंड के आधार पर कपड़े पहनने का निर्णय लेते, तो आप एक ही समय में ठंड और गर्मी दोनों महसूस कर रहे होते।
कलमन फ़िल्टर (Kalman Filter): यह एक गणितीय उपकरण है (मूल रूप से रॉकेट और मिसाइलों को निर्देशित करने के लिए उपयोग किया जाता है) जो एक स्मार्ट मौसम पूर्वानुमानकर्ता की तरह कार्य करता है। यह शोर भरे डेटा को देखता है लेकिन जानता है कि, "हे, तापमान वास्तव में एक सेकंड में 40 से 100 नहीं हो सकता। यह सिर्फ एक गड़बड़ी (glitch) है।"

कलमन फ़िल्टर कहता है: "पागलपन भरे उछालों को अनदेखा करें। पिछले कुछ सेकंड को देखें। तापमान संभवतः धीरे-धीरे बढ़ रहा है। आइए शोर को कम करें और रुझान (trend) का अनुसरण करें।"

KPO सरल शब्दों में कैसे काम करता है

यह प्रवाह को देखता है: प्रत्येक शब्द के फीडबैक को एक अलग घटना के रूप में मानने के बजाय, KPO शब्दों के अनुक्रम को एक निरंतर कहानी के रूप में देखता है।
यह शोर को सुचारू बनाता है: जब किसी विशिष्ट शब्द के लिए फीडबैक अजीब दिखता है (जैसे कि "महत्व" में अचानक उछाल), तो KPO पूछता है, "क्या पिछले शब्द ने इसका संकेत दिया था? क्या यह छात्र की रणनीति में वास्तविक बदलाव है, या सिर्फ एक गड़बड़ी है?"
यह संरचना को बनाए रखता है: यह केवल सब कुछ औसत (average) नहीं कर देता (जिससे विवरण खो सकते हैं)। यह लर्निंग सिग्नल के आकार को सुरक्षित रखता है। यदि छात्र वास्तव में वाक्य के एक विशिष्ट भाग में बेहतर हो रहा है, तो KPO उस सिग्नल को मजबूत रखता है। यदि यह केवल यादृच्छिक शोर है, तो KPO उसे कम कर देता है।

परिणाम: एक स्थिर शिक्षार्थी

इस "स्मार्ट फ़िल्टर" का उपयोग करके, छात्र (AI) को ऐसा फीडबैक मिलता है जो है:

सुचारू (Smooth): विरोधाभासी निर्देशों से अब कोई चक्कर नहीं आता।
सटीक (Precise): इसे अभी भी पता चलता है कि उत्तर के किन हिस्सों पर काम करने की आवश्यकता है, लेकिन बिना शोर के।
स्थिर (Stable): प्रशिक्षण क्रैश नहीं होता। मॉडल जटिल गणितीय तर्क को पहले की तुलना में बहुत तेज़ी से और बेहतर तरीके से सीखता है।

सारांश

KPO को AI की सीखने की प्रक्रिया के लिए "नॉइज़-कैंसलिंग हेडफ़ोन" के रूप में समझें।

इसके बिना: AI हर शब्द के लिए "अच्छा काम किया!" और "बुरा काम किया!" के एक अराजक मिश्रण को सुनता है, जिससे वह घबरा जाता है और विफल हो जाता है।
इसके साथ: AI एक स्पष्ट, स्थिर आवाज़ सुनता है जो कहती है, "आप यहाँ बहुत अच्छा कर रहे हैं, और आपको वहां इस विशिष्ट भाग को ठीक करने की आवश्यकता है," जिससे उसे शोर (static) पर प्रतिक्रिया देने के बजाय सीखने पर ध्यान केंद्रित करने की अनुमति मिलती है।

यह शोध सिद्ध करता है कि इस "स्मार्ट स्मूथिंग" तकनीक को लागू करके, AI मॉडल सीखने की प्रक्रिया के दौरान टूटे बिना बहुत कठिन गणित की समस्याओं को हल कर सकते हैं।

यहाँ शोध पत्र "Online Causal Kalman Filtering for Stable and Effective Policy Optimization" (KPO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की अस्थिरता, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) और समान ऑफ-पॉलिसी (off-policy) सेटिंग्स के भीतर, को संबोधित करता है।

उच्च-विचलन वाले IS अनुपात (High-Variance IS Ratios): ऑफ-पॉलिसी प्रशिक्षण में, इम्पोर्टेंस सैंपलिंग (IS) अनुपात ( $r_t$ ), व्यवहार नीति (behavior policy) और अपडेट की जा रही नीति के बीच वितरण अंतर (distribution shift) को ठीक करता है। टोकन स्तर पर, ये अनुपात उच्च विचलन (high variance) और संरचनात्मक असंगतता (structural inconsistency) प्रदर्शित करते हैं।
स्थानीय संरचनात्मक विसंगति (Local Structural Incoherence): अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि ऑफ-पॉलिसी टोकन एक सुचारू टेम्पोरल पैटर्न का पालन नहीं करते हैं। इसके बजाय, वे बार-बार बदलते हैं (उच्च स्विचिंग फ्रीक्वेंसी), उनकी रन-लेंथ (run-lengths) छोटी होती है, और उनमें कमजोर स्थानीय सामंजस्य (local coherence) होता है। यह "शोर" (noise) आस-पास के टोकनों के माध्यम से पॉलिसी ग्रेडिएंट अपडेट को विकृत कर देता है, जिससे ट्रेनिंग कोलैप्स (training collapse), एंट्रॉपी कोलैप्स (entropy collapse) और अस्थिर अनुकूलन (unstable optimization) होता है।
मौजूदा समाधानों की सीमाएँ:
- टोकन-स्तरीय IS: उच्च विचलन और अस्थिरता बनाए रखता है।
- अनुक्रम-स्तरीय IS (जैसे GSPO, GMPO): पूरे अनुक्रम के लिए एक निश्चित अनुपात का उपयोग करता है। हालांकि यह शोर को सुचारू (smooth) बनाता है, लेकिन यह स्थानीय संरचनात्मक जानकारी को नष्ट कर देता है, यह मानकर कि एक अनुक्रम के सभी टोकनों में ऑफ-पॉलिसी विचलन की डिग्री समान होती है, जो अक्सर गलत होता है (उदाहरण के लिए, मल्टी-स्टेप रीजनिंग में, कुछ चरण ऑन-पॉलिसी हो सकते हैं जबकि अन्य भटक सकते हैं)।

2. कार्यप्रणाली: KPO (Kalman Policy Optimization)

लेखक KPO प्रस्तावित करते हैं, जो टोकन-वार IS अनुपातों को एक टाइम सीरीज़ के रूप में मॉडल करता है और एक सुचारू, संरचनात्मक रूप से सुसंगत IS अनुपात का अनुमान लगाने के लिए एक ऑनलाइन कॉज़ल कलमन फ़िल्टर (Online Causal Kalman Filter) लागू करता है।

मुख्य अवधारणा (Core Concept)

यह विधि IS अनुपात को एक लेटेंट स्टेट (latent state) के रूप में मानती है जो टोकन अनुक्रम के दौरान विकसित होता है। यह मानती है कि जबकि देखे गए (observed) IS अनुपात शोरयुक्त हैं, अंतर्निहित "वास्तविक" ऑफ-पॉलिसी विचलन को सिमेंटिक सेगमेंट के भीतर स्थानीय समरूपता (local homogeneity/smoothness) प्रदर्शित करना चाहिए।

तकनीकी कार्यान्वयन (Technical Implementation)

स्टेट-स्पेस मॉडलिंग (State-Space Modeling):
- अवलोकन ( $z_t$ ): कच्चे टोकन-वार IS अनुपात का लॉग ( $z_t = \log r_t$ )।
- लेटेंट स्टेट ( $\rho_t$ ): वांछित, सुचारू (smoothed) IS अनुपात।
- डायनेमिक्स (Dynamics): इसे रैंडम वॉक ( $\rho_t = \rho_{t-1} + \eta_t$ ) के रूप में मॉडल किया गया है जिसमें प्रोसेस नॉइज़ $Q$ है, और एक ऑब्जर्वेशन मॉडल ( $z_t = \rho_t + \epsilon_t$ ) है जिसमें ऑब्जर्वेशन नॉइज़ $V$ है।
- पैरामीटर्स: $Q$ वास्तविक बदलावों के प्रति प्रतिक्रियाशीलता (drift speed) को नियंत्रित करता है, और $V$ अवलोकन पर विश्वास (noise suppression) को नियंत्रित करता है।
कॉज़ल कलमन फ़िल्टरिंग प्रक्रिया (Causal Kalman Filtering Process):
फ़िल्टर ऑटोरेग्रेसिवली (autoregressively) (कॉज़ली) कार्य करता है, जो वर्तमान स्टेट का अनुमान लगाने के लिए केवल पिछले और वर्तमान टोकन की जानकारी का उपयोग करता है, जिससे यह LLM जनरेशन के साथ संगत रहता है।
- प्रेडिक्शन (Prediction): पिछले स्टेट के आधार पर लेटेंट स्टेट का अनुमान लगाना ( $\hat{\rho}_{t|t-1} = \hat{\rho}_{t-1|t-1}$ )।
- कलमन गेन ( $K_t$ ): प्रेडिक्शन की अनिश्चितता बनाम ऑब्जर्वेशन के शोर के आधार पर एक एडेप्टिव वेट (adaptive weight) की गणना करता है।
  - प्रेडिक्शन में उच्च अनिश्चितता या कम ऑब्जर्वेशन नॉइज़ $\rightarrow$ उच्च $K_t$ (नए ऑब्जर्वेशन पर भरोसा करें)।
  - उच्च ऑब्जर्वेशन नॉइज़ $\rightarrow$ निम्न $K_t$ (टेम्पोरल प्रायर/स्मूथनेस पर भरोसा करें)।
- अपडेट (Update): इनोवेशन (रेसिड्यूअल) $\delta_t = z_t - \hat{\rho}_{t|t-1}$ का उपयोग करके प्रेडिक्शन को ठीक करना:
  $\hat{\rho}_{t|t} = \hat{\rho}_{t|t-1} + K_t \delta_t$
- एक्सपोनेंशिएशन (Exponentiation): अंतिम IS अनुपात प्राप्त करने के लिए फ़िल्टर्ड लॉग-अनुपात का एक्सपोनेंशियल लिया जाता है: $\tilde{r}_t = \exp(\hat{\rho}_{t|t})$ ।
ऑप्टिमाइजेशन ऑब्जेक्टिव (Optimization Objective):
मानक GRPO/PPO क्लिप्ड सरोगेट ऑब्जेक्टिव में कच्चे अनुपात $r_t$ के स्थान पर फ़िल्टर्ड अनुपात $\tilde{r}_t$ का उपयोग किया जाता है। यह हाई-फ्रीक्वेंसी शोर स्पाइक्स को दबाते हुए टोकन-स्तरीय विषमता (heterogeneity) को बनाए रखता है।

3. प्रमुख योगदान (Key Contributions)

अनुभवजन्य खोज (Empirical Discovery): यह शोध पत्र पहला है जिसने अनुभवजन्य रूप से पहचाना है कि स्थानीय ऑफ-पॉलिसी विचलन टोकन स्तर पर संरचनात्मक रूप से असंगत है। वे प्रदर्शित करते हैं कि कच्चे टोकन-स्तरीय IS अनुपात में उच्च स्विचिंग फ्रीक्वेंसी और छोटी रन-लेंथ होती है, जो स्थानीय सिमेंटिक सुसंगतता (semantic coherence) की सहज धारणा के विपरीत है।
नया एल्गोरिदम (KPO): IS अनुपातों को सुचारू बनाने के लिए एक कॉज़ल कलमन फ़िल्टरिंग दृष्टिकोण प्रस्तावित करता है। अनुक्रम-स्तरीय विधियों के विपरीत, KPO स्थानीय संरचनात्मक सुसंगतता (जैसे, एक विशिष्ट रीजनिंग स्टेप के दौरान एक सुसंगत ड्रिफ्ट बनाए रखना) को सुरक्षित रखता है, जबकि शोर को कम करता है।
स्थिरता और प्रदर्शन (Stability and Performance): यह प्रदर्शित करता है कि KPO जटिल रीजनिंग कार्यों पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में बेहतर स्थिरता (एंट्रॉपी कोलैप्स को रोकने में) और उच्च प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह चुनौतीपूर्ण गणितीय रीजनिंग बेंचमार्क (AIME'24/25, AMC'23, MATH500, Minerva, OlympiadBench) पर Qwen3-4B पर KPO का मूल्यांकन किया।

प्रदर्शन (Performance): KPO ने लगातार बेसलाइन्स (GRPO, GMPO, GSPO) को पछाड़ दिया।
- KPO-clipped ने 6 में से 5 बेंचमार्क पर सर्वश्रेष्ठ avg@16 और 3 बेंचमार्क पर सर्वश्रेष्ठ pass@16 प्राप्त किया।
- कठिन, लंबे-क्षितिज (long-horizon) वाले कार्यों (AIME'24/25) पर उल्लेखनीय लाभ देखे गए, जहाँ स्थिर अनुकूलन महत्वपूर्ण है।
ट्रेनिंग डायनेमिक्स (Training Dynamics):
- रिवॉर्ड (Reward): KPO निरंतर सुधार दिखाता है, जबकि GRPO ~200 स्टेप्स के बाद डाइवर्ज (diverge) हो जाता है और GSPO/GMPO जल्दी ही प्लेटो (plateau) पर पहुँच जाते हैं।
- एंट्रॉपी (Entropy): KPO उच्च एंट्रॉपी बनाए रखता है (कोलैप्स को रोकने के लिए), जबकि GRPO लगभग शून्य एंट्रॉपी तक कोलैप्स हो जाता है।
- क्लिप फ्रैक्शन (Clip Fraction): KPO ने GSPO की तुलना में क्लिपिंग का अधिक प्रभावी ढंग से उपयोग किया। क्योंकि KPO अनुपात स्थानीय रूप से सुसंगत हैं, क्लिपिंग पूरे अनुक्रम के बजाय विशिष्ट सेगमेंट पर लागू होती है, जिससे अधिक सूक्ष्म (granular) अपडेट संभव होते हैं।
डिस्ट्रीब्यूशन विश्लेषण (पोस्ट-फ़िल्टरिंग) (Distribution Analysis - Post-Filtering):
- रन-लेंथ (Run-Length): "Up" स्टेट्स के लिए नाटकीय रूप से बढ़ गई (जैसे, ~1.6 से ~120 टोकन तक), जो लंबे, स्थिर सेगमेंट के निर्माण का संकेत देती है।
- स्विच फ्रीक्वेंसी (Switch Frequency): 0.43 से गिरकर 0.01 हो गई, जो तीव्र, शोरयुक्त अवस्था परिवर्तनों (state alternations) के निष्कासन की पुष्टि करती है।
- विचलन (Variance): वैश्विक और स्थानीय दोनों विचलन घटकर लगभग शून्य ( $10^{-4}$ से $10^{-5}$ ) हो गए, जो प्रभावी शोर दमन (noise suppression) की पुष्टि करते हैं।

5. महत्व (Significance)

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह शोध पत्र ऑफ-पॉलिसी प्रशिक्षण के दृष्टिकोण को एक स्टेटिक या ग्लोबल व्यू से बदलकर एक टेम्पोरल, स्टेट-स्पेस व्यू में ले जाता है। यह सिद्ध करता है कि स्मूथिंग आवश्यक है, लेकिन इसे महत्वपूर्ण स्थानीय जानकारी को खोने से बचने के लिए स्ट्रक्चर-अवेयर (structure-aware) होना चाहिए।
व्यावहारिक प्रभाव (Practical Impact): KPO जटिल वैल्यू मॉडल या बड़े आर्किटेक्चरल बदलावों की आवश्यकता के बिना, बड़े पैमाने पर RLHF/RL ट्रेनिंग को स्थिर करने के लिए एक हल्का, प्लग-एंड-प्ले समाधान प्रदान करता है।
भविष्य की दिशाएं (Future Directions): लेखक नोट करते हैं कि हालांकि वर्तमान कार्यान्वयन क्रमिक (autoregressive) है, भविष्य के कार्य प्रशिक्षण दक्षता में सुधार के लिए समानांतर (parallelized) कलमन फ़िल्टरिंग एल्गोरिदम का पता लगा सकते हैं।

संक्षेप में, KPO इम्पोर्टेंस सैंपलिंग अनुपातों पर एक कॉज़ल कलमन फ़िल्टर लागू करके टोकन-स्तरीय RL की अस्थिरता को हल करता है, जो शोर को सुचारू बनाने और पॉलिसी अपडेट की स्थानीय संरचनात्मक अखंडता को बनाए रखने के बीच प्रभावी ढंग से संतुलन बनाता है।