💬 NLP

Reinforcing Step-level Reasoning for Effective Self-Correction in LLMs

यह शोध पत्र Self-Fix Step-DPO (SFS-DPO) का प्रस्ताव करता है, जो एक दो-चरणीय सुदृढीकरण aprendizaje (reinforcement learning) ढांचा है जो पहले प्राथमिकता अनुकूलन (preference optimization) के माध्यम से चरण-स्तरीय तर्क को मजबूत करके और फिर त्रुटि सत्यापन और सुधार के लिए स्पष्ट रूप से प्रशिक्षित करके बड़े भाषा मॉडलों की आत्म-सुधार क्षमताओं को बढ़ाता है, जिससे मौजूदा बेसलाइन की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Vu Duc Anh, Nhat M. Hoang, Do Xuan Long, Cong-Duy Nguyen, Ponhvoan Srey, Luu Anh Tuan

प्रकाशित 2026-08-13

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vu Duc Anh, Nhat M. Hoang, Do Xuan Long, Cong-Duy Nguyen, Ponhvoan Srey, Luu Anh Tuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर इंसानों की तरह बात कर सकते हैं, कहानियाँ लिख सकते हैं और पहेलियाँ सुलझा सकते हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) का क्षेत्र है, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) का। इन मॉडल्स को उन अविश्वसनीय रूप से पढ़े-लिखे छात्रों के रूप में सोचें जिन्होंने लाइब्रेरी की लगभग हर किताब को याद कर लिया है। वे वाक्य में अगले शब्द का अनुमान लगाने में माहिर हैं, लेकिन जब उनके सामने कोई कठिन गणित की समस्या आती है, तो वे कभी-कभी अपने ही पैरों में उलझ जाते हैं। यदि वे शुरुआत में एक छोटी सी गलती करते हैं, तो वे अक्सर उस त्रुटि पर ही निर्माण करना जारी रखते हैं, जैसे ब्लॉक्स का एक टॉवर जो हर नई परत के साथ और अधिक डगमगाता जाता है जब तक कि वह गिर न जाए। वैज्ञानिक इन AI छात्रों को अपनी गलतियों को पकड़ने और अपना होमवर्क जमा करने से पहले उन्हें ठीक करने के लिए सिखाने की कोशिश कर रहे हैं। इसे "सेल्फ-करेक्शन" (स्व-सुधार) कहा जाता है। यह एक छात्र को लाल पेन देने और उन्हें अपना टेस्ट खुद ग्रेड करने के लिए कहने जैसा है, लेकिन असली चुनौती उन्हें यह सिखाने की है कि वे केवल चीजों को बिना सोचे-समझे बदलने के बजाय वास्तव में त्रुटियों को कैसे पहचानें।

आप जो पेपर पढ़ने जा रहे हैं, वह इस "लाल पेन" वाले विचार की एक विशिष्ट समस्या पर काम करता है। AI को स्व-सुधार (self-correct) सिखाने के पिछले प्रयास अक्सर विफल रहे क्योंकि AI या तो घबराकर सब कुछ बदल देता था, या फिर वह गलत चीज़ को ठीक कर देता था। इस अध्ययन के पीछे के शोधकर्ताओं ने, जो सिंगापुर और वियतनाम के विश्वविद्यालयों की एक टीम है, प्रशिक्षण रणनीति को बदलने का निर्णय लिया। केवल AI को यह बताने के बजाय कि "यह पूरा उत्तर गलत है," उन्होंने इसे एक समय में एक छोटा कदम उठाने के लिए सिखाया। उन्होंने एक नई विधि विकसित की जिसे Self-Fix Step-DPO (SFS-DPO) कहा जाता है। कल्पना कीजिए कि एक गणित ट्यूटर केवल यह नहीं कहता कि "तुम असफल रहे," बल्कि वह गणना की एक विशिष्ट पंक्ति की ओर इशारा करता है, कहता है, "रुको, यह चरण डगमगा रहा है," और फिर आगे बढ़ने से पहले ठीक उसी पंक्ति को कैसे ठीक किया जाए, यह दिखाता है। शोधकर्ताओं ने पाया कि AI की प्रत्येक व्यक्तिगत चरण के माध्यम से तर्क करने की क्षमता को मजबूत करके, और फिर उसे उन चरणों में त्रुटियों को विशेष रूप से लक्षित करने और मरम्मत करने के लिए प्रशिक्षित करके, AI जटिल गणितीय समस्याओं को हल करने में बहुत बेहतर हो गया। उन्होंने एक "शिक्षक-सहायता प्राप्त" (teacher-assisted) संस्करण का भी परीक्षण किया जहाँ एक सुपर-स्मार्ट AI ने समझाया कि एक चरण क्यों गलत था, जिससे छात्र AI ने और भी तेज़ी से सीखा। परिणाम बताते हैं कि यह चरण-दर-चरण दृष्टिकोण AI मॉडल्स को अधिक विश्वसनीय और सटीक बनाने में मदद करता है, न कि केवल बेहतर अनुमान लगाकर, बल्कि रास्ते में अपनी गलतियों को पकड़ने और उन्हें ठीक करने का तरीका सीखकर।

दो-चरणीय प्रशिक्षण शिविर (The Two-Stage Training Camp)

यह समझने के लिए कि शोधकर्ताओं ने AI को अपना सबसे अच्छा संपादक कैसे बनाया, एक युवा प्रशिक्षु के दो-चरणीय प्रशिक्षण शिविर की कल्पना करें।

चरण 1: आधार निर्माता (The Foundation Builder)
सबसे पहले, AI को एक लीक होने वाली छत को ठीक करना सीखने से पहले एक मजबूत घर बनाना सीखना होगा। अतीत में, कुछ प्रशिक्षण विधियों ने AI को तुरंत त्रुटियों को ठीक करना सिखाने की कोशिश की थी, लेकिन शोधकर्ताओं ने पाया कि यह एक ऐसी छत को पैच करने जैसा था जिसकी दीवारें अभी भी रेत से बनी थीं। इसलिए, उनका पहला चरण स्टेप-लेवल प्रिफरेंस ऑप्टिमाइज़ेशन (Step-Level Preference Optimization) पर केंद्रित है।

इसे "चूज़ योर ओन एडवेंचर" (Choose Your Own Adventure) के खेल के रूप में सोचें जहाँ AI को गणित की समस्या के एक विशिष्ट बिंदु से दो रास्तों में से एक को चुनने के लिए प्रस्तुत किया जाता है। एक पथ सही अगला कदम है, और दूसरा गलत। AI को सही पथ चुनने के लिए पुरस्कृत किया जाता है। इसमें अभी गलती को ठीक करना शामिल नहीं है; यह केवल यह सीखने के बारे में है कि एक अच्छा अगला कदम कैसा दिखता है। शोधकर्ता इसे "इनिशियलाइजेशन स्टेज" (प्रारंभिक चरण) कहते हैं। यह एक शतरंज खिलाड़ी को एक अच्छी चाल पहचानने के लिए सिखाने जैसा है, इससे पहले कि उसे एक बड़ी चूक से उबरना सिखाया जाए। ऐसा करके, AI हर एक चरण में यह समझने के लिए एक मजबूत आंतरिक दिशा-सूचक यंत्र बनाता है कि "सही तर्क" कैसा महसूस होता है।

चरण 2: स्व-सुधार अभ्यास (The Self-Correction Drill)
एक बार जब AI का आधार मजबूत हो जाता है, तो वह दूसरे चरण में प्रवेश करता है: स्टेप-वाइज सेल्फ-करेक्शन (Step-wise Self-Correction)। अब, AI को एक ऐसी समस्या दी जाती है जिसमें उसने पहले ही एक गलती कर दी है। लक्ष्य उसे यह सिखाना है कि:

त्रुटि को पहचानें: "रुको, वह पिछला चरण समझ में नहीं आ रहा है।"
इसे ठीक करें: "मुझे उस गलत चरण को एक सही चरण से बदलना चाहिए।"
आगे बढ़ें: सुधारा गया पथ अपनाते हुए समाधान को जारी रखें।

शोधकर्ताओं ने AI को समाधान के "स्व-सुधारित" संस्करण को उस संस्करण की तुलना में पसंद करने के लिए प्रशिक्षित किया जहाँ त्रुटि को बिना सुधारे छोड़ दिया गया था। यह छात्र को लाल पेन देने और यह कहने जैसा है, "यदि आप कोई गलती देखते हैं, तो उसे घेरें, सुधार लिखें, और फिर समस्या को पूरा करें।"

"टीचर'स पेट" वेरिएंट (The "Teacher's Pet" Variant)

टीम ने अपने तरीके का एक विशेष संस्करण भी बनाया जिसे SFS-DPO-R कहा जाता है। "R" का अर्थ है "रीज़निंग" (तर्क)। इस संस्करण में, उन्होंने केवल AI को त्रुटि को ठीक करने का अनुमान लगाने के लिए नहीं छोड़ा। इसके बजाय, उन्होंने एक सुपर-स्मार्ट "शिक्षक" AI का उपयोग किया जिसने छात्र AI द्वारा सुधार करने के प्रयास से पहले यह लिखने के लिए कि चरण क्यों गलत था, एक संक्षिप्त स्पष्टीकरण लिखा।

एक छात्र की कल्पना करें जो गणित की समस्या गलत करता है।

मानक विधि: शिक्षक कहता है, "यह गलत है। इसे ठीक करो।" छात्र अनुमान लगाता है कि इसे कैसे ठीक किया जाए।
SFS-DPO-R विधि: शिक्षक कहता है, "यह गलत है क्योंकि आपने गलत संख्या से भाग दिया। यहाँ वह नियम है जिसे आपने मिस किया। अब, इसे ठीक करें।"

शोधकर्ताओं ने पाया कि यह अतिरिक्त स्पष्टीकरण एक सुपर-चार्ज्ड सिग्नल की तरह काम करता है, जिससे छात्र AI को त्रुटि की प्रकृति को बहुत बेहतर ढंग से समझने में मदद मिली। हालाँकि इसके लिए एक "शिक्षक" (एक अधिक शक्तिशाली AI मॉडल) को स्पष्टीकरण उत्पन्न करने की आवश्यकता थी, लेकिन इससे समस्याओं को हल करने में और भी बेहतर परिणाम मिले।

उन्होंने क्या पाया (और क्या नहीं)

शोधकर्ताओं ने सात अलग-अलग AI मॉडल्स पर अपने नए तरीकों का परीक्षण किया, जो छोटे मॉडल्स (7 बिलियन पैरामीटर्स) से लेकर बड़े मॉडल्स (14 बिलियन पैरामीटर्स) तक थे। उन्होंने इन मॉडल्स को GSM8K और MATH जैसे मानक परीक्षणों के साथ- साथ कठिन, आउट-ऑफ-द-बॉक्स परीक्षणों जैसे कि चीनी कॉलेज प्रवेश परीक्षा (GK2023) और विश्वविद्यालय स्तर के विज्ञान के प्रश्नों के साथ चुनौती दी।

परिणाम:
पेपर दिखाता है कि उनके दो-चरणीय तरीके ने AI के प्रदर्शन में लगातार सुधार किया।

बेहतर स्कोर: सभी क्षेत्रों में, SFS-DPO और SFS-DPO-R के साथ प्रशिक्षित AI मॉडल्स ने पुराने तरीकों से प्रशिक्षित मॉडल्स की तुलना में अधिक समस्याओं को सही ढंग से हल किया। उदाहरण के लिए, Qwen2-7B-Instruct मॉडल पर, नए तरीके ने MATH डेटासेट पर सटीकता में 3.4% का सुधार किया।
सामान्यीकरण (Generalization): AI केवल उन विशिष्ट समस्याओं में बेहतर नहीं हुआ जिन पर उसने अभ्यास किया था; वह उन नए प्रकार के प्रश्नों में भी बेहतर हुआ जिन्हें उसने पहले कभी नहीं देखा था। यह सुझाव देता है कि AI ने एक सामान्य कौशल सीखा है, न कि केवल उत्तरों को रटा है।
"टीचर" का बूस्ट: शिक्षक-सहायता प्राप्त संस्करण (SFS-DPO-R) ने आमतौर पर बिना शिक्षक वाले संस्करण की तुलना में थोड़ा बेहतर प्रदर्शन किया, जिससे पता चलता है कि त्रुटि क्यों हुई, यह समझना एक शक्तिशाली उपकरण है।

उन्होंने किन बातों को खारिज किया:
पेपर स्पष्ट रूप से क्षेत्र के कुछ सामान्य विचारों के विरुद्ध तर्क देता है:

अधिक सुधार ≠ बेहतर: शोधकर्ताओं ने पाया कि केवल AI को अधिक बार खुद को सुधारने के लिए कहना उसे स्मार्ट नहीं बनाता है। वास्तव में, कुछ पुराने तरीकों ने AI को इतनी बार खुद को सुधारने के लिए प्रेरित किया कि वह सही उत्तरों को गलत में बदलने लगा। उनका तरीका AI को चयनात्मक होना सिखाता है: केवल तभी ठीक करें जब आप सुनिश्चित हों कि यह टूटा हुआ है।
आधार को छोड़ना: उन्होंने दिखाया कि चरण-दर-चरण तर्क को मजबूत किए बिना (चरण 1 को छोड़कर) स्व-सुधार सिखाने का प्रयास करने से खराब परिणाम मिलते हैं। आप एक छात्र को निबंध संपादित करना नहीं सिखा सकते यदि उसे पहले वाक्य लिखना ही नहीं आता।
एक ही आकार सबके लिए (One-Size-Fits-All): उन्होंने पाया कि केवल बिल्कुल अंत में "बेहतर उत्तरों" के लिए अनुकूलित करना पर्याप्त नहीं है। आपको बीच के चरणों की गुणवत्ता के लिए अनुकूलित करना होगा।

निष्कर्ष (The Bottom Line)

यह पेपर सुझाव देता है कि AI को स्मार्ट बनाने का रहस्य केवल इसे अधिक डेटा खिलाना या इसे बड़ा बनाना नहीं है। यह इसे एक विशिष्ट आदत सिखाने के बारे में है: रुकें, अपने काम की जाँच करें, और उस विशिष्ट चरण को ठीक करें जो गलत हुआ है।

प्रक्रिया को "चरण-दर-चरण तर्क सीखने" और फिर "उन चरणों को ठीक करना सीखने" में तोड़कर, शोधकर्ताओं ने एक ऐसा ढांचा तैयार किया जो AI मॉडल्स को अधिक विश्वसनीय बनाता है। कई डेटासेट्स और मॉडल्स में मापे गए परिणाम संकेत देते हैं कि यह दृष्टिकोण AI को बार-बार एक ही तरह की मूर्खतापूर्ण गलतियाँ करने से रोकने में मदद करने के लिए एक आशाजनक तरीका है। हालाँकि पेपर यह दावा नहीं करता है कि यह सभी AI समस्याओं को हल कर देता है, लेकिन यह इस बात का पुख्ता प्रमाण प्रदान करता है कि मॉडल्स को अपने स्वयं के सावधान संपादक बनने के लिए प्रशिक्षित करना, चरण-दर-चरण, अधिक मजबूत और भरोसेमंद तर्क को अनलॉक करने की एक कुंजी है।

तकनीकी सारांश: LLMs में प्रभावी आत्म-सुधार के लिए स्टेप-लेवल रीजनिंग को सुदृढ़ करना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से छोटे वेरिएंट्स, जटिल गणितीय तर्क (mathematical reasoning) में संघर्ष करते हैं जहाँ शुरुआती त्रुटियाँ पूरे समाधान में फैल जाती हैं, जिससे गलत अंतिम उत्तर प्राप्त होता है। जबकि हालिया दृष्टिकोण अधिक स्थानीयकृत लर्निंग सिग्नल प्रदान करने के लिए स्टेप-लेवल उद्देश्यों की ओर स्थानांतरित हुए हैं, वे मुख्य रूप से बेहतर रीजनिंग निरंतरता (reasoning continuations) के लिए प्राथमिकताओं को अनुकूलित करते हैं, बिना मॉडल को पहले से उत्पन्न त्रुटिपूर्ण चरणों का पता लगाने और उन्हें सुधारने के लिए स्पष्ट रूप से प्रशिक्षित किए। इसके अलावा, मौजूदा आत्म-सुधार (self-correction) विधियाँ अक्सर अनुकूलन चुनौतियों का सामना करती हैं, जैसे कि सुधार ट्रेसेस (correction traces) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षण के दौरान डिस्ट्रीब्यूशन शिफ्ट और व्यवहार पतन (behavior collapse), या वे विशिष्ट टेम्पलेट्स को लागू करने वाली इनिशियलाइजेशन रणनीतियों पर निर्भर करती हैं बजाय इसके कि आंतरिक स्टेप-लेवल रीजनिंग क्षमताओं को मजबूत किया जाए।

कार्यप्रणाली

लेखक Self-Fix Step-DPO (SFS-DPO) प्रस्तावित करते हैं, जो एक दो-चरणीय सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जिसे प्रभावी स्टेप-लेवल आत्म-सत्यापन और आत्म-सुधार को सक्षम करने के लिए डिज़ाइन किया गया है।

1. इनिशियलाइजेशन चरण: स्टेप-लेवल प्रेफरेंस ऑप्टिमाइजेशन

पहला चरण आत्म-सुधार पेश करने से पहले मॉडल की स्टेप-लेवल रीजनिंग क्षमताओं को मजबूत करने का लक्ष्य रखता है।

उद्देश्य: मॉडल को एक सही प्रिफिक्स (prefix) की स्थिति में, एक सही समाधान चरण ( $s^+_k$ ) की संभावना को अधिकतम करने और एक गलत चरण ( $s^-_k$ ) की संभावना को न्यूनतम करने के लिए प्रशिक्षित किया जाता है।
तंत्र: यह एक स्टेप-लेवल प्रेफरेंस ऑप्टिमाइजेशन ऑब्जेक्टिव (Step-DPO पर आधारित) का उपयोग करता है ताकि मॉडल को सही मध्यवर्ती तर्क चरणों की ओर संरेखित किया जा सके। यह चरण एक आधार के रूप में कार्य करता है, यह सुनिश्चित करता है कि मॉडल अपनी त्रुटियों को संशोधित करने का प्रयास करने से पहले मजबूत रीजनिंग क्षमताएं रखता हो।

2. स्टेप-वाइज आत्म-सुधार चरण

दूसरा चरण मॉडल को त्रुटिपूर्ण चरणों को पहचानने और सुधारने के लिए स्पष्ट रूप से प्रशिक्षित करता है।

उद्देश्य: एक सही प्रक्षेपवक्र (trajectory) के बाद दिए गए एक गलत रीजनिंग चरण ( $s^-_k$ ) के संदर्भ में, मॉडल एक सुधारा गया निरंतरता ( $c^+_k$ ) पसंद करना सीखता है, बजाय उस बाद के गलत चरण ( $s^-_{k+1}$ ) के जो तब होगा यदि त्रुटि को अनसुलझा छोड़ दिया गया।
वैरिएंट्स:
- SFS-DPO: सुधारा गया चरण एक स्पष्ट त्रुटि-पहचान सिग्नल ( $d_{k-1}$ ) के निर्माण द्वारा बनाया जाता है जिसके बाद एक सुधारा गया रीजनिंग चरण ( $s^+_k$ ) आता है। यह मॉडल-जनरेटेड सिग्नल्स पर निर्भर एक पूरी तरह से टीचर-फ्री दृष्टिकोण है।
- SFS-DPO-R (टीचर-असिस्टेड): यह वैरिएंट एक मजबूत टीचर मॉडल (जैसे, GPT-4o) द्वारा उत्पन्न एक व्याख्यात्मक तर्क ( $r_{k-1}$ ) के साथ सुधार को बढ़ाता है। सुधारा गया चरण डिटेक्शन सिग्नल, पिछले चरण क्यों गलत था इसकी व्याख्या करने वाला तर्क, और सुधारा गया चरण शामिल करता है। यह टीचर पर निर्भरता की कीमत पर मजबूत सुधारात्मक सिग्नल प्रदान करता है।

मुख्य योगदान

फ्रेमवर्क प्रस्ताव: SFS-DPO का परिचय, जो स्टेप-लेवल रीजनिंग सुदृढ़ीकरण को स्पष्ट आत्म-सुधार प्रशिक्षण से अलग करने वाला एक दो-चरणीय RL-आधारित ढांचा है।
टीचर-असिस्टेड वैरिएंट: SFS-DPO-R का विकास, जो सुधारात्मक सिग्नल्स की गुणवत्ता बढ़ाने के लिए व्याख्यात्मक तर्कों को शामिल करता है।
व्यापक मूल्यांकन: सात अलग-अलग LLM बैकबोन (7B से 14B पैरामीटर्स तक) में इन-डोमेन और आउट-ऑफ-डोमेन प्रयोगों का विस्तृत मूल्यांकन जो मौजूदा बेसलाइन्स पर निरंतर सुधार प्रदर्शित करता है।
व्यवहार संबंधी विश्लेषण: अनुभवजन्य अंतर्दृष्टि जो दर्शाती है कि प्रभावी आत्म-सुधार सुधार के प्रयासों की आवृत्ति के बजाय संशोधनों की चयनात्मकता (selectivity) और सटीकता पर निर्भर करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क पर SFS-DPO और SFS-DPO-R का मूल्यांकन किया, जिसमें इन-डोमेन डेटासेट (GSM8K, MATH) और आउट-ऑफ-डोमेन (OOD) डेटासेट (GaoKao2023, OCW-Courses) शामिल हैं।

प्रदर्शन लाभ: SFS-DPO और SFS-DPO-R दोनों ने पूर्व स्टेप-लेवल ट्रेनिंग बेसलाइन्स (जैसे, Step-DPO) और अन्य आत्म-सुधार विधियों (जैसे, SCoRe, SuperCorrect, LEMMA, S2R) को लगातार पछाड़ दिया।
- सात बैकबोन पर औसतन, SFS-DPO ने MATH पर 1.11% और GSM8K पर 0.69% की सटीकता में सुधार किया।
- SFS-DPO-R ने इन लाभों को क्रमशः 1.36% और 0.87% तक बढ़ा दिया।
- OOD सेटिंग्स में उल्लेखनीय सुधार देखे गए, जहाँ Qwen2.5-Math-7B-Instruct ने GaoKao2023 पर 10.9% और OCW पर 8.8% का लाभ प्राप्त किया।
बेसलाइन्स से तुलना: SFT-आधारित बेसलाइन्स के विपरीत जो अक्सर "व्यवहार पतन" (अत्यधिक, गैर-लक्षित आत्म-सुधार) से पीड़ित होते हैं, SFS-DPO मॉडल कम आत्म-सुधार दरों के साथ उच्च सटीकता प्राप्त करते हैं। यह इंगित करता है कि मॉडलों ने सभी चरणों पर संशोधन करने के बजाय चुनौतीपूर्ण उदाहरणों पर चुनिंदा रूप से आत्म-सुधार करना सीखा है।
इनिशियलाइजेशन का महत्व: एब्लेशन अध्ययनों ने पुष्टि की कि इनिशियलाइजेशन चरण (Step RL) महत्वपूर्ण है। इसे हटाने या संयुक्त प्रशिक्षण (रीजनिंग और सुधार एक साथ) का उपयोग करने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो आत्म-सुधार को अनुकूलित करने से पहले एक मजबूत रीजनिंग फाउंडेशन की आवश्यकता को उजागर करता है।

महत्व और दावे

यह पेपर दावा करता है कि उनके तरीके का प्राथमिक लाभ केवल सूक्ष्म-स्तरीय प्रेफरेंस लर्निंग नहीं है, बल्कि सुधारित रीजनिंग प्रक्षेपवक्रों (trajectories) पर प्रेफरेंस को अनुकूलित करना है। त्रुटियों की पहचान और उन्हें कैसे ठीक किया जाता है, इसका स्पष्ट रूप से मॉडलिंग करके, यह फ्रेमवर्क मजबूत गणितीय तर्क को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि प्रभावी आत्म-सुधार के लिए यह जानना आवश्यक है कि कब आत्म-सुधार नहीं करना है। उनके परिणाम बताते हैं कि उच्च आत्म-सुधार आवृत्ति बेहतर प्रदर्शन के बराबर नहीं है; इसके बजाय, वास्तविक त्रुटियों को चुनिंदा रूप से संशोधित करने की क्षमता बेहतर डाउनस्ट्रीम सटीकता की ओर ले जाती है। यह कार्य स्टेप-वाइज आत्म-सुधार को LLMs की विश्वसनीयता में सुधार के लिए एक आशाजनक दिशा के रूप में स्थापित करता है, विशेष रूप से उन छोटे मॉडल्स के लिए जो त्रुटि प्रसार (error propagation) से जूझते हैं।

स्वीकृत सीमाएँ:

SFS-DPO-R तर्कों के लिए बाहरी टीचर मॉडल्स पर निर्भर है, जो संभावित पूर्वाग्रह और निर्भरता पेश करता है।
मूल्यांकन वर्तमान में गणितीय तर्क पर केंद्रित है; ओपन-एंडेड कार्यों (जैसे, रचनात्मक लेखन) के लिए सामान्यीकरण का पूरी तरह से अन्वेषण नहीं किया गया है।
प्रयोग 7B से 14B पैरामीटर्स तक के मॉडल्स पर किए गए थे; बड़े मॉडल्स पर प्रदर्शन अभी भी देखा जाना बाकी है।