🤖 AI

Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight

यह शोध पत्र "वीक-क्रिटिक स्ट्रॉन्ग ओवरसाइट" (weak-critic strong oversight) प्रस्तुत करता है, जो एक ऐसा ढांचा है जहाँ एक कमजोर मॉडल अंतिम निर्णय देने के बजाय गैर-भ्रामक संशोधन दिशाएँ प्रदान करके एक मजबूत मॉडल को निर्देशित करने के लिए एक आलोचक (critic) के रूप में कार्य करता है, और स्केलेबल ओवरसाइट के लिए इन आलोचनाओं को प्रभावी ढंग से मजबूत मॉडल में डिस्टिल करने के लिए प्रोग्रेसिव ऑन-पॉलिसी क्रिटीक डिस्टिलेशन (OPCD) का प्रस्ताव करता है।

मूल लेखक: Can Jin, Jiakang Li, Rui Wu, Eddy Zhang, Dimitris N. Metaxas

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Can Jin, Jiakang Li, Rui Wu, Eddy Zhang, Dimitris N. Metaxas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Weak Critics Make Strong Learners" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके दिया गया स्पष्टीकरण है।

बड़ी समस्या: वह बॉस जो रिपोर्ट नहीं पढ़ सकता

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुपर-स्मार्ट कर्मचारी (Strong Model) है जो जटिल कोड लिख सकता है, कठिन गणित की समस्याओं को हल कर सकता है, या कानूनी अनुबंध तैयार कर सकता है। हालाँकि, आप उनके मैनेजर हैं (Weak Supervisor), और आप उनके काम को पूरी तरह से समझने के लिए पर्याप्त बुद्धिमान नहीं हैं।

अतीत में, इस कर्मचारी को प्रशिक्षित करने के लिए, आपने एक जज के रूप में कार्य करने की कोशिश की: आप उनकी अंतिम रिपोर्ट पढ़ते थे और कहते थे, "यह सही है," या "यह गलत है।" लेकिन क्योंकि काम बहुत कठिन है, आप अक्सर गलत होते हैं, या आप बस यह नहीं बता पाते कि वह अच्छा है या नहीं। यह एक हाई स्कूल के छात्र की तरह है जो पीएचडी थीसिस को ग्रेड देने की कोशिश कर रहा है; वे सूक्ष्म गलतियों को मिस कर सकते हैं या एक अच्छे उत्तर को खराब ग्रेड दे सकते हैं।

नया विचार: जज नहीं, कोच बनें

इस पेपर के लेखक एक अलग दृष्टिकोण का सुझाव देते हैं। कमजोर मैनेजर से समस्या को हल करने या अंतिम उत्तर को ग्रेड करने के लिए कहने के बजाय, वे मैनेजर को एक आलोचक (Critic) या एक कोच के रूप में कार्य करने के लिए कहते हैं।

उपमा (Analogy):
एक टेनिस खिलाड़ी (Strong Model) और एक ऐसे कोच के बारे में सोचें जो ग्रैंडमास्टर नहीं है (Weak Model)।

पुराना तरीका: कोच गेंद को वापस मारने की कोशिश करता है ताकि खिलाड़ी को दिखाया जा सके कि इसे कैसे किया जाता है, या हर एक सर्व (serve) को जज करने की कोशिश करता है। यदि कोच टेनिस में अच्छा नहीं है, तो वे गलत सलाह देते हैं।
नया तरीका: खिलाड़ी एक सर्व मारता है। कोच को सर्व के सटीक भौतिक विज्ञान (physics) को जानने की आवश्यकता नहीं है। उन्हें बस इतना कहना है, "आपका फुटवर्क थोड़ा गड़बड़ लग रहा है," या "आप बहुत नीचे निशाना साध रहे हैं," या "हवा की जाँच करें।"
परिणाम: खिलाड़ी पहले से ही जानता है कि एक बेहतरीन सर्व कैसे मारी जाती है; उसे बस सही दिशा में एक धक्के (nudge) की आवश्यकता थी। कोच को प्रो खिलाड़ी को सुधारने में मदद करने के लिए दुनिया का सबसे अच्छा खिलाड़ी होने की आवश्यकता नहीं है। उन्हें बस भ्रामक हुए बिना सुधार के लिए एक सामान्य दिशा बताने की आवश्यकता है।

यह कैसे काम करता है: "क्रिटीक-एंड-रिफाइन" लूप (Critique-and-Refine Loop)

पेपर इस विचार का दो चरणों में परीक्षण करता है:

1. तत्काल परीक्षण (Inference-Time)

शोधकर्ताओं ने पहले स्ट्रॉन्ग मॉडल को एक प्रश्न का उत्तर देने दिया। फिर, वीक मॉडल उस उत्तर को पढ़ता है और एक सामान्य संकेत (critique) देता है। अंत में, स्ट्रॉन्ग मॉडल अपने स्वयं के उत्तर को फिर से पढ़ता है, संकेत पर ध्यान देता है, और फिर से प्रयास करता है।

निष्कर्ष: भले ही वीक मॉडल स्वयं समस्या को हल नहीं कर सका, लेकिन उसके संकेतों ने स्ट्रॉन्ग मॉडल को सही उत्तर पाने में मदद की।
सावधानी: संकेत की गुणवत्ता मायने रखती है। यदि वीक मॉडल एक बुरा संकेत देता है (जैसे, "आप गलत हैं, उल्टा प्रयास करें"), तो स्ट्रॉन्ग मॉडल और भी खराब हो जाता है। यदि संकेत मददगार है, तो स्ट्रॉन्ग मॉडल बेहतर हो जाता है।

2. प्रशिक्षण विधि (OPCD)

स्ट्रॉन्ग मॉडल को इस कौशल को स्थायी रूप से सीखने के लिए (ताकि बाद में उसे वीक कोच की आवश्यकता न पड़े), लेखकों ने OPCD (On-Policy Critique Distillation) नामक एक प्रशिक्षण विधि बनाई है।

इसे एक स्व-सुधार जिम (Self-improvement gym) के रूप में सोचें:

जेनरेट (Generate): स्ट्रॉन्ग मॉडल एक समस्या का अभ्यास करता है।
क्रिटीक (Critique): वीक कोच एक संकेत देता है।
फ़िल्टर (Filter): सिस्टम जाँचता है: "क्या इस संकेत ने वास्तव में स्ट्रॉन्ग मॉडल को बेहतर उत्तर पाने में मदद की?" यदि संकेत बुरा या बेकार था, तो उसे कचरे में फेंक दिया जाता है। केवल अच्छे संकेतों को ही रखा जाता है।
सीखना (Learn): स्ट्रॉन्ग मॉडल उन "अच्छे" सत्रों का अध्ययन करता है जहाँ संकेत ने उसे सफल होने में मदद की। वह उस अहसास को आत्मसात करना सीख जाता है कि "अपना फुटवर्क कैसे चेक करें" ताकि वह अगली बार इसे अपने आप कर सके।
दोहराना (Repeat): मॉडल स्मार्ट होता जाता है, नई तरह की गलतियाँ करता है, और वीक कोच उन नई गलतियों के लिए नए संकेत देता है।

परिणाम

पेपर ने दो प्रकार के कार्यों पर इसका परीक्षण किया:

रीज़निंग (Reasoning): जैसे कठिन विज्ञान या गणित की समस्याओं को हल करना (जैसे, GPQA, AIME)।
अलाइनमेंट (Alignment): जैसे जटिल निर्देशों का पालन करना (जैसे, "एक ऐसी कहानी लिखें जो मज़ेदार हो लेकिन अपमानजनक न हो")।

परिणाम:

स्ट्रॉन्ग मॉडल्स दोनों कार्यों में काफी बेहतर हो गए।
उनमें सुधार हुआ, भले ही वीक मॉडल स्ट्रॉन्ग मॉडल की तुलना में बहुत कम बुद्धिमान था।
यह विधि केवल वीक मॉडल को प्रश्न का उत्तर देने के लिए कहने की तुलना में बेहतर काम करती है।

मुख्य निष्कर्ष

आपको एक जीनियस को सुपरवाइज करने के लिए जीनियस की आवश्यकता नहीं है। आपको बस एक ऐसा सुपरवाइजर चाहिए जो गलती की दिशा बताने के लिए पर्याप्त स्मार्ट हो, भले ही वह उस गलती को खुद ठीक न कर सके। बुरे सुझावों को फ़िल्टर करके और केवल सहायक संकेतों को रखकर, एक "कमजोर" सुपरवाइजर एक "मजबूत" लर्नर को और भी मजबूत बनाने में मदद कर सकता है।

तकनीकी सारांश: कमजोर आलोचक मजबूत शिक्षार्थी बनाते हैं

समस्या की परिभाषा

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता बढ़ रही है, मानव या कमजोर-मॉडल पर्यवेक्षण पर आधारित पारंपरिक संरेखण (alignment) विधियाँ एक स्केलेबिलिटी बाधा का सामना कर रही हैं। जब कोई कार्य इतना जटिल होता है कि पर्यवेक्षक (मानव या कमजोर मॉडल) उसे सीधे हल करने या सत्यापित करने में सक्षम नहीं होता, तो मानक 'वीक-टू-स्ट्रॉन्ग जनरलाइजेशन' और स्केलेबल ओवरसाइट विधियाँ संघर्ष करती हैं। मौजूदा दृष्टिकोण अक्सर यह मांग करते हैं कि कमजोर पर्यवेक्षक पूर्ण उत्तरों पर सीधे लेबल, प्राथमिकता संकेत (preference signals), या अंतिम निर्णय प्रदान करे। जब कार्य पर्यवेक्षक की क्षमता से अधिक हो जाता है, तो ये संकेत शोरपूर्ण (noisy), अपूर्ण, या व्यवस्थित रूप से गलत हो जाते हैं, जो मजबूत मॉडल्स को निर्देशित करने की क्षमता को सीमित करते हैं।

यह शोध पत्र स्केलेबल ओवरसाइट और वीक-टू-स्ट्रॉन्ग जनरलाइजेशन की चुनौती को संबोधित करने के लिए कमजोर पर्यवेक्षक की भूमिका में बदलाव का प्रस्ताव देकर इसे हल करता है। कमजोर मॉडल को एक 'लेबलर' या 'जज' के रूप में कार्य करने के बजाय, जो कार्य को हल करना चाहिए, एक आलोचक (critic) के रूप में कार्य करने के लिए प्रस्तावित किया गया है। मुख्य परिकल्पना यह है कि कमजोर मॉडल को सही उत्तर या विस्तृत त्रुटि विश्लेषण प्रदान करने की आवश्यकता नहीं है; उसे केवल एक गैर-भ्रामक संशोधन दिशा (non-misleading revision direction) (जैसे, यह सुझाव देना कि कोई शर्त गायब है, तर्क अधूरा है, या किसी सीमा मामले (boundary case) की जाँच करने की आवश्यकता है) प्रदान करने की आवश्यकता है ताकि मजबूत मॉडल अपने स्वयं के ज्ञान का बेहतर उपयोग कर सके।

कार्यप्रणाली: ऑन-पॉलिसी क्रिटीक डिस्टिलेशन (OPCD)

लेखक एक ढांचा प्रस्तावित करते हैं जिसे वीक-क्रिटिक स्ट्रॉन्ग ओवरसाइट कहा जाता है, जिसे प्रोग्रेसिव ऑन-पॉलिसी क्रिटीक डिस्टिलेशन (OPCD) नामक विधि के माध्यम से संचालित किया जाता है।

1. इन्फरेंस-टाइम वैलिडेशन (Inference-Time Validation)

प्रशिक्षण से पहले, लेखक इन्फरेंस के समय मूल परिकल्पना को मान्य करते हैं। पाइपलाइन में शामिल हैं:

जेनरेशन (Generation): एक मजबूत मॉडल ( $S$ ) एक प्रॉम्प्ट ( $x$ ) के लिए एक प्रारंभिक उत्तर ( $a$ ) उत्पन्न करता है।
क्रिटीक (Critique): एक कमजोर मॉडल ( $W$ ) $x$ और $a$ के आधार पर एक आलोचना ( $c$ ) उत्पन्न करता है।
रिफाइनमेंट (Refinement): मजबूत मॉडल $x, a,$ और $c$ की स्थिति में एक परिष्कृत उत्तर ( $r$ ) उत्पन्न करता है।

परिणाम दिखाते हैं कि सामान्य संशोधन दिशाओं के साथ भी, कमजोर आलोचनाएं बिना आलोचना के अधिक रिस्पॉन्स सैंपलिंग करने की तुलना में मजबूत मॉडल के प्रदर्शन में सुधार करती हैं। महत्वपूर्ण रूप से, आलोचना की गुणवत्ता सर्वोतम है: उच्च गुणवत्ता वाली आलोचनाएं प्रदर्शन में सुधार करती हैं, जबकि भ्रामक आलोचनाएं बेसलाइन से नीचे प्रदर्शन को गिरा सकती हैं।

2. ट्रेनिंग-टाइम डिस्टिलेशन (OPCD)

इन इन्फरेंस-टाइम लाभों को आंतरिक बनाने के लिए, OPCD एक पुनरावृत्त (iterative), ऑन-पॉलिसी प्रशिक्षण लूप का उपयोग करता है:

ऑन-पॉलिसी जेनरेशन: प्रत्येक एपोक में, वर्तमान मजबूत मॉडल ( $\pi_\theta$ ) इनपुट के एक सेट के लिए ऑन-पॉलिसी उत्तरों ( $y_i$ ) का एक बैच उत्पन्न करता है।
कमजोर क्रिटीक: कमजोर मॉडल ( $\pi_w$ ) प्रत्येक उत्तर की आलोचना करता है।
क्रिटीक फिल्ट्रेशन (Critique Filtration): चूंकि कमजोर आलोचनाएं भ्रामक हो सकती हैं, इसलिए एक फिल्ट्रेशन चरण लागू किया जाता है। प्रत्येक ट्रिपल $(x, y_i, f_i)$ $(x, y_{i}, f_{i})$ के लिए, मजबूत मॉडल आलोचना का उपयोग करके उत्तर को परिष्कृत करने का प्रयास करता है। आलोचना को तभी रखा जाता है यदि:
1. आउटकम चेक (Outcome Check): परिष्कृत उत्तर सही है ( $r_{out}$ )।
2. रुब्रिक चेक (Rubric Check): आलोचना को संशोधन मार्गदर्शन के रूप में प्रासंगिक और उपयोगी माना जाता है ( $r_{rub}$ )।
सेल्फ-टीचर डिस्टिलेशन (Self-Teacher Distillation): फिल्टर किए गए सेट का उपयोग डिस्टिलेशन के लिए किया जाता है।
- टीचर (Teacher): आलोचना की स्थिति में मजबूत मॉडल ( $\pi_\theta(\cdot | x, f, y_{<t})$ )।
- स्टूडेंट (Student): वही मजबूत मॉडल बिना आलोचना के पहुँच के ( $\pi_\theta(\cdot | x, y_{<t})$ )।
- ऑब्जेक्टिव (Objective): स्टूडेंट और टीचर वितरणों के बीच टोकन-लेवल KL डाइवर्जेंस को कम करना। यह मजबूत मॉडल को आलोचना-निर्देशित तर्क के "सघन टोकन-लेवल संकेतों" को आंतरिक रूप से आत्मसात करने की अनुमति देता है, बिना टेस्ट टाइम पर आलोचना की आवश्यकता के।
प्रोग्रेसिव अपडेट: यह प्रक्रिया प्रगतिशील है; प्रत्येक अपडेट के बाद, मजबूत मॉडल नए एरर पैटर्न के साथ नए उत्तर उत्पन्न करता है, जिससे कमजोर क्रिटिक को ताज़ा, अनुकूलित आलोचना प्रदान करने के लिए प्रेरित किया जाता है।

मुख्य योगदान

क्रिटीक-आधारित कमजोर पर्यवेक्षण: पेपर यह पहचानता है कि "क्रिटीकिंग" (आलोचना करना) लेबलिंग या जजिंग की तुलना में कमजोर पर्यवेक्षण का एक अधिक सुलभ रूप है। यह वीक-क्रिटिक स्ट्रॉन्ग ओवरसाइट सेटिंग पेश करता है, जहाँ कमजोर पर्यवेक्षक पूर्ण समाधान के बजाय संशोधन दिशाएँ प्रदान करता है।
इन्फरेंस-टाइम वैलिडेशन: लेखक प्रदर्शित करते हैं कि कमजोर आलोचनाएं रीजनिंग और एलाइनमेंट कार्यों पर फ्रोजन स्ट्रॉन्ग मॉडल्स के प्रदर्शन में सुधार कर सकती हैं, भले ही आलोचनाएं सामान्य हों। वे स्थापित करते हैं कि विश्वसनीय सुधार के लिए आलोचना की गुणवत्ता केंद्रीय कारक है।
OPCD एल्गोरिदम: वे एक प्रोग्रेसिव ऑन-पॉलिसी डिस्टिलेशन रणनीति पेश करते है जो उच्च-गुणवत्ता वाली आलोचनाओं को फिल्टर करती है और उन्हें मजबूत मॉडल को प्रशिक्षित करने के लिए अनुकूलित कमजोर फीडबैक के रूप में उपयोग करती है, जिससे ग्राउंड-ट्रुथ लेबल की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य परिणाम (Empirical Results): रीजनिंग (GPQA, AIME) और एलाइनमेंट (IFEval) बेंचमार्क पर प्रयोगों से पता चलता है कि OPCD प्रशिक्षण एपोक्स के माध्यम से स्ट्रॉन्ग मॉडल के प्रदर्शन में प्रगतिशील सुधार करता है।

प्रयोगात्मक परिणाम

पेपर दो प्राथमिक परिदृश्यों पर विधि का मूल्यांकन करता है:

रीजनिंग (GPQA Diamond, AIME 2024/25):
- इन्फरेंस: Phi-4-14B (स्ट्रॉन्ग) और Phi-4-mini (वीक) का उपयोग करते हुए, क्रिटीक-एंड-रिफाइन पाइपलाइन ने GPQA Diamond पर pass@16 सटीकता को 83.84% (केवल S) से बढ़ाकर 90.40% कर दिया। Qwen मॉडल्स के साथ AIME पर भी समान लाभ देखे गए।
- ट्रेनिंग: GPQA पर Qwen3-4B (स्ट्रॉन्ग) और Qwen3-1.7B (वीक) का उपयोग करते हुए, OPCD ने mean@8 सटीकता को 38.22% से बढ़ाकर 42.67% और pass@8 को 70.25% से बढ़ाकर 76.86% कर दिया। ट्रेनिंग डायनेमिक्स ने एलाइनमेंट कार्यों की तुलना में उच्च वेरिएंस दिखाया, जो बताता है कि रीजनिंग कार्य आलोचना की गुणवत्ता के प्रति अधिक संवेदनशील हैं।
एलाइनमेंट (IFEval):
- इन्फरेंस: IFEval पर, क्रिटीक-एंड-रिफाइन पाइपलाइन ने pass@16 को 77.82% से बढ़ाकर 90.76% कर दिया।
- ट्रेनिंग: Magpie एलाइनमेंट कॉर्पस पर Phi-4-14B (स्ट्रॉन्ग) और Phi-4-mini (वीक) का उपयोग करते हुए, OPCD ने mean@8 को 61.60% से बढ़ाकर 68.74% और pass@8 को 75.97% से बढ़ाकर 80.41% कर दिया। ट्रेनिंग लॉस लगातार कम हुआ, जो इस पर्यवेक्षण के तहत स्थिर ऑप्टिमाइजेशन को दर्शाता है।

परिणाम संकेत देते हैं कि जबकि रीजनिंग कार्य एलाइनमेंट कार्यों की तुलना में अधिक शोरपूर्ण (noisy) ट्रेनिंग सिग्नल उत्पन्न करते हैं, OPCD दोनों डोमेन में प्रभावी रहता है।

महत्व और दावे

पेपर का दावा है कि क्रिटीक-आधारित कमजोर पर्यवेक्षण स्केलेबल ओवरसाइट और वीक-टू-स्ट्रॉन्ग जनरलाइजेशन के लिए एक व्यवहार्य मार्ग प्रदान करता है। कमजोर पर्यवेक्षकों के लिए कार्यों को पूरी तरह से हल करने या जज करने की आवश्यकता को कम करके, यह विधि पर्यवेक्षक पर संज्ञानात्मक भार को कम करती है और फिर भी प्रभावी मार्गदर्शन प्रदान करती है।

लेखक इस कार्य को उस सीमा के समाधान के रूप में प्रस्तुत करते हैं जहाँ पर्यवेक्षण संकेत तब अविश्वसनीय हो जाते हैं जब कार्य पर्यवेक्षक की क्षमता से अधिक हो जाता है। "अंतिम उत्तरों" के बजाय "संशोधन दिशाओं" पर ध्यान केंद्रित करके, यह विधि मजबूत मॉडल्स को उनके स्वयं के ज्ञान का अधिक प्रभावी ढंग से लाभ उठाने की अनुमति देती है। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण भविष्य के कार्य के लिए एक आशाजनक दिशा है, जो संभवतः डिबेट या प्रोसेस सुपरविजन जैसी अन्य विधियों के साथ संयोजन योग्य है, और सुझाव देता है कि भविष्य के शोध को क्रिटीक-क्वालिटी एस्टीमेशन में सुधार करने और व्यापक कार्य डोमेन तक विस्तार करने पर ध्यान केंद्रित करना चाहिए।