💬 NLP

Towards Scalable Oversight via Partitioned Human Supervision

यह शोध पत्र एक स्केलेबल ओवरसाइट फ्रेमवर्क प्रस्तावित करता है जो विभाजित मानव पर्यवेक्षण का लाभ उठाता है, जहाँ डोमेन विशेषज्ञ सही उत्तरों के बजाय गलत विकल्पों को इंगित करने वाले "पूरक लेबल" (complementary labels) प्रदान करते हैं, ताकि ग्राउंड ट्रुथ डेटा की आवश्यकता के बिना फ्रंटियर एआई प्रणालियों के मूल्यांकन और आत्म-सुधार को सक्षम बनाया जा सके।

मूल लेखक: Ren Yin, Takashi Ishida, Masashi Sugiyama

प्रकाशित 2026-02-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ren Yin, Takashi Ishida, Masashi Sugiyama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-इंटेलिजेंट रोबोट द्वारा लिखी गई एक विशाल, असंभव परीक्षा का मूल्यांकन करने की कोशिश कर रहे हैं। इसके प्रश्न इतने जटिल हैं—जिसमें उन्नत चिकित्सा, वित्त और भौतिकी का मिश्रण है—कि दुनिया का कोई भी एकल विशेषज्ञ सही उत्तर नहीं जानता।

यदि आप एक कार्डियोलॉजिस्ट (हृदयरोग विशेषज्ञ) से पूछेंगे, तो शायद उन्हें उत्तर नहीं पता होगा। यदि आप एक स्टॉक एनालिस्ट (शेयर विश्लेषक) से पूछेंगे, तो उन्हें भी उत्तर नहीं पता होगा। यह "सुपरविजन बॉटलनेक" (पर्यवेक्षण की बाधा) है: हमारा AI इतना स्मार्ट होता जा रहा है कि हम उसके काम की जांच नहीं कर पा रहे हैं।

बड़ा विचार:
यह शोध पत्र एक चतुर समाधान प्रस्तावित करता है। विशेषज्ञों से "सही उत्तर क्या है?" (जो वे नहीं जानते) पूछने के बजाय, हम उनसे पूछते हैं, "निश्चित रूप से गलत उत्तर क्या है?"

उपमा: "यह नहीं है" वाला खेल

एक बहुविकल्पीय प्रश्न की कल्पना करें जिसमें 4 विकल्प हैं: A, B, C और D।

पुराना तरीका: आपको एक जीनियस की आवश्यकता है जो जानता हो कि उत्तर B है। यदि आपके पास वह जीनियस नहीं है, तो आप परीक्षा का मूल्यांकन नहीं कर सकते।
नया तरीका (पार्टीशनड ओवरसाइट/विभाजित पर्यवेक्षण): आप चार अलग-अलग विशेषज्ञों को बुलाते हैं।
- आप कार्डियोलॉजिस्ट से पूछते हैं: "क्या उत्तर A है?" वे कहते हैं, "नहीं, हृदय की समस्या के लिए यह बेतुका है।" (वे यह नहीं जानते कि उत्तर B है, लेकिन वे जानते हैं कि A गलत है)।
- आप इकोनॉमिस्ट (अर्थशास्त्री) से पूछते हैं: "क्या उत्तर C है?" वे कहते हैं, "नहीं, वित्त के मामले में यह समझ में नहीं आता।"
- आप बायोलॉजिस्ट (जीवविज्ञानी) से पूछते हैं: "क्या उत्तर D है?" वे कहते, "यह जैविक रूप से असंभव है।"

भले ही उनमें से कोई भी यह नहीं बता सकता कि सही उत्तर B है, लेकिन उन्होंने सामूहिक रूप से आपको बताया है कि A, C और D गलत हैं। उन्मूलन (elimination) द्वारा, उत्तर B ही है।

यह शोध पत्र समस्या को कैसे हल करता है

लेखकों ने इन "यह सही नहीं है" के संकेतों को एक विश्वसनीय ग्रेड में बदलने के लिए एक गणितीय ढांचा तैयार किया है।

"कमजोर संकेत" एस्टीमेटर (The "Weak Signal" Estimator):
उन्होंने महसूस किया कि यदि आप पर्याप्त संख्या में "नहीं, यह A नहीं है," "नहीं, यह C नहीं है" जैसे उत्तर एकत्र करते हैं, तो आप एक सरल गणितीय सूत्र का उपयोग करके AI की सटीकता की गणना कर सकते हैं। यह एक पहेली को सुलझाने जैसा है जहाँ आप अंतिम चित्र नहीं जानते, लेकिन आप ठीक से जानते हैं कि कौन से टुकड़े फिट नहीं बैठते।
संकेतों का मिश्रण (Mixing the Signals):
कभी-कभी, आपके पास कुछ ऐसे विशेषज्ञ होते हैं जो वास्तविक उत्तर जानते हैं (साधारण लेबल/Ordinary Labels)। कभी-कभी, आपके पास केवल "यह नहीं है" वाले विशेषज्ञ होते (पूरक लेबल/Complementary Labels)। यह शोध पत्र इन दोनों प्रकार के डेटा को मिलाने के लिए एक "स्मूदी" रेसिपी (एक एस्टीमेटर) बनाता है। यह "वास्तविक उत्तरों" को अधिक महत्व देता है लेकिन "गलत उत्तरों" का उपयोग अंतराल को भरने के लिए करता है, जिससे आपको पूर्ण उत्तर कुंजी के बिना भी बहुत सटीक ग्रेड प्राप्त होता है।
AI को खुद को सिखाना सिखाना (Teaching the AI to Teach Itself):
सबसे शानदार हिस्सा? उन्होंने इस "कमजोर संकेत" का उपयोग एक AI एजेंट को प्रशिक्षित करने के लिए किया। इस इंतजार के बजाय कि कोई इंसान कहे, "अच्छा काम किया, यह सही है," AI को फीडबैक मिलता है कि "अच्छा काम किया, यह निश्चित रूप से गलत नहीं है।"

परिणाम: AI ने खुद को बेहतर बनाना सीखा। इसने जटिल, बहु-चरणीय वर्कफ़्लो (जैसे डॉक्टरों और विश्लेषकों की एक वर्चुअल टीम मिलकर काम करती है) बनाना शुरू कर दिया ताकि "गलत" उत्तरों से बचा जा सके, और अंततः वह उस कार्य में उन मनुष्यों से भी बेहतर हो गया जो केवल "गलत" उत्तरों की जांच कर रहे थे।

यह क्यों महत्वपूर्ण है

स्केलेबिलिटी (Scalability): जैसे-जैसे AI स्मार्ट होता जाएगा, हमारे पास हर उत्तर की जांच करने के लिए पर्याप्त मानव विशेषज्ञ नहीं होंगे। लेकिन हमारे पास इतने विशेषज्ञ जरूर होंगे जो यह कह सकें कि क्या "स्पष्ट रूप से गलत" है।
सुरक्षा (Safety): यह हमें सुपर-इंटेलिजेंट AI सिस्टमों पर नज़र रखने में मदद करता है जो किसी भी अकेले मानव से अधिक स्मार्ट हो सकते हैं। हम यह सत्यापित कर सकते हैं कि वे कुछ खतरनाक नहीं कर रहे हैं, भले ही हम उनके द्वारा खोजे गए समाधान को पूरी तरह से न समझते हों।
दक्षता (Efficiency): यह एक बाधा (हर प्रश्न के लिए जीनियस की आवश्यकता) को एक स्केलेबल प्रक्रिया (कई विशेषज्ञों का उपयोग करके खराब विकल्पों को खारिज करना) में बदल देता है।

संक्षेप में

शोध पत्र कहता है: हमें AI का मूल्यांकन करने के लिए उत्तर जानने की आवश्यकता नहीं है। हमें बस पर्याप्त बुद्धिमान लोगों की आवश्यकता है जो हमें बता सकें कि उत्तर क्या नहीं है। इन "नकारात्मक" विचारों को जोड़कर, हम अगली पीढ़ी के सुपर-इंटेलिजेंट AI का मूल्यांकन और प्रशिक्षण करने के लिए एक विश्वसनीय प्रणाली बना सकते हैं।

यहाँ शोध पत्र "Towards Scalable Oversight via Partitioned Human Supervision" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे AI सिस्टम (फाउंडेशन मॉडल्स) जटिल, अंतर-विषयक कार्यों में मानव विशेषज्ञ प्रदर्शन के करीब या उससे आगे पहुँच रहे हैं, मूल्यांकन और प्रशिक्षण के लिए उच्च-गुणवत्ता वाले मानव पर्यवेक्षण (ग्राउंड ट्रुथ) प्राप्त करना एक महत्वपूर्ण बाधा बन जाता है।

बाधा (The Bottleneck): उन्नत चिकित्सा या वित्त जैसे डोमेन में, किसी एक मानव विशेषज्ञ के पास किसी विशिष्ट, सुपरह्यूमन कार्य पर AI के आउटपुट की शुद्धता को सत्यापित करने के लिए व्यापक ज्ञान नहीं होता है।
वर्तमान विधियों की सीमा (The Limitation of Current Methods): मौजूदा स्केलेबल ओवरसाइट तकनीकें (जैसे, डिबेट, वीक-टू-स्ट्रॉन्ग जनरलाइजेशन, रिकर्सिव डिकंपोजिशन) अक्सर यह मान लेती हैं कि मनुष्य या तो सही उत्तर दे सकते हैं या कार्यों को ऐसे उप-कार्यों में आसानी से विभाजित किया जा सकता है जिन्हें एक एकल विशेषज्ञ द्वारा सत्यापित किया जा सके।
प्रस्तावित समाधान (The Proposed Solution): लेखक पार्टीशनड ह्यूमन सुपरविजन (Partitioned Human Supervision) का लाभ उठाने का प्रस्ताव देते हैं। जबकि एक एकल विशेषज्ञ सही उत्तर की पहचान नहीं कर सकता, वे अक्सर अपने संकीर्ण विशेषज्ञता के आधार पर यह विश्वास के साथ पहचान सकते हैं कि एक विशिष्ट विकल्प गलत है (उदाहरण के लिए, एक कार्डियोलॉजिस्ट यह कह सकता है कि "यह हृदय रोग नहीं है" भले ही वह वास्तविक बीमारी को न जानता हो)। यह एक पूरक लेबल (Complementary Label) प्रदान करता है (एक ऐसा लेबल जो गलत विकल्पों के सेट को दर्शाता है)।

2. कार्यप्रणाली (Methodology)

2.1 समस्या सेटअप और लेबलिंग प्रोटोकॉल

यह फ्रेमवर्क $K$ विकल्पों वाले मल्टीपल-चॉइस सेटिंग में काम करता है।

साधारण लेबल ( $Y$ ): वास्तविक सही उत्तर।
पूरक लेबल ( $\bar{Y}$ ): एक लेबल जो यह दर्शाता है कि एक विकल्प निश्चित रूप से गलत है।
डेटा संग्रह प्रोटोकॉल:
1. प्रत्येक प्रश्न के लिए, एक मानव विशेषज्ञ को एक विशिष्ट विकल्प (क्लास) की जाँच करने के लिए यादृच्छिक रूप से सौंपा जाता है।
2. विशेषज्ञ उत्तर देता है: "क्या उत्तर क्लास $k$ है?"
3. यदि हाँ: एक साधारण लेबल उत्पन्न होता है (विशेषज्ञ ने क्लास की पुष्टि की)।
4. यदि नहीं: एक पूरक लेबल उत्पन्न होता है (विशेषज्ञ ने क्लास $k$ को खारिज कर दिया)।
5. इस प्रोटोकॉल के तहत, गलत इंडेक्स को $K-1$ गैर-सही क्लासेज में से समान रूप से (uniformly) सैंपल किया जाता है, जो इस धारणा को संतुष्ट करता है: $p(\bar{Y}=k | Y) = \frac{1}{K-1}$ जहाँ $k \neq Y$ ।

2.2 टॉप-1 एक्यूरेसी के लिए अनुमानक (Estimators for Top-1 Accuracy)

यह शोध पत्र इन लेबल्स का उपयोग करके AI सिस्टम की सटीकता ( $A$ ) की गणना करने के लिए सांख्यिकीय अनुमानक (statistical estimators) व्युत्पन्न करता है।

A. केवल पूरक लेबल्स से निष्पक्ष अनुमानक (Unbiased Estimator from Complementary Labels Only)
मान लीजिए $W$ एक इंडिकेटर वेरिएबल है जहाँ $W=1$ तब होता है जब मॉडल का प्रेडिक्शन $\hat{Y}$ , पूरक लेबल $\bar{Y}$ नहीं है।

$W$ का अपेक्षित मान (expected value) सटीकता $A$ से इस प्रकार संबंधित है: $E[W] = \frac{A + K - 2}{K - 1}$ ।
अनुमानक ( $\hat{A}_{comp}$ ):
$\hat{A}_{comp} = (K-1)\hat{q} - (K-2)$
जहाँ $\hat{q}$ पूरक लेबल से बचने वाले प्रेडिक्शंस का अनुभवजन्य अनुपात (empirical proportion) है। यह अनुमानक निष्पक्ष (unbiased) है लेकिन इसमें साधारण लेबल्स की तुलना में अधिक विचलन (variance) है।

B. विचरण विश्लेषण (Variance Analysis)
यह शोध पत्र पूरक लेबल्स का उपयोग करने की "लागत" को मापता है। $n_o$ साधारण लेबल्स वाले अनुमानक के विचरण से मेल खाने के लिए, आवश्यक पूरक लेबल्स की संख्या ( $n_c$ ) है:
$n_c = \left(1 + \frac{K-2}{A}\right) n_o$
इसका तात्पर्य है कि उच्च सटीकता ( $A \to 1$ ) के लिए, आवश्यक पूरक लेबल्स की संख्या $(K-1)n_o$ के करीब पहुँच जाती है।

C. मिश्रण अनुमानक (Mixture Estimators - Combining Ordinary and Complementary)
उन परिदृश्यों को संभालने के लिए जहाँ कुछ ग्राउंड ट्रुथ ( $n_o$ ) उपलब्ध है और साथ ही प्रचुर मात्रा में पूरक लेबल्स ( $n_c$ ) भी हैं, दो अनुमानक प्रस्तावित किए गए हैं:

इनवर्स-वेरिएंस वेटेड (IVW) अनुमानक: एक लीनियर कॉम्बिनेशन $\hat{A}_{mix} = w\hat{A}_{ord} + (1-w)\hat{A}_{comp}$ । इष्टतम भार $w^*$ को विचरण को कम करने के लिए व्युत्पन्न किया गया है, जो प्रभावी रूप से कम विचरण वाले अनुमानक को अधिक भार देता है। एक प्लग-इन संस्करण अनुभवजन्य विचरणों (empirical variances) का उपयोग करता है।
मैक्सिमम-लाइक्लीहुड अनुमानक (ML): दोनों डेटासेट्स के संयुक्त लॉग-लाइक्लीहुड से प्राप्त एक क्लोज्ड-फॉर्म समाधान। यह दिखाया गया है कि यह IVW अनुमानक के एसिम्प्टोटिक रूप से समतुल्य है, लेकिन एक अधिक कठोर सांख्यिकीय आधार प्रदान करता है।

2.3 सैद्धांतिक गारंटी (Theoretical Guarantees)

लेखक दोनों पूरक-केवल और मिश्रण अनुमानकों के लिए फाइनाइट-सैंपल डेविएशन बाउंड्स (होफडिंग और बर्नस्टीन असमानताएँ) प्रदान करते हैं। ये बाउंड्स गारंटी देते हैं कि अनुमानित सटीकता उच्च संभावना के साथ वास्तविक सटीकता की ओर अभिसरित (converge) होती है, भले ही सैंपल साइज सीमित क्यों न हो।

3. मुख्य योगदान (Key Contributions)

स्केलेबल ओवरसाइट प्रोटोकॉल: सुपरह्यूमन कार्यों पर AI का मूल्यांकन और प्रशिक्षण करने के लिए एक विधि पेश की, जो पूर्ण ग्राउंड ट्रुथ के बजाय "पार्टीशनड" मानव विशेषज्ञता (गलत उत्तरों की पहचान करना) का उपयोग करती है।
निष्पक्ष अनुमानक (Unbiased Estimators): केवल पूरक लेबल्स का उपयोग करके टॉप-1 एक्यूरेसी के लिए एक निष्पक्ष अनुमानक निकाला और उनके विचरण गुणों का विश्लेषण किया।
मिश्रण अनुमानक (Mixture Estimators): IVW और ML अनुमानक प्रस्तावित किए जो दुर्लभ ग्राउंड ट्रुथ को प्रचुर मात्रा में उपलब्ध पूरक लेबल्स के साथ इष्टतम रूप से जोड़ते हैं, और फाइनाइट-सैंपल गारंटी प्रदान करते हैं।
एजेंटिक ट्रेनिंग (Agentic Training): यह प्रदर्शित किया कि ये कमजोर संकेत स्वचालित एजेंटिक सिस्टम डिज़ाइन (जैसे, ADAS और AFlow का उपयोग करके) के लिए फिटनेस फंक्शन के रूप में कार्य कर सकते हैं, जिससे AI एजेंट पूर्ण मानव पर्यवेक्षण के बिना स्वयं को बेहतर बना सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क को तीन सेटिंग्स में मान्य किया गया:

A. सांख्यिकीय सत्यापन (मानक बेंचमार्क)

डेटासेट्स: MMLU-Pro, MedQA-USMLE, GPQA, MATH-MC।
निष्कर्ष:
- पूरक-केवल अनुमानक निष्पक्ष हैं लेकिन उनमें अधिक विचरण है।
- मिश्रण अनुमानक (IVW और ML) बेसलाइन से काफी बेहतर प्रदर्शन करते हैं, और "ओरेकल" (पूर्ण ग्राउंड ट्रुथ) मूल्यांकन के करीब सटीकता और स्थिरता प्राप्त करते हैं।
- IVW अनुमानक, प्लग-इन वेट के साथ, फिक्स्ड-वेट बेसलाइन (जैसे, 50/50 स्प्लिट) की तुलना में विचरण को लगातार कम करता है।

B. वास्तविक दुनिया के डोमेन मूल्यांकन

डेटासेट्स: EDINET-Bench (जापानी वित्तीय रिपोर्ट) और मेडिकल एब्स्ट्रैक्ट्स।
निष्कर्ष: उन कार्यों में जहाँ एक एकल विशेषज्ञ समस्या को हल नहीं कर सकता (जैसे, एक वित्तीय विश्लेषक चिकित्सा निदान को सत्यापित नहीं कर सकता), फ्रेमवर्क ने पार्टीशनड फीडबैक का उपयोग करके मॉडल प्रदर्शन का सफलतापूर्वक मूल्यांकन किया। क्लास असंतुलन के बावजूद मिश्रण अनुमानक स्थिर रहे।

C. एजेंटिक ट्रेनिंग (स्व-सुधार)

सेटअप: प्रस्तावित अनुमानक का उपयोग स्वचालित एजेंट सर्च पाइपलाइन्स (ADAS और AFlow) के लिए फिटनेस सिग्नल के रूप में किया गया।
निष्कर्ष: पूरक लेबल्स को रिवॉर्ड सिग्नल के रूप में उपयोग करने से प्रशिक्षित एजेंट, मैन्युअल रूप से डिज़ाइन किए गए बेसलाइन और अनट्रांसफॉर्म्ड सिग्नल के साथ प्रशिक्षित एजेंटों की तुलना में बेहतर प्रदर्शन करते हैं।
व्यवहार संबंधी विश्लेषण: एजेंटों ने संरचित, बहु-चरणीय वर्कफ़्लो (जैसे, "प्रिंसिपल मेडिकल एब्स्ट्रैक्ट क्लासिफायर") बनाने में महारत हासिल की जो मध्यवर्ती तर्क चरणों (intermediate reasoning steps) को निकालता है, जो यह दर्शाता है कि कमजोर पर्यवेक्षण जटिल निर्णय लेने की प्रक्रियाओं को आकार दे सकता है, न कि केवल अंतिम सटीकता को।

5. महत्व और निहितार्थ (Significance and Implications)

"सुपरअलाइनमेंट" बाधा का समाधान: यह कार्य AI सुरक्षा के एक महत्वपूर्ण अंतराल को संबोधित करता है: उन मॉडल्स की निगरानी कैसे की जाए जो किसी भी एकल मानव से अधिक बुद्धिमान हैं। यह प्रतिमान को "क्या एक मानव उत्तर सत्यापित कर सकता है?" से बदलकर "क्या एक मानव गलत उत्तरों को खारिज कर सकता है?" में बदल देता है।
लागत प्रभावी स्केलिंग: विशेषज्ञों की स्वाभाविक विशेषज्ञता (जो प्रचुर मात्रा में हैं लेकिन संकीर्ण हैं) का लाभ उठाकर, यह विधि एक "सुपर-एक्सपर्ट" को इकट्ठा करने या पूर्ण ग्राउंड ट्रुथ उत्पन्न करने की अत्यधिक लागत के बिना फ्रंटियर मॉडल्स के मूल्यांकन की अनुमति देती है।
ग्राउंड ट्रुथ के बिना प्रशिक्षण: केवल "नकारात्मक" फीडबैक (विकल्पों को खारिज करना) का उपयोग करके एजेंटिक सिस्टम को प्रशिक्षित करने की क्षमता, उन डोमेन में स्वयं-सुधारने वाले AI के लिए नए मार्ग खोलती है जहाँ ग्राउंड ट्रुथ मिलना कठिन है (जैसे, वैज्ञानिक खोज, जटिल डिबगिंग)।
सैद्धांतिक कठोरता: शोध पत्र यह सुनिश्चित करने के लिए आवश्यक सांख्यिकीय मशीनरी (निष्पक्षता, विचरण विश्लेषण, फाइनाइट-सैंपल बाउंड्स) प्रदान करता है कि यह दृष्टिकोण विश्वसनीय और गणितीय रूप से सुदृढ़ हो, जो इसे केवल ह्यूरिस्टिक (अनुभवजन्य) दृष्टिकोणों से आगे ले जाता है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि पार्टीशनड ह्यूमन सुपरविजन—कई संकीर्ण विशेषज्ञों के सामूहिक "ना" का उपयोग करना—अगली पीढ़ी के सुपरह्यूमन AI सिस्टम की निगरानी और प्रशिक्षण के लिए एक व्यवहार्य, स्केलेबल और सैद्धांतिक रूप से ठोस तंत्र है।