तकनीकी सारांश: स्केलेबल ओवरसाइट के लिए सहयोगात्मक असहमति समाधान

समस्या विवरण

स्केलेबल ओवरसाइट (Scalable oversight) उस चुनौती को संबोधित करता है जहाँ AI सिस्टम मानवीय तर्क क्षमता से आगे निकल जाते हैं। प्रचलित प्रोटोकॉल, डिबेट (Debate), में दो AI एजेंट विपरीत स्थितियों पर बहस करते हैं जबकि एक मानव (या कमजोर AI) निर्णायक के रूप में विजेता का निर्णय करता है। सैद्धांतिक रूप से, यह इस अंतर्दृष्टि पर आधारित है कि झूठ बोलने की तुलना में झूठ का खंडन करना कठिन है। हालांकि, यह शोध पत्र एक मौलिक तनाव की पहचान करता है: मॉडल को सत्यनिष्ठ होने के बजाय प्रभावशाली (persuasive) होने के लिए प्रोत्साहित किया जाता है। क्षमता-विषमता (capability-asymmetry) वाले परिवेश में—जहाँ निर्णायक एजेंटों की तुलना में काफी कमजोर होता है—मानक डिबेट अक्सर विफल हो जाती है। निर्णायकों में परिष्कृत झूठ और सत्य के बीच अंतर करने की क्षमता की कमी हो सकती है, और सूचना विषमता (information asymmetry)—जिसे प्रयोगों में अक्सर उपयोग किया जाता है—क्षमता विषमता का एक खराब प्रॉक्सी है। हालिया निष्कर्ष बताते हैं कि जब निर्णायकों के पास संदर्भ सामग्री (reference materials) उपलब्ध होती है, तो डिबेट सरल बेसलाइन से भी खराब प्रदर्शन कर सकती है क्योंकि तार्किक विसंगति (logical inconsistency) को पहचानना डोमेन ज्ञान की पूर्ण कमी की तुलना में आसान है, फिर भी परिष्कृत झूठ जानकार निर्णायकों को भी गुमराह कर सकते हैं।

कार्यप्रणाली: असहमति समाधान (Disagreement Resolution - DR)

लेखक असहमति समाधान (DR) को एक वैकल्पिक प्रतिमान के रूप में प्रस्तावित करते हैं, जो प्रतिस्पर्धी बहस से हटकर सहयोगात्मक सत्य-खोज (collaborative truth-seeking) की ओर स्थानांतरित होता है। मानव मध्यस्थता और संघर्ष समाधान (विशेष रूप से "डबल क्रक्स" तकनीक) के सिद्धांतों से प्रेरणा लेते हुए, DR इंटरैक्शन तंत्र को पुनर्गठित करता है।

मुख्य तंत्र

डिबेट के विपरीत, जहाँ एजेंटों को निश्चित स्थितियाँ सौंपी जाती हैं और उन्हें उनका बचाव करना होता है, DR एजेंट (परामर्शदाता/consultants) अपनी स्वयं की असहमति को हल करने के लिए सहयोग करते हैं। यह प्रोटोकॉल इस प्रकार कार्य करता है:

1. प्रारंभिक अवस्था: दो परामर्शदाता प्रारंभिक उत्तर प्रदान करते हैं। यदि वे असहमत हैं, तो प्रक्रिया शुरू होती है।
2. पुनरावृत्ति चरण (Iterative Turns): कई चरणों ($T_{max}$) के दौरान, परामर्शदाता एक निश्चित रुख के लिए बहस नहीं करते हैं। इसके बजाय, वे:
   • एक "क्रक्स" (crux) की पहचान करते हैं: विवाद का विशिष्ट बिंदु (एक विवादित आधार, अनुमान चरण, या उप-प्रश्न) जो असहमति का कारण बन रहा है।
   • विश्वासों को अपडेट करते हैं: विरोधी के साक्ष्य और पहचाने गए क्रक्स के आधार पर, एक परामर्शदाता उम्मीदवार उत्तरों पर अपने विश्वास वितरण (belief distribution) को अपडेट करता है।
   • एक्शन चयन: परामर्शदाता या तो अपने वर्तमान उत्तर को बनाए रखने (retain) या विरोधी के उत्तर को अपनाने (adopt) का विकल्प चुनते हैं।
3. समाप्ति: प्रक्रिया तब समाप्त होती है जब परामर्शदाता सहमति (सत्य सहमति या एग्रीमेंट ट्रैप) तक पहुँचते हैं या जब अधिकतम टर्न सीमा समाप्त हो जाती है (असहमति पतन/Disagreement Collapse)।
4. निर्णय: निर्णायक एक सत्यापनकर्ता (verifier) के रूप में कार्य करता है। यदि परामर्शदाता सहमति प्राप्त कर लेते हैं, तो निर्णायक साझा तर्क का सत्यापन करता है। यदि वे असहमति में रहते हैं, तो निर्णायक दो अंतिम उत्तरों में से एक का चयन करता है।

सैद्धांतिक ढांचा

यह शोध पत्र DR को औपचारिक रूप देता है और क्षमता विषमता मॉडल $\kappa_J < \max(\kappa_1, \kappa_2)$ का उपयोग करके डिबेट के साथ तुलना करता है।

• प्रमेय 1 (Theorem 1): यह स्थापित करता है कि क्षमता विषमता एक आवश्यक शर्त है जिससे परामर्शदाताओं (consultancy) को गारंटीकृत लाभ मिल सके।
• प्रमेय - 2 (Theorem 2): यह प्रदर्शित करता है कि DR में, प्रदर्शन मुख्य रूप से परामर्शदाता जोड़ी की सहमति (विशेष रूप से सत्य सहमति) तक पहुँचने की क्षमता द्वारा निर्धारित होता है, जिससे यह प्रणाली निर्णायक की क्षमता के प्रति तुलनात्मक रूप से कम संवेदनशील हो जाती है।
• प्रमेय 3 (Theorem 3): यह सिद्ध करता है कि कमजोर निर्णायकों के लिए, सहयोगात्मक असहमति समाधान उच्च सटीकता प्रदान करता है, बशर्ते परामर्शदाता उचित रूप से कैलिब्रेटेड (अर्थात, उनके आत्मविश्वास का स्तर उनकी सटीकता के अनुरूप हो) हों।

मुख्य योगदान

1. प्रतिमान परिवर्तन: स्केलेबल ओवरसाइट के लिए प्रतिस्पर्धी अनुनय (persuasion) से हटकर सहयोगात्मक सत्य-खोज की ओर बदलाव का प्रस्ताव करता है, जो मानव मध्यस्थता रणनीतियों से प्रेरित है।
2. प्रोटोकॉल डिजाइन: DR प्रोटोकॉल पेश करता है, जो एजेंटों को निश्चित स्थितियों का बचाव करने के बजाय विश्वासों को अपडेट करने और असहमति के विशिष्ट "क्रक्स" को अलग करने की अनुमति देता है।
3. सैद्धांतिक विश्लेषण: औपचारिक प्रमाण प्रदान करता है कि क्षमता विषमता के तहत, यदि एजेंट अच्छी तरह से कैलिब्रेटेड हैं, तो DR कमजोर निर्णायकों के लिए डिबेट से बेहतर प्रदर्शन करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): फ्रंटियर मॉडल्स को परामर्शदाताओं के रूप में और कमजोर मॉडल्स को निर्णायकों के रूप में उपयोग करते हुए तीन विशेषज्ञ-स्तरीय बेंचमार्क (GPQA, SuperGPQA, HLE) पर प्रोटोकॉल का मूल्यांकन करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट और दो परामर्शदाता जोड़ियों (GPT-4o/Claude Sonnet 4 और GLM-4.6/Kimi K2) पर मानक डिबेट, डबल कंसल्टेंसी (स्वतंत्र उत्तर), और एक नैइव जज (Naive Judge) के विरुद्ध DR का मूल्यांकन किया।

• प्रदर्शन: DR ने मानक डिबेट को लगातार पछाड़ दिया।
  • कुल औसत: DR ने 62.1% जज सटीकता प्राप्त की, जबकि डिबेट की सटीकता 49.2% थी।
  • सुधार: DR ने औसतन 12.9% जज सटीकता में सुधार किया, और विशिष्ट स्थितियों में (जैसे GLM-4.6/Kimi K2 जोड़ी के साथ Gemma-3-4B जज) लाभ 27.5% तक उच्च रहा।
  • मजबूती (Robustness): DR ने 12 में से 10 मूल्यांकित स्थितियों में डिबेट को पछाड़ दिया।
• जज संवेदनशीलता: DR के लाभ कमजोर निर्णायकों के लिए अधिक स्पष्ट हैं। जैसे-जैसे जज की क्षमता बढ़ती है, DR और डिबेट के बीच का प्रदर्शन अंतर कम होता जाता है, और कुछ मामलों में, मजबूत निर्णायकों के लिए डिबेट प्रतिस्पर्धी या श्रेष्ठ हो जाता है जो जटिल प्रतिकूल स्क्रिप्ट को समझने में सक्षम हैं।
• कैलिब्रेशन: DR की सफलता परामर्शदाता कैलिब्रेशन पर अत्यधिक निर्भर है। सत्य-खोज क्रियाएं (Persistence, Recovery) अच्छी तरह से कैलिब्रेटेड थीं, जबकि भ्रामक क्रियाएं (Overthinking, Stubbornness) खराब कैलिब्रेशन प्रदर्शित करती थीं। "एग्रीमेंट ट्रैप" (दोनों परामर्शदाता एक गलत उत्तर पर सहमत होते हैं) एक विफलता मोड बना हुआ है, हालांकि यह प्रयोगों में 'ट्रुथ कंसेंसस' की तुलना में कम बार हुआ।

महत्व और दावे

शोध पत्र का दावा है कि जैसे-जैसे AI सिस्टम मानवीय समझ से परे स्केल होंगे, मजबूत ओवरसाइट केवल एक जज की कच्ची सूक्ष्मता (raw scrutiny) पर नहीं, बल्कि ऐसे तंत्र डिजाइन (mechanism design) पर निर्भर करेगी जो सत्य-खोज को लागू करता हो।

• डिबेट की सीमा को संबोधित करना: लेखक तर्क देते हैं कि मानक डिबेट वास्तविक, क्षमता-विषम सेटिंग्स में विफल हो जाती है क्योंकि यह जज की परिष्कृत झूठ का पता लगाने की क्षमता पर निर्भर करती है। DR इसे हल करता है क्योंकि यह एजेंटों को स्वयं अपनी असहमति को हल करने की अनुमति देता है, जिससे एक सहमति या विशिष्ट क्रक्स को सत्यापित करने के लिए कमजोर जज पर संज्ञानात्मक बोझ कम हो जाता है।
• सुरक्षा और विश्वसनीयता: अनुनय से यांत्रिक सत्यापन (mechanistic verification) की ओर लक्ष्य बदलकर, DR संरचनात्मक रूप से अधिक सुरक्षित है। एक धोखेबाज मॉडल केवल अधिक प्रभावशाली होकर नहीं जीत सकता; सहयोगात्मक तंत्र मॉडल्स को सत्य की ओर निर्देशित करता है क्योंकि असहमति को हल करने का सबसे कुशल मार्ग सत्य का पालन करना है।
• स्केलेबिलिटी: परिणाम अनुभवजन्य साक्ष्य प्रदान करते हैं कि सहयोगात्मक प्रोटोकॉल कमजोर निर्णायकों को प्रभावी ढंग से सशक्त बना सकते हैं, जिससे वे प्रतिस्पर्धी प्रोटोकॉल की तुलना में मजबूत AI सिस्टम की अधिक विश्वसनीय रूप से निगरानी कर सकते हैं।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि उनके प्रयोग इन्फरेंस-टाइम प्रोटोकॉल और स्वाभाविक रूप से उत्पन्न होने वाली असहमतियों पर केंद्रित हैं। वे "एग्रीमेंट ट्रैप" के जोखिम पर भी प्रकाश डालते जहाँ मॉडल एक गलत सहमति तक पहुँच जाते हैं, जो मिलीभगत वाली त्रुटियों (collusive errors) के विरुद्ध भविष्य के सुरक्षा उपायों की आवश्यकता का सुझाव देता है।