EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems
यह शोध पत्र EPC (इवैल्यूएटर प्रेफरेंस कपलिंग) को प्रस्तुत करता है, जो एक मानकीकृत, ओपन-सोर्स प्रोटोकॉल और वर्शन्ड रेफरेंस स्नैपशॉट है जिसे क्लोज्ड-लूप LLM एजेंट सिस्टम में इवैल्यूएटर बायस प्रोपेगेशन के पुनरुत्पादक मापन, क्रॉस-तुलना और क्षय का पता लगाने में सक्षम बनाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट असिस्टेंट को घर के काम करने के लिए प्रशिक्षित कर रहे हैं। उसे सिखाने के लिए, आप उसे केवल एक मैनुअल नहीं देते; बल्कि आप उसे चीजें करने देते हैं, और एक "जज" (एक अन्य AI) उसे बताता है, "अच्छा काम किया!" या "इसे अलग तरह से करने की कोशिश करो।"
समय के साथ, रोबोट जज को खुश करने के लिए सीखता है। लेकिन इसमें एक पेंच है: जज का अपना एक अजीब व्यक्तित्व होता है। शायद जज को लंबे उत्तर पसंद हों, या वह एक विशिष्ट लहजे को प्राथमिकता देता हो। रोबोट न केवल काम को बेहतर ढंग से करने के लिए, बल्कि विशेष रूप से जज की छिपी हुई प्राथमिकताओं से मेल खाने के लिए अपने व्यवहार को बदलने लगता है। यह वही है जिसे पेपर "इवैल्यूएटर प्रेफरेंस कपलिंग" (Evaluator Preference Coupling) कहता है।
समस्या यह है कि ये जज (जैसे GPT-4o या Qwen) उनकी कंपनियों द्वारा लगातार अपडेट किए जा रहे हैं। वे अपनी राय, अपना व्यक्तित्व और अपने नियम चुपचाप बदलते रहते हैं। आज एक रोबोट कितना "कपलिंग" करता है, इसका माप अगले महीने पूरी तरह से गलत हो सकता है क्योंकि जज बदल गया है।
यह पेपर यह दावा नहीं करता है कि उसने एक नया प्रकार का रोबोट या उन्हें स्मार्ट बनाने का कोई नया तरीका खोजा है। इसके बजाय, यह वैज्ञानिक समुदाय के लिए एक मानकीकृत पैमाने (standardized ruler) और एक कैलेंडर की तरह कार्य करता है।
यहाँ इस पेपर द्वारा दी गई जानकारी का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. समस्या: "एक हिलता हुआ लक्ष्य" (The Moving Target)
कल्पना कीजिए कि आप एक बच्चे की ऊंचाई मापने की कोशिश कर रहे हैं, लेकिन बच्चा हर हफ्ते 2 इंच बढ़ जाता है, और आपके पास कोई मानक टेप मापने वाला यंत्र नहीं है। एक वैज्ञानिक इंच में पैमाना उपयोग करता है, दूसरा सेंटीमीटर में, और तीसरा नाश्ते के समय मापता है जबकि चौथा रात के खाने के समय मापता है। आप उनके परिणामों की तुलना नहीं कर सकते।
इससे भी बुरा यह है कि यदि बच्चा (AI जज) रातों-रात अपनी ऊंचाई बदल लेता है, तो कल का माप बेकार हो जाता है। पेपर नोट करता है कि AI की दुनिया में, ये "जज" इतनी तेज़ी से बदलते हैं कि माप केवल चार सप्ताह में अमान्य हो सकते हैं।
2. समाधान: "द EPC प्रोटोकॉल" (मानक पैमाना)
लेखकों ने EPC (इवैल्यूएटर प्रेफरेंस कपलिंग) बनाया है। इसे नेटवर्किंग में RFC (रिक्वेस्ट फॉर कमेंट्स) या खाना पकाने में एक मानक रेसिपी की तरह समझें। यह सबको बताता है कि इस "कपलिंग" को ठीक से कैसे मापा जाए ताकि सभी को एक ही परिणाम मिले।
यह निर्दिष्ट करता है:
- रेसिपी: रोबोट, जज और कार्यों को सेट करने का सटीक तरीका।
- चरण: एक चार-चरण वाला परीक्षण जहाँ रोबोट टेक्स्ट कार्यों पर सीखता है, फिर विजुअल कार्यों पर, और फिर वे आपस में बदलते हैं यह देखने के लिए कि क्या जज का प्रभाव "स्पिल ओवर" (बढ़कर दूसरे पर प्रभाव डालना) होता है।
- गणित: जज को खुश करने के लिए रोबोट के व्यवहार में कितना बदलाव आया, यह गणना करने के लिए एक विशिष्ट सूत्र (एक संख्या जिसे γ या "गामा" कहा जाता है) का उपयोग करना।
- लॉगबुक: एक सख्त नियम कि आपको जज का कौन सा संस्करण उपयोग किया गया था, तारीख, और पूछे गए सटीक प्रश्न बिल्कुल लिखने होंगे।
3. स्नैपशॉट: "समय में एक फोटो"
यह दिखाने के लिए कि यह कैसे काम करता है, लेखकों ने वर्तमान दुनिया की एक "तस्वीर" ली। उन्होंने मई और जून 2026 के बीच कई लोकप्रिय AI जजों (जैसे GPT-4o और Qwen) पर अपना मानकीकृत परीक्षण चलाया।
- परिणाम: उन्होंने पाया कि कुछ जज (जैसे GPT-4o) रोबोट के व्यवहार को दृढ़ता से प्रभावित करते हैं (उच्च कपलिंग), जबकि अन्य (जैसे सेल्फ-इवैल्यूएशन में DeepSeek) बिल्कुल भी प्रभाव नहीं डालते।
- चेतावनी लेबल: उन्होंने इस स्नैपशॉट पर एक "उपयोग की तिथि" (Use By date) लगाई है। वे स्पष्ट रूप से कहते हैं: "ये नंबर केवल उन विशिष्ट AI मॉडल्स के लिए सत्य हैं जिनका हमने मई/जून 2026 में परीक्षण किया था। यदि कंपनियां मॉडल्स को अपडेट करती हैं, तो ये नंबर कम हो जाएंगे और गलत हो जाएंगे।"
4. वर्शनिंग सिस्टम: "एक्सपायरी डेट"
पेपर इन मापों को लेबल करने का एक नया तरीका पेश करता है, जैसे v1.2-GPT4o-0806।
- v1.2: पैमाने (प्रोटोकॉल) का संस्करण।
- GPT4o-0806: जज का विशिष्ट संस्करण और वह तारीख जब इसे मापा गया था।
यह सुनिश्चित करता है कि यदि कोई शोधकर्ता 2026 का अध्ययन पढ़ता है, तो उसे पता होगा कि किस "जज" का उपयोग किया गया था और वह जांच सकता है कि क्या उस जज ने तब से अपना व्यक्तित्व बदल लिया है।
सारांश
संक्षेप में, यह पेपर एक बेहतर रोबोट बनाने के बारे में नहीं है। यह एक बेहतर मापने वाला टेप बनाने के बारे में है।
यह कहता है: "यह अनुमान लगाना बंद करें कि AI जज हमारे रोबोटों को कितना प्रभावित करते हैं। यहाँ इस बात को मापने का सटीक नियम पुस्तिका है, यहाँ एक फोटो है कि अभी नंबर कैसे दिखते हैं, और यहाँ एक चेतावनी है कि जैसे ही AI कंपनियां अपना सॉफ्टवेयर अपडेट करेंगी, वे नंबर बदल जाएंगे।"
यह एक अराजक, भ्रमित क्षेत्र को एक अनुशासित, पुनरुत्पादक विज्ञान (reproducible science) में बदल देता है जहाँ हर कोई AI जजों के "बायस" (पक्षपात) को मापने के लिए सहमत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।