🤖 machine learning

A Diagnostic Framework and Multi-Evaluator Audit of Evaluator-Driven Preference Dynamics in Self-Adapting LLM Agents

यह शोध पत्र इवैल्यूएटर-प्रेफरेंस कोलैप्स (EPC) फ्रेमवर्क को प्रोप्राइटरी LLM इवैल्यूएटर्स की समय के साथ होने वाली तीव्र अस्थिरता और "प्रेफरेंस कोलैप्स" को निदान करने और मापने के लिए प्रस्तुत करता है, जो व्यापक बहु-शर्त ऑडिट के माध्यम से यह प्रदर्शित करता है कि वर्ज़न-कंडीशनल ड्रिफ्ट के कारण सिंगल-स्नैपशॉट इवैल्यूएशन अध्ययन मौलिक रूप से अविश्वसनीय हैं।

मूल लेखक: Liu Zewen

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liu Zewen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बेहतर कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप एक लूप सेट करते हैं: रोबोट एक कहानी लिखता है, एक "जज" (एक अन्य AI) उसे पढ़ता है और उसे ग्रेड देता है, और रोबोट अपनी अगली कहानी सुधारने के लिए उस ग्रेड का उपयोग करता है।

यह पेपर इस बारे में है कि क्या होता है जब वह "जज" अविश्वसनीय हो।

मुख्य समस्या: बदलते लक्ष्य (The Shifting Goalposts)

लेखकों ने पाया कि "जज" (विशेष रूप से, GPT-4o जैसे लोकप्रिय AI मॉडल) स्थिर नहीं हैं। वे एक खेल के रेफरी की तरह हैं जो बिना किसी को बताए हर कुछ हफ्तों में खेल के नियम गुप्त रूप से बदल देते हैं।

अपने अध्ययन में, उन्होंने बिल्कुल एक ही सेटअप के साथ एक ही प्रयोग दो बार चलाया:

मई में: जज का कुछ विशेष लेखन शैलियों के प्रति गहरा झुकाव था। रोबोट ने इसे सीखा और जज को खुश करने के लिए अपना व्यवहार बदल लिया।
जून में: उन्होंने ठीक वही प्रयोग दोबारा किया। अचानक, जज को उन शैलियों की परवाह ही नहीं थी। रोबोट की पिछली सीख बेकार हो गई।

पेपर इसे "इवैल्यूएटर-ड्रिवन प्रेफरेंस डायनेमिक्स" (Evaluator-Driven Preference Dynamics) कहता है। सरल शब्दों में: रोबोट यह नहीं सीख रहा है कि क्या अच्छा है; वह बस यह सीख रहा है कि जज का वर्तमान संस्करण अभी क्या पसंद करता है। और क्योंकि जज चुपचाप अपना मन बदल लेता है, रोबोट का व्यवहार अस्थिर हो जाता है।

टूल: "इन्स्टेबिलिटी डिटेक्टर" (EPC)

इसे साबित करने के लिए, लेखकों ने EPC (इवैल्यूएटर प्रेफरेंस कोलैप्स) नामक एक डायग्नोस्टिक टूलकिट बनाया। इसे AI जजों के लिए एक स्ट्रेस टेस्ट या झूठ पकड़ने वाले यंत्र (lie detector) के रूप में समझें।

MPCI (मल्टीमॉडल प्रेफरेंस कोलैप्स इंडेक्स): कल्पना करें कि एक गेज (मापक) जो यह मापता है कि रोबोट का व्यवहार जज को खुश करने के लिए केवल एक विशिष्ट शैली में कितना "कोलैप्स" (सिकुड़) गया है। यदि गेज उच्च है, तो रोबोट केवल जज की वर्तमान सनक का अंधाधुंध अनुसरण कर रहा है।
कपलिंग मैट्रिक्स ( $\Gamma$ ): यह एक स्कोर है जो यह मापता है कि रोबोट जज की प्राथमिकताओं से कितनी मजबूती से "चिपका" हुआ है।
- उच्च स्कोर (मजबूत कपलिंग): रोबोट जज की नकल करने की पूरी कोशिश कर रहा है।
- शून्य स्कोर (कोलैप्स): रोबोट और जज के बीच कोई संबंध नहीं है, या जज इतना भ्रमित है कि वह रैंडम फीडबैक दे रहा है।

बड़ी खोज: हफ्तों में मापी गई "शेल्फ लाइफ"

सबसे चौंकाने वाली खोज यह है कि इन "जजों" की शेल्फ लाइफ केवल कुछ हफ्तों की होती है।

लेखकों ने एक विशिष्ट मामला पाया जहाँ एक "साइलेंट अपडेट" (AI के मालिक द्वारा किया गया बैकग्राउंड बदलाव) ने उनके परिणामों को पूरी तरह से पलट दिया।

मई वाला संस्करण: रोबोट और जज मजबूती से जुड़े थे (स्कोर: ~1.18)।
जून वाला संस्करण: बिल्कुल वही सेटअप, वही कोड, वही कार्य, लेकिन स्कोर गिरकर 0.00 हो गया।

यह ऐसा है जैसे आपने मई में एक थर्मामीटर को कैलिब्रेट किया, और जून तक, उसी थर्मामीटर ने कमरे का तापमान बदले बिना अचानक "फ्रीजिंग" (जमना) दिखा दिया। मापने वाला उपकरण ही टूट गया था।

यह क्यों मायने रखता है (रोजमर्रा के शब्दों में)

पेपर का तर्क है कि यदि आप एक ऐसा सिस्टम बनाते हैं जो अन्य AI को बेहतर बनाने के लिए इन AI जजों पर निर्भर करता है, तो आप रेत पर घर बना रहे हैं।

"दर्पण" (Mirror) की उपमा: आमतौर पर, हम एक AI जज को सत्य को प्रतिबिंबित करने वाले दर्पण के रूप में देखते हैं। यह पेपर दिखाता है कि दर्पण वास्तव में एक फनहाउस मिरर (funhouse mirror) है जो हर महीने अपना आकार बदल लेता है।
"सिकोपेंट" (Sycophant) प्रभाव: रोबोट एक "सिकोपेंट" (जी-हज़ूर कहने वाला) बन जाता है। वह अपने आप सोचना बंद कर देता है और बस यह अनुमान लगाने की कोशिश करता है कि जज का वर्तमान संस्करण क्या सुनना चाहता है। यदि जज अपना मन बदल देता है, तो रोबोट भ्रमित रह जाता है और उसकी "सीखना" बेकार हो जाती है।

अध्ययन के मुख्य निष्कर्ष

एक सिंगल स्नैपशॉट पर भरोसा न करें: यदि आप आज एक AI जज का परीक्षण करते हैं, तो परिणाम अगले महीने पूरी तरह से अलग हो सकते हैं क्योंकि जज को अपडेट किया गया है।
स्व-मूल्यांकन जोखिम भरा है: जब एक AI अपने काम का मूल्यांकन करता है, तो वह अक्सर "कोलैप्स" हो जाता है (सटीक होने के बजाय केवल पैटर्न फॉलो करता है) क्योंकि उसमें बाहरी दृष्टिकोण की कमी होती है।
समाधान: लेखकों ने अपना EPC टूलकिट जारी किया है ताकि अन्य लोग यह जांच सकें कि उनके AI जज स्थिर हैं या वे केवल सिस्टम में एक अस्थायी गड़बड़ी के प्रति प्रतिक्रिया दे रहे हैं।

संक्षेप में: यह पेपर चेतावनी देता है कि AI द्वारा AI को ग्रेड देना नाजुक है। "शिक्षक" (जज) बिना चेतावनी के अपना मन बदल देता है, और "छात्र" (एजेंट) बस अंधाधुंध उसका अनुसरण करता है, जिससे पूरा सिस्टम तब तक अविश्वसनीय रहता है जब तक कि आप लगातार यह जांचते न रहें कि शिक्षक अभी भी वही व्यक्ति है या नहीं।

तकनीकी सारांश: स्व-अनुकूलनशील (Self-Adapting) LLM एजेंटों में मूल्यांकनकर्ता-संचालित प्राथमिकता गतिशीलता का एक नैदानिक ढांचा और बहु-मूल्यांकनकर्ता ऑडिट

1. समस्या विवरण

यह शोध पत्र बंद-लूप (closed-loop) एजेंट प्रणालियों के भीतर स्वचालित मूल्यांकनकर्ता के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) की तैनाती में एक महत्वपूर्ण नाजुकता को संबोधित करता है। इन प्रणालियों में, एक एजेंट प्रतिक्रियाएँ उत्पन्न करता है, एक मूल्यांकनकर्ता उनका निर्णय करता है, और एजेंट उस फीडबैक के आधार पर अपनी रणनीति को अनुकूलित करता है। लेखक तर्क देते हैं कि यदि एक मूल्यांकनकर्ता में व्यवस्थित प्राथमिकताएँ (जैसे कि लंबे आउटपुट या विशिष्ट तर्क शैलियों के लिए) निहित हैं, तो ये पूर्वाग्रह फीडबैक लूप के माध्यम से प्रसारित होती हैं, जिससे एजेंट के सीखे गए व्यवहार को विकृत कर देती हैं।

पहचाना गया मुख्य मुद्दा विभिन्न मॉडल परिवारों और मोडैलिटीज (modalities) में इन "मूल्यांकनकर्ता-संचालित प्राथमिकता गतिशीलता" (evaluator-driven preference dynamics) को मापने के लिए एक मानकीकृत नैदानिक ढांचे का अभाव है। इसके अलावा, यह शोध पत्र एक विशिष्ट, अक्सर अनदेखी की जाने वाली जोखिम की ओर संकेत करता है: प्रोप्रायटरी (proprietary) मूल्यांकनकर्ता मापों की "शेल्फ लाइफ" (shelf life)। लेखक प्रदर्शित करते हैं कि मूल्यांकनकर्ता मॉडल्स के साइलेंट API अपडेट्स मूल्यांकनकर्ता प्रोफाइल को कुछ ही हफ्तों के भीतर मौलिक रूप से बदल सकते हैं, जिससे एकल-स्नैपशॉट अध्ययन अमान्य हो जाते हैं और मापने वाला उपकरण स्वयं अस्थिर हो जाता है।

2. कार्यप्रणाली: EPC ढांचा

इन मुद्दों को संबोधित करने के लिए, लेखक एवैल्यूएटर प्रेफरेंस कोलैप्स (EPC) फ्रेमवर्क पेश करते हैं। यह ढांचा इस बात को मापने के लिए डिज़ाइन किया गया है कि एक मूल्यांकनकर्ता की प्राथमिकताएं समय के साथ एक एजेंट की रणनीति वितरण (strategy distribution) को कैसे प्रभावित करती हैं।

2.1 प्रयोगात्मक सेटअप

टेस्ट-टाइम रीइन्फोर्समेंट लर्निंग (TTRL): एजेंट 11 रणनीतियों ( $|S|=11$ ) के एक सेट पर पैरामीटर-मुक्त स्टोकेस्टिक बैंडिट दृष्टिकोण का उपयोग करके अपने रणनीति वितरण को अनुकूलित करता है।
एजेंट और मूल्यांकनकर्ता:
- एक्सेक्यूटर (Executor): DeepSeek-chat (केवल टेक्स्ट) प्रतिक्रियाएं उत्पन्न करता है।
- मूल्यांकनकर्ता: अध्ययन विभिन्न संस्करणों और प्रदाताओं के कई मूल्यांकनकर्ताओं का ऑडिट करता है, जिसमें GPT-4o (मई और जून 2026 बैच), GPT-4o-mini Vision, Qwen3.7-plus, qwen-plus (DashScope), और DeepSeek-chat (स्व-मूल्यांकन) शामिल हैं।
- कार्य (Tasks): 8 टेक्स्ट-आधारित और 8 टेक्स्ट-प्रॉक्सियड विजुअल कार्य।
प्रोटोकॉल: सिस्टम चरणों में चलता है, जो क्रॉस-डोमेन कपलिंग को मापने के लिए टेक्स्ट और विजुअल डोमेन के बीच बारी-बारी से काम करता है। एजेंट मूल्यांकनकर्ता द्वारा प्रदान किए गए युग्म तुलनाओं (pairwise comparisons) ( $r_t \in \{0, 1\}$ ) के आधार पर अपने रणनीति भार (strategy weights) को अपडेट करता है।

2.2 मुख्य मेट्रिक्स

EPC ढांचा तीन प्राथमिक मेट्रिक्स का उपयोग करता है:

प्रेफरेंस कोलैप्स इंडेक्स (PCI): रणनीति भार वेक्टर $w$ के संकेंद्रण को मापता है। इसे $\sigma(w)/\mu(w)$ के रूप में परिभाषित किया गया है।
मल्टीमॉडल प्रेफरेंस कोलैप्स इंडेक्स (MPCI): एक कंपोजिट मेट्रिक जो टेक्स्ट और विजुअल PCI को एक क्रॉस-डोमेन कपलिंग टर्म ($CPCI$) के साथ जोड़ता है।
मूल्यांकनकर्ता-सूचकांक कपलिंग मैट्रिक्स ( $\Gamma(J)$ ):
- कपलिंग गुणांक ( $\gamma$ ): एक डोमेन (जैसे, टेक्स्ट) में सीखी गई रणनीति वितरण और दूसरे डोमेन (जैसे, विजुअल) में वितरण के बीच की दूरी को मापता है।
- सूत्र: $\gamma_{A \to B} = \|w_{A \to B} - w_B\|_2 / \|w_B\|_2$ ।
- व्याख्या: $\gamma \approx 0$ न्यूनतम कपलिंग दर्शाता है; $\gamma \gtrsim 0.5$ पर्याप्त कपलिंग का संकेत देता है।
जेन्सन-शैनन डायवर्जेंस (JSD): रणनीति वितरणों के बीच विचलन को मापने के लिए एक प्राथमिक बाउंडेड मेट्रिक के रूप में उपयोग किया जाता है।
कैलिब्रेशन मेट्रिक्स: केंद्रित प्राथमिकताओं का ग्राउंड-ट्रुथ सटीकता के साथ संरेखण निर्धारित करने के लिए एक्सपेक्टेड कैलिब्रेशन एरर (ECE) और ब्रायर स्कोर (Brier score) का उपयोग किया जाता है।

3. मुख्य परिणाम

अध्ययन आठ स्थितियों में 122 अद्वितीय प्रयोगात्मक पुनरावृत्तियों पर रिपोर्ट करता है। परिणाम एक एकल स्थिर निष्कर्ष के बजाय उच्च अस्थिरता के पैटर्न को प्रकट करते हैं।

3.1 वर्जन-कंडीशनल अस्थिरता (Version-Conditional Instability)

सबसे महत्वपूर्ण निष्कर्ष GPT-4o वर्जन ड्रिफ्ट है।

मई 2026 बैच: मजबूत कपलिंग देखी गई ( $\bar{\gamma}_{T \to V} = 1.176$ , $\bar{\gamma}_{V \to T} = 1.089$ )।
जून 2026 बैच: समान प्रोटोकॉल और एंडपॉइंट ($gpt-4o-2024-08-06 $) का उपयोग करते हुए, कपलिंग सभी 8 पुनरावृत्तियों में शून्य में गिर गई ($ \bar{\gamma} = 0.0$)।
महत्व: 4 सप्ताह की अवधि के भीतर परिणामों का यह उलटाव (inversion) यह दर्शाता है कि मूल्यांकनकर्ता का प्रेफरेंस प्रोफाइल चुपचाप बदल गया। लेखक नोट करते हैं कि प्रभाव का आकार बड़ा है (कोहेन्स $d=4.37$ ), जो छोटे सैंपल साइज ( $N=8$ ) के बावजूद सांख्यिकीय महत्व को मजबूत बनाता है।

3.2 मल्टी-एवैल्यूएटर ऑडिट

मजबूत कपलिंग स्थितियाँ: GPT-4o (मई), GPT-4o-mini Vision, Qwen3.7-plus, और DashScope 30r ने मजबूत कपलिंग दिखाई ( $\gamma$ का रेंज 1.0 से 1.18 तक)।
कोलैप्स स्थितियाँ: GPT-4o (जून), Qwen/DashScope (बड़ा $N=30$ ), सिमेट्रिक लर्निंग रेट (LR) वेरिएंट, और DeepSeek स्व-मूल्यांकन ने शून्य के करीब कपलिंग दिखाई।
स्व-मूल्यांकन: DeepSeek स्व-मूल्यांकन ने 97% जीरो-कपलिंग दर दिखाई। हालांकि, कैलिब्रेशन विश्लेषण ने उच्च ECE ($0.31$) दिखाया, जो सुझाव देता है कि यह "स्थिरता" एक फ्लोर इफेक्ट (floor effect) हो सकती है जहाँ मूल्यांकनकर्ता रणनीतियों के बीच अंतर करने की भेदभावपूर्ण क्षमता की कमी रखता है, न कि वास्तविक विश्वसनीयता।

3.3 कन्फाउंड एनालिसिस (Confound Analysis)

आउटपुट फॉर्मेट: जबकि एग्रीगेट विश्लेषण ने आउटपुट लंबाई और रणनीति भार के बीच एक मजबूत सहसंबंध ( $\rho \approx 0.89$ ) का सुझाव दिया, इंस्टेंस-लेवल विश्लेषण ( $n=60$ ) ने कोई महत्वपूर्ण सहसंबंध नहीं दिखाया ( $\rho=0.219, p=0.093$ )। यह इंगित करता है कि "स्ट्रेटजी कोलैप्स" आउटपुट फॉर्मेट/स्टाइल के प्रति मूल्यांकनकर्ता की प्राथमिकता को दर्शाता है, न कि गहरे तर्क विभेदन (reasoning differentiation) को।
सिमेट्रिक बनाम एसिमेट्रिक LR: प्रारंभिक परिणामों ने सुझाव दिया कि सिमेट्रिक LR कपलिंग को समाप्त कर देता है। हालांकि, वर्जन-लॉक्ड स्नैपशॉट पर एक री-रन ने पुष्टि की कि दोनों वेरिएंट्स ने मजबूत कपलिंग उत्पन्न की, जिससे यह पुष्टि हुई कि प्रारंभिक शून्य परिणाम वर्जन ड्रिफ्ट का एक आर्टिफैक्ट था, न कि लर्निंग रूल का।

4. योगदान

EPC फ्रेमवर्क: एक नैदानिक टूलकिट जिसमें MPCI, कपलिंग मैट्रिक्स $\Gamma(J)$ , और JSD शामिल है ताकि मूल्यांकनकर्ता-संचालित प्राथमिकता गतिशीलता को मापा जा सके।
अस्थिरता का अनुभवजन्य प्रमाण: प्रोप्रायटरी मूल्यांकनकर्ता के व्यवहार का एक प्रलेखित मामला जहाँ एक साइलेंट अपडेट ने कुछ ही हफ्तों में एक अध्ययन के निष्कर्ष को उलट दिया।
बहु-मूल्यांकनकर्ता ऑडिट: एक व्यापक डेटासेट ( $N=122$ ) जो दिखाता है कि कपलिंग डायनेमिक्स मूल्यांकनकर्ता की पहचान, संस्करण और सैंपल साइज पर अत्यधिक सशर्त हैं।
मेथडोलॉजिकल स्पष्टीकरण: यह प्रदर्शन करना कि सैंपल साइज संवेदनशीलता ( $N=8$ बनाम $N=30$ ) और लर्निंग रेट विकल्प संस्करण ड्रिफ्ट के आधार पर अलग-अलग परिणाम दे सकते हैं, जो सिंगल-स्नैपशॉट अध्ययनों के प्रति सावधानी बरतने का आग्रह करते हैं।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि प्राथमिक निष्कर्ष कपलिंग का विशिष्ट परिमाण नहीं है, बल्कि संस्करण-सशर्त अस्थिरता (version-conditional instability) का पैटर्न है।

प्रोप्रायटरी मूल्यांकनकर्ताओं की नाजुकता: लेखक तर्क देते हैं कि प्रोप्रायटरी मूल्यांकनकर्ताओं के सिंगल-स्नैपशॉट अध्ययन स्वाभाविक रूप से नाजुक हैं क्योंकि "मापने वाला उपकरण" (मूल्यांकनकर्ता मॉडल) बिना सूचना के बदल सकता है। एक नैदानिक उपकरण जो अपनी अस्थिरता का पता लगाता है (जैसा कि EPC फ्रेमवर्क ने GPT-4o ड्रिफ्ट के साथ किया) उस नाजुकता को मापने के लिए बनाया गया है जिसे वह मापने का प्रयास कर रहा है।
मानकीकरण के लिए आह्वान: यह पेपर मूल्यांकनकर्ता की पहचान और संस्करण तिथियों को रिपोर्ट करने, कई मूल्यांकनकर्ता परिवारों का उपयोग करने और ड्रिफ्ट की निगरानी के लिए मानक डायग्नोस्टिक के रूप में EPC को अपनाने की वकालत करता है।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि एक प्रलेखित मामला (GPT-4o ड्रिफ्ट) एक सामान्य नियम स्थापित नहीं करता है, लेकिन यह एक चेतावनी के रूप में कार्य करता है कि मापों की "शेल्फ लाइफ हफ्तों में मापी जाती है।" वे यह दावा नहीं करते हैं कि वे ड्रिफ्ट की समस्या को हल करते हैं, बल्कि वे इसे पहचानने के लिए बुनियादी ढांचा प्रदान करते हैं।

शोध पत्र निष्कर्ष निकालता है कि वह इन डायनेमिक्स की आगे की जांच और पुनरुत्पादकता (reproducibility) को सुगम बनाने के लिए EPC फ्रेमवर्क और सभी प्रयोगात्मक डेटा को जारी करता है।