🤖 machine learning

Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

यह शोध पत्र यह प्रदर्शित करता है कि LLM एजेंट फीडबैक लूप में मूल्यांकनकर्ता के निर्णयों पर प्रायिकता अंशांकन (probability calibration) लागू करना प्रभावी रूप से मूल्यांकनकर्ता प्राथमिकता युग्मन (evaluator preference coupling) को कम करता है, जो मानक बाइनरी फीडबैक विधियों की तुलना में युग्मन गुणांक और वितरण विचलन (distributional divergence) दोनों को महत्वपूर्ण रूप से कम करता है।

मूल लेखक: Zewen Liu

प्रकाशित 2026-07-01

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zewen Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट सहायक को निर्णय लेना सिखाने के लिए प्रशिक्षित कर रहे हैं। उसे सिखाने के लिए, आपके पास एक "जज" (एक अन्य AI) है जो रोबोट के विकल्पों को देखता है और कहता है, "अच्छा काम किया!" या "फिर से कोशिश करो।"

समस्या यह है, जैसा कि यह पेपर बताता है, कि जज हमेशा निष्पक्ष नहीं होता। कभी-कभी जज का एक छिपा हुआ पूर्वाग्रह होता है या वह बस भ्रमित हो जाता है। यदि रोबोट इन भ्रमित या पक्षपाती टिप्पणियों को बहुत ध्यान से सुनता है, तो वह गलत सबक सीखना शुरू कर देता है। वह उत्तर देने की एक विशिष्ट शैली को पसंद करना शुरू कर सकता है क्योंकि जज ने एक बार उस शैली को पसंद किया था, भले ही वह शैली वास्तव में बेहतर न हो। पेपर इसे "इवैल्यूएटर प्रेफरेंस कपलिंग" (Evaluator Preference Coupling) कहता है। यह एक ऐसे छात्र की तरह है जो अपने शिक्षक के गुणों (जैसे पेन पकड़ने का एक विशिष्ट तरीका) की नकल करने लगता है क्योंकि शिक्षक एक बार मुस्कुराया था, भले ही इससे उसे गणित के सवाल हल करने में मदद न मिले।

समस्या: "हाँ/नहीं" का जाल

वर्णित मानक पद्धति में, जज एक सरल हाँ या नहीं (जीत/हार) का उत्तर देता है।

यदि जज "हाँ" कहता है, तो रोबोट को उस रणनीति के लिए आत्मविश्वास में बड़ी बढ़त मिलती है।
यदि जज "नहीं" कहता है, तो रोबोट को छोटी सी सजा मिलती है।

मुद्दा यह है कि जज अक्सर 100% निश्चित नहीं होता है। वह 55% निश्चित और 45% अनिश्चित हो सकता है, लेकिन क्योंकि सिस्टम केवल "हाँ" को स्वीकार करता है, इसलिए रोबोट उस डगमगाते हुए 55% अनुमान को एक ठोस तथ्य के रूप में मानता है। समय के साथ, ये डगमगाते अनुमान जमा होते जाते हैं, और रोबोट का व्यवहार विकृत हो जाता है।

समाधान: "कॉन्फिडेंस स्कोर" मांगना

लेखकों ने एक नया दृष्टिकोण आज़माया: कैलिब्रेशन (Calibration)। जज से "क्या A, B से बेहतर है?" पूछने के बजाय, उन्होंने पूछा, "0 से 100 के पैमाने पर, आप कितने आश्वस्त हैं कि A बेहतर है?"

यह खेल को दो तरीकों से बदल देता है:

"शायद" फ़िल्टर: यदि जज कहता है, "मैं केवल 50% आश्वस्त हूँ," तो रोबोट फीडबैक को अनदेखा कर देता है। वह अपना व्यवहार नहीं बदलता क्योंकि जज मूल रूप से सिक्का उछाल रहा था।
"मजबूत" संकेत: यदि जज कहता है, "मैं 90% आश्वस्त हूँ," तो रोबोट ध्यान से सुनता है और अपनी रणनीति में महत्वपूर्ण बदलाव करता है।

इसे एक कोच द्वारा एथलीट से बात करने की तरह समझें।

पुराना तरीका: कोच तब भी "जाओ!" या "रुको!" चिल्लाता है जब वे केवल अनुमान लगा रहे होते हैं। एथलीट भ्रमित हो जाता है और गोल-गोल दौड़ने लगता है।
नया तरीका: कोच कहता है, "मुझे 90% यकीन है कि तुम्हें दौड़ना चाहिए, इसलिए जाओ!" या "मैं केवल 50% आश्वस्त हूँ, इसलिए जो कर रहे हो वही करते रहो।" एथलीट केवल तभी अपनी योजना बदलता है जब कोच वास्तव में आश्वस्त होता है।

प्रयोग में क्या हुआ?

शोधकर्ताओं ने दो अलग-अलग AI मॉडल (एक काम करने के लिए, एक निर्णय लेने के लिए) का उपयोग करके एक नियंत्रित परीक्षण चलाया। उन्होंने "पुराने तरीके" (बाइनरी हाँ/नहीं) की तुलना "नए तरीके" (कॉन्फिडेंस स्कोर) से की।

उन्होंने पाया:

कम विरूपण (Less Distortion): "नए तरीके" ने रोबोट की जज के पूर्वाग्रहों की अंधाधुंध नकल करने की प्रवृत्ति को 20% से 49% तक कम कर दिया।
स्वच्छ व्यवहार: रोबोट की रणनीतियाँ जज के भ्रम के कारण उत्पन्न अजीब आदतों में बहने के बजाय, उनके वास्तविक स्वरूप के बहुत करीब रहीं।
यह केवल लंबाई के बारे में नहीं है: उन्होंने यह सुनिश्चित करने के लिए जांच की कि परिणाम केवल उत्तरों के छोटे या लंबे होने के कारण तो नहीं थे, और उन्होंने पुष्टि की कि सुधार वास्तविक था।

पेच (The Catch)

पेपर नोट करता है कि यह तरीका एक उपाय है, पूर्ण समाधान नहीं।

इसने समस्या को काफी कम कर दिया, लेकिन इसे पूरी तरह से खत्म नहीं किया।
कुछ जज के प्राथमिकताएँ वास्तविक और मजबूत होती हैं, और रोबोट को उन्हें सुनना चाहिए। लक्ष्य यह था कि रोबोट को जज के अनुमानों और भ्रम को सुनने से रोका जाए।
लेखक अनुमान लगाते हैं कि इस सुधार के साथ भी, थोड़ा सा "शोर" (noise) बचा हुआ है, जो कि सबसे अच्छा है जो आप जज को बदले बिना प्राप्त कर सकते हैं।

मुख्य निष्कर्ष (The Takeaway)

यह पेपर उन सभी के लिए एक सरल, कम लागत वाला अपग्रेड प्रस्तावित करता है जो दूसरे AI को जज करने के लिए AI का उपयोग कर रहे हैं: केवल निर्णय न मांगें; कॉन्फिडेंस स्कोर मांगें। जज के अनिश्चित अनुमानों को अनदेखा करने की अनुमति देकर, आप रोबोट को बुरी आदतें सीखने से रोकते हैं, जिससे उसका व्यवहार अधिक स्थिर और विश्वसनीय बना रहता है।

तकनीकी सारांश: प्रिफरेंस कपलिंग (Preference Coupling) को कम करने के लिए इवैल्यूएटर का कैलिब्रेशन

समस्या विवरण
मल्टी-एजेंट लार्ज लैंग्वेज मॉडल (LLM) सिस्टम में, एजेंट अक्सर एक LLM इवैल्यूएटर से प्राप्त फीडबैक के आधार पर अपने व्यवहार को अनुकूलित करते हैं। हालिया शोध ने इवैल्यूएटर प्रिफरेंस कपलिंग (EPC) नामक एक घटना की पहचान की है, जहाँ इवैल्यूएटर के व्यवस्थित पूर्वाग्रह (systemic biases) फीडबैक लूप के माध्यम से प्रसारित होते हैं, जिससे एजेंट के सीखे हुए स्ट्रैटेजी डिस्ट्रीब्यूशन (strategy distribution) में विकृति आती है और संभावित रूप से 'प्रिफरेंस कोलैप्स' (preference collapse) की स्थिति उत्पन्न होती है। जबकि EPC फ्रेमवर्क ने कपलिंग को मापने के लिए नैदानिक उपकरण (जैसे कि कपलिंग गुणांक $\gamma$ और जेन्सन-शैनन डायवर्जेंस) स्थापित किए हैं, पूर्व साहित्य विशेष रूप से निदान (diagnosis) पर केंद्रित रहा है। इससे पहले किसी भी कार्य में यह जांच नहीं की गई कि क्या कैलिब्रेशन तकनीकें इन प्रभावों को कम कर सकती हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन क्लोज्ड-लूप एजेंट सिस्टम में प्रिफरेंस कपलिंग के शमन (mitigation) के लिए प्रोबेबिलिटी कैलिब्रेशन (probability calibration) के पहले अनुप्रयोग को प्रस्तुत करता है। लेखक एक मानक टेस्ट-टाइम रीइन्फोर्समेंट लर्निंग (TTRL) प्रोटोकॉल की तुलना एक कॉन्फिडेंस-कैलिब्रेटेड TTRL वेरिएंट से करते हैं।

प्रायोगिक सेटअप (Experimental Setup):
- एक्सेक्यूटर (Executor): DeepSeek-V4-Pro (एजेंट के रूप में कार्य करता है)।
- इवैल्यूएटर (Evaluator): GLM5.2 (जज के रूप में कार्य करता है)।
- डिज़ाइन: एक नियंत्रित विदिन-सब्जेक्ट्स प्रयोग ( $N=5$ सीड्स) जो चार चरणों में मानक बाइनरी TTRL (जीत/हार) बनाम कॉन्फिडेंस-कैलिब्रेटेड TTRL की तुलना करता है: प्योर टेक्स्ट (Pure Text), प्योर विजुअल (Pure Visual), और दो कपलिंग दिशाएं (Text $\to$ Visual और Visual $\to$ Text)।
- नियंत्रण (Controls): अध्ययन में एक लेंथ-नॉर्मलाइज्ड कंट्रोल (प्रतिक्रियाओं को 500 वर्णों तक सीमित करना) और एक सिमेट्रिक लर्निंग रेट कंट्रोल ( $\alpha_{win} = \alpha_{lose}$ ) शामिल है, ताकि यह सुनिश्चित किया जा सके कि परिणाम आउटपुट फॉर्मेट के प्रभावों या अपडेट एसिमेट्री (update asymmetry) के कारण नहीं हैं।
कैलिब्रेटेड प्रोटोकॉल (The Calibrated Protocol):
1. कॉन्फिडेंस एलिसिटेशन (Confidence Elicitation): बाइनरी "A या B" निर्णय के बजाय, इवैल्यूएटर को एक प्रोबेबिलिटी एस्टीमेट ( $c_t \in [0, 1]$ ) आउटपुट करने के लिए प्रेरित किया जाता है, जो इस बात की संभावना है कि प्रतिक्रिया A, B से बेहतर है।
2. रनिंग कैलिब्रेशन (Running Calibration): बाद के कॉन्फिडेंस अनुमानों को कैलिब्रेट करने के लिए पिछले 10 (कॉन्फिडेंस, बाइनरी-आउटकम) जोड़ों पर एक स्लाइडिंग-विंडो आइसोटोनिक रिग्रेशन (isotonic regression) लागू किया जाता है।
3. कॉन्फिडेंस-वेटेड अपडेट्स (Confidence-Weighted Updates): एजेंट के स्ट्रैटेजी वेट्स को बाइनरी सिग्नल के बजाय कैलिब्रेटेड कॉन्फिडेंस के आधार पर अपडेट किया जाता है। अपडेट के परिमाण को कॉन्फिडेंस स्कोर $c_t$ से $[-\alpha_{win}, +\alpha_{win}]$ की रेंज में इस सूत्र का उपयोग करके मैप किया जाता है:
  $w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$
  यह तंत्र प्रभावी रूप से अपडेट को गेट (gate) करता है: अनिश्चित निर्णय ( $c_t \approx 0.5$ ) लगभग शून्य वेट परिवर्तन का परिणाम देते हैं, जिससे स्प्यूरियस प्रिफरेंस (spurious preferences) के संचय को रोका जा सकता है।

मुख्य परिणाम (Key Results)
अध्ययन यह प्रदर्शित करता है कि कॉन्फिडेंस-कैलिब्रेटेड TTRL, मानक बाइनरी TTRL की तुलना में प्रिफरेंस कपलिंग को महत्वपूर्ण रूप से कम करता है:

कपलिंग गुणांक ( $\gamma$ ): कैलिब्रेशन ने $\gamma_{T\to V}$ को 20% (0.924 से 0.744) और $\gamma_{V\to T}$ को 49% (1.580 से 0.806) कम कर दिया।
जेन्सन-शैनन डायवर्जेंस (JSD): डिस्ट्रीब्यूशनल डायवर्जेंस में कमी और भी स्पष्ट थी, जिसमें 45% ( $T\to V$ ) और 67% ( $V\to T$ ) की गिरावट देखी गई।
तंत्र (Mechanism): इस कमी का श्रेय "कॉन्फिडेंस गेटिंग" को दिया जाता है। लगभग 31% इवैल्यूएटर निर्णय अनिश्चित रेंज ( $c_t \in [0.4, 0.6]$ ) में आए। मानक TTRL में, ये पूर्ण-वेट अपडेट में योगदान देते; कैलिब्रेटेड वेरिएंट में, वे नगण्य अपडेट में योगदान देते हैं।
मजबूती (Robustness): प्रभाव सिमेट्रिक लर्निंग रेट और लेंथ-नॉर्मलाइज्ड स्थितियों के तहत भी बना रहा, जिससे पुष्टि होती है कि कमी स्वयं कैलिब्रेशन तंत्र द्वारा संचालित है, न कि लर्निंग रेट एसिमेट्री या आउटपुट फॉर्मेटिंग द्वारा।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह LLM एजेंट फीडबैक लूप में प्रिफरेंस कपलिंग के शमन के लिए इवैल्यूएटर कैलिब्रेशन को लागू करने वाला पहला अध्ययन है। इसके प्राथमिक योगदान हैं:

अनुभवजन्य साक्ष्य (Empirical Evidence): डेटा प्रदान करना कि कॉन्फिडेंस-कैलिब्रेटेड फीडबैक कपलिंग गुणांकों को 23–31% और JSD को समान परिमाण से कम करता है।
लाइटवेट शमन (Lightweight Mitigation): एक ऐसा "ड्रॉप-इन" प्रोटोकॉल प्रस्तावित करना जिसके लिए एक्सेक्यूटर मॉडल में कोई बदलाव या इवैल्यूएटर के रिट्रेनिंग की आवश्यकता नहीं है, यह केवल प्रॉम्प्ट इंजीनियरिंग और एक सरल अपडेट नियम पर निर्भर करता है।
व्यावहारिक सिफारिश (Practical Recommendation): चिकित्सकों को बाइनरी निर्णयों के बजाय प्रोबेबिलिटी एस्टीमेट्स निकालने और LLM-as-judge पाइपलाइनों में कॉन्फिडेंस-वेटेड अपडेट्स का उपयोग करने की सलाह देना।

सीमाएं और विनम्रता (Limitations and Modesty)
लेखक स्पष्ट रूप से नोट करते हैं कि कैलिब्रेशन कपलिंग को कम करता है लेकिन समाप्त नहीं करता है। अवशिष्ट कपलिंग (जैसे, $\gamma \approx 0.8$ ) संभवतः शोर (noise) के बजाय वास्तविक, उच्च-विश्वास वाले इवैल्यूएटर प्रिफरेंस को दर्शाती है। यह अध्ययन विशिष्ट मॉडल स्नैपशॉट्स (GLM5.2, DeepSeek-V4-Pro) और एक सरलीकृत स्लाइडिंग-विंडो कैलिब्रेशन दृष्टिकोण तक सीमित है। लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि प्रभावी है, फिर भी EPC मेट्रिक्स की नियमित निगरानी आवश्यक है, क्योंकि यदि अवशिष्ट कपलिंग को अनदेखा किया गया तो कैलिब्रेशन सुरक्षा की झूठी भावना पैदा कर सकता है।

समस्या: "हाँ/नहीं" का जाल

समाधान: "कॉन्फिडेंस स्कोर" मांगना

प्रयोग में क्या हुआ?

पेच (The Catch)

मुख्य निष्कर्ष (The Takeaway)

इसी तरह के और पेपर