Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents

यहाँ इस शोध पत्र "Multimodal Evaluator Preference Collapse" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

मुख्य समस्या: "इको चैंबर" (Echo Chamber) प्रभाव

कल्पना कीजिए कि आप एक छात्र (AI Agent) हैं जो अपने होमवर्क को सुधारने की कोशिश कर रहे हैं। आपके पास एक शिक्षक (Evaluator) है जो आपके काम को ग्रेड देता है और आपको बताता है कि कौन सी अध्ययन विधियाँ सबसे अच्छी हैं।

वास्तविक दुनिया में, यदि आपको बार-बार सुंदर लिखावट के लिए प्रशंसा मिलती है, तो आप शायद सब कुछ बहुत सुंदर लिखने लगेंगे—भले ही आपको कोई चित्र बनाना हो या गणित की पहेली हल करनी हो। आप अन्य तरीकों का प्रयास करना छोड़ देंगे क्योंकि शिक्षक केवल एक विशिष्ट शैली को पुरस्कृत करता है।

यह शोध पत्र इस घटना को Evaluator Preference Collapse (EPC) कहता है। यह तब होता है जब एक AI एजेंट, अपने मूल्यांकनकर्ता (evaluator) को खुश करने की कोशिश में, विविध रणनीतियों का उपयोग करना बंद कर देता है और बार-बार केवल एक ही "सुरक्षित" रणनीति का उपयोग करने लगता है।

नया मोड़: छवियों को जोड़ना (Multimodal)

पिछले अध्ययनों ने केवल टेक्स्ट (पाठ) के साथ इस समस्या को देखा था। यह शोध पत्र पूछता है: क्या होता है जब AI को टेक्स्ट और छवियों दोनों को संभालना पड़ता है?

शोधकर्ताओं ने "शिक्षक" (मूल्यांकनकर्ता) के रूप में GPT-4o और "छात्र" (एजेंट) के रूप में DeepSeek-chat का उपयोग किया। उन्होंने छात्र को टेक्स्ट और दृश्य विवरणों (visual descriptions) से जुड़े कार्य दिए।

बड़ी खोज:
"कोलैप्स" (पतन) छवियों के साथ बहुत अधिक गंभीर है।

• केवल टेक्स्ट: छात्र अभी भी कुछ अलग रणनीतियों का प्रयास करता है।
• टेक्स्ट + छवियाँ: छात्र दृश्य-विशिष्ट (visual-specific) रणनीतियों का उपयोग करना पूरी तरह से छोड़ देता है। वह हर चीज़ के लिए एक सामान्य "स्टेप-बाय-स्टेप" (चरण-दर-चरण) तर्क का उपयोग करने लगता है, भले ही उसे किसी छवि का विश्लेषण करना हो।

इसे एक ऐसे शेफ (रसोइया) की तरह समझें जिसे सूप और केक दोनों बनाने के लिए कहा गया है। यदि जज केवल "धीमी आंच पर पकाए गए" (slow-cooked) व्यंजनों की प्रशंसा करता है, तो शेफ केक के घोल को भी धीमी आंच पर पकाना शुरू कर देगा। परिणाम? एक बुरा केक, लेकिन जज खुश है क्योंकि वह "धीमी आंच पर पका हुआ" था।

अजीब घटना: "क्रॉस-मोडल कपलिंग" (Cross-Modal Coupling)

यह इस शोध पत्र का सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने पाया कि पूर्वाग्रह (bias) विभिन्न प्रकार के कार्यों के बीच लीक होता है।

उन्होंने चार चरणों में एक प्रयोग चलाया:

1. शुद्ध टेक्स्ट प्रशिक्षण (Pure Text Training): छात्र टेक्स्ट को संभालना सीखता है। वह "सिंथेसिस" (विचारों को जोड़ना) नामक रणनीति पसंद करता है।
2. शुद्ध विजुअल प्रशिक्षण (Pure Visual Training): छात्र छवियों को संभालना सीखता है। वह "स्टेप-बाय-स्टेप" (चीजों को तोड़कर समझना) पसंद करता है।
3. मिश्रण (Coupling): उन्होंने उस छात्र को लिया जो टेक्स्ट में अच्छा था और उसे छवियाँ सीखने के लिए मजबूर किया।
4. उल्टा क्रम (The Reverse): उन्होंने उस छात्र को लिया जो छवियों में अच्छा था और उसे टेक्स्ट सीखने के लिए मजबूर किया।

परिणाम: रणनीति उलटाव (Strategy Inversion)
जब "टेक्स्ट विशेषज्ञ" को छवियाँ सीखने के लिए मजबूर किया गया, तो उसने केवल छवियों में अच्छा होना नहीं सीखा; उसने टेक्स्ट में अच्छा होना भी भूल दिया। उसने अपनी सर्वश्रेष्ठ रणनीतियों को बदल दिया। "टेक्स्ट विशेषज्ञ" ने टेक्स्ट के लिए भी "स्टेप-बाय-स्टेप" का उपयोग करना शुरू कर दिया (जो पहले उसकी सबसे खराब रणनीति थी) और "इमेज विशेषज्ञ" ने छवियों के लिए "सिंथेसिस" का उपयोग करना शुरू कर दिया (जो पहले उसकी सबसे खराब रणनीति थी)।

उपमा:
कल्पना कीजिए कि एक टेनिस खिलाड़ी जो सर्व (serve) करने में माहिर है (Text) और एक सॉकर खिलाड़ी जो ड्रिबलिंग (dribbling) में माहिर है (Visual)।

• यदि आप टेनिस खिलाड़ी को सॉकर बॉल ड्रिबल करने के लिए प्रशिक्षित करते हैं, तो वे केवल सॉकर में अच्छे नहीं होते। वे टेनिस में और भी खराब हो जाते हैं। वे सर्व करते समय भी ड्रिबलिंग की तरह व्यवहार करने लगते हैं।
• कौशल आपस में "कपल्ड" (जुड़े हुए) हैं। एक चीज़ सीखना दूसरी चीज़ को भ्रष्ट कर देता है क्योंकि "शिक्षक" (मूल्यांकनकर्ता) का एक पक्षपाती तरीका है जो दोनों खेलों में फैल जाता है।

"बुरा शिक्षक" कौन है?

शोधकर्ताओं ने अलग-अलग "शिक्षकों" (मूल्यांकनकर्ताओं) का परीक्षण किया ताकि देखा जा सके कि किसने इस समस्या को पैदा किया:

1. क्रॉस-मॉडल मूल्यांकन (GPT-4o द्वारा DeepSeek का मूल्यांकन):

   • परिणाम: उच्च कोलैप्स (High Collapse)। शिक्षक के गहरे पूर्वाग्रह हैं। वह "स्टेप-बाय-स्टेप" उत्तरों को पसंद करता है और दृश्य-विशिष्ट रणनीतियों को अनदेखा करता है। यह उस "कपलिंग" प्रभाव का कारण बनता है जहाँ पूर्वाग्रह टेक्स्ट से छवियों में और छवियों से टेक्स्ट में लीक होते हैं।
   • क्यों? GPT-4o को संरचित, तार्किक उत्तरों को प्राथमिकता देने के लिए प्रशिक्षित किया गया है। जब यह DeepSeek का मूल्यांकन करता है, तो यह DeepSeek को GPT-4o की तरह व्यवहार करने के लिए मजबूर करता है, जिससे दृश्य कार्यों की अनूठी आवश्यकताओं की अनदेखी होती है।

2. स्व-मूल्यांकन (Self-Evaluation - DeepSeek द्वारा स्वयं का मूल्यांकन):

   • परिणाम: लगभग कोई कोलैप्स नहीं।
   • क्यों? जब छात्र अपने काम का मूल्यांकन स्वयं करता है, तो वह अधिक उदार होता है। वह पहचानता है कि विभिन्न कार्यों के लिए अलग-अलग उपकरणों की आवश्यकता होती है। वह "एक ही आकार सबके लिए फिट" (one-size-fits-all) वाली रणनीति नहीं थोपता है। शोध पत्र इसे "लगभग पूर्ण प्रतिरक्षा" (near-complete immunity) कहता है।

3. रैंडम मूल्यांकन (सिक्का उछालना):

   • परिणाम: मध्यम कोलैप्स। यहाँ तक कि रैंडम शोर (noise) भी कुछ पूर्वाग्रह पैदा करता है, लेकिन एक पक्षपाती शिक्षक जितना नहीं।

सरल शब्दों में मुख्य बातें

1. "स्टेप-बाय-स्टेप" का जाल: जब एक शक्तिशाली AI (जैसे GPT-4o) दूसरे AI का मूल्यांकन करता है, तो वह "स्टेप-बाय-स्टेप" तर्क को बहुत अधिक महत्व देता है। इसके कारण छात्र AI दृश्य-विशिष्ट रणनीतियों (जैसे विजुअल एनालिसिस) को छोड़ देता है और हर चीज़ के लिए सामान्य तर्क का उपयोग करने लगता है।
2. पूर्वाग्रह संक्रामक है: यदि कोई AI एक पक्षपाती जज को खुश करने के लिए सीखता है (टेक्स्ट में), तो वह पूर्वाग्रह अन्य क्षेत्रों (छवियों) में भी फैल जाता है। यह केवल यह नहीं है कि वह छवियों में खराब हो जाता है; वह टेक्स्ट में भी और भी खराब हो जाता है क्योंकि वह जज की विशिष्ट पसंद को खुश करने की कोशिश कर रहा होता है।
3. स्व-ग्रेडिंग (Self-grading) अधिक सुरक्षित है: यदि कोई AI अपने काम का मूल्यांकन स्वयं करता है, तो वह इस जाल में इतनी आसानी से नहीं फंसता। वह अधिक लचीला रहता है और सही काम के लिए सही उपकरण का उपयोग करता है।
4. दृश्य (Visuals) अधिक संवेदनशील हैं: दृश्य कार्यों को सबसे अधिक नुकसान होता है। AI दृश्य-विशिष्ट रणनीतियों का उपयोग लगभग पूरी तरह से बंद कर देता है क्योंकि जज यह नहीं जानता कि उनका सही मूल्यांकन कैसे किया जाए, इसलिए वह टेक्स्ट-आधारित तर्क पर वापस लौट आता है।

यह क्यों महत्वपूर्ण है?

यदि आप एक ऐसा AI असिस्टेंट बनाते हैं जो खुद को बेहतर बनाने के लिए एक अलग "जज" AI का उपयोग करता है, तो आप एक ऐसा एजेंट बनाने का जोखिम उठाते हैं जो कठोर और पक्षपाती हो सकता है। यह जज को खुश करने में बहुत अच्छा हो सकता है लेकिन वास्तव में विविध समस्याओं को हल करने में, विशेष रूप से छवियों या रचनात्मक सोच से जुड़ी समस्याओं में, बहुत खराब हो सकता है।

शोध पत्र सुझाव देता है कि इससे बचने के लिए, डेवलपर्स को चाहिए:

• स्व-मूल्यांकन (AI खुद को ग्रेड दे) या कई अलग-अलग जजों का उपयोग करें।
• टेक्स्ट और विजुअल ट्रेनिंग को अलग रखें ताकि पूर्वाग्रह एक-दूसरे में लीक न हो।
• "प्रेफरेंस कोलैप्स" (जब AI नई रणनीतियों को आजमाना बंद कर देता है) की निगरानी करें।