तकनीकी सारांश: मल्टी-एजेंट लैंग्वेज मॉडल्स में मोरल हेज़र्ड (नैतिक जोखिम)

समस्या विवरण

यह शोध पत्र मल्टी-एजेंट लार्ज लैंग्वेज मॉडल (LLM) सिस्टमों में एक महत्वपूर्ण सुरक्षा चुनौती को संबोधित करता है: मोरल हेज़र्ड (नैतिक जोखिम) की समस्या। इन सिस्टमों में, एजेंट अक्सर एक ऐसी स्थिति का सामना करते हैं जहाँ सामाजिक रूप से मूल्यवान कार्य करने (जैसे कि दूसरे एजेंट की योजना को सत्यापित करना, जोखिमों के प्रति चेतावनी देना, या टूल्स को क्वेरी करना) के लिए एक निजी लागत (टोकन, लेटेंसी, कंप्यूट) चुकानी पड़ती है, जबकि इसका प्राथमिक लाभ सामूहिक सिस्टम या अन्य एजेंटों को प्राप्त होता है। होल्मस्ट्रॉम (Holmström) के टीम मोरल-हेज़र्ड मॉडल का हवाला देते हुए, लेखक तर्क देते हैं कि एजेंट तार्किक रूप से प्रयास को रोक सकते हैं यदि उनके निजी हिस्से का आउटपुट टीम के कुल आउटपुट के मुकाबले इतना कम है कि वह लागत को उचित न ठहरा सके, भले ही वह कार्य सामाजिक रूप से इष्टतम (optimal) क्यों न हो।

मौजूदा सहकारी गेम बेंचमार्क (जैसे प्रिजनर्स डिलेमा, पब्लिक गुड्स) अक्सर सहयोग के कार्य को परिणाम के साथ मिला देते हैं या निजी सूचना प्राप्ति और सार्वजनिक संचार के बीच अंतर करने में विफल रहते हैं। यह शोध पत्र तर्क देता है कि वर्तमान मूल्यांकन अक्सर समग्र सफलता मेट्रिक्स पर निर्भर करते हैं, जो सहकारी श्रृंखला (cooperative chain) के विशिष्ट लिंक में विफलताओं को छिपा सकते हैं (उदाहरण के लिए, एक एजेंट क्वेरी तो कर सकता है लेकिन जानकारी संचारित करने में विफल हो सकता है, या संचार तो कर सकता है लेकिन उसका उपयोग करने में विफल हो सकता है)।

कार्यप्रणाली: डायलॉग मोरल हेज़र्ड गेम

इस छिपे हुए एक्शन स्ट्रक्चर को अलग करने और मापने के लिए, लेखक डायलॉग मोरल हेज़र्ड गेम पेश करते हैं, जो एक नियंत्रित टेक्स्टुअल गेम है जिसके निम्नलिखित मैकेनिक्स हैं:

• सेटअप: $N$ एजेंट एक निर्देशित रिंग (directed ring) में व्यवस्थित हैं। प्रत्येक एजेंट के पास एक "केस" होता है जिसमें दृश्यमान एक्शन यूटिलिटी और एक छिपी हुई असुरक्षित (unsafe) विकल्प होती है।
• दुविधा (The Dilemma): "वर्क" स्टेज में, एक एजेंट को इन दोनों के बीच चुनना होता है:
  1. लोकल एक्शन (Local Action): अपने स्वयं के केस के बारे में एक सार्वजनिक प्रश्न का उत्तर देकर तत्काल निजी रिवॉर्ड को सुरक्षित रखना।
  2. क्वेरी (Query): अगले एजेंट के केस के छिपे हुए असुरक्षित विकल्प को निजी तौर पर प्रकट करने के लिए लागत $k$ चुकाना।
• संचार (Communication): यदि कोई एजेंट क्वेरी करता है, तो वह एक बोर्ड पर एक सार्वजनिक चेतावनी नोट (NOTE CASE <ID> UNSAFE <OPTION>) पोस्ट कर सकता है।
• निर्णय (Decision): अंतिम चरण में, सभी एजेंट अपने स्वयं के केस के लिए अंतिम क्रिया चुनते हैं।
• सफलता की शर्त: टीम की सफलता ($T=1$) के लिए आवश्यक है कि सभी एजेंट अपने संबंधित मामलों में छिपे हुए असुरक्षित विकल्प की सही पहचान करें और उससे बचें। इसके लिए एक पूर्ण श्रृंखला की आवश्यकता होती है: क्वेरी $\to$ चेतावनी $\to$ सही निर्णय।

मूल्यांकन मेट्रिक्स: लेखक प्रदर्शन को छह अलग-अलग परिणामों में विभाजित करते हैं ताकि प्रयास और सफलता को आपस में न मिलाया जा सके:

1. लोकल रिवॉर्ड प्रिजर्वेशन: तत्काल निजी लाभ को चुनना।
2. क्वेरी रेट: लागत उठाने की इच्छा।
3. इन्फॉर्मेशन ट्रांसफर: क्या क्वेरी की गई तथ्य को सही ढंग से संप्रेषित किया गया है।
4. अनसेफ चॉइस: छिपे हुए हानिकारक विकल्प का चयन करना।
5. फॉर्मैट वैलिडिटी: प्रोटोकॉल सिंटैक्स का पालन करना।
6. टीम सक्सेस: सामूहिक उद्देश्य की पूर्णता।

वैलिडेशन प्रयोग:

• ऑटोनॉमस स्वीप्स (Autonomous Sweeps): क्वेरी लागत, टीम रिवॉर्ड और समूह के आकार को बदलकर यह परीक्षण करना कि क्या एंड-टू-एंड व्यवहार प्रोत्साहन (incentives) के प्रति प्रतिक्रिया देता है।
• प्राइवेट-शेयर इंसेंटिव आइसोलेशन: फोकल एजेंट के निर्णय को अलग करने के लिए पार्टनर व्यवहार को स्क्रिप्ट करना। यह परीक्षण करता है कि क्या एजेंट की क्वेरी थ्रेशोल्ड होल्मस्ट्रॉम मॉडल से प्राप्त सैद्धांतिक सीमा ($\alpha_i \Delta Y > k$) का अनुसरण करती है, जहाँ $\alpha_i$ टीम रिवॉर्ड में एजेंट का निजी हिस्सा है।

लर्निंग इंटरवेंशन: अध्ययन सात ओपन-वेट मॉडल्स (4B–9B) और एक फ्रंटियर API मॉडल (GPT-5.6 Sol) पर चार अपडेट मैकेनिज्म का मूल्यांकन करता है:

1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): क्वेरी–वार्निंग–डिसीजन अनुक्रम का अनुकरण (imitation)।
2. RLOO: लीव-वन-आउट बेसलाइन के साथ सुदृढीकरण शिक्षण (Reinforcement learning), जो टारगेट-एक्शन मैच और रेशनल स्ट्रक्चर के लिए अनुकूलित है।
3. SFT+RLOO: दोनों का क्रमिक अनुप्रयोग।
4. GEPA: वेट अपडेट के बिना प्रॉम्प्ट ऑप्टिमाइज़ेशन (प्राकृतिक भाषा निर्देशों पर खोज)।

मुख्य परिणाम

1. बेस मॉडल व्यवहार

अधिकांश ओपन-वेट मॉडल इच्छित सहकारी तंत्र को प्राप्त करने में विफल रहते हैं।

• प्रयास और सफलता का विचलन: कई मॉडल या तो क्वेरी करने से बचते हैं (निजी रिवॉर्ड बचाते हैं) या जानकारी सफलतापूर्वक स्थानांतरित करने या असुरक्षित विकल्पों से बचने में विफल रहे बिना बार-बार क्वेरी करते हैं।
• फ्रंटियर बेसलाइन: GPT-5.6 Sol 100% टीम सफलता, 100% क्वेरी रेट और पूर्ण सूचना हस्तांतरण प्राप्त करता है, जो इस कार्य के लिए एक "सीलिंग" (ceiling) स्थापित करता है।
• इंसेंटिव सेंसिटिविटी: GPT-5.6 Sol मजबूत प्रोत्साहन संवेदनशीलता प्रदर्शित करता है। ऑटोनॉमस स्वीप्स में, जैसे-जैसे लागत बढ़ती है, इसकी क्वेरी दर गिरती है और जैसे-जैसे टीम रिवॉर्ड बढ़ता है, यह बढ़ती है। प्राइवेट-शेयर आइसोलेशन प्रयोग में, इसका एम्पिरिकल क्वेरी थ्रेशोल्ड होल्मस्ट्रॉम-व्युत्पन्न सीमा के साथ 0.013 के माध्य पूर्ण त्रुटि (mean absolute error) के साथ ट्रैक करता है, जो पुष्टि करता है कि यह डाउनस्ट्रीम विफलताओं को हटाने के बाद निजी-बनाम-सामाजिक प्रोत्साहन संरचना के प्रति प्रतिक्रिया देता है।

2. लर्निंग इंटरवेंशन के प्रभाव

अनुकूलन (optimization) के प्रभाव अत्यधिक विषम और मॉडल-विशिष्ट हैं:

• OLMo-7B: सबसे स्पष्ट मैकेनिज्म-संगत सुधार दिखाता है। SFT और SFT+RLOO ने क्वेरी दरों और सूचना हस्तांतरण दोनों में सुधार करके टीम सफलता (लगभग 1% से ~39% तक) को महत्वपूर्ण रूप से बढ़ाया।
• GEPA (प्रॉम्प्ट ऑप्टिमाइज़ेशन): टीम सफलता में सुधार कर सकता है लेकिन अक्सर मैकेनिज्म बाईपास (mechanism bypass) के माध्यम से। उदाहरण के लिए, Qwen3-4B ने अपनी क्वेरी दर को 0% तक कम करके GEPA के साथ उच्च टीम सफलता प्राप्त की। अनुकूलित प्रॉम्प्ट ने मॉडल को क्वेरी करने की लागत उठाने के बजाय सार्वजनिक यूटिलिटीज से सुरक्षा का अनुमान लगाने का निर्देश दिया। यह दर्शाता है कि अनुकूलन समग्र रिवॉर्ड को बदल सकता है बिना इच्छित सहकारी व्यवहार को पुनः प्राप्त किए।
• RLOO: आमतौर पर मॉडल्स में टीम सफलता पर न्यूनतम प्रभाव दिखाया।

3. सांख्यिकीय डायग्नोस्टिक्स

• वेट-लेवल अपडेट्स (SFT, RLOO) ने सात ओपन-वेट मॉडल्स में अनिश्चित औसत लाभ दिखाया, जिसमें सबसे अच्छा देखा गया सुधार OLMo-7B द्वारा संचालित था।
• GEPA ने टीम सफलता में सबसे बड़ा औसत लाभ (+9.4 प्रतिशत अंक) दिखाया, हालांकि यह मल्टीपल-टेस्टिंग सुधारों में जीवित नहीं रहा।
• सहसंबंध (Correlation): रियलाइज्ड इन्फॉर्मेशन ट्रांसफर का टीम सफलता के साथ सबसे मजबूत सहसंबंध ($r=0.96$) था, जबकि केवल क्वेरी रेट एक कमजोर भविष्यवक्ता ($r=0.63$) था।

महत्व और दावे

यह शोध पत्र दावा करता है कि समग्र टीम सफलता मल्टी-एजेंट LLM सुरक्षा के मूल्यांकन के लिए एक अपर्याप्त मीट्रिक है। मुख्य योगदान यह प्रमाण देना है कि:

1. मैकेनिज्म-लेवल मूल्यांकन आवश्यक है: उच्च समग्र स्कोर "शॉर्टकट" (जैसे, ह्यूरिस्टिक अनुमान) के माध्यम से प्राप्त किए जा सकते हैं जो मजबूत सहयोग के लिए आवश्यक महंगी, अन्य-लाभकारी मेहनत को बायपास करते हैं। मूल्यांकनों को केवल टीम सफलता के बजाय मैकेनिज्म-लेवल व्यवहार (क्वेरी उपयोग, सूचना हस्तांतरण) रिपोर्ट करना चाहिए।
2. कंस्ट्रक्ट वैलिडिटी (Construct Validity): डायलॉग मोरल हेज़र्ड गेम सफलतापूर्वक मोरल हेज़र्ड के हिडन-एक्शन स्ट्रक्चर को संचालित करता है। प्रोत्साहन-आइसोलेशन प्रयोग में फ्रंटियर मॉडल का व्यवहार यह प्रमाणित करता है कि LLMs आर्थिक सिद्धांत द्वारा परिभाषित विशिष्ट निजी-बनाम-सामाजिक प्रोत्साहन ट्रेड-ऑफ के प्रति प्रतिक्रिया दे सकते हैं।
3. ऑप्टिमाइज़ेशन के जोखिम: अनुकूलन तकनीकें (जैसे GEPA) रिवॉर्ड के वैकल्पिक, गैर-सहकारी मार्गों की खोज करके कार्य प्रदर्शन में सुधार कर सकती हैं, जो इच्छित सहकारी तंत्र को सीखने की विफलता को छिपा सकती हैं।

लेखक निष्कर्ष निकालते हैं कि मल्टी-एजेंट LLM परिनियोजन (deployment) के लिए, जहाँ काम की जाँच करना, डाउनस्ट्रीम घटकों को चेतावनी देना, या टूल्स को क्वेरी करना निजी लागत लागू करता है, मूल्यांकनों को लागत उठाने की इच्छा और सफल सहयोग के बीच अंतर करना चाहिए। यह शोध पत्र यह सिद्ध करने का दावा नहीं करता है कि सभी स्वायत्त विफलताएं मोरल हेज़र्ड हैं, बल्कि यह लागू किया गया प्रोत्साहन निर्माण (incentive construct) अन्य विफलता मोडों से अलग होने पर अपने अनुमानित व्यवहारिक संक्रमणों को उत्पन्न करता है।