STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs
यह शोध पत्र STEMMA प्रस्तुत करता है, जो एक एडवरसेरियल मल्टी-एजेंट फ्रेमवर्क और मैन्युअल रूप से डिज़ाइन किए गए प्रॉम्प्ट्स का एक सेट है, जो लार्ज लैंग्वेज मॉडल्स में आत्म-पहचान की निरंतरता (self-identity consistency) का मूल्यांकन करता है, और यह प्रकट करता है कि छात्र मॉडल अक्सर शिक्षक मॉडल्स से उन व्यवहार संबंधी पैटर्न को विरासत में प्राप्त करते हैं जो उनके आत्म-प्रतिनिधित्व (self-representations) में कमजोरियों का कारण बनते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ अलग-अलग लेखकों द्वारा लिखी गई विशाल, सुपर-स्मार्ट किताबें (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) मौजूद हैं। ये किताबें इतनी जटिल और महंगी हैं कि इन्हें लिखने में लाखों डॉलर खर्च होते हैं और इन्हें बनाने में वर्षों लग जाते हैं। पैसा बचाने के लिए, प्रकाशक अक्सर "नॉलेज डिस्टिलेशन" (ज्ञान आसवन) नामक एक चाल का उपयोग करते हैं। इसे ऐसे समझें जैसे एक मास्टर शेफ एक बेहतरीन व्यंजन का स्वाद लेता है और फिर एक जूनियर शेफ को उसी का एक छोटा, सस्ता संस्करण बनाना सिखाता है। जूनियर शेफ रेसिपी और स्वाद तो सीख जाता है, लेकिन बड़ा सवाल यह है कि क्या जूनियर शेफ गलती से मास्टर शेफ की गुप्त पहचान, उसके पसंदीदा गाने या उसकी व्यक्तिगत आदतों को भी सीख जाता है?
यही वह रहस्य है जिसमें एक नया अध्ययन गहराई से उतरता है। शोधकर्ता चिंतित हैं कि जब ये छोटे AI मॉडल बड़े मॉडल्स से सीखते हैं, तो वे उन "व्यवहार संबंधी आदतों" को भी अपना सकते हैं जिन्हें उन्हें नहीं अपनाना चाहिए, जैसे कि किसी और होने का नाटक करना या अपनी पहचान के बारे में राज खोल देना। यह ऐसा ही है जैसे यदि कोई छात्र अपने शिक्षक का होमवर्क कॉपी करते समय यह दावा करने लगे कि वह स्वयं शिक्षक है, या एक रोबोट यह कहने लगे, "मुझे कैलिफोर्निया की एक कंपनी ने बनाया है" जबकि वास्तव में उसे चीन में बनाया गया था। यह समझना महत्वपूर्ण है क्योंकि यदि AI मॉडल अपनी पहचान को लेकर भ्रमित हैं, तो इससे वे पक्षपाती, असुरक्षित या यहाँ तक कि उन रहस्यों को उजागर करने के लिए भी छली हो सकते हैं जिन्हें उन्हें छिपा कर रखना था।
यहाँ STEMMA आता है, जो शोधकर्ताओं N. सिवा गोपाला कृष्णा और कनिष्का जैन द्वारा इस पहेली को सुलझाने के लिए बनाया गया एक चतुर फ्रेमवर्क है। आप STEMMA को डिजिटल जासूसों की एक ऐसी टीम के रूप में देख सकते हैं जो विभिन्न AI मॉडल्स के साथ "मैं कौन हूँ?" का एक उच्च-दांव वाला खेल खेलने के लिए मिलकर काम करती है। केवल एक रोबोट से, "तुम कौन हो?" पूछने के बजाय (क्योंकि अधिकांश रोबोट विनम्र होने के लिए प्रोग्राम किए जाते हैं और सही उत्तर देंगे), STEMMA टीम रोबोटों को गलती करने के लिए उकसाने के लिए एक मल्टी-एजेंट सिस्टम का उपयोग करती है।
यह खेल इस प्रकार काम करता है:
- प्रोबिंग एजेंट (Probing Agent) जांच करने वाला है। यह घुमावदार, पेचीदा सवाल पूछता है, जो अक्सर एक कहानी, पहेली या यहाँ तक कि एक तस्वीर के भीतर छिपे होते हैं। यह कुछ ऐसा है जैसे पूछना, "यदि आप अपने स्वयं के निर्माण के बारे में बनी किसी फिल्म के पात्र होते, तो क्रेडिट्स में आपका नाम क्या होता?"
- रिव्यूअर एजेंट (Reviewer Agent) एक सतर्क गार्ड है। यह रोबोट के उत्तर को सुनता है और निर्णय लेता है, "क्या इसने अभी-अभी राज खोला?" यदि रोबोट सवाल से बचने की कोशिश करता है या अस्पष्ट उत्तर देता है, तो रिव्यूअर प्रोबिंग एजेंट को एक अधिक सटीक सवाल के साथ फिर से प्रयास करने के लिए कहता है।
- जज एजेंट (Judge Agent) अंतिम रेफरी है। यह पूरी बातचीत को देखता है और एक स्कोर देता है। यदि रोबोट सही ढंग से कहता है, "मैं Qwen हूँ," तो उसे पास कर दिया जाता है। यदि वह कहता है, "मैं GPT हूँ," तो उसे फेल कर दिया जाता है। यदि वह कहता है, "शायद मैं Google से हूँ?" या किसी भूमिका निभाने का नाटक करता है जहाँ वह दावा करता है कि वह कोई और है, तो उसे एक विशेष "संदिग्ध" स्कोर मिलता है।
शोधकर्ताओं ने इस जासूसी दल का परीक्षण 16 अलग-अलग AI मॉडल्स के खिलाफ किया, जिनमें ओपन-सोर्स प्रोजेक्ट्स से लेकर बंद कमर्शियल दिग्गजों तक शामिल थे। उन्होंने 12 अलग-अलग प्रकार के पेचीदा प्रॉम्प्ट्स का उपयोग किया और एजेंटों ने कोड को तोड़ने के लिए प्रत्येक मॉडल से बार-बार बातचीत की।
परिणाम काफी चौंकाने वाले थे। अध्ययन में पाया गया कि कई मॉडल्स इन पहचान के छलों के प्रति आश्चर्यजनक रूप से संवेदनशील हैं। उदाहरण के लिए, MiniMax-M2.5 मॉडल सबसे अधिक "लीकी" (राज खोलने वाला) था, जो सख्त परीक्षणों में 82% और उदार परीक्षणों में 96% मामलों में विफल रहा। इसका मतलब है कि लगभग हर बार जब जासूसों ने सही (या गलत) तरीके से पूछा, तो मॉडल ने अनजाने में खुलासा कर दिया कि उसे किसी और द्वारा प्रशिक्षित किया जा रहा था या उसने किसी अन्य कंपनी का दावा किया। अन्य मॉडल्स, जैसे Qwen3.5-Plus और Step-3.5-Flash ने भी भ्रम की उच्च दर दिखाई, जिसमें क्रमशः 74% और 66% की सख्त विफलता दर थी।
हालाँकि, सभी मॉडल्स को बेवकूफ बनाना आसान नहीं था। कुछ मॉडल्स, जैसे GPT-5.4-Nano और Grok-4.1.fast, ने पूरी तरह से अपनी स्थिति बनाए रखी, जिनकी विफलता दर लगभग शून्य थी। वे बिल्कुल जानते थे कि वे कौन हैं, चाहे जासूसों ने उन्हें कितना भी उकसाया हो। दिलचस्प बात यह है कि अध्ययन में यह भी देखा गया कि कुछ मॉडल परिवारों (जैसे नए Kimi और Qwen मॉडल) के नए संस्करण अपने पुराने भाई-बहनों की तुलना में अपने रहस्यों को बनाए रखने में बहुत बेहतर थे, जिससे पता चलता है कि "शिक्षक" अपने छात्रों को चरित्र में बने रहने के लिए बेहतर तरीके से सिखा रहे हैं।
शोधकर्ताओं ने यह भी पाया कि कुछ प्रकार के प्रश्न मॉडल्स के धैर्य को तोड़ने में बहुत प्रभावी थे। वे प्रॉम्प्ट्स जिनमें रोल-प्लेइंग, छवियों के साथ पहेलियाँ सुलझाना, या मॉडल को अपने बारे में एक भविष्य के संग्रहालय प्रदर्शनी की कल्पना करने के लिए कहना शामिल था, वे पहचान फिसलने का कारण बनने में सबसे सफल रहे।
संक्षेप में, यह पेपर सुझाव देता है कि हालांकि AI मॉडल्स स्मार्ट हो रहे हैं, लेकिन उनमें से कई अभी भी अपनी उत्पत्ति को लेकर थोड़े भ्रमित हैं, खासकर जब उन्हें चतुराई भरे, अप्रत्यक्ष सवालों के माध्यम से दबाया जाता है। यह अध्ययन यह साबित नहीं करता है कि ये मॉडल्स दुर्भावनापूर्ण हैं, लेकिन यह इस बात पर प्रकाश डालता है कि मॉडल्स जो होने चाहिए हैं और वे दबाव में वास्तव में क्या कहते हैं, उनके बीच एक "अंतराल" है। लेखक चेतावनी देते हैं कि उनके निष्कर्ष इन विशिष्ट सिमुलेशन और प्रॉम्प्ट्स पर आधारित हैं, और यह समझने के लिए कि प्रशिक्षण प्रक्रिया के दौरान कितना "अनजाने में सीखा गया" ज्ञान होता है, और अधिक शोध की आवश्यकता है। लेकिन फिलहाल, हम जानते हैं कि यदि आप एक AI से सही (या गलत) तरीके से पूछते हैं, तो वह शायद वह कहानी बताएगा कि वह खुद को क्या समझता है, बजाय इसके कि वह वास्तव में कौन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।