When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors
यह शोध पत्र मॉडल डिस्टिलेशन के कारण एलएलएम एजेंटों में होने वाले गैर-अनिवार्य व्यवहारिक समरूपीकरण को मापने और अंतर स्पष्ट करने के लिए पूरक मेट्रिक्स के रूप में रिस्पॉन्स पैटर्न सिमिलैरिटी (RPS) और एक्शन ग्राफ सिमिलैरिटी (AGS) को प्रस्तुत करता है, जो 18 मॉडलों में महत्वपूर्ण इन-फैमिली अभिसरण और टीचर-विशिष्ट पैटर्न को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
AI एजेंटों की दुनिया की कल्पना एक हलचल भरे शहर के रूप में करें जहाँ डिजिटल दुकानदार रहते हैं। ये स्मार्ट बॉट्स हैं जो आपकी उड़ान बुक करने, सामान वापस करने या आपके फोन प्लान को ठीक करने में आपकी मदद करते हैं। हाल ही में, नए दुकानदारों के खुलने का एक "कैम्ब्रियन विस्फोट" (Cambrian explosion) हुआ है, जो अद्वितीय कौशल और व्यक्तित्व का वादा कर रहे हैं।
लेकिन यदि आप सड़क पर चलते हैं, तो कुछ अजीब सा परिचित लगता है। वे सभी बिल्कुल एक जैसी बातें कहते हुए, एक जैसी गलतियाँ करते हुए, और समस्याओं को हल करने के लिए एक ही तरह के अजीब तरीकों का उपयोग करते हुए दिखाई देते हैं। यह ऐसा है जैसे आप 10 अलग-अलग कॉफी शॉप में जाएँ और पाएँ कि हर बरिस्ता बिल्कुल एक ही स्क्रिप्ट का उपयोग करता है, एक ही तरह का अजीब ठहराव लेता है, और काउंटर साफ करने का एक ही विशिष्ट तरीका अपनाता है।
यह शोध पत्र पूछता है: क्या ये दुकानदार वास्तव में स्वतंत्र प्रतिभाशाली (geniuses) हैं, या वे केवल कुछ प्रसिद्ध "मास्टर" शिक्षकों की फोटोकॉपी हैं?
समस्या: "इको चैंबर" (Echo Chamber) प्रभाव
लेखकों को संदेह है कि इनमें से कई नए AI एजेंटों को डिस्टिलेशन (distillation) नामक प्रक्रिया का उपयोग करके बनाया गया था। इसे ऐसे समझें जैसे एक छात्र शेफ एक प्रसिद्ध मास्टर शेफ से खाना बनाना सीख रहा हो। छात्र केवल यह नहीं सीखता कि कैसे खाना बनाना है; वह मास्टर की विशिष्ट आदतों की नकल करना भी शुरू कर देता है—शायद मास्टर हमेशा सॉस को तीन बार चखता है, या हमेशा एक विशिष्ट लहजे में "बोन एपेटिट!" कहता है।
समय के साथ, छात्र मास्टर की नकल करने में इतना कुशल हो जाता है कि वह अपनी अनूठी शैली खो देता है। यदि प्रत्येक छात्र एक ही मास्टर की नकल करता है, तो आप एक ही जैसे दुकानदारों से भरा हुआ शहर पा लेंगे। यह खतरनाक है क्योंकि यदि उन सभी में एक ही "बुरी आदतें" हैं, तो वे गलत होने पर बिल्कुल एक ही तरह से विफल होंगे।
समाधान: दो नए "जासूसी उपकरण"
इसे जाँचने के पुराने तरीके बहुत स्पष्ट थे। यदि दो दुकानदार दोनों "नमस्ते, मैं आपकी कैसे मदद कर सकता हूँ?" कहते हैं, तो यह केवल एक नियम है। इससे यह साबित नहीं होता कि उन्होंने एक-दूसरे की नकल की है।
लेखकों ने उन सूक्ष्म, गैर-अनिवार्य आदतों को पकड़ने के लिए दो नए उपकरण बनाए—वे चीजें जो दुकानदार इसलिए करते हैं क्योंकि उन्हें सिखाया गया है, न कि इसलिए कि उन्हें करना ही है।
1. RPS (रेस्पॉन्स पैटर्न सिमिलैरिटी) → "आवाज और स्क्रिप्ट" का जासूस
यह उपकरण इस बात पर ध्यान देता है कि एजेंट कैसे बात करते हैं।
- उपमा: कल्पना करें कि दो अभिनेता एक ही स्क्रिप्ट पढ़ रहे हैं। एक सामान्य अभिनेता केवल संवाद बोल सकता है। लेकिन यदि वे दोनों एक विशिष्ट प्रसिद्ध अभिनेता की नकल कर रहे हैं, तो वे दोनों एक ही अजीब आह भर सकते हैं, एक ही तरह के शब्द बोल सकते हैं, या बिल्कुल एक ही जगह पर रुक सकते हैं।
- यह क्या मापता है: यह बातचीत को चरणों में तोड़ता है (जैसे "ID चेक करना," "जानकारी मांगना," "कार्य करना") और यह जाँचता है कि क्या एजेंट उन चरणों में एक ही लहजा, वाक्य संरचना और शब्द चयन का उपयोग करते हैं।
2. AGS (एक्शन ग्राफ सिमिलैरिटी) → "वर्कफ़्लो और आदतें" का जासूस
यह उपकरण पर्दे के पीछे एजेंट क्या करते हैं, विशेष रूप से उनके टूल्स (औजारों) के उपयोग को देखता है।
- उपमा: कल्पना करें कि दो मैकेनिक कार ठीक कर रहे हैं। दोनों को ब्रेक ठीक करने के लिए टायर हटाना ही होगा (यह एक अनिवार्य चरण है)। लेकिन एक मैकेनिक भले ही ज़रूरत न हो, फिर भी हमेशा पहले तेल (oil) चेक करता है, और दूसरा हमेशा काम पूरा करने के तुरंत बाद बोल्ट को तीन बार अतिरिक्त कसता है।
- यह क्या मापता है: यह उनके कार्यों के "फ्लो चार्ट" को मैप करता है। यह अनिवार्य चरणों (जैसे "टायर हटाना") को अनदेखा करता है और वैकल्पिक आदतों पर ध्यान केंद्रित करता है:
- Snode: क्या वे दोनों तब भी तेल चेक करने का विकल्प चुनते हैं जब इसकी आवश्यकता नहीं होती?
- Sseq: क्या वे दोनों कार्य समाप्त करने के तुरंत बाद अपने काम की दोबारा जाँच करते हैं?
- Sdep: क्या वे दोनों चरण 1 की जानकारी का उपयोग चरण 5 में बिल्कुल उसी तरह से दोबारा करते हैं?
बड़ी खोज: AI का "अनकैनी वैली" (Uncanny Valley)
शोधकर्ताओं ने 18 अलग-अलग AI एजेंटों का एक "गोल्ड स्टैंडर्ड" शिक्षक (Claude Sonnet 4.5) के विरुद्ध परीक्षण किया। यहाँ उन्हें क्या मिला:
- पारिवारिक समानता: एक ही कंपनी के एजेंट (जैसे Claude के दो अलग-अलग मॉडल) स्वाभाविक रूप से बहुत समान दिखते और व्यवहार करते हैं। यह अपेक्षित है, जैसे भाई-बहन।
- सरप्राइज गेस्ट: उन्होंने एक एजेंट पाया, Kimi-K2, जो Claude शिक्षक की तरह संदेहास्पद रूप से व्यवहार कर रहा था।
- इसने केवल समान बातें ही नहीं कहीं; इसमें वही वैकल्पिक आदतें भी थीं।
- पक्का सबूत (The Smoking Gun): एक परीक्षण में जहाँ एक उपयोगकर्ता सामान बदलना चाहता था, "गोल्ड स्टैंडर्ड" शिक्षक ने उपयोगकर्ता का ईमेल पता पहले चेक करने का निर्णय लिया (भले ही यह कार्य बिना इसके भी किया जा सकता था)। Kimi-K2 ने बिल्कुल वही किया। एक अन्य लोकप्रिय एजेंट, GPT-5, ने उस चरण को पूरी तरह से छोड़ दिया।
- Kimi-K2 का "हैबिट स्कोर" वास्तव में उसके शिक्षक के अपने भाई-बहनों से भी अधिक था! यह सुझाव देता है कि Kimi-K2 को Claude से भारी मात्रा में "डिस्टिल" (नकल) किया गया होगा।
यह क्यों मायने रखता है
यदि हमारे सभी AI एजेंट कुछ चुनिले शिक्षकों की गूँज मात्र हैं, तो हमारा डिजिटल पारिस्थितिकी तंत्र नाजुक है।
- "बुरी आदत" का जोखिम: यदि शिक्षक में कोई अजीब कमी (blind spot) है (जैसे अनावश्यक रूप से चीजों को बार-बार चेक करना), तो सभी छात्र उस अक्षमता को विरासत में प्राप्त करेंगे।
- "सिंगल पॉइंट ऑफ फेल्योर": यदि शिक्षक किसी विशिष्ट प्रकार के कठिन प्रश्न (trick question) से भ्रमित हो जाता है, तो सभी छात्र उसी तरह विफल होंगे। हम उन अलग-अलग AI दिमागों के सुरक्षा जाल को खो देते हैं जो समस्याओं को अलग-अलग तरीके से हल कर सकते थे।
निष्कर्ष
यह शोध पत्र हमें "AI हाइप" के पार देखने के लिए एक नया चश्मा देता है। यह हमें वास्तविक नवाचार (एक नया एजेंट जो अलग तरह से सोचता है) और आलसी नकल (एक एजेंट जो केवल अपने शिक्षक के व्यवहार की नकल कर रहा है) के बीच अंतर करने में मदद करता है।
इन सूक्ष्म आदतों को मापकर, हम यह सुनिश्चित कर सकते हैं कि AI का भविष्य अद्वितीय विचारकों का एक विविध शहर हो, न कि समान क्लोन का एक कस्बा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।