Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections

यहाँ शोध पत्र "Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क में एक महत्वपूर्ण कमी को संबोधित करता है: सामाजिक बुद्धिमत्ता (social intelligence) और थ्योरी ऑफ माइंड (Theory of Mind - ToM) क्षमताओं के मूल्यांकन का अभाव। जबकि LLMs ज्ञान प्राप्ति, सारांशीकरण और निगमनात्मक तर्क (deductive reasoning) में उत्कृष्ट हैं, वे अक्सर निम्नलिखित क्षमताओं को प्रदर्शित करने में विफल रहते हैं:

• अन्य एजेंटों की संज्ञानात्मक अवस्थाओं (cognitive states) और ज्ञान आधारों का आकलन करना।
• टीम के साथियों बनाम विरोधियों की कथित क्षमताओं के आधार पर संचार रणनीतियों को अनुकूलित करना।
• ऐसे संकेतों (clues) प्रदान करने के बीच के सूक्ष्म संतुलन को बनाए रखना जो टीम के साथियों के समझने के लिए पर्याप्त स्पष्ट हों, लेकिन प्रतिद्वंद्वी ("सेटर") को उत्तर का अनुमान लगाने से रोकने के लिए पर्याप्त अस्पष्ट हों।

लेखकों का तर्क है कि मानक बेंचमार्क उस सहयोगात्मक तर्क (collaborative reasoning) की बारीकियों को नहीं पकड़ पाते हैं जहाँ सफलता दूसरों की मानसिक अवस्थाओं को मॉडल करने पर निर्भर करती है।

2. कार्यप्रणाली (Methodology)

खेल: "कनेक्शन्स" (Connections)

लेखक एक शब्द-खेल (word-play game) जिसे "कनेक्शन्स" कहा जाता है, को एक परीक्षण आधार (testbed) के रूप में औपचारिक रूप देते हैं।

• भूमिकाएँ (Roles): एक खिलाड़ी सेटर (Setter) होता है (जिसके पास एक गुप्त लक्ष्य शब्द होता है), और $n$ खिलाड़ी गेसर्स (Guessers) होते हैं।
• तंत्र (Mechanics):
  1. सेटर लक्ष्य शब्द का पहला अक्षर प्रकट करता है।
  2. गेसर्स संकेत (वाक्यांश) प्रस्तावित करते हैं जो प्रकट किए गए प्रीफ़िक्स (prefix) से शुरू होने वाले शब्द से संबंधित होते हैं।
  3. कनेक्शन (Connection): यदि एक गेसर एक संकेत प्रस्तावित करता है, और दूसरा गेसर (एक साथ) उस संकेत से जुड़े सही शब्द का अनुमान लगा लेता है बिना सेटर के पहले अनुमान लगाने के, तो एक "कनेक्शन" बनता है, और अगला अक्षर प्रकट किया जाता है।
  4. ब्लॉकिंग (Blocking): यदि सेटर संकेत के आधार पर शब्द का अनुमान लगा लेता है, तो संकेत "ब्लॉक" हो जाता है, और कोई अक्षर प्रकट नहीं होता है।
  5. जीत की स्थिति (Win Condition): यदि गेसर्स निर्धारित संकेतों की संख्या के भीतर पूरा शब्द प्रकट कर देते हैं, तो वे जीत जाते हैं; अन्यथा, सेटर जीत जाता है।

औपचारिकीकरण (Formalization)

लेखक सिमेंटिक एम्बेडिंग (semantic embeddings) का उपयोग करके खेल को गणितीय रूप से मॉडल करते हैं:

• सिमेंटिक स्पेस (Semantic Space): प्रत्येक खिलाड़ी $j$ के पास एक अद्वितीय कार्यशील शब्दावली $U_j$ और एक सिमेंटिक एम्बेडिंग फ़ंक्शन $\Phi_j$ होता है जो शब्दों/संकेतों को वेक्टर्स में मैप करता है।
• संकेत निर्माण (Clue Generation): एक संकेत $p$ तब सफल होता है जब लक्ष्य शब्द $w$, गेसर्स के सिमेंटिक स्पेस में $p$ के सबसे निकटतम शीर्ष-$k$ शब्दों में से एक हो, लेकिन सेटर के स्पेस में नहीं (या कम से कम शीर्ष अनुमान में नहीं)।
• अनुकूलन (Optimization): लेखक संकेत निर्माण के लिए एक संभाव्यता फ़ंक्शन (probability function) प्राप्त करते हैं। सफलता को अधिकतम करने के लिए, एक गेसर को एक ऐसा संकेत खोजना चाहिए जहाँ टीम के साथी द्वारा सही अनुमान लगाने की संभावना ($p$) उच्च हो, लेकिन सेटर द्वारा सही अनुमान लगाने की संभावना ($1-p$) भी उच्च हो (अर्थात, सेटर विफल हो जाए)।
  • एक संकेत के लिए आदर्श संभाव्यता $p^*$ (ताकि वह टीम के साथी द्वारा समझा जाए लेकिन सेटर द्वारा नहीं) इस प्रकार प्राप्त की गई है: $p^* = 1 - (1/n)^{1/(n-1)}$।
• सोशल लर्निंग मॉडल (Social Learning Model): लेखक एक ग्रेडिएंट-डेसेंट (gradient-descent) जैसी प्रक्रिया प्रस्तावित करते हैं जहाँ एजेंट खेल के परिणामों के आधार पर अपने "परसीव्ड डिस्कोर्स वेक्टर्स" ($d_{i \leftarrow j}$) को अपडेट करते हैं। यदि एक खिलाड़ी सफलतापूर्वक एक संकेत का अनुमान लगा लेता है, तो वेक्टर को यह दर्शाने के लिए समायोजित किया जाता है कि उस एजेंट के पास वह सिमेंटिक ज्ञान साझा है।

प्रयोगात्मक सेटअप (Experimental Setup)

• एजेंट्स: तीन एजेंट जो GPT-4o द्वारा संचालित हैं।
• भूमिकाएँ: प्लेयर 0 (सेटर), प्लेयर 1 और 2 (गेसर्स)।
• प्रॉम्प्ट्स (Prompts): एजेंटों को विशिष्ट भूमिकाओं के साथ प्रॉम्प्ट किया गया था। कुछ प्रयोगों में, विविध सिमेंटिक नेटवर्क को सिम्युलेट करने के लिए एजेंटों को विशिष्ट पृष्ठभूमि (जैसे पेशा, संस्कृति) के साथ "इन-कॉन्टेक्स्ट लर्निंग" का उपयोग करके तैयार किया गया था।

3. मुख्य योगदान (Key Contributions)

1. एक सामाजिक बेंचमार्क का औपचारिकीकरण: यह शोध पत्र "कनेक्शन्स" को AI की सामाजिक बुद्धिमत्ता को मापने के लिए एक कठोर, औपचारिक बेंचमार्क के रूप में पेश करता है, जो स्थिर QA कार्यों से आगे बढ़कर गतिशील, मल्टी-टर्न सहयोगात्मक तर्क तक जाता है।
2. संकेत अनुकूलन के लिए गणितीय ढांचा: यह संकेत उत्पन्न करने के लिए एक संभाव्यता मॉडल प्रदान करता है जो टीम के साथी की समझ और प्रतिद्वंद्वी द्वारा ब्लॉकिंग के बीच के संतुलन को साधता है, जो संकेत की कठिनाई के "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) को औपचारिक रूप देता है।
3. सामाजिक जागरूकता के लिए तंत्र: लेखक एजेंटों के लिए अन्य खिलाड़ियों के "डिस्कोर्स वेक्टर्स" को समय के साथ सीखने का एक तरीका प्रस्तावित करते हैं, जो प्रभावी रूप से मानव क्षमता का अनुकरण करता है कि कौन क्या जानता है (जैसे, "प्लेयर A चिकित्सा शब्दों में अच्छा है, प्लेयर B टीवी शो में अच्छा है")।
4. LLM की सीमाओं का अनुभवजन्य विश्लेषण: अध्ययन यह उजागर करता है कि हालांकि LLMs खेल खेल सकते हैं, वे स्पष्ट रूप से प्राइम (prime) न किए जाने पर अनुकूलन योग्य सामाजिक जागरूकता (adaptive social awareness) के मामले में संघर्ष करते हैं। अन्य एजेंटों की पृष्ठभूमि के बारे में विशिष्ट प्रॉम्प्ट के बिना, LLMs एक समान सिमेंटिक नेटवर्क पर निर्भर रहते हैं, जिससे सेटर द्वारा बार-बार "ब्लॉकिंग" होती है।

4. परिणाम (Results)

• प्रदर्शन मेट्रिक्स (Performance Metrics): लेखकों ने विभिन्न लक्ष्य शब्दों (जैसे, kaleidoscope, xenophobia, labyrinthine) के लिए 100 से अधिक पुनरावृत्ति (iterations) चलाईं।
  • सफलता दर (Success Rate): सफलता शब्द के अनुसार काफी भिन्न हुई। छोटे प्रीफ़िक्स स्पेस वाले शब्दों (जैसे, 'X' से शुरू होने वाले) को हल करने में बड़े स्पेस वाले शब्दों (जैसे, 'C') की तुलना में कम पुनरावृत्तियों की आवश्यकता पड़ी।
  • ब्लॉकिंग (Blocking): मानक सेटअप में (विशिष्ट बैकग्राउंड प्राइमिंग के बिना), सेटर ने उच्च प्रतिशत में संकेतों को ब्लॉक किया। यह सुझाव देता है कि जब सभी एजेंट एक ही अंतर्निहित मॉडल साझा करते हैं, तो उनके सिमेंटिक नेटवर्क बहुत समान होते हैं, जिससे गेसर्स के लिए सेटर के ज्ञान में "ब्लाइंड स्पॉट" खोजना कठिन हो जाता है।
• व्यवहार संबंधी अवलोकन (Behavioral Observations):
  • मानव-समान बनाम गैर-मानव: एजेंटों ने यह पहचानने में मानव-समान व्यवहार दिखाया कि 'X' वाले शब्द अनुमान लगाना आसान होते हैं। हालांकि, उन्होंने स्पष्ट (obvious) विकल्पों पर बैठने से पहले "अजीबोगरीब असामान्य" अनुमान लगाकर गैर-मानव व्यवहार प्रदर्शित किया, जो रणनीतिक अंतर्ज्ञान (strategic intuition) की कमी को दर्शाता है।
  • प्राइमिंग का प्रभाव (Impact of Priming): जब एजेंटों को स्पष्ट रूप से अलग-अलग पृष्ठभूमि (जैसे, अलग-अलग पेशे) के साथ तैयार किया गया, तो उनमें सेटर को बायपास करने के लिए "समन्वित शब्दावली" (concerted vocabulary) का उपयोग करने की बेहतर क्षमता देखी गई। हालांकि, बिना स्पष्ट प्रॉम्प्टिंग के, वे केवल गेमप्ले के माध्यम से इन अंतरों को निष्कर्ष (infer) निकालने में विफल रहे।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• डिडक्टिव रीजनिंग से परे: यह शोध पत्र तर्क देता है कि वास्तविक AI बुद्धिमत्ता के लिए दूसरों की संज्ञानात्मक अवस्थाओं को मॉडल करने की क्षमता आवश्यक है। "कनेक्शल्स" एजेंटों को सरल रिट्रीवल से आगे बढ़कर रणनीतिक संचार और सहयोगात्मक अनुकूलन की ओर ले जाने के लिए मजबूर करता है।
• AI सुरक्षा और संरेखण (Alignment) के निहितार्थ: यह समझना कि AI एजेंट मानव (या अन्य AI) के ज्ञान आधारों का आकलन और अनुकूलन कैसे करते हैं, उन एजेंटों को विकसित करने के लिए महत्वपूर्ण है जो वास्तविक दुनिया के परिदृश्यों (जैसे, स्वास्थ्य सेवा, शिक्षा, बातचीत) में प्रभावी ढंग से सहयोग कर सकें।
• भविष्य की दिशाएं:
  • डायनेमिक वर्ड सिलेक्शन: वर्तमान खेल एक निश्चित शब्द का उपयोग करता है। भविष्य के कार्य में एजेंट को खेल के बीच में लक्ष्य शब्द बदलने की अनुमति देने का लक्ष्य है (जब तक कि वह प्रकट किए गए अक्षरों के अनुरूप हो), जिसके लिए और भी जटिल इमप्रोवाइजेशन की आवश्यकता होगी।
  • मजबूत सोशल लर्निंग: ऐसे एजेंट विकसित करना जो स्पष्ट प्रॉम्प्ट इंजीनियरिंग के बिना स्वायत्त रूप से दूसरों के ज्ञान अंतराल (knowledge gaps) का पता लगाने और मॉडल करने में सक्षम हों, जो वास्तविक 'थ्योरी ऑफ माइंड' की ओर बढ़ता है।

निष्कर्षतः, यह शोध पत्र "कनेक्शन्स" को AI की सामाजिक बुद्धिमत्ता के मूल्यांकन के लिए एक महत्वपूर्ण नए बेंचमार्क के रूप में स्थापित करता है, यह प्रदर्शित करते हुए कि हालांकि वर्तमान LLMs के पास खेलने के लिए कच्चा ज्ञान है, लेकिन उनमें स्पष्ट मार्गदर्शन के बिना प्रतिद्वंद्वियों को मात देने और प्रभावी ढंग से सहयोग करने के लिए आवश्यक सूक्ष्म, अनुकूलन योग्य सामाजिक तर्क की कमी है।