Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling
यह शोध पत्र एक लक्ष्य-अनुकूलन टेक्स्ट-टेबुलर मॉडलिंग फ्रेमवर्क प्रस्तावित करता है जो सीमित इंटरेक्शन हिस्ट्री से अपरिचित एआई (AI) वार्ताकार के निर्णयों की प्रभावी ढंग से भविष्यवाणी करने के लिए एक फ्रोजन "LLM-as-Observer" से प्राप्त हिडन रिप्रेजेंटेशन्स का लाभ उठाता है, जो डायरेक्ट प्रॉम्प्टिंग और मानक फीचर-आधारित बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे बाज़ार में जा रहे हैं जहाँ हर कोई कुछ न कुछ बेचने या खरीदने की कोशिश कर रहा है, लेकिन जिन लोगों से आप बात कर रहे हैं वे वास्तव में रोबोट हैं। आप उनके कोड, उनके गुप्त निर्देशों या उनके अंदर किस तरह के "दिमाग" को नहीं जानते। आप केवल वही देखते हैं जो वे कहते हैं और जो वे पेश करते हैं।
बड़ा सवाल जो यह शोध पत्र पूछता है वह यह है: क्या आप यह पता लगा सकते हैं कि एक रोबोट कुछ सौदे देखने के बाद आगे क्या करेगा?
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने इसे हल करने की कोशिश कैसे की, जिसमें रोजमर्रा के कुछ उदाहरणों का उपयोग किया गया है।
समस्या: "ब्लैक बॉक्स" खरीदार
वास्तविक दुनिया में, AI एजेंट (जैसे शॉपिंग बॉट्स) आम होते जा रहे हैं। वे एक-दूसरे के साथ कीमतों पर बातचीत करते हैं। लेकिन उनका आंतरिक तर्क एक "ब्लैक बॉक्स" है। आप उनके कोड को देखने के लिए उनके अंदर झाँक नहीं सकते।
- चुनौती: यदि आप एक नए रोबोट विक्रेता से मिलते हैं, तो क्या आप यह अनुमान लगा सकते हैं कि वह आपकी कीमत स्वीकार करेगा या जवाबी प्रस्ताव देगा, सिर्फ यह देखकर कि उसने अन्य लोगों के साथ कुछ बार बातचीत की है?
समाधान: एक "टेक्स्ट-टेबुलर" जासूस
शोधकर्ताओं ने एक सिस्टम बनाया जो एक जासूस की तरह काम करता है। एक विशाल, शक्तिशाली AI से उत्तर का "अनुमान" लगाने (जिसे वे LLM-as-Predictor कहते हैं) के बजाय, उन्होंने इस समस्या को एक स्प्रेडशीट का उपयोग करके एक खाली स्थान भरने वाली पहेली (fill-in-the-blank puzzle) की तरह माना।
इसे ऐसे सोचें:
- स्प्रेडशीट (तालिका): हर बार जब एक रोबोट निर्णय लेता है, तो यह एक स्प्रेडशीट में एक पंक्ति (row) की तरह होता है। इस पंक्ति में शामिल है:
- गेम के आँकड़े (Game Stats): राउंड नंबर, वर्तमान कीमत, बचा हुआ समय।
- चैट लॉग (Chat Log): रोबोट्स के बीच हुए टेक्स्ट संदेश।
- "ऑब्जर्वर" सुराग (The "Observer" Clue): एक विशेष नया फीचर (नीचे समझाया गया है)।
- अनुकूलन (The "K" Games): इससे पहले कि जासूस उस नए रोबốt के कदम का अनुमान लगाए, उसे उस विशिष्ट रोबोट द्वारा खेले गए K (एक छोटी संख्या, जैसे 2, 8, या 16) पिछले खेलों को दिखाया जाता है। ये उस विशिष्ट रोबोट के व्यक्तित्व को समझने के लिए "स्टडी गाइड" के रूप में कार्य करते हैं।
गुप्त हथियार: "ऑब्जर्वर" (The Observer)
यह इस शोध पत्र का सबसे रचनात्मक विचार है। आमतौर पर, जब आप किसी स्थिति को समझने के लिए AI का उपयोग करते हैं, तो आप उससे पूछते हैं, "क्या होगा?" और वह उत्तर देता है।
शोधकर्ताओं ने कुछ अलग किया। उन्होंने एक छोटे, फ्रीज़्ड AI (जिसे Observer कहा गया) का उपयोग स्थिति और चैट को पढ़ने के लिए किया, लेकिन उन्होंने उसका उत्तर फेंक दिया।
- रूपक (Metaphor): कल्पना कीजिए कि एक जासूस (Observer) अपराध स्थल को पढ़ रहा है। रिपोर्ट लिखने के बजाय कि "बटलर ने यह किया," जासूस को बस उस दृश्य के बारे में एक अचानक महसूस या अंतर्ज्ञान (gut instinct) होता है। शोधकर्ताओं ने उस "अंतर्ज्ञान" (AI की आंतरिक छिपी हुई अवस्था या hidden state) को लिया और उसे अपनी स्प्रेडशीट में एक सुराग के रूप में उपयोग किया।
- यह क्यों काम करता है: शोध पत्र में पाया गया कि AI के "अंतर्ज्ञान" में उन छिपे हुए संकेतों के बारे में जानकारी थी कि रोबोट कैसे व्यवहार करेगा, जो AI के वास्तविक शब्दों में छूट गए थे। यह वैसा ही है जैसे यह जानना कि कोई व्यक्ति घबराया हुआ है उसके हाव-भाव से, भले ही वह कह रहा हो कि "मैं ठीक हूँ।"
प्रयोग: रोबोटों के दो समूह
इसकी जांच करने के लिए, उन्होंने रोबोटों के दो समूहों का उपयोग किया:
- "सोर्स" समूह (प्रशिक्षण वर्ग): शीर्ष तकनीकी कंपनियों (जैसे Google, OpenAI, आदि) द्वारा बनाए गए 13 रोबोट। वे सभी एक ही निर्देश का उपयोग करते थे लेकिन उनके "दिमाग" अलग थे। सिस्टम ने उनसे सीखा।
- "टारगेट" समूह (परीक्षण वर्ग): एक हैकाथॉन में छात्रों द्वारा बनाए गए 91 रोबोट। इन छात्रों ने एक ही "दिमाग" का उपयोग किया लेकिन अलग-अलग "शरीर" (अलग-अलग नियम और प्रॉम्प्ट) बनाए।
सिस्टम को "सोर्स" समूह से सीखना था और फिर पूरी तरह से नए "टारगेट" समूह के कदमों की भविष्यवाणी करनी थी।
परिणाम: स्प्रेडशीट की जीत
शोधकर्ताओं ने तीन तरीकों की तुलना की:
- सीधा अनुमान (Direct Guessing): एक विशाल AI से पूछना, "यहाँ चैट इतिहास और रोबोट के पिछले खेल हैं; यह आगे क्या करेगा?"
- बुनियादी स्प्रेडशीट (Basic Spreadsheet): स्प्रेडशीट मॉडल में गेम के आँकड़े और चैट लॉग का उपयोग करना।
- पूर्ण जासूस (The Full Detective - उनका तरीका): स्प्रेडशीट मॉडल + "ऑब्जर्वर" का अंतर्ज्ञान (gut feeling)।
विजेता: "फुल डिटेक्टिव" विधि जीत गई।
- यह अनुमान लगाने में बेहतर था कि रोबोट "हाँ" कहेगा या "नहीं" (स्वीकार/अस्वीकार)।
- यह अनुमान लगाने में बेहतर था कि रोबोट अगली बार क्या कीमत पेश करेगा।
- महत्वपूर्ण रूप से: "ऑब्जर्वर" की छिपी हुई भावना ने केवल चैट लॉग और गेम आँकड़ों के उपयोग की तुलना में लगभग 4% अधिक सटीकता जोड़ी।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि जब किसी अजीब AI के अगले कदम की भविष्यवाणी करने की कोशिश की जाती है, तो आपको एक विशाल AI से अनुमान लगाने के लिए कहने के बजाय, आपको यह करना चाहिए:
- स्थिति को एक संरचित डेटा पंक्ति (आँकड़े + चैट) में बदलें।
- स्थिति को "पढ़ने" और उसका आंतरिक "वाइब" (छिपी हुई अवस्था) निकालने के लिए एक छोटे AI का उपयोग करें।
- उस वाइब को एक स्मार्ट स्प्रेडशीट मॉडल में फीड करें जो पिछले उदाहरणों से सीखता है।
यह दृष्टिकोण केवल एक बड़े AI को सीधे "सोचने" के लिए कहने की तुलना में सस्ता, अधिक सटीक और नए, अज्ञात रोबोटों के अनुकूल होने में बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।