Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
यह शोधपत्र Tokengeist प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो बहु-चरण (multi-turn) संभाषणाओं में सिंगल-पास एट्रिब्यूशन विधियों की सीमाओं को संबोधित करता है, जो मौजूदा दृष्टिकोणों की तुलना में जटिल प्रोवेनेंस ग्राफ को रिकवर करने में काफी उच्च सटीकता प्राप्त करने के लिए संभाषणात्मक चरणों में टोकन-स्तरीय निर्भरताओं को पुनरावर्ती रूप से (recursively) ट्रैक करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि आपके पसंदीदा जासूसी पात्र ने अचानक एक विशिष्ट तरीके से मामला सुलझाने का निर्णय क्यों लिया। आप अंतिम उत्तर जानते हैं, लेकिन शो समय में आगे-पीछे कूदता है, जैसे कि वह एक गवाह से बात करता है, फिर एक मानचित्र देखता है, फिर एक मित्र को फोन करता है, और अंत में एक निर्णय लेता है। यदि आप केवल अंतिम दृश्य को देखेंगे, तो आपको लगेगा कि निर्णय मित्र की वजह से आया। लेकिन क्या होगा अगर मित्र वही दोहरा रहा था जो गवाह ने कहा था, जिसने वह जानकारी मानचित्र से प्राप्त की थी? कहानी को वास्तव में समझने के लिए, आप केवल अंतिम क्षण को नहीं देख सकते; आपको सुरागों के निशान का पीछा पीछे की ओर, हर बातचीत और क्रिया के माध्यम से, चरण-दर-चरण करना होगा। यह वही पहेली है जिसे वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) के साथ हल करने की कोशिश कर रहे हैं।
AI की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (वे सुपर-स्मार्ट चैटबॉट्स जिनका हम आज उपयोग करते हैं) के साथ, एक बढ़ती हुई समस्या है। ये मॉडल अक्सर हमारे साथ लंबी बातचीत करते हैं, जहाँ वे प्रश्न पूछते हैं, हम उत्तर देते हैं, वे एक डेटाबेस की जाँच करते हैं, और फिर वे एक अंतिम उत्तर देते हैं। कभी-कभी, अंतिम उत्तर उस सूक्ष्म विवरण पर निर्भर करता है जो आपने पाँच चरणों पहले बताया था, जिसे मॉडल ने संक्षेपित किया, फिर मॉडल ने उस जानकारी का उपयोग किसी टूल को कॉल करने के लिए किया, जो अंततः उत्तर तक ले गया। बड़ा सवाल यह है कि हम यह ठीक कैसे देख सकते हैं कि उस लंबी बातचीत के कौन से हिस्से ने अंतिम उत्तर को आकार दिया? वर्तमान में, अधिकांश उपकरण जो इस प्रश्न का उत्तर देने का प्रयास करते हैं, वे एक ऐसी टॉर्च की तरह काम करते हैं जो केवल तत्काल कमरे पर रोशनी डालती है। वे आपको बता सकते हैं कि पूरी चैट में कौन से शब्द महत्वपूर्ण लगते हैं, लेकिन वे उस "कहानी" को मिस कर देते हैं कि कैसे जानकारी शुरुआत से अंत तक यात्रा करती है। यह मायने रखता है क्योंकि यदि हम यह पता नहीं लगा सकते कि AI को अपने तथ्य कहाँ से मिले, तो हम उस पर भरोसा नहीं कर सकते, उसकी गलतियों को ठीक नहीं कर सकते, या यह नहीं समझ सकते कि वह हमें झूठ क्यों बोल रहा है।
यहाँ Tokengeist आता है, जो जेसिका टैंग, श्रद्धा बार्क और शरद अग्रवाल द्वारा पेश की गई एक नई विधि है। इस विचार को एक "फ्लैट" मानचित्र की तरह समझें। यदि आप एक फ्लैट मानचित्र से किसी अफवाह के स्रोत को खोजने के लिए कहते हैं, तो वह आपको उस व्यक्ति की ओर इशारा कर सकता है जिसने आपको अफवाह आखिरी बार सुनाई थी, लेकिन वह यह नहीं बताएगा कि उन्हें किसने बताया था। शोधकर्ता इस विफलता को "प्रोवेनेंस कोलैप्स" (provenance collapse) कहते हैं। यह टेलीफोन के खेल की तरह है जहाँ अंतिम खिलाड़ी को संदेश के लिए दोषी ठहराया जाता है, भले ही संदेश तीन लोग पीछे ही विकृत हो गया हो। फ्लैट विधि पूरी हिस्ट्री को एक ही परत में समेट देती है, जिससे गहरा सफर छूट जाता है।
इसे ठीक करने के लिए, टीम ने Tokengeist बनाया, जो एक 'रिकर्सिव डिटेक्टिव' (पुनरावर्ती जासूस) की तरह कार्य करता है। केवल अंतिम उत्तर को देखकर यह पूछने के बजाय कि, "आपने किससे बात की?", Tokengeist पूछता है, "आपने किससे बात की?" और फिर, प्रत्येक व्यक्ति के लिए जिसे आपने नाम दिया, यह पूछता है, "और उन्होंने किससे बात की?" यह पीछे की ओर, चरण-दर-चरण, बातचीत के दौरों के माध्यम से खुदाई करता रहता है। यह बातचीत को एक शाखाओं वाले पेड़ (या विचारों के फैमिली ट्री) की तरह मानता है, जहाँ यह शाखाओं का पीछा करके बिल्कुल पहली पत्तियों तक जाता है—मूल उपयोगकर्ता इनपुट या टूल के परिणाम।
शोधकर्ताओं ने इस विचार का परीक्षण एक नए बेंचमार्क का उपयोग करके किया जिसे उन्होंने MTCABENZ नाम दिया, जिसमें 665 अलग-अलग मल्टी-टर्न बातचीत के 3,845 विशिष्ट भाग शामिल हैं। ये बातचीत जटिल थीं, जिनमें फ्लाइट बुक करने या बैंक अकाउंट चेक करने जैसे टूल्स शामिल थे, जहाँ AI को कई चरणों से जानकारी को जोड़ने की आवश्यकता थी। उन्होंने पाया कि पुराने "फ्लैट" तरीके बहुत खराब थे। मूल स्रोत खोजने के लिए पूछे जाने पर, फ्लैट तरीके केवल 20% से भी कम समय में सफल हुए। वे कहानी के बीच में ही फंस जाते थे।
इसके विपरीत, Tokengeist एक गेम-चेंजर साबित हुआ। पीछे की ओर पथ को रिकर्सिव तरीके से ट्रेस करके, इसने 90% से अधिक बार जानकारी के मूल स्रोत को सफलतापूर्वक खोज लिया। इसने केवल अनुमान नहीं लगाया; इसने पूरी यात्रा का मानचित्र तैयार किया। उदाहरण के लिए, यदि कोई AI कहता है, "आप अपनी फ्लाइट कैंसिल कर सकते हैं क्योंकि आपके पास बीमा है," तो एक फ्लैट तरीका केवल कैंसलेशन कन्फर्मेशन की ओर इशारा कर सकता है। हालाँकि, Tokengeist ने इसे उस टूल रिजल्ट तक ट्रेस किया जिसने बीमा दिखाया, फिर उस यूजर आईडी तक जो उस टूल रिजल्ट को अनलॉक करती थी, और अंत में यूजर की मूल रिक्वेस्ट तक।
यह पेपर सुझाव देता है कि यह रिकर्सिव दृष्टिकोण AI को पारदर्शी बनाने की कुंजी है। यह दिखाता है कि पूरी बातचीत को एक साथ देखना पर्याप्त नहीं है; हमें बातचीत की संरचना को समझने की आवश्यकता है, कि कैसे एक टर्न दूसरे पर निर्भर करता है। जबकि यह विधि उन विशिष्ट AI मॉडल्स के साथ सबसे अच्छा काम करती है जिनका उन्होंने परीक्षण किया (जो ओपन-सोर्स और अपेक्षाकृत छोटे हैं), परिणाम दृढ़ता से संकेत देते हैं कि जटिल, मल्टी-स्टेप AI एजेंट्स के लिए, हमें बातचीत को शब्दों की एक फ्लैट सूची के रूप में मानना बंद करना होगा और इसे निर्भरताओं के एक जुड़े हुए वेब के रूप में देखना शुरू करना होगा। Tokengeist हमें केवल यह नहीं बताता कि AI ने क्या कहा; यह हमें यह समझने में मदद करता है कि वह ऐसा कहने के पीछे की पूरी कहानी क्या है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।