Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies
उभरते हुए इंटरनेट ऑफ एजेंट्स में कॉन्टेक्स्ट विंडो की सीमाओं और "लॉस्ट-इन-द-मिडल" घटना को संबोधित करने के लिए, यह शोध पत्र A2X का प्रस्ताव करता है, जो एक LLM-नेटिव सिस्टम है जो सेवाओं को एक पदानुक्रमित वर्गीकरण (hierarchical taxonomy) में गतिशील रूप से व्यवस्थित करता है और मौजूदा बेसलाइनों की तुलना में टोकन खपत को नाटकीय रूप से कम करते हुए और रिट्रीवल सटीकता में उल्लेखनीय सुधार करने के लिए इसमें परत-दर-परत नेविगेट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Indexing the Unreadable" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
समस्या: "बहुत अधिक विकल्प" की दुविधा
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान सहायक (एक AI एजेंट) हैं जो एक उपयोगकर्ता की मदद करने की कोशिश कर रहे हैं। अपना काम करने के लिए, आपके पास हज़ारों अलग-अलग "ऐप्स" या "सेवाओं" का एक विशाल पुस्तकालय है—जैसे उड़ान बुक करना, बैंक बैलेंस चेक करना, या भाषाओं का अनुवाद करना।
समस्या यह है कि आपका मस्तिष्क (AI का "कंटेक्स्ट विंडो") एक बार में केवल सीमित मात्रा में जानकारी ही रख सकता है।
- पुराना तरीका: यदि आप सही टूल खोजने के लिए एक साथ सभी 1,000 टूल्स के विवरण को पढ़ने की कोशिश करते हैं, तो आप घबरा जाएंगे (overwhelmed)। यह एक पूरी विश्वकोश (encyclopedia) को एक ही बैठक में पढ़ने की कोशिश करने जैसा है। भले ही आप इसे सब कुछ पढ़ सकते हों, लेकिन आपका मस्तिष्क बीच के पन्नों को अनदेखा कर देता है और केवल शुरुआत और अंत पर ध्यान केंद्रित करता है। इसे "लॉस्ट-इन-द-मिडल" (Lost-in-the-Middle) प्रभाव कहा जाता है। आप उस सटीक टूल को मिस कर सकते हैं जो सूची के बीच में कहीं दबा हुआ था।
- विकल्प: कुछ लोग एक "जादुई इंडेक्स" (एम्बेडिंग-आधारित खोज) का उपयोग करने की कोशिश करते हैं जो यह अनुमान लगाता है कि कौन से टूल्स आपके प्रश्न के समान हैं। लेकिन यह एक धुंधले मानचित्र का उपयोग करने जैसा है; यह अक्सर उन विशिष्ट, अद्वितीय टूल्स को मिस कर देता है जिनकी आपको वास्तव में आवश्यकता होती है क्योंकि यह शब्दों के अर्थ को वास्तव में नहीं समझता, बल्कि केवल उनके आकार को समझता है।
समाधान: A2X (स्मार्ट लाइब्रेरियन)
लेखकों ने A2X (एजेंट-टू-एनीथिंग) नामक एक सिस्टम बनाया है। पूरे पुस्तकालय को AI की मेज पर ढेर करने के बजाय, A2X एक अत्यधिक व्यवस्थित लाइब्रेरियन की तरह कार्य करता है जो एक कस्टम फाइलिंग सिस्टम बनाता है और AI को चरण-दर-चरण मार्गदर्शन करता है।
यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) देखें:
1. मानचित्र बनाना (टैक्सोनॉमी - Taxonomy)
कल्पना कीजिए कि आपके पास 2,000 रैंडम टूल्स का एक ढेर है। एक इंसान को इन्हें छाँटने में कई दिन लग जाएंगे। A2X इस काम के लिए खुद AI का उपयोग करता है, लेकिन यह इसे छोटे, प्रबंधनीय टुकड़ों में करता है।
- रिकर्सिव स्प्लिटिंग (Recursive Splitting): AI को एक साथ 2,000 आइटम छाँटने के लिए कहने के बजाय (जिससे वह घबरा सकता है), A2X उसे 50 आइटम छाँटने के लिए कहता है, फिर अगले 50, और इसी तरह।
- परिणाम: यह एक पदानुक्रमित वृक्ष (hierarchical tree) बनाता है (जैसे एक फैमिली ट्री या वेबसाइट मेनू)।
- स्तर 1: बड़ी श्रेणियाँ (जैसे, "यात्रा," "वित्त," "स्वास्थ्य")।
- स्तर 2: उप-श्रेणियाँ (जैसे, "यात्रा" के अंतर्गत: "फ्लाइट्स," "होटल्स")।
- स्तर 3: विशिष्ट टूल्स।
- मानव की आवश्यकता नहीं: AI बिना किसी मानव द्वारा मैनुअल लिखे, शुरुआत से ही इस मानचित्र को स्वचालित रूप से बनाता है।
2. टूल खोजना (प्रोग्रेसिव डिस्क्लोजर - Progressive Disclosure)
जब कोई उपयोगकर्ता कहता है, "मुझे टोक्यो के लिए एक फ्लाइट बुक करनी है," तो AI पूरे पुस्तकालय को नहीं देखता। वह मानचित्र का पालन करता है:
- चरण 1: AI शीर्ष स्तर को देखता है। वह "यात्रा," "वित्त," और "स्वास्थ्य" देखता है। वह तुरंत "वित्त" और "स्वास्थ्य" को अनदेखा कर देता है और केवल "यात्रा" पर ध्यान केंद्रित करता है।
- चरण 2: वह "यात्रा" के अंदर ज़ूम करता है। वह "फ्लाइट्स," "होटल्स," और "कार रेंटल" देखता है। वह अन्य को अनदेखा करता है और केवल "फ्लाइट्स" पर ध्यान केंद्रित करता है।
- चरण 3: अब वह विशिष्ट फ्लाइट टूल्स को देखता है। अब उसे केवल कुछ ही विकल्पों के बीच चयन करना है, न कि 2,000 के बीच।
इसे प्रोग्रेसिव डिस्क्लोजर कहा जाता है। AI एक समय में केवल विकल्पों की एक छोटी, प्रासंगिक सूची ही देखता है। वह कभी भी अभिभूत (overwhelmed) नहीं होता, और वह लंबी सूची के बीच में मौजूद टूल को कभी नहीं चूकता।
यह बेहतर क्यों है (परिणाम)
पेपर ने इस सिस्टम का पुराने तरीकों के मुकाबले परीक्षण किया और पाया:
- बेहतर सटीकता: A2X ने सबसे अच्छे "जादुई इंडेक्स" (एम्बेडिंग सर्च) सिस्टम की तुलना में 20% अधिक बार सही टूल्स खोजे। इसने पूरी सूची को सीधे AI के दिमाग में डालने की तुलना में भी 6% अधिक बार उन्हें खोजा।
- सस्ता और तेज़: क्योंकि AI पूरे पुस्तकालय को पढ़ने के बजाय छोटी सूचियों को पढ़ता है, इसलिए यह समान (या बेहतर) परिणाम प्राप्त करने के लिए 9 गुना कम कंप्यूटर मेमोरी (टोकन) का उपयोग करता है।
- अन्य भाषाओं में भी प्रभावी: यह सिस्टम अंग्रेजी की तरह ही चीनी भाषा में भी उतना ही अच्छा काम करता है, क्योंकि AI शब्दों के केवल अनुवाद को नहीं, बल्कि उनके अर्थ को समझता है।
निष्कर्ष
यह पेपर तर्क देता है कि जैसे-जैसे हम उस युग में प्रवेश कर रहे हैं जहाँ AI एजेंटों को हज़ारों टूल्स का उपयोग करने की आवश्यकता होगी, हम उन्हें एक साथ सारा डेटा नहीं दे सकते। इसके बजाय, हमें उन्हें एक संरचित मानचित्र (structured map) के माध्यम से नेविगेट करना सिखाना होगा। A2X एक ऐसा सिस्टम है जो स्वचालित रूप से वह मानचित्र बनाता है और AI को एक-एक करके छोटे चरणों में मार्गदर्शन करता है, जिससे यह सुनिश्चित होता है कि वह बिना भटके या अपनी मानसिक शक्ति (brainpower) समाप्त किए सही टूल खोज ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।