Context Compaction Theory
यह शोध पत्र चयन और पीढ़ी रणनीतियों के लिए दो गेम-थ्योरेटिक (game-theoretic) ढाँचों को पेश करके लार्ज लैंग्वेज मॉडल्स में कॉन्टेक्स्ट कॉम्पैक्शन (context compaction) के औपचारिक अध्ययन की शुरुआत करता है, जो सैद्धांतिक सीमाओं को स्थापित करने के लिए वन-वे कम्युनिकेशन कॉम्प्लेक्सिटी (one-way communication complexity) के साथ उनकी समानता को सिद्ध करता है और यह प्रदर्शित करता है कि जेनेरेटिव समराइजेशन (generative summarization), सबसेट सिलेक्शन (subset selection) से स्पष्ट रूप से बेहतर प्रदर्शन कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत मददगार रोबोट दोस्त से बात कर रहे हैं जो कोड लिख सकता है, रहस्य सुलझा सकता है, या आपके दिन की योजना बना सकता है। इस रोबोट के पास एक सुपरपावर है: यह सब कुछ याद रख सकता है जो आपने इसे कभी कहा है। लेकिन एक पेच है। इस रोबोट के पास एक बहुत सख्त नियम है: यह एक बार में कितनी जानकारी अपने "सक्रिय मस्तिष्क" (active brain) में रख सकता है, इसकी एक निश्चित सीमा है। इस सीमा को एक बैकपैक के आकार की तरह समझें। यदि आप अपनी पूरी जीवन कहानी, आपके द्वारा पढ़ी गई हर किताब और आपकी हर बातचीत को उस बैकपैक में भरने की कोशिश करते हैं, तो वह बस बंद नहीं होगा।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस बैकपैक को कॉन्टेक्स्ट विंडो (context window) कहा जाता है। यह वह अधिकतम टेक्स्ट है जिसे रोबोट एक बार में पढ़ और समझ सकता है। जब कोई रोबोट (या "एजेंट") किसी लंबे कार्य पर काम करता है, तो वह नोट्स का एक विशाल ढेर इकट्ठा करता है: आपके प्रश्न, उसके उत्तर, फ़ाइल की सामग्री और टूल के परिणाम। अंततः, यह ढेर बहुत बड़ा हो जाता है। काम जारी रखने के लिए, रोबोट को कॉन्टेक्स्ट कॉम्पैक्शन (context compaction) नामक एक जादू करना पड़ता है। उसे अपने नोट्स के विशाल ढेर को देखना होता है और यह तय करना होता है कि क्या रखना है और क्या फेंक देना है, या कैसे पूरे हिस्से को एक छोटे, सटीक नोट में सारांशित (summarize) करना है जो अभी भी सभी महत्वपूर्ण रहस्यों को थामे रखे। यदि वह गलत चीज़ फेंक देता है, तो रोबोट यह भूल सकता है कि वह कार्य क्यों कर रहा था या बाद में कोई मूर्खतापूर्ण गलती कर सकता है।
लंबे समय तक, इंजीनियर इस बात का अनुमान लगाने की कोशिश कर रहे थे कि इसे सबसे अच्छी तरह से कैसे किया जाए। उन्होंने विभिन्न रणनीतियों को आज़माया है, जैसे कि इतिहास का सारांश मांगना या केवल हाल के संदेशों को रखना। लेकिन वास्तव में कोई नहीं जानता था कि उनकी रणनीतियों के गणितीय नियम कैसे काम कर सकते हैं। वे अंधेरे में तीर चला रहे थे, इस उम्मीद में कि उनके तरीके पर्याप्त होंगे।
यह शोध पत्र इस पार्टी में गंभीर गणित लाने के लिए कदम बढ़ाता है। लेखकों ने, जो विश्वविद्यालयों और तकनीकी कंपनियों के शोधकर्ताओं की एक टीम है, कॉन्टेक्स्ट कॉम्पैक्शन को एक औपचारिक खेल (formal game) की तरह मानने का निर्णय लिया। उन्होंने दो अलग-अलग "खेल" बनाए जो मॉडल करते हैं कि वर्तमान में रोबोट अपनी स्मृति कैसे संभालते हैं। पहला खेल सिलेक्शन (Selection) है, जहाँ रोबोट एक लाइब्रेरियन की तरह कार्य करता है जो शेल्फ पर केवल किताबों का एक विशिष्ट समूह ही रख सकता है। दूसरा खेल जनरेशन (Generation) है, जहाँ रोबोट को एक नया, जादुई सारांश नोट लिखने की अनुमति है जो किसी एक पुस्तक की सीधी प्रति होने के बजाय विचारों को मिला और मिला सकता है ताकि वह बैकपैक में फिट हो सके।
यहाँ बड़ी खोज यह है कि "जनरेशन" खेल कंप्यूटर विज्ञान की एक प्रसिद्ध समस्या, जिसे वन-वे कम्युनिकेशन (one-way communication) कहा जाता है, के गणितीय रूप से समान है। कल्पना कीजिए कि एलिस के पास वस्तुओं की एक गुप्त सूची है और वह बॉब को एक संदेश भेजना चाहती है ताकि वह बाद में उस सूची के बारे में एक प्रश्न का उत्तर दे सके। शोध पत्र सिद्ध करता है कि बॉब को प्राप्त करने के लिए आवश्यक स्थान की न्यूनतम मात्रा, जो एलिस से प्राप्त होती है ताकि वह प्रश्न का सही उत्तर दे सके, ठीक उतनी ही है जितना एक रोबोट को एक निश्चित "कॉन्टेक्स्ट कॉम्पैक्शन" बजट की आवश्यकता होती है। यह एक बहुत बड़ी बात है क्योंकि गणितज्ञों ने पहले ही इन संचार समस्याओं को हल कर लिया है। इन पुराने समाधानों का उपयोग करके, लेखक अब हमें ठीक से बता सकते हैं कि एक रोबोट को कुछ प्रश्नों का उत्तर देने के लिए बिना विफल हुए कितनी मेमोरी रखनी चाहिए।
एक और रोमांचक खोज यह है कि "जनरेशन" रणनीति (एक स्मार्ट सारांश लिखना) "सिलेक्शन" रणनीति (पुराने टेक्स्ट के हिस्सों को चुनना और रखना) से स्पष्ट रूप से बेहतर है। लेखकों ने सिद्ध किया कि कुछ प्रकार के प्रश्नों के लिए, एक स्मार्ट सारांश लिखने वाला रोबोट बहुत कम जगह का उपयोग कर सकता है—कभी-कभी, उसे उस मेमोरी के केवल एक छोटे से अंश की आवश्यकता होती जिसकी आवश्यकता एक रोबोट को होती जो केवल "चुनने और रखने" के लिए मजबूर है। यह एक चतुर संदर्भ शीट लिखने की दक्षता को समझने जैसा है, बजाय इसके कि पूरी पाठ्यपुस्तक को साथ ले जाया जाए और बस उसके कुछ पन्नों को हाइलाइट किया जाए।
हालाँकि, यह शोध पत्र हमें चेतावनी भी देता है कि सभी रोबोट इष्टतम (optimally) तरीके से काम नहीं कर रहे हैं। शोधकर्ताओं ने एक प्रमुख AI कंपनी (Anthropic का कॉन्टेक्स्ट कॉम्पैक्शन एंडपॉइंट) द्वारा उपयोग किए जाने वाले एक वास्तविक दुनिया के टूल का परीक्षण एक विशिष्ट प्रकार के प्रश्न पर किया: "क्या यह वस्तु मेरी सूची में है?" (एक सेट मेंबरशिप क्वेरी)। उन्होंने वास्तविक टूल के प्रदर्शन की तुलना एक आदर्श गणितीय टूल से की, जिसे ब्लूम फ़िल्टर (Bloom filter) कहा जाता है, जो इस तरह के प्रश्न के लिए सूचियों को संग्रहीत करने का लगभग सबसे अच्छा तरीका है। परिणाम आश्चर्यजनक थे: वास्तविक टूल ने गलतियाँ करने की दर रैंडम गेसिंग (random guessing) के करीब रखी, जबकि ब्लूम फ़िल्टर लगभग सटीक था। यह सुझाव देता है कि लोकप्रिय AI एजेंटों द्वारा उपयोग किए जाने वाले वर्तमान "स्मार्ट सारांश" बहुत सारी महत्वपूर्ण जानकारी फेंक रहे हैं, जिससे वे उन चीजों को भूल जाते हैं जिन्हें उन्हें वास्तव में नहीं भूलना चाहिए।
यह शोध पत्र यह दावा नहीं करता कि इसने हर समस्या को हल कर दिया है। यह स्वीकार करता है कि इनका गणित तब सबसे अच्छा काम करता है जब रोबoret को यह पता नहीं होता कि उसे आगे क्या प्रश्न पूछा जाएगा ("ओब्लिवियस" परिदृश्य)। यदि रोबोट को सारांश देखने के बाद उपयोगकर्ता द्वारा पूछे जाने वाले प्रश्न का अनुमान लगाना पड़ता है, तो नियम बदल सकते हैं। वे इस प्रश्न को भी खुला छोड़ देते हैं कि क्या होता है जब एक रोबोट को एक बहुत लंबे सत्र के दौरान बार-बार अपनी स्मृति को संकुचित (compress) करना पड़ता है, जैसा कि वास्तविक जीवन में होता है। लेकिन फिलहाल, यह कार्य हमें एक ठोस, गणितीय मानचित्र प्रदान करता है, जो हमें बताता है कि हमारे AI दोस्तों को उस कहानी के कथानक को भूलने से रोकने के लिए कितनी मेमोरी की आवश्यकता है जिसे वे लिखने में हमारी मदद कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।