IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
IterCOMP एक प्रशिक्षण-मुक्त, पुनरावृत्ति आधारित प्रॉम्प्ट संपीड़न ढांचा है जो दस्तावेजों को गतिशील रूप से विघटित करके और लक्षित अनुवर्ती प्रश्न उत्पन्न करके मल्टी-हॉप प्रश्न उत्तर देने की क्षमता को बढ़ाता है ताकि संक्षिप्त, तर्क-उन्मुख प्रॉम्प्ट का निर्माण किया जा सके, जिससे टोकन के उपयोग को कम करते हुए सटीकता और दक्षता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-परतीय रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास फर्श पर पुराने समाचार पत्रों, पत्रिकाओं और हस्तलिखित नोट्स का एक विशाल ढेर बिखरा पड़ा है। आपका लक्ष्य एक कठिन प्रश्न का उत्तर खोजना है जिसका कोई एक स्पष्ट सुराग नहीं है, बल्कि इसके लिए तीन या चार अलग-अलग लेखों के बीच कड़ियों को जोड़ने की आवश्यकता है। यह "मल्टी-हॉप क्वेश्चन अनस्वियरिंग" (Multi-hop Question Answering) की दुनिया है, जो एआई (AI) के लिए एक विशेष चुनौती है। इस कंप्यूटर विज्ञान के कोने में, एआई एक जासूस की तरह कार्य करता है जो उत्तर खोजने के लिए लेखों के पहाड़ों को पढ़ता है। लेकिन समस्या यह है कि यदि आप एआई को एक साथ समाचार पत्रों का पूरा ढेर दे देते हैं, तो वह अभिभूत हो जाता है। यह घास के ढेर में एक विशिष्ट सुई खोजने जैसा है, जबकि कोई आपके कान में एक हजार अन्य यादृच्छिक तथ्य चिल्ला रहा हो। एआई भ्रमित हो जाता है, धीमा हो जाता है, और शायद उत्तर भी चूक सकता है क्योंकि "शोर" महत्वपूर्ण सुरागों को दबा देता है। यही कारण है कि शोधकर्ता हमेशा एआई को केवल कागज के सही टुकड़ों पर ध्यान केंद्रित करने में मदद करने के तरीके की तलाश में रहते हैं, ताकि कहानी खोए बिना बाकी सबको हटाया जा सके।
यहाँ IterCOMP आता है, जो शोधकर्ताओं जुंगमिन यून और यंगबिन किम द्वारा प्रस्तावित एक नया तरीका है, जो इन एआई जासूसों के लिए एक सुपर-स्मार्ट, धैर्यवान संपादक की तरह कार्य करता है। टेक्स्ट को छोटा करने के लिए अंधाधुंध शब्दों को काटने के बजाय, IterCOMP एक चतुर, चरण-दर-चरण रणनीति का उपयोग करता है ताकि यह पता लगाया जा सके कि पहेली को सुलझाने के लिए एआई को वास्तव में किस चीज की आवश्यकता है। इसे एआई के साथ ही खेला जाने वाला "20 सवाल" (20 Questions) का खेल समझें। सिस्टम पहले उपलब्ध सुरागों को देखता है और पूछता है, "क्या हमारे पास इसे हल करने के लिए पर्याप्त जानकारी है?" यदि उत्तर "नहीं" है, तो एआई केवल अनुमान नहीं लगाता; वह खुद से पूछता है, "कौन सी विशिष्ट जानकारी गायब है?" फिर वह उस गायब सुराग को खोजने के लिए एक नया, लक्षित प्रश्न तैयार करता है, प्रासंगिक वाक्य खोजता है, और उसे अपने नोट्स में जोड़ देता है। यह लूप—जांचने, प्रश्न पूछने और एकत्र करने का—तब तक दोहराता रहता है जब तक कि उसने एक आदर्श, संक्षिप्त कहानी नहीं बना ली जिसमें रहस्य को सुलझाने के लिए आवश्यक सब कुछ मौजूद हो।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण मौजूदा तरीकों की तुलना में एक महत्वपूर्ण सुधार है। जहाँ पुराने तकनीकें अक्सर केवल एक प्रश्न पर एक नज़र के आधार पर "महत्वपूर्ण नहीं" समझे जाने वाले शब्दों या वाक्यों को हटाकर टेक्स्ट को संकुचित करने की कोशिश करती थीं, वहीं IterCOMP तर्क देता है कि जटिल, बहु-चरणीय पहेलियों के लिए यह विफल रहता है। शोधकर्ताओं ने पाया कि एआई को उसके ज्ञान के अंतराल (gaps) के माध्यम से तर्क करने देने से, वे एक बहुत छोटा प्रॉम्प्ट (निर्देशों और सुरागों का समूह जो एआई को दिया जाता है) बना सके जो वास्तव में बेहतर प्रदर्शन करता था। अपने तीन पहेली डेटासेट्स (MusiQue, 2WikiMultiHopQA, और HotpotQA) पर परीक्षणों में, IterCOMP ने न केवल स्थान बचाया; बल्कि इसने एआई को अधिक स्मार्ट भी बनाया। उदाहरण के लिए, HotpotQA डेटासेट पर, इस पद्धति ने एआई के सटीकता स्कोर (F1) को 43.63 से बढ़ाकर 51.78 कर दिया, जबकि एआई द्वारा पढ़े जाने वाले टेक्स्ट की मात्रा को लगभग 81% कम कर दिया (एक संपीड़न अनुपात 0.19)। इसका मतलब है कि एआई बिना पुन: प्रशिक्षित हुए या नए तरीके सीखे, कठिन समस्याओं को तेजी से और सस्ते में हल कर सकता था।
IterCOMP की सुंदरता यह है कि इसमें एआई को कुछ भी नया सीखने की आवश्यकता नहीं है। यह एआई की मौजूदा मानसिक शक्ति के साथ काम करता है, और खोज को निर्देशित करने के लिए एक "ट्रेनिंग-फ्री" (training-free) लूप का उपयोग करता है। शोधकर्ताओं ने दिखाया कि जैसे-जैसे पहेलियाँ कठिन होती गईं (जिसके लिए अधिक "हॉप्स" या तर्क के चरणों की आवश्यकता थी), सिस्टम स्वाभाविक रूप से तालमेल बिठाता गया, अधिक फॉलो-अप प्रश्न पूछता गया और अधिक साक्ष्य एकत्र करता गया जब तक कि वह आश्वस्त महसूस न करने लगे। हालाँकि, उन्होंने यह भी नोट किया कि यह कोई जादुई छड़ी नहीं है; यदि एआई यह निर्णय लेने में गलती करता है कि वह क्या जानता है, तो वह बहुत जल्दी रुक सकता है या गलत सुराग एकत्र कर सकता है। लेकिन कुल मिलाकर, अध्ययन बताता है कि प्रॉम्प्ट संपीड़न को एक सक्रिय तर्क प्रक्रिया में बदलकर, हम एआई को इंटरनेट के शोर के बीच नेविगेट करने और सत्य खोजने में मदद कर सकते हैं, भले ही उत्तर दस्तावेजों के भूलभुलैया में गहराई में छिपा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।