Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
यह शोध पत्र MT-InfoSeek प्रस्तुत करता है, जो एक नियंत्रित मूल्यांकन सुइट है और यह प्रदर्शित करता है कि जहाँ बड़े भाषा मॉडल (LLMs) कम-निर्दिष्ट बहु-चरण कार्यों (underspecified multi-turn tasks) में अतिरिक्त जानकारी की आवश्यकता को पहचान सकते हैं, वहीं वे व्यवस्थित रूप से आवश्यक मात्रा का कम आकलन करते हैं, न्यूनतम पर्याप्त प्रश्नों (minimal sufficient queries) की पहचान करने में विफल रहते हैं, और क्वेरी के क्रम निर्धारण में संघर्ष करते हैं, जो उनकी सूचना-खोज क्षमताओं और वर्तमान मूल्यांकन मेट्रिक्स के बीच एक स्पष्ट अंतर को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक डॉक्टर एक मरीज के सामने बैठा है जो केवल इतना कहता है, "मुझे दर्द हो रहा है।" निदान करने के लिए, डॉक्टर केवल अनुमान नहीं लगा सकता; उन्हें छूटे हुए विवरणों को भरने के लिए विशिष्ट प्रश्न पूछने होंगे। क्या दर्द तेज है या हल्का? यह वास्तव में कहाँ स्थित है? यह कब से चल रहा है? आर्टिफिशियल इंटेलिजेंस की दुनिया में, बड़े लैंग्वेज मॉडल्स का परीक्षण अक्सर उनके प्रश्न पूछने की क्षमता पर किया जाता है, लेकिन उनका परीक्षण इस बात पर शायद ही कभी किया जाता है कि उन्हें कब पता होना चाहिए कि उनके पास उत्तर देने के लिए पर्याप्त जानकारी नहीं है। यह एक महत्वपूर्ण कमी है। एक सक्षम एआई को यह पहचानना चाहिए कि स्थिति अधूरी है, यह समझना चाहिए कि वास्तव में क्या गायब है, और कोई निष्कर्ष देने से पहले उसके लिए पूछना चाहिए। यदि यह बहुत जल्दी अनुमान लगा लेता है, तो इसके गलत होने का जोखिम रहता है।
हार्वर्ड यूनिवर्सिटी और गूगल डीपमाइंड के शोधकर्ताओं ने इस विशिष्ट कौशल का परीक्षण करने का एक नया तरीका विकसित किया है। उन्होंने एक नियंत्रित वातावरण बनाया है जहाँ एक आर्टिफिशियल इंटेलिजेंस को अधूरे टुकड़ों वाला एक पहेली दी जाती है। पहेली एक गणितीय समस्या हो सकती है जिसमें एक छिपी हुई संख्या हो, एक तार्किक पहेली जिसमें एक तथ्य गायब हो, या एक चिकित्सा परिदृश्य जिसमें एक अनपूछा लक्षण हो। लक्ष्य केवल पहेली को हल करना नहीं है, बल्कि सही क्रम में सही प्रश्न पूछने की प्रक्रिया को संचालित करना है जब तक कि उत्तर स्पष्ट न हो जाए। शोधकर्ता यह देखना चाहते थे कि क्या ये मॉडल एक कुशल अन्वेषक की तरह कार्य कर सकते हैं जो जानता है कि किस साक्ष्य की आवश्यकता है, या क्या वे अपर्याप्त सुरागों के साथ जल्दबाजी में निष्कर्ष पर पहुँच जाते हैं।
टीम ने MT-INFOSEEK नामक एक परीक्षण प्रणाली विकसित की है, जिसमें पाँच विभिन्न क्षेत्रों: गणित, तर्क, जीव विज्ञान, चिकित्सा और सामान्य ज्ञान के माध्यम से 5,000 से अधिक अलग-अलग समस्याएँ शामिल हैं। इन परीक्षणों में, एआई को जानबूझकर अधूरा प्रारंभिक बिंदु दिया जाता है। उदाहरण के लिए, एक चिकित्सा परीक्षण में, एआई को पता हो सकता है कि मरीज को पेल्विक दर्द है, लेकिन यह नहीं पता होगा कि दर्द कब से चल रहा है या क्या मरीज गर्भवती है। इसके बाद एआई को एक "ओरेकल" (oracle) के साथ संवाद करना होगा—एक ऐसा सिस्टम जो पूछे गए प्रश्न का सही उत्तर प्रदान करता है। एआई को यह तय करना होगा कि उसे कब रुकना है और अपना अंतिम उत्तर देना है। शोधकर्ताओं ने सफलता को केवल इस आधार पर नहीं मापा कि अंतिम उत्तर सही था या नहीं, बल्कि इस आधार पर भी मापा कि क्या एआई ने वास्तव में उस उत्तर तक पहुँचने के लिए पर्याप्त जानकारी एकत्र की थी।
परिणामों ने एक महत्वपूर्ण कमजोरी को उजागर किया। हालांकि एआई सिस्टम आमतौर पर यह पहचान लेते थे कि उनकी जानकारी अधूरी है, लेकिन वे लगातार इस बात को कम आंकते थे कि उन्हें कितने की आवश्यकता है। जब शोधकर्ताओं ने ऐसी समस्याएँ बनाईं जिन्हें हल करने के लिए दो सूचनाओं के टुकड़ों की आवश्यकता थी, तो मॉडल्स ने अक्सर यह अनुमान लगाया कि केवल एक टुकड़ा गायब है। तार्किक पहेलियों में, मॉडल्स द्वारा सूचना की कमी को कम आंकने की संभावना, उसे अधिक आंकने की तुलना में चार गुना अधिक थी। उन्हें उन विशिष्ट प्रश्नों को पहचानने में भी कठिनाई हुई जो वास्तव में समस्या को हल करते। यहाँ तक कि जब शोधकर्ताओं ने मॉडल्स को ठीक बताया कि उन्हें कितने प्रश्न पूछने की आवश्यकता है, तब भी मॉडल्स अक्सर सही प्रश्नों का सेट चुनने में विफल रहे। वे अप्रासंगिक प्रश्न पूछते या बहुत जल्दी रुक जाते, जिससे पहेली अनसुलझी रह जाती।
अध्ययन ने इस बात पर भी ध्यान दिया कि प्रश्न किस क्रम में पूछे गए थे। चिकित्सा जैसे क्षेत्रों में, सूचना का क्रम मायने रखता है। एक डॉक्टर को यह निर्धारित करना चाहिए कि दर्द तीव्र है या पुराना, इससे पहले कि वह आगे के परीक्षणों का निर्णय ले। शोधकर्ताओं ने पाया कि जब एआई मॉडल्स ने सही प्रश्न तो पूछे लेकिन गलत क्रम में, तो उनकी अंतिम सटीकता काफी कम हो गई। इससे पता चलता है कि यह जानना कि क्या पूछना है, केवल आधी लड़ाई है; यह जानना कि कब पूछना है, उतना ही महत्वपूर्ण है। इसके अलावा, शोधकर्ताओं ने पाया कि एक मॉडल एक खराब पहले प्रश्न से उबर सकता है। यदि किसी मॉडल ने शुरुआत में एक बेकार प्रश्न पूछा लेकिन फिर अगले दौर में प्रासंगिक प्रश्न पूछना जारी रखा, तो वह अभी भी सही समाधान तक पहुँच सकता है। हालाँकि, कई मॉडल्स टिके नहीं रह पाए, वे अक्सर कुछ ही दौर के बाद रुक जाते थे, भले ही उन्होंने पर्याप्त साक्ष्य एकत्र न किए हों।
शायद सबसे आश्चर्यजनक खोज यह थी कि एक मॉडल की अच्छे प्रश्न पूछने की क्षमता, अच्छा उत्तर देने की उसकी क्षमता से अलग है। शोधकर्ताओं ने यह परीक्षण करने के लिए एक बातचीत ली जहाँ एआई ने सभी आवश्यक जानकारी एकत्र कर ली थी और फिर एक अलग मॉडल को केवल उस बातचीत के आधार पर पहेली को हल करने के लिए कहा। उन्होंने पाया कि कुछ मॉडल्स पूरी जानकारी दिए जाने पर पहेली को पूरी तरह से हल कर सकते थे, भले ही वे स्वयं उन तथ्यों को एकत्र करने में विफल रहे हों। इसका मतलब है कि विफलता मॉडल के तर्क या ज्ञान में नहीं थी, बल्कि जानकारी खोजने की प्रक्रिया में थी। मॉडल्स समस्याओं को हल करने में बुरे नहीं थे; वे यह जानने में बुरे थे कि वे क्या नहीं जानते थे।
शोधकर्ताओं ने निष्कर्ष निकाला कि आर्टिफिशियल इंटेलिजेंस का वर्तमान मूल्यांकन अधूरा है। केवल मॉडल के उत्तर की अंतिम सटीकता को मापने से यह तथ्य छिप जाता है कि मॉडल ने वह उत्तर अनुमान लगाकर या गायब जानकारी को अनदेखा करके प्राप्त किया होगा। एआई के साथ दुनिया में कैसे बातचीत करनी है, इसे वास्तव में समझने के लिए, हमें इसकी अनिश्चितता को पहचानने, यह पहचानने की क्षमता को मापने की आवश्यकता है कि क्या गायब है, और उस गायब जानकारी को चरण दर चरण प्राप्त करने की क्षमता को मापने की आवश्यकता है। यह नया ढांचा बिल्कुल ऐसा ही करने का एक तरीका प्रदान करता है, जो दिखाता है कि आज के मॉडल्स शक्तिशाली तो हैं, लेकिन उनमें अभी भी उस मानवीय विशेषज्ञ की सहज समझ की कमी है जो जानता है कि अनुमान लगाना कब बंद करना है और पूछना कब शुरू करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।