पूर्ण उत्तर की खोज

कल्पना कीजिए कि आप एक रोबोट को एक सहायक बनने के लिए सिखा रहे हैं। आप नहीं चाहते कि वह केवल झूठ बोलने से बचे; आप चाहते हैं कि वह वास्तव में उपयोगी हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह सटीकता (precision) और रिकॉल (recall) के बीच का अंतर है। सटीकता को एक सख्त शिक्षक के रूप में सोचें जो आपको केवल तभी लाल "X" देता है जब आप कुछ गलत लिखते हैं। यदि आप कहते हैं, "आकाश हरा है," तो शिक्षक इसे गलत बताता है। लेकिन यदि आप कहते हैं, "आकाश नीला है," तो शिक्षक आपको एक गोल्ड स्टार देता है, भले ही आप यह बताना भूल गए हों कि यह सफेद बादलों के साथ नीला भी है, या सूर्यास्त के समय अपना रंग बदल लेता है। यही सटीकता है: यह जांचना कि आपने जो कहा है वह सच है या नहीं।

अब, रिकॉल को एक अलग तरह के शिक्षक के रूप में सोचें जो पूछता है, "क्या आपने मुझे बताया कि आप आकाश के बारे में सब कुछ जानते हैं?" यदि आपने केवल कहा "आकाश नीला है," तो यह शिक्षक कह सकता है, "यह सच है, लेकिन आप बादलों और सूर्यास्त को भूल गए। आपने मुझे पूरी तस्वीर नहीं दी।" लंबे समय तक, एआई शोधकर्ता पहले प्रकार के शिक्षक (सटीकता) में माहिर रहे हैं, जिससे यह सुनिश्चित होता है कि रोबोट फर्जी तथ्य न गढ़ें। लेकिन वे दूसरे शिक्षक (रिकॉल) के साथ संघर्ष करते रहे हैं। उनके पास यह मापने का कोई अच्छा तरीका नहीं था कि किसी रोबोट का उत्तर पूर्ण है या नहीं, खासकर जब उत्तर केवल तथ्यों की सूची नहीं बल्कि चरणों, संबंधों और खुले विवरणों वाली एक जटिल कहानी हो। यह शोध पत्र उस कमी को भरने के लिए आता है, और पूछता है: "हम एआई को केवल इस आधार पर कैसे ग्रेड दें कि वह सही है, बल्कि इस आधार पर भी कि वह कितना विस्तृत है?"

GAMUT में प्रवेश: "क्या आपने कुछ छोड़ा तो नहीं?" टेस्ट

Meta AI के शोधकर्ताओं ने GAMUT (Grounded Assessment of Multimodal Factuality) नामक एक नया बेंचमार्क बनाया है। GAMUT को एक बहुत ही चुनौतीपूर्ण ट्रिविया गेम के रूप में समझें जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या एक एआई केवल तथ्यों को दोहराने वाले के बजाय एक "गहन शोधकर्ता" बन सकता है।

यहाँ सेटअप है: कल्पना कीजिए कि आपने स्मार्ट चश्मा पहना हुआ है। आप बेकरी में एक अजीब, परतदार पेस्ट्री देखते हैं, या एक अजीब कार इंजन, या एक विशिष्ट प्रकार का पौधा देखते हैं। आप अपने चश्मे से पूछते हैं, "यह क्या है, और यह कैसे बनता है?" एआई को तस्वीर देखनी होगी, इंटरनेट पर जाना होगा, कई स्रोतों से जानकारी निकालनी होगी और एक लंबा, विस्तृत उत्तर लिखना होगा।

पिछले परीक्षणों के साथ समस्या यह थी कि वे उत्तरों को एक साधारण चेकलिस्ट की तरह मानते थे। वे पूछते थे, "क्या आपने चावल का उल्लेख किया?" हाँ। "क्या आपने टमाटर का उल्लेख किया?" हाँ। "पास!" लेकिन वास्तविक जीवन एक सपाट सूची नहीं है। कभी-कभी आपको चरणों के क्रम को जानने की आवश्यकता होती है (आप चावल धोने से पहले उन्हें तल नहीं सकते)। कभी-कभी आपको यह जानने की आवश्यकता होती है कि कई वैध सामग्रियां हो सकती हैं, और आपको बस उनमें से पर्याप्त नाम बताने की आवश्यकता है ताकि आप सहायक हो सकें, न कि अस्तित्व में मौजूद हर एक का। कभी-कभी आपको यह समझाने की आवश्यकता होती है कि कुछ क्यों होता है, दो तथ्यों को आपस में जोड़ते हुए। एक साधारण "हाँ/नहीं" चेकलिस्ट इन बारीकियों को पकड़ने में विफल रहती है।

दो-स्तरीय जादू (The Two-Level Magic Trick)
इसे हल करने के लिए, लेखकों ने एक चतुर दो-चरणीय ग्रेडिंग प्रणाली बनाई, जिसे वे टू-लेवल मेटा-रूब्रिक (Two-Level Meta-Rubric) कहते हैं।

1. स्तर 1: मास्टर प्लान (द मेटा-रूब्रिक)। सबसे पहले, एक मानव विशेषज्ञ (एक स्मार्ट एआई की सहायता से) एक विस्तृत "मास्टर प्लान" बनाता है कि एक आदर्श उत्तर कैसा दिखता है। यह योजना केवल एक सूची नहीं है; यह एक संरचित मानचित्र है। यह कहता है, "ठीक है, इस प्रश्न के लिए, आपको व्यंजन की पहचान करनी ही होगी (महत्वपूर्ण)। आपको मुख्य सामग्रियां सूचीबद्ध करनी ही होंगी (महत्वपूर्ण)। आपको कम से कम दो वैकल्पिक मसालों का उल्लेख करना चाहिए (लचीला)। और आपको खाना पकाने के चरणों को बिल्कुल सही क्रम में वर्णित करना चाहिए (प्रक्रिया)।" यह स्तर एक अच्छे उत्तर की जटिल वास्तविकता को पकड़ता है।

2. स्तर 2: चेकलिस्ट (द बाइनरी रूब्रिक)। यहाँ असली ट्रिक है। कंप्यूटर फिर उस जटिल मास्टर प्लान को सरल "पास/फेल" प्रश्नों की एक लंबी, सपाट सूची में यांत्रिक रूप से अनुवादित करता है जिसे एक रोबट जज आसानी से ग्रेड कर सके। यह "आपको पर्याप्त वैकल्पिक मसालों को कवर करने की आवश्यकता है" को एक विशिष्ट चेक में बदल देता है: "क्या उत्तर में इन 6 विशिष्ट मसालों में से कम से कम 2 का उल्लेख किया गया है?" यह "चरणों को क्रम में करें" को एक चेक में बदल देता है: "क्या उत्तर में 'तलने' के पहले 'पकाने' (simmer) का उल्लेख किया गया है?"

इस तरह, मनुष्यों को एक समृद्ध, सूक्ष्म परीक्षण डिजाइन करने का मौका मिलता है, लेकिन ग्रेडिंग एक रोबोट द्वारा सरल बॉक्स चेक करने के माध्यम से की जाती है, जो कि यह पूछने की तुलना में बहुत अधिक विश्वसनीय और सुसंगत है कि "उत्तर कैसा महसूस होता है।"

खेल: 1,813 प्रश्न और वास्तविक चित्र

टीम ने एक विशाल डेटासेट बनाया जिसे GAMUT कहा जाता है जिसमें 1,813 प्रश्न हैं। ये मनगढ़ंत प्रश्न नहीं हैं; ये वास्तविक तस्वीरों पर आधारित हैं जो स्मार्ट चश्मा पहने लोगों द्वारा ली गई हैं। तस्वीरें रोजमर्रा की चीजों को दिखाती हैं: एक विशिष्ट प्रकार का जूता, एक स्थानीय मील का पत्थर, एक अजीब सब्जी, या कार का हिस्सा। प्रश्न "रोजमर्रा के गहन शोध" के लिए डिज़ाइन किए गए हैं—ऐसी चीजें जो एक जिज्ञासु व्यक्ति वास्तवв में किसी चीज़ को देखते समय पूछेगा, लेकिन जिनके लिए पूरी तरह से उत्तर देने के लिए इंटरनेट में गहराई तक जाने की आवश्यकता होती है।

उन्होंने 14 अलग-अलग एआई मॉडल (तकनीकी दिग्गजों के बड़े, महंगे मॉडल और ओपन-सोर्स दोनों) का इस बेंचमार्क पर परीक्षण किया। परिणाम चौंकाने वाले थे।

निष्कर्ष:

• यह कठिन है। सबसे स्मार्ट मॉडल, Gemini 3.1 Pro ने भी केवल 58.7% स्कोर प्राप्त किया। यह हाई स्कूल में पास होने के ग्रेड से भी मुश्किल से ऊपर है! इसका मतलब है कि दुनिया का सबसे अच्छा एआई भी अभी भी जानकारी के एक बड़े हिस्से को छोड़ रहा है जो एक पूर्ण उत्तर में होनी चाहिए।
• छोड़ना बनाम गलत होना (Missing vs. Wrong)। सबसे बड़ी समस्या यह नहीं थी कि एआई झूठ बोल रहे थे (तथ्यों का खंडन कर रहे थे)। सबसे बड़ी समस्या ओमिशन (छोड़ देना) थी। मॉडल महत्वपूर्ण विवरणों को छोड़ रहे थे। वे उन छात्रों की तरह थे जिन्होंने एक छोटी निबंध लिखा जबकि शिक्षक ने एक किताब मांगी थी। उन्होंने मुख्य तथ्यों को सही ढंग से बताया (सटीकता), लेकिन उन्होंने पूरी कहानी नहीं दी (पूर्णता)।
• दृष्टि का "कर" (The "Tax" of Vision)। शोधकर्ताओं ने मॉडलों का बिना चित्रों के (केवल टेक्स्ट के साथ) भी परीक्षण किया। जब उन्होंने ऐसा किया, तो सभी के लिए स्कोर लगभग 10 से 20 अंक बढ़ गया। यह दर्शाता है कि कठिनाई का एक हिस्सा केवल वस्तु को सही ढंग से "देखना" था। लेकिन विजन वाले हिस्से को हटाने के बाद भी, मॉडलों में ज्ञान की कमियां बनी रहीं। मॉडलों की रैंकिंग समान रही, जिससे यह सिद्ध होता है कि यह परीक्षण वास्तव में यह माप रहा है कि एआई कितना "जानता" है, न कि यह कि वह कितनी अच्छी तरह "देखता" है।
• मजबूती (Robustness)। उन्होंने तीन अलग-अलग "जज" एआई के साथ परिणामों का परीक्षण किया। रैंकिंग समान रही चाहे कोई भी ग्रेडिंग कर रहा हो, जिसका अर्थ है कि परीक्षण निष्पक्ष और विश्वसनीय है।

यह क्यों मायने रखता है

यह शोध पत्र केवल यह नहीं कहता कि "एआई बेहतर हो रहा है।" यह कहता है, "हमारे पास यह मापने का एक नया तरीका है कि क्या एआई वास्तव में उपयोगी है।" सरल "क्या यह तथ्य सत्य है?" चेक्स से आगे बढ़कर "क्या आपने पूरे विषय को कवर किया है?" चेक्स की ओर बढ़ते हुए, GAMUT प्रकट करता है कि हमारे सबसे उन्नत मॉडल भी अभी भी पेड़ों के बीच जंगल को देखने में चूक रहे हैं। वे आपको बता सकते हैं कि एक तथ्य सच है, लेकिन वे अक्सर आपको पूरी कहानी बताना भूल जाते हैं।

लेखक सुझाव देते हैं कि हमारे दैनिक जीवन में एक उपयोगी सहायक के रूप में वास्तव में उपयोगी होने के लिए—हमें खाना पकाने, चीजें ठीक करने या दुनिया के बारे में सीखने में मदद करने के लिए—एआई को तथ्यात्मक पूर्णता (factual completeness) में महारत हासिल करने की आवश्यकता है। GAMUT हमें उस प्रगति को मापने के लिए एक पैमाना देता है, और अभी, पैमाने दिखाते हैं कि हमें अभी लंबा रास्ता तय करना है। सर्वश्रेष्ठ मॉडल केवल 60% तक ही पहुँच पाए हैं, जो अगली पीढ़ी के एआई के लिए वास्तव में गहन होने के बारे में सीखने के लिए काफी जगह छोड़ता है।