SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA
यह शोध पत्र SAGE को प्रस्तुत करता है, जो एक सर्च-ऑगमेंटेड फ्रेमवर्क है जो मुक्त-रूप (free-form) प्रश्नों पर लार्ज लैंग्वेज मॉडल्स की तथ्यात्मकता का मूल्यांकन करने के लिए बाहरी साक्ष्यों को सक्रिय रूप से पुनर्प्राप्त और संश्लेषित करता है, जो स्थिर संदर्भ-आधारित या अविश्वसनीय LLM-एज़-ए-जज मूल्यांकन विधियों के एक स्केलेबल और अनुकूलन योग्य विकल्प के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: वह "सब कुछ जानने वाला" छात्र जो अपना होमवर्क चेक नहीं कर सकता
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो एक परीक्षा दे रहा है। शिक्षक एक कठिन प्रश्न पूछता है जैसे, "शो Half & Half का थीम सॉन्ग कौन गाता है?"
छात्र उत्तर देता है: "एरिका कैंपबेल।"
अब, आप इसे कैसे ग्रेड करेंगे?
- पुराना तरीका (लेक्सिकल मैचिंग): आप एक पहले से लिखे गए उत्तर कुंजी (answer key) के साथ सटीक मिलान देखते हैं। यदि छात्र ने "एरिका कैंपबेल" लिखा है लेकिन कुंजी में "मेलोनी डैनियल्स" लिखा है, तो आप उसे गलत मार्क कर देते हैं, भले ही छात्र सही हो। यदि छात्र ने एक लंबा, सुंदर पैराग्राफ लिखा है जिसका अर्थ वही है लेकिन शब्द अलग हैं, तो भी आप उसे पकड़ नहीं पाएंगे। यह गणित के टेस्ट को केवल "42" संख्या की तलाश करने के लिए ग्रेड करने जैसा है और "Forty-Two" शब्द को अनदेखा करने जैसा है।
- "जज" वाला तरीका (LLM-as-a-Judge): आप पहले छात्र को ग्रेड करने के लिए दूसरे बुद्धिमान छात्र से कहते हैं। लेकिन यहाँ एक पेंच है: यह दूसरा छात्र भी केवल उसी के आधार पर अनुमान लगा रहा है जो उसने स्कूल में याद किया था। यदि पहला छात्र झूठ बोलता है, तो दूसरा छात्र उस पर विश्वास कर सकता है क्योंकि दोनों ने एक ही पुराने तथ्यों को सीखा है। वे यहाँ तक कि यह भी बना सकते हैं कि झूठ क्यों सच है, ताकि वे स्मार्ट लग सकें। यह एक ऐसे छात्र से उत्तर कुंजी को ग्रेड करने के लिए पूछने जैसा है जो खुद टेस्ट में फेल हो गया हो।
मुख्य मुद्दा: खुले-अंत वाले (open-ended) प्रश्नों के लिए, हम हर संभावित उत्तर के लिए उत्तर कुंजी नहीं लिख सकते। और बिना कुछ खोजे किसी AI को दूसरे AI को ग्रेड करने के लिए कहना अविश्वसनीय है क्योंकि AI आत्मविश्वास के साथ गलत हो सकता है या पुरानी जानकारी में फंसा हो सकता है।
समाधान: SAGE (द "डिटेक्टिव" फ्रेमवर्क)
लेखक SAGE (सर्च-ऑगमेंटेड इवैल्यूएशन) का प्रस्ताव करते हैं। याददाश्त या एक स्थिर उत्तर कुंजी पर भरोसा करने के बजाय, SAGE "जज" को एक जासूस (Detective) में बदल देता है।
कल्पना कीजिए कि एक जासूस एक केस सुलझाने की कोशिश कर रहा है। वह केवल अनुमान नहीं लगाता; वह बाहर जाता है, सुराग इकट्ठा करता है, अपने नोट्स चेक करता है, और नए सवाल पूछता है जब तक कि वह सुनिश्चित न हो जाए।
SAGE इस प्रकार काम करता है, स्टेप-दर-स्टेप:
- प्रारंभिक सुराग (क्वेरी जनरेशन): जासूस (SAGE) प्रश्न और छात्र के उत्तर को देखता है। वह केवल उत्तर को स्वीकार नहीं करता। वह पूछता है, "मैं इसे कैसे साबित कर सकता हूँ?" और एक सर्च क्वेरी लिखता है, जैसे "Who sings the Half & Half theme song?"
- साक्ष्य जुटाना (वेब सर्च): जासूस लाइब्रेरी (इंटरनेट) में जाता है और तीन किताबें (सर्च रिजल्ट्स) निकालता है।
- सुरागों का सारांश (समराइजेशन): जासूस किताबों को पढ़ता है और एक छोटा सारांश लिखता है: "किताब 1 कहती है मेलोनी डैनियल्स। किताब 2 कहती है मेलोनी डैनियल्स।"
- "रुको एक मिनट" वाला क्षण (रिफ्लेक्शन): यह सबसे महत्वपूर्ण हिस्सा है। जासूस छात्र के उत्तर ("एरिका कैंपबेल") और नए साक्ष्य ("मेलोनी डैनियल्स") को देखता है। जासूस सोचता है: "ये मेल नहीं खा रहे हैं। छात्र गलत है। लेकिन रुकिए, क्या कोई और स्रोत है? शायद मुझे सिर्फ पक्का करने के लिए 'एरिका कैंपबेल' को भी खोजना चाहिए।"
- खोज को परिष्कृत करना: क्योंकि साक्ष्य विरोधाभासी या अधूरे थे, जासूस एक नया, बेहतर सर्च क्वेरी लिखता है ताकि गहराई से जांच की जा सके।
- अंतिम निर्णय: इस लूप को कुछ बार (आमतौर पर तीन) करने के बाद, जासूस अपने सभी नोट्स इकट्ठा करता है और एक अंतिम निर्णय लेता है: सत्य (True) या असत्य (False), और साथ ही एक लिखित स्पष्टीकरण भी देता है।
यह बेहतर क्यों काम करता है
पेपर का दावा है कि SAGE तीन मुख्य कारणों से बेहतर है:
- यह केवल याददाश्त नहीं है: "जज" के विपरीत जो अपनी याददाश्त पर निर्भर है, SAGE बाहर जाकर वर्तमान तथ्य खोजता है। यदि दुनिया AI के प्रशिक्षित होने के बाद बदल गई है (जैसे कि एक नई इमारत का निर्माण या एक नया गाना रिलीज़ होना), तो SAGE नई जानकारी ढूंढ लेता है।
- यह झूठ पकड़ता है: यदि कोई छात्र तथ्य गढ़ता है, तो SAGE उसे खोजेगा, कुछ नहीं पाएगा, और उसे फ्लैग कर देगा। बिना सर्च वाला "जज" अक्सर इन झूठों के झांसे में आ जाता है क्योंकि वे सुनने में तर्कसंगत लगते हैं।
- यह अस्पष्टता को संभालता है: कुछ प्रश्न ट्रिकी होते हैं (जैसे, "अस्पताल कब खुला?" का मतलब मूल रूप से खुलना या नवीनीकरण के बाद फिर से खुलना हो सकता है)। SAGE का "रिफ्लेक्शन" स्टेप इसे यह समझने में मदद करता है कि शायद वह गलत तारीख देख रहा है और स्पष्टता के लिए बेहतर सवाल पूछता है।
परिणाम: डिटेक्टिव की जीत
शोधकर्ताओं ने कई डेटासेट्स (जैसे ट्रिविया और जटिल तर्क वाले प्रश्न) पर इसका परीक्षण किया। उन्होंने इसकी तुलना निम्नलिखित से की:
- मानक ग्रेडिंग: (Exact Match/F1 स्कोर)
- "मेमोरी-ओनली" जज: (बिना सर्च किए ग्रेड करने वाला AI)
- मानव विशेषज्ञ: (वास्तविक लोग जो उत्तरों को ग्रेड कर रहे हैं)
निष्कर्ष:
- SAGE बनाम मानव: SAGE मानव विशेषज्ञों के साथ लगभग पूरी तरह से सहमत था (Substantial to Perfect Agreement)।
- SAGE बनाम मेमोरी-ओनली जज: मेमोरी-ओनली जज अक्सर गलत थे, वे अक्सर छात्र के साथ सहमत हो जाते थे भले ही छात्र झूठ बोल रहा हो। SAGE ने तथ्यों की जांच करके इसे ठीक किया।
- लागत: हालांकि SAGE में थोड़ा अधिक समय लगता है (प्रति प्रश्न लगभग 27 सेकंड) और इसमें थोड़ी सी लागत आती है (लग-भग $0.004 प्रति प्रश्न), फिर भी यह हर उत्तर को ग्रेड करने के लिए मानव को काम पर रखने की तुलना में हजारों गुना सस्ता है।
सीमाएं (जहाँ डिटेक्टिव अटक जाता है)
पेपर स्वीकार करता है कि SAGE जादुई नहीं है। यह अभी भी विफल हो सकता है यदि:
- प्रश्न बहुत अस्पष्ट है: यदि प्रश्न भ्रमित करने वाला है, तो डिटेक्टिव गलत सवाल पूछ सकता है।
- लाइब्रेरी खाली है: यदि उत्तर किसी बहुत हालिया घटना के बारे में है जिसके बारे में इंटरनेट पर अभी तक कुछ नहीं लिखा गया है, तो डिटेक्टिव सबूत नहीं ढूंढ पाएगा।
- विरोधाभासी सुराग: कभी-कभी इंटरनेट दो अलग-अलग उत्तर देता है। डिटेक्टिव भ्रमित हो सकता है और गलत एक चुन सकता है।
- डिटेक्टिव का दिमाग: SAGE को सोचने के लिए अभी भी एक स्मार्ट "जज" मॉडल की आवश्यकता होती है। यदि जज बहुत बुद्धिमान नहीं है, तो SAGE ठीक से काम नहीं करेगा।
सारांश उपमा (Summary Analogy)
AI के उत्तर का मूल्यांकन करना एक पार्टी में अफवाह की पुष्टि करने जैसा है।
- पुराना तरीका: आप गेस्ट लिस्ट चेक करते हैं (Static Answer Key)। यदि नाम नहीं है, तो आप "नहीं" कह देते हैं।
- मेमोरी जज: आप किसी अन्य मेहमान से पूछते हैं, "क्या आपने यह सुना?" वे कहते हैं, "हाँ, मुझे ऐसा लगता है," क्योंकि वे मददगार दिखना चाहते हैं, भले ही उन्हें पता न हो।
- SAGE: आप फोन उठाते हैं, तीन अलग-अलग लोगों को कॉल करते हैं, उनके टेक्स्ट मैसेज देखते हैं, नोट्स की तुलना करते हैं, और फिर तय करते हैं कि अफवाह सच है या नहीं। यदि पहले तीन लोग एक-दूसरे का खंडन करते हैं, तो आप दोबारा कॉल कर सकते हैं।
पेपर दिखाता है कि यह "फोन कॉल" विधि (SAGE) केवल अनुमान लगाने या लिस्ट चेक करने की तुलना में कहीं अधिक सटीक है, और यह मानव द्वारा लिए गए निर्णय के बहुत करीब है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।