LLMs as Assessors: Right for the Right Reason?
यह शोध पत्र सूचना पुनर्प्राप्ति (इन्फॉर्मेशन रिट्रीवल) में प्रासंगिकता निर्धारकों के रूप में लार्ज लैंग्वेज मॉडल्स (एलएलएम) के उपयोग की प्रभावशीलता का मूल्यांकन करता है, जिसमें विशिष्ट प्रासंगिक अंशों को उजागर करने की उनकी क्षमता की मानव बेंचमार्क के विरुद्ध तुलना की गई है, और अंततः यह निष्कर्ष निकाला गया है कि हालांकि एलएलएम मानवीय कार्यभार को कम करने के लिए आशाजनक उपकरण हैं, वे अभी तक मानव निर्धारकों को पूरी तरह से प्रतिस्थापित नहीं कर सकते।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"स्मार्ट स्टूडेंट" की दुविधा: क्या AI जज वास्तव में टेक्स्टबुक पढ़ रहे हैं?
कल्पना कीजिए कि आप एक शिक्षक हैं, और आपके पास ग्रेड करने के लिए 5,000 निबंधों का एक विशाल ढेर है। आप थक चुके हैं, इसलिए आप निर्णय लेते हैं कि आपकी मदद करने के लिए अत्यधिक उन्नत AI "शिक्षण सहायकों" (LLMs) की एक टीम को काम पर रखना है।
आप उन्हें दो कार्य देते हैं:
- त्वरित जाँच (The Quick Check): एक निबंध देखें और मुझे बताएं: "क्या यह विषय के लिए प्रासंगिक है?" (हाँ या नहीं)।
- गहन विश्लेषण (The Deep Dive): केवल यह न बताएं कि यह प्रासंगिक है—बल्कि उन सटीक वाक्यों को हाइलाइट करें जो इसे सिद्ध करते हैं।
यह शोध पत्र, जिसे इंडियन स्टैटिस्टिकल इंस्टीट्यूट के शोधकर्ताओं द्वारा लिखा गया है, इस बात की जांच करता है कि क्या ये AI सहायक वास्तव में काम कर रहे हैं, या वे केवल "वाइब्स" (vibes) के आधार पर "अनुमान" लगा रहे हैं।
1. "वाइब चेक" बनाम "गहन विश्लेषण"
शोधकर्ताओं ने एक प्रसिद्ध डेटासेट (INEX) का उपयोग किया जहाँ मनुष्यों ने पहले ही विकिपीडिया लेखों को देखा था और उन विशिष्ट "गोल्ड नगेट" (gold nugget) वाक्यों को हाइलाइट किया था जो विशिष्ट प्रश्नों का उत्तर देते थे।
उन्होंने तीन अलग-अलग AI मॉडलों का परीक्षण किया:
- Llama-3.1-8B: "ऊर्जावान इंटर्न" (छोटा, तेज़, लेकिन थोड़ा अव्यवस्थित)।
- GPT-4.1-mini: "विश्वसनीय जूनियर एसोसिएट" (स्मार्ट और संतुलित)।
- GPT-4o-mini: "सख्त प्रोफेसर" (बहुत उच्च स्तर का, लेकिन अत्यंत चयनात्मक)।
2. निष्कर्ष: "गलत कारणों से सही?"
"अति-उत्साही इंटर्न" (Llama)
छोटा मॉडल, Llama, एक ऐसे इंटर्न की तरह व्यवहार करता है जो गलत होने से डरता है। जब इसे किसी दस्तावेज़ के प्रासंगिक होने के बारे में पूछा गया, तो इसने लगभग हर चीज़ के लिए "हाँ!" कहा। जब इसे महत्वपूर्ण हिस्सों को हाइलाइट करने के लिए कहा गया, तो इसने एक ऐसे हाइलाइटर की तरह काम किया जिसकी स्याही खत्म हो रही है—इसने पूरे पन्ने को ही रंग दिया।
- परिणाम: इसका "रिकॉल" (Recall) उच्च था (इसने कुछ भी मिस नहीं किया), लेकिन "प्रिसिजन" (Precision) बहुत खराब था (इसमें बहुत सारा कचरा शामिल था)। यह एक ऐसे छात्र की तरह है जो सुरक्षित रहने के लिए हर बहुविकल्पीय प्रश्न का उत्तर "C" लिख देता है।
"सख्त प्रोफेसर" (GPT-4o-mini)
सबसे उन्नत मॉडल इसके विपरीत था। यह इतना सतर्क था कि इसने अक्सर प्रासंगिक दस्तावेज़ों को पूरी तरह से छोड़ दिया। यह वह प्रोफेसर है जो कहता है, "यह निबंध ठीक है, लेकिन यह मेरे अविश्वसनीय रूप से उच्च मानकों को पूरा नहीं करता है, इसलिए मैं इसे अप्रासंगिक घोषित कर रहा हूँ।" हालांकि यह "कठिन" प्रश्नों को संभालने में उत्कृष्ट था, लेकिन यह अक्सर अपनी प्रशंसा देने में बहुत कंजूस था।
"घास के ढेर में सुई" (Needle in a Haystack) की समस्या
शोधकर्ताओं ने पाया कि एक प्रमुख दोष है: LLMs "घास के ढेर में सुई" (Needles in Haystacks) के साथ संघर्ष करते हैं।
यदि 10 पन्नों के विकिपीडिया लेख में एक छोटा सा, सटीक वाक्य है जो किसी प्रश्न का उत्तर देता है, तो AI अक्सर उसे मिस कर देता है या आसपास के "घास" (अप्रासंगिक टेक्स्ट) में खो जाता है। यह धुंधले चश्मे पहनकर रेत के ढेर में एक विशिष्ट रेत के कण को खोजने जैसा है।
3. AI को बेहतर कैसे प्रशिक्षित करें: "सबसे अच्छे उदाहरण मायने रखते हैं"
शोधकर्ताओं ने पाया कि यदि आप चाहते हैं कि AI एक बेहतर जज बने, तो आप इसे सीखने के लिए केवल रैंडम उदाहरण नहीं दे सकते।
उन्होंने पाया कि यदि आप AI को "कठिन मामलों" (Hard Cases) के उदाहरण दिखाते हैं—ऐसी स्थितियाँ जहाँ उत्तर बहुत छोटा और छिपा हुआ होता है—तो AI वास्तव में अधिक सटीक होना सीख जाता है। यह एक जासूस को केवल स्पष्ट अपराध स्थलों को दिखाने के बजाय, उन्हें सबसे सूक्ष्म, छोटे सुराग दिखाकर सिखाने जैसा है।
मुख्य निष्कर्ष (The Bottom Line)
क्या AI मानव न्यायाधीशों की जगह ले सकता है? अभी नहीं।
शोध पत्र निष्कर्ष निकालता है कि जबकि AI काम को तेज करने के लिए एक शानदार उपकरण है, यह एक पूर्ण प्रतिस्थापन नहीं है।
- यदि आप "सस्ते/तेज़" AI का उपयोग करते हैं, तो आपको अप्रासंगिक डेटा का ढेर मिलेगा।
- यदि आप "महंगे/स्मार्ट" AI का उपयोग करते हैं, तो आप महत्वपूर्ण विवरणों को मिस कर सकते हैं क्योंकि वह बहुत अधिक चयनात्मक है।
फैसला: AI को भारी काम करने के लिए उपयोग करें, लेकिन यह सुनिश्चित करने के लिए कि "जज" केवल इसलिए पूरे पन्ने को हाइलाइट नहीं कर रहा है क्योंकि वह वास्तविक उत्तर खोजने में आलसी है, एक इंसान को कमरे में रखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।