FUSE: Ensembling Verifiers with Zero Labeled Data
यह शोध पत्र FUSE को प्रस्तुत करता है, जो एक पूर्णतः अनसुपरवाइज्ड (unsupervised) विधि है जो बिना किसी ग्राउंड ट्रुथ लेबल के अपूर्ण जजों के एंसेम्बलिंग द्वारा LLM आउटपुट सत्यापन में सुधार करती है, जिससे विविध बेंचमार्क पर सेमी-सुपरवाइज्ड विकल्पों के बराबर या उनसे बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हायरिंग मैनेजर हैं जो 100 नौकरी आवेदकों के समूह में से सबसे अच्छे उम्मीदवार को चुनने की कोशिश कर रहे हैं। आपके पास कोई रिज्यूमे डेटाबेस नहीं है, और आप उनके दावों को सत्यापित करने के लिए किसी हेडहंटर को भुगतान भी नहीं कर सकते। इसके बजाय, आपके पास 30 अलग-अलग इंटरव्यूअर्स (साक्षात्कारकर्ताओं) का एक पैनल है।
यहाँ समस्या है:
- कुछ इंटरव्यूअर्स प्रतिभाशाली लेकिन चिड़चिड़े (grumpy) हैं (वे अच्छे लोगों को भी खारिज कर देते हैं)।
- कुछ मिलनसार लेकिन नासमझ (clueless) हैं (वे बुरे लोगों को काम पर रख लेते हैं)।
- कुछ जवाबों के खास प्रकारों के प्रति पक्षपाती (biased) हैं।
- महत्वपूर्ण रूप से: आपके पास यह जानने का कोई तरीका नहीं है कि वास्तव में कौन सच बोल रहा है। आपके पास इंटरव्यूअर्स की जांच करने के लिए कोई "उत्तर कुंजी" (answer key) नहीं है।
यह बिल्कुल वही स्थिति है जिसका सामना लैंग्वेज मॉडल्स (LLMs) के डेवलपर्स करते हैं। वे एक कठिन प्रश्न (जैसे गणित की समस्या या कोडिंग चुनौती) के लिए कई संभावित उत्तर उत्पन्न करते हैं, लेकिन उनके पास यह जांचने के लिए कोई मानव विशेषज्ञ नहीं होता कि कौन सा सही है। वे उत्तरों को ग्रेड करने के लिए "वेरिफायर" (अन्य AI मॉडल) पर निर्भर रहते हैं, लेकिन ये वेरिफायर भी अक्सर अपूर्ण होते हैं और कभी-कभी गलत कारणों से एक-दूसरे से सहमत हो जाते हैं।
पेश है FUSE (फुली अनसुपरवाइज्ड स्कोर एनसेम्बलिंग)। FUSE को एक अत्यंत बुद्धिमान "जूरी फोरमैन" (jury foreman) के रूप में सोचें जो बिना कभी सही उत्तर कुंजी देखे, यह पता लगाता है कि 30 इंटरव्यूअर्स की राय को कैसे जोड़ा जाए।
पुराना तरीका: "औसत" की गलती
आमतौर पर, यदि आपके पास 30 इंटरव्यूअर्स हैं, तो आप उनके स्कोर का औसत (average) ले सकते हैं।
- दोष: यदि 15 इंटरव्यूअर्स खराब हैं और 15 बेहतरीन, तो औसत केवल "औसत दर्जे का" होगा। आप एक "C" श्रेणी के उम्मीदवार को चुन लेंगे क्योंकि खराब इंटरव्यूअर्स द्वारा एक "A" श्रेणी के उम्मीदवार को अनुचित रूप से दंडित किया गया था।
- "बहुमत के वोट" की गलती: यदि आप केवल इस बात को गिनते हैं कि किसने किसे वोट दिया, तो खराब इंटरव्यूअर्स एक गलत उत्तर के खिलाफ एकजुट हो सकते हैं, और आप गलत विजेता चुन लेंगे।
FUSE समाधान: "डिटेक्टिव" दृष्टिकोण
FUSE एक जासूस की तरह काम करता है जो सच्चाई जाने बिना ही, इंटरव्यूअर्स के पैटर्न को देखकर यह पता लगाता है कि कौन भरोसेमंद है।
यह यहाँ कैसे काम करता है, हमारे उदाहरण का उपयोग करते हुए, चरण-दर-चरण:
1. "ट्रिपलेट" जासूसी कार्य (चरण 1)
FUSE तीन-तीन के समूहों में इंटरव्यूअर्स को देखता है। वह पूछता है: "यदि इंटरव्यूअर A, B और C एक विशिष्ट उत्तर पर सहमत होते हैं, तो क्या यह सहमति एक संयोग है, या इसका मतलब है कि वे वास्तव में समझदार हैं?"
वास्तविक दुनिया में, AI वेरिफायर अक्सर गलतियों में एक साथ चलते हैं (वे "कोरिलेटेड" होते हैं)। FUSE इस बात को समझता है। यह स्कोर को समायोजित करने के लिए एक गणितीय "नृत्य" करता है। यह अनिवार्य रूप से कहता है: "ठीक है, इंटरव्यूअर A और B हमेशा एक जैसा व्यवहार करते हैं, इसलिए वे शायद एक-दूसरे की नकल कर रहे हैं। मैं उनका वेट (weight) कम कर दूँगा। इंटरव्यूअर C उनसे असहमत है लेकिन D के साथ सहमत है, तो C कुछ सही कह रहा होगा।"
यह एक ऐसा तरीका खोजता है जिससे उनके बीच की सहमति का वास्तव में कोई अर्थ निकले, न कि वह केवल शोर (noise) बनकर रह जाए।
2. "घोस्ट" उत्तर कुंजी (चरण 2)
एक बार जब FUSE यह समझ लेता है कि कौन से इंटरव्यूअर्स विश्वसनीय होने की संभावना रखते हैं, तो वह एक "घोस्ट आंसर की" (Ghost Answer Key) बनाता है।
- उसे वास्तविक सच्चाई का पता नहीं है।
- लेकिन, जो पैटर्न उसने खोजे हैं, उनके आधार पर, वह अनुमान लगाता है कि कौन से उत्तर सही होने की संभावना है।
- वह इन अनुमानों को वास्तविक तथ्यों की तरह मानता है।
3. "कोच" (चरण 3)
अब जब FUSE के पास एक "घोस्ट आंसर की" है, तो वह एक स्पोर्ट्स कोच की तरह काम करता है। वह सभी इंटरव्यूअर्स के स्कोर लेता है और पूछता है: "यदि हम इन 'घोस्ट' तथ्यों को सच मानें, तो इंटरव्यूअर्स का कौन सा संयोजन (combination) उनका सबसे अच्छा पूर्वानुमान लगा पाता?"
यह एक कस्टम फॉर्मूला ("कोच की रणनीति") बनाता है जो कहता है: "इंटरव्यूअर X पर 80% भरोसा करें, इंटरव्यूअर Y को अनदेखा करें, और इंटरव्यूअर Z की बात ध्यान से सुनें।"
अंत में, यह मूल 100 आवेदकों पर इस कस्टम रणनीति को लागू करता है और विजेता चुनता है।
यह एक बड़ी बात क्यों है?
आमतौर पर, इस तरह के स्मार्ट सिस्टम को पाने के लिए, आपको लेबल किए गए डेटा (एक इंसान जो बता रहा हो, "हाँ, यह उत्तर सही है, और वह नहीं") की आवश्यकता होती है। यह महंगा और धीमा है।
FUSE जादुई है क्योंकि इसे शून्य मानव लेबल की आवश्यकता है। यह पूरी तरह से इंटरव्यूअर्स के आपसी असहमति और सहमति के अराजक पैटर्न से सीखता है।
परिणाम: "ओलंपिक्स" टेस्ट
लेखकों ने दुनिया की सबसे कठिन समस्याओं पर FUSE का परीक्षण किया:
- मानक परीक्षण: जैसे MMLU (एक सामान्य ज्ञान परीक्षा)।
- "ह्यूमनिटीज़ लास्ट एग्जाम": एक अत्यंत कठिन परीक्षण जिसे वर्तमान AI मॉडल्स को तोड़ने के लिए बनाया गया है।
- IMO शॉर्टलिस्ट: इंटरनेशनल मैथ ओलंपियाड की अत्यधिक कठिन गणितीय समस्याएं।
परिणाम: F-USE ने उन तरीकों के समान (या कभी-कभी उनसे भी बेहतर) प्रदर्शन किया जिनके पास मानव उत्तर कुंजियों तक पहुंच थी। इसने "नाइव एवरेज" (naive average) पद्धति को बहुत बड़े अंतर से पीछे छोड़ दिया।
निचोड़
FUSE एक ऐसा तरीका है जो अपूर्ण AI न्यायाधीशों के एक समूह को यह सिखाता है कि वे सत्य को खोजने के लिए एक साथ मिलकर कैसे काम करें, भले ही कोई भी नहीं जानता कि सत्य क्या है। यह विचारों की अराजक भीड़ को एक विश्वसनीय निर्णय लेने वाली मशीन में बदल देता है, जिससे हमें हर एक उत्तर की जांच करने के लिए मानव विशेषज्ञों को नियुक्त करने की लागत और समय बचाने में मदद मिलती है।
संक्षेप में: यह वह परम "जूरी फोरमैन" है जो बिना पहले से वर्डिक्ट (फैसला) देखे, केवल जूरी के बीच होने वाली बहस को देखकर यह समझ जाता है कि किस पर भरोसा करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।