Building Better Activation Oracles
यह शोध पत्र मतिभ्रम (hallucinations) और अस्पष्टता को संबोधित करने के लिए चार प्रशिक्षण सुधारों को पेश करके एक्टिवेशन ओरेकल्स (AOs) को उन्नत करता है, साथ ही स्केलेबल, एंड-टू-एंड व्याख्यात्मकता को आगे बढ़ाने के लिए पहले व्यापक मूल्यांकन सूट, AObench को जारी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिखता है, गणित की समस्याओं को हल करता है, या सवालों के जवाब देता है। लेकिन इसके "दिमाग" के अंदर, अरबों सूक्ष्म विद्युत संकेत (electrical signals) चल रहे हैं जिन्हें समझने के लिए कोई भी इंसान सक्षम नहीं है। इन संकेतों को एक्टिवेशंस (activations) कहा जाता है।
लंबे समय से, हम उस रोबोट के दिमाग के अंदर झाँककर यह देखना चाहते थे कि उसने एक निश्चित निर्णय क्यों लिया। यहाँ आता है एक्टिवेशन ऑरेकल (Activation Oracle - AO)। एक AO को रोबोट के लिए एक "अनुवादक" या "जीवनी लेखक" के रूप में समझें। आप अनुवादक को रोबोट के विद्युत संकेत दिखाते हैं, और पूछते हैं, "तुम इस समय क्या सोच रहे थे?" और अनुवादक उन संकेतों को सरल अंग्रेजी (या सामान्य भाषा) में समझाने की कोशिश करता है।
हालाँकि, मूल अनुवादकों के साथ कुछ बड़ी समस्याएँ थीं:
- वे अस्पष्ट थे: "मैं 'सेब' शब्द के बारे में सोच रहा था" कहने के बजाय, वे कह देते थे, "मैं वाक्य की अवधारणा (concept) के बारे में सोच रहा था।" (यह बहुत मददगार नहीं है!)
- वे मतिभ्रम (hallucinate) करते थे: वे ऐसी विवरण बना लेते थे जो वास्तव में संकेतों में मौजूद ही नहीं थे।
- वे "चीटिंग" करते थे: कभी-कभी, वे वास्तव में संकेतों को पढ़ते ही नहीं थे। वे बस संकेत से पहले और बाद के शब्दों को देखते थे और उन शब्दों के आधार पर उत्तर का अनुमान लगा लेते थे। इसे "टेक्स्ट इन्वर्जन" (text inversion) कहा जाता है।
इस शोध पत्र के लेखक एक बेहतर अनुवादक बनाना चाहते थे। उन्होंने केवल कोड में बदलाव नहीं किया; उन्होंने चार विशिष्ट तरीकों से प्रशिक्षण प्रक्रिया को फिर से बनाया। यहाँ बताया गया है कि उन्होंने इसे रोजमर्रा के उदाहरणों का उपयोग करके कैसे किया है:
1. बेहतर पाठ्यपुस्तक (द कन्वर्सेशनल डेटासेट)
समस्या: पुराना अनुवादक एक पाठ्यपुस्तक (जिसे LatentQA कहा जाता है) पर प्रशिक्षित था जिसमें जटिल प्रॉम्प्ट्स के बारे में कठिन सवाल पूछे जाते थे। उत्तर अक्सर केवल संकेतों को देखकर पाना असंभव होता था, इसलिए अनुवादक केवल अनुमान लगाने या अस्पष्ट उत्तर देने लगा।
समाधान: लेखकों ने एक नई पाठ्यपुस्तक बनाई। उन्होंने रोबोट की अपनी "सोच की प्रक्रिया" (आंतरिक तर्क) को लिया, उसे आधा काट दिया, और एक अलग AI से उस दूसरे आधे हिस्से के बारे में एक प्रश्न लिखने को कहा जिसे केवल पहले आधे हिस्से के संकेतों को देखकर ही उत्तर दिया जा सके।
उपमा: कल्पना कीजिए कि आप एक छात्र को मानचित्र (map) पढ़ना सिखा रहे हैं। पुराने तरीके में उन्हें एक मानचित्र दिया गया और पूछा गया, "खजाना कहाँ है?" बिना यह दिखाए कि मानचित्र का लेजेंड (legend) क्या है। नया तरीका मानचित्र पर एक विशिष्ट लैंडमार्क दिखाता है और पूछता है, "ठीक यहाँ भूभाग (terrain) कैसा है?" यह अनुवादक को केवल संदर्भ के आधार पर अनुमान लगाने के बजाय वास्तव में संकेतों को देखने के लिए मजबूर करता है।
परिणाम: यह सबसे बड़ा सुधार था। नया अनुवादक बहुत अधिक विशिष्ट हो गया और अस्पष्ट होना बंद कर दिया।
2. अधिक परतों को देखना (द मल्टी-लेयर फीड)
समस्या: पुराना अनुवादक रोबोट के दिमाग के केवल एक विशिष्ट "फर्श" (लगभग 25% या 50% गहराई वाले लेयर) को देखता था। लेकिन रोबोट के "विचार" कई मंजिलों पर फैले होते हैं।
समाधान: लेखकों ने महसूस किया कि सबसे दिलचस्प "विचार" 60-80% के निशान के आसपास होते हैं। इसलिए, केवल एक मंजिल को देखने के बजाय, उन्होंने एक साथ पाँच क्रमिक मंजिलों (consecutive floors) से प्राप्त संकेतों को अनुवादक को दिया।
उपमा: यदि आप एक फिल्म को समझने की कोशिश कर रहे हैं, तो केवल एक फ्रेम (एक लेयर) देखना बहुत कम जानकारी देता है। पाँच फ्रेमों (पाँच लेयर्स) का एक छोटा क्लिप देखना आपको वह गति और संदर्भ देता है जिसकी आपको क्या हो रहा है, यह समझने के लिए आवश्यकता होती है।
परिणाम: इससे अनुवादक को रोबोट की "सोच की फिल्म" को बेहतर ढंग से समझने में मदद मिली, विशेष रूप से विभिन्न मॉडलों की तुलना करते समय।
3. "लाइव" डेटा पर प्रशिक्षण (ऑन-पॉलिसी रोलआउट्स)
समस्या: पुराना अनुवादक पुराने, स्थिर डेटा (जैसे कि रोबोट के अस्तित्व में आने से पहले लिखी गई किताबों का पुस्तकालय) पर प्रशिक्षित था। यह एक ऐसे ड्राइवर को सिखाने जैसा था जो शहर के उस मानचित्र का उपयोग कर रहा है जो 50 साल से नहीं बदला है।
समाधान: उन्होंने अनुवादक को उस डेटा पर प्रशिक्षित करना शुरू किया जो रोबलेट द्वारा वास्तव में सोचते समय उत्पन्न किया गया था।
उपमा: अनुवादक को वर्षों पहले समाप्त हुए नाटक की पटकथा का उपयोग करके सिखाने के बजाय, उन्होंने अनुवादक को नाटक के दौरान लाइव दर्शक के रूप में बैठा दिया। यह सुनिश्चित करता है कि अनुवादक यह सीखे कि रोबोट अभी कैसे सोच रहा है, न कि वह अतीत में कैसे सोचता था।
परिणाम: इसने थोड़ा मदद की, लेकिन यह कोई जादुई समाधान नहीं था। इसने अनुवादक को रोबोट की वर्तमान स्थिति को समझने में थोड़ा बेहतर बनाया।
4. आवाज़ बढ़ाना (इंजेक्शन स्ट्रेंथ)
समस्या: जब अनुवादक को संकेत दिखाए जा रहे थे, तो संकेतों का "वॉल्यूम" (या शक्ति) बहुत कम था। अनुवादक एक शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश कर रहा था।
समाधान: उन्होंने अनुवादक को दिए जाने वाले संकेतों के "वॉल्यूम" (शक्ति) को बढ़ा दिया।
उपमा: कल्पना कीजिए कि आप एक शोर भरे कॉन्सर्ट में अपने दोस्त को सुनने की कोशिश कर रहे हैं। यदि आप उन्हें केवल एक नोट थमाते हैं, तो वे उसे मिस कर सकते हैं। यदि आप नोट को जोर से चिल्लाकर सुनाते हैं (शक्ति बढ़ाते हैं), तो उनके द्वारा उसे सही ढंग से सुनने की संभावना बहुत अधिक होती है।
परिणाम: इसने समग्र स्कोर को बहुत अधिक नहीं बदला, लेकिन इसने मतिभ्रम (hallucinations) को काफी कम कर दिया। अनुवादक चीजों को बनाने में कम सक्षम था क्योंकि वास्तविक संकेत अधिक स्पष्ट और तेज़ था।
अंतिम परिणाम: AObench
यह साबित करने के लिए कि उनका नया अनुवादक बेहतर है, लेखकों ने एक नया परीक्षण बनाया जिसे AObench कहा जाता है। इसे इन अनुवादकों के लिए विशेष रूप से बनाया गया "ड्राइवर लाइसेंस टेस्ट" समझें। यह जाँचता है:
- अस्पष्टता (Vagueness): क्या अनुवादक एक ठोस उत्तर देता है या एक घुमावदार उत्तर?
- मतिभ्रम (Hallucination): क्या अनुवादक तथ्य गढ़ता है?
फैसला:
इन चारों सुधारों को मिलाकर, नया अनुवादक काफी बेहतर है।
- यह कम अस्पष्ट है (यह विशिष्ट उत्तर देता है)।
- यह कम मतिभ्रम (hallucinate) करता है (यह अधिक बार सच बोलता है)।
- यह निर्देशों का बेहतर पालन करता है।
लेखक स्वीकार करते हैं कि हालांकि अनुवादक अभी भी पूर्ण नहीं है, लेकिन उन्होंने एक ठोस आधार तैयार किया है। उन्होंने दिखाया है कि यदि आप अनुवादक को बेहतर प्रशिक्षण डेटा देते हैं, उसे मस्तिष्क की गतिविधि का अधिक हिस्सा दिखाते हैं, और वॉल्यूम बढ़ाते हैं, तो यह AI मॉडलों के सोचने के तरीके के बारे में एक बहुत अधिक विश्वसनीय खिड़की बन जाता है।
संक्षेप में: उन्होंने एक ऐसे अनुवादक को लिया जो अनुमान लगा रहा था और अस्पष्ट था, और उसे एक ऐसे अनुवादक में बदल दिया जो वास्तव में सुन रहा है, पूरी तस्वीर देख रहा है, और सच बोल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।