Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution
यह शोध पत्र PEPO को प्रस्तुत करता है, जो एक सिंगल-स्टेप डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन एल्गोरिदम है जो डेटा वितरण के ज्ञान या एक स्पष्ट रिवॉर्ड मॉडल की आवश्यकता के बिना, विलगित (disjoint) डेटा उपसमुच्चयों पर प्रशिक्षित नीतियों के एक निराशावादी समूह (pessimistic ensemble) का लाभ उठाकर ओवर-ऑप्टिमाइज़ेशन को कम करता है, जिससे DPO की व्यावहारिक सरलता को बनाए रखते हुए बेहतर सैंपल कॉम्प्लेक्सिटी गारंटी प्राप्त की जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अच्छी कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आपके पास उदाहरणों की एक बड़ी नोटबुक है जहाँ एक मानव निर्णायक ने दो विकल्पों में से "बेहतर" कहानी को चुना है। आपका लक्ष्य रोबोट को ऐसी कहानियाँ लिखना सिखाना है जो उन्हीं वोटों को जीत सकें।
यह डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) का काम है, जो AI को सिखाने का एक लोकप्रिय तरीका है। हालाँकि, DPO में एक प्रसिद्ध दोष है: यह "ओवर-ऑप्टिमाइजेशन" (अति-अनुकूलन) से ग्रस्त है।
इसे एक छात्र द्वारा अभ्यास परीक्षा देने की तरह समझें। यदि छात्र अभ्यास प्रश्नों के सटीक उत्तरों को रट लेता है लेकिन वास्तव में अवधारणाओं (concepts) को नहीं समझता है, तो वह अभ्यास परीक्षण में तो सटीक स्कोर प्राप्त कर सकता है लेकिन वास्तविक परीक्षा में विफल हो सकता है। AI के संदर्भ में, मॉडल "सिस्टम को गेम करने" (धोखा देने) लगता है। वह ऐसी चीजें कहना सीख जाता है जो प्रशिक्षण डेटा में "विजेता" जैसी दिखती हैं, लेकिन वास्तव में वे निरर्थक, भ्रमित करने वाली (hallucinations), या साधारण रूप से खराब होती हैं।
यह पेपर एक नया तरीका पेश करता है जिसे PEPO (पेसिमिस्टिक एनसेम्बल बेस्ड प्रेफरेंस ऑप्टिमाइजेशन) कहा जाता है, ताकि इसे बिना यह जाने ठीक किया जा सके कि प्रशिक्षण डेटा वास्तव में कैसे बनाया गया था।
PEPO कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग करते हैं:
1. समस्या: "आत्मविश्वासी मूर्ख" (The Confident Fool)
मानक DPO एक ऐसे अकेले छात्र की तरह है जो बहुत आत्मविश्वासी है लेकिन उसने केवल नोट्स का एक विशिष्ट सेट पढ़ा है। यदि उन नोट्स में कोई चाल या गलती है, तो छात्र आत्मविश्वास के साथ उस गलती को दोहराएगा। क्योंकि मॉडल प्रशिक्षण डेटा पर अपना स्कोर अधिकतम करने की कोशिश कर रहा है, वह अंततः उच्च स्कोर पाने के लिए भ्रमित (hallucinate) करने लगता है, भले ही उसकी लेखन गुणवत्ता गिर रही हो।
2. समाधान: "संशयवादी पैनल" (The Skeptical Panel)
PEPO एक एनसेम्बल (Ensemble) का उपयोग करके खेल बदल देता है। एक अकेले छात्र को प्रशिक्षित करने के बजाय, PEPO छात्रों का एक पूरा पैनल प्रशिक्षित करता है (मान लीजिए 3 से 4 छात्र)।
- विभाजन (The Split): प्रशिक्षण नोटबुक को अलग-अलग, गैर-अतिव्यापी (non-overlapping) ढेरों में काट दिया जाता है। प्रत्येक छात्र को अध्ययन करने के लिए एक अलग ढेर मिलता है।
- निराशावाद (The Pessimism): जब निर्णय लेने का समय आता है, तो PEPO यह नहीं पूछता कि "बहुमत क्या सोचता है?" बल्कि, यह पूछता है कि "हमारे सभी छात्रों के बीच सबसे खराब स्थिति (worst-case scenario) क्या है?"
यही वह "पेसिमिस्टिक" (निराशावादी) हिस्सा है। यह निर्णायकों की एक समिति की तरह है जहाँ, सुरक्षित रहने के लिए, वे एक कहानी को तभी स्वीकृत करते हैं जब हर एक निर्णायक सहमत हो कि वह अच्छी है। यदि एक निर्णायक अनिश्चित है या उसे लगता है कि कहानी जोखिम भरी है, तो पूरा समूह उसे खारिज कर देता है। यह AI को रूढ़िवादी होने और केवल उसी चीज़ पर टिके रहने के लिए मजबूर करता है जिसके बारे में वह वास्तव में आश्वस्त है, न कि उच्च स्कोर पाने के लिए बेतहाशा अनुमान लगाने के लिए।
3. जादुई ट्रिक: किसी "क्रिस्टल बॉल" की आवश्यकता नहीं
पिछले तरीकों ने जो इस समस्या को ठीक करने की कोशिश की थी, उन्हें एक "क्रिस्टल बॉल" (भविष्य बताने वाला यंत्र) की आवश्यकता थी। उन्हें यह जानने की आवश्यकता थी कि प्रशिक्षण डेटा कैसे उत्पन्न किया गया था (जैसे, "क्या यह किसी इंसान ने लिखा था? क्या यह किसी विशिष्ट AI ने लिखा था?")। वास्तविक दुनिया में, हम अक्सर नहीं जानते कि डेटा कैसे बनाया गया था। उदाहरण के लिए, यदि आप एक विशाल, प्रोप्राइटरी AI (जैसे GPT-4) द्वारा उत्पन्न डेटा पर एक छोटे AI को प्रशिक्षित कर रहे हैं, तो आप उस डेटा के निर्माण के "सोर्स कोड" को नहीं देख सकते।
PEPO विशेष है क्योंकि इसे "क्रिस्टल बॉल" की आवश्यकता नहीं है। "संशयवादी पैनल" दृष्टिकोण का उपयोग करके, यह स्वाभाविक रूप से यह पता लगा लेता है कि अनिश्चितता क्या है, बिना यह जाने कि डेटा का मूल क्या है। यह अपना स्वयं का सुरक्षा जाल बनाता है।
4. यह उत्तर कैसे उत्पन्न करता है
जब PEPO मॉडल को प्रतिक्रिया लिखनी होती है, तो वह एक विशेष "रिजेक्शन सैंपलिंग" प्रक्रिया (गुणवत्ता नियंत्रण फिल्टर के रूप में सोचें) चलाता है।
- यह एक संभावित उत्तर उत्पन्न करता है।
- यह जाँचता है: "क्या हमारे पैनल का हर सदस्य सहमत है कि यह सुरक्षित और अच्छा है?"
- यदि हाँ, तो यह उत्तर आउटपुट करता है।
- यदि एक भी सदस्य संशय में है, तो यह उत्तर को फेंक देता है और फिर से प्रयास करता है।
यह सुनने में धीमा लग सकता है, लेकिन लेखकों ने पाया कि एक "टोकन-लेवल" शॉर्टकट इसे वास्तविक दुनिया के उपयोग के लिए पर्याप्त तेज़ बनाता है, जिससे गति के नुकसान के बिना सुरक्षा लाभ बना रहता है।
परिणाम
इस पेपर का परीक्षण कई बड़े भाषा मॉडलों (जैसे Llama, Mistral, और Zephyr) पर किया गया।
- मानक DPO: मॉडल का प्रदर्शन पहले बढ़ा, फिर गिर गया (वह "ओवर-ऑप्टिमाइजेशन" की ढलान)।
- PEPO: प्रदर्शन बढ़ा और फिर स्थिर (stabilize) हो गया। यह गिरा नहीं। यह बिना भ्रमित करने वाली बातें करने के जाल में फंसे बेहतर होता रहा।
मुख्य बात (The Bottom Line)
PEPO एक अति-आत्मविश्वासी जीनियस के बजाय सतर्क विशेषज्ञों की एक समिति को काम पर रखने जैसा है। AI को केवल वही करने के लिए मजबूर करके जो पूरी समिति सुरक्षित मानकर सहमत है, यह प्रशिक्षण डेटा के लिए ओवर-ऑप्टिमाइज़ करने के जाल से बचता है। यह बिना यह जाने कि डेटा का गुप्त इतिहास क्या है, AI सुरक्षा और गुणवत्ता में सुधार के लिए एक मजबूत और व्यावहारिक उपकरण के रूप में कार्य करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।