📊 statistics

Variational Proximal Policy Optimization

यह शोध पत्र वेरिएशनल प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन ( $\textsc{VP}_2\textsc{O}$ ) प्रस्तुत करता है, जो एक पार्टिकल-आधारित वेरिएशनल इन्फरेंस फ्रेमवर्क है जो पॉलिसी मोड कोलैप्स और डिस्ट्रीब्यूशन ड्रिफ्ट को कम करने के लिए स्टाइन वेरिएशनल ग्रेडिएंट डिसेंट को मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर के साथ एकीकृत करता है, जिससे रीजनिंग बेंचमार्क और टोकन दक्षता में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Ousmane Amadou Dia

प्रकाशित 2026-06-09✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ousmane Amadou Dia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान रोबोट को कोड लिखना, गणित की समस्याओं को हल करना, या लोगों के साथ इस तरह से बातचीत करना सिखाने की कोशिश कर रहे हैं जैसे इंसान वास्तव में पसंद करते हैं। इसे सिखाने का मानक तरीका (जिसे PPO या GRPO कहा जाता है) एक सख्त कोच की तरह है जो कहता है, "ठीक वही करो जो पिछली बार काम आया था, लेकिन बहुत अधिक बदलाव मत करो, वरना मैं तुम्हें रोक दूँगा।"

हालाँकि यह काम करता है, लेकिन यह पेपर तीन बड़ी समस्याओं की ओर इशारा करता है:

"एक ही सुर" वाली समस्या (The "One-Note" Problem): रोबोट एक ही तरह की कुछ चीज़ों को बार-बार करने में फंस जाता है क्योंकि उनसे उसे उच्च स्कोर मिला था, जिससे वह समस्याओं को हल करने के अन्य रचनात्मक तरीकों को खो देता है।
"नाजुकता" की समस्या (The "Brittle" Problem): यदि रोबोट नए विचारों को आज़माने की कोशिश करता है, तो वह अक्सर भ्रमित हो जाता है या टूट जाता है क्योंकि "कितना बदलाव किया जा सकता है" के नियम कठोर और मनमाने होते हैं।
"भटकाव" की समस्या (The "Drift" Problem): रोबोट धीरे-धीरे भूल जाता है कि उसे कैसा व्यवहार करना चाहिए था और उच्च स्कोर पाने के लिए सिस्टम के साथ हेरफेर (gaming the system) करने लगता है, बिना वास्तव में मददगार बने।

नया समाधान: VP2O (Variational Proximal Policy Optimization)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे VP2O कहा जाता है। इसे समझने के लिए, आइए कुछ उपमाओं (analogies) का उपयोग करें।

1. "विशेषज्ञों की टीम" बनाम "सामान्यवादी" (The "Specialized Team" vs. The "Generalist")

एक विशाल मस्तिष्क को सब कुछ करने के लिए प्रशिक्षित करने के बजाय, यह पेपर एक Mixture-of-Experts (MoE) मॉडल का उपयोग करता है। इसे एक कंपनी के रूप में कल्पना करें जिसमें 20 अलग-अलग विशेषज्ञ (specialists) एक कमरे में बैठे हैं।

पुराना तरीका: मैनेजर (रौटर) एक विशेषज्ञ को काम करने के लिए चुनता है, और वे सभी एक ही आदर्श विशेषज्ञ बनने की कोशिश करते हैं। अंततः, वे सभी एक जैसा सोचने लगते हैं और टीम अपनी रचनात्मकता खो देती है।
VP2O का तरीका: मैनेजर प्रत्येक कार्य के लिए विशेषज्ञों की एक छोटी टीम चुनता है। VP2O प्रत्येक विशेषज्ञ को एक अद्वितीय "कण" (particle) या व्यक्ति के रूप में मानता है। लक्ष्य यह नहीं है कि वे सभी एक जैसे बन जाएँ; बल्कि यह है कि वे अलग हों, लेकिन अपने विशिष्ट कार्यों में सभी कुशल हों।

2. "चुंबकीय डांस फ्लोर" (Stein Variational Gradient Descent)

यही इस पेपर का मुख्य जादू है। कल्पना कीजिए कि 20 विशेषज्ञ एक डांस फ्लोर पर नर्तक (dancers) हैं।

आकर्षण (चुंबकत्व): फ्लोर पर एक "उच्च-पुरस्कार" (high-reward) वाला क्षेत्र है (जहाँ सबसे अच्छे उत्तर हैं)। नर्तकों को चुंबकीय रूप से इस क्षेत्र की ओर खींचा जाता है।
विकर्षण (निजी स्थान): पुराने तरीके में, नर्तक एक ही स्थान पर भीड़ लगा लेते हैं, जिससे वे एक-दूसरे से टकराते हैं (इसे "मोड कोलैप्स" कहा जाता है)। VP2O एक नियम जोड़ता है: "यदि आप किसी और के बहुत करीब हैं, तो आपको दूर हटना होगा।"
परिणाम: नर्तक उच्च-पुरस्कार वाले क्षेत्र में फैल जाते हैं। वे अधिक क्षेत्र को कवर करते हैं, जिससे वे समस्या को हल करने के कई अलग-अलग तरीके (जैसे कोड लिखना) खोज पाते हैं, न कि केवल एक "परफेक्ट" तरीका।

3. "स्मार्ट कोच" बनाम "क्लिपिंग नियम" (The "Smart Coach" vs. The "Clipping Rule")

पुराने तरीके में, कोच एक "क्लिपिंग" नियम का उपयोग करता है: "यदि आप अपने डांस मूव्स को 10% से अधिक बदलते हैं, तो मैं आपको रोक दूँगा।" यह एक भद्दा उपकरण है।

VP2O का दृष्टिकोण: एक कठोर रोक के बजाय, VP2O ज्यामिति (geometry) का उपयोग करता है। यह नर्तकों के आंदोलनों के "आकार" को देखता है। यह कहता है, "आप जितना चाहें उतना हिल सकते हैं, जब तक कि आप जहाँ से शुरू किया था उसके सापेक्ष इस विशिष्ट ज्यामितीय आकार के भीतर रहते हैं।"
यह अधिक प्राकृतिक, सहज गति की अनुमति देता है। रोबोट बिना नियमों को तोड़े नए विचारों का पता लगा सकता है, क्योंकि नियम सीखने की प्रक्रिया के वास्तविक आकार पर आधारित हैं, न कि किसी मनमाने नंबर पर।

4. "ऑर्थोगोनल" लक्ष्य (The "Orthogonal" Goal)

यह सुनिश्चित करने के लिए कि विशेषज्ञ एक-दूसरे की नकल न करें, VP2O एक नियम जोड़ता है जिसे Orthogonalization कहा जाता है।

उपमा: कल्पना कीजिए कि दो विशेषज्ञों को गणित की समस्या हल करने के लिए कहा गया है। यदि वे दोनों बिल्कुल एक ही विधि का उपयोग करते हैं, तो वह अक्षम है। VP2O उन्हें अलग-अलग विधियों का उपयोग करने के लिए मजबूर करता है (जैसे एक बीजगणित का उपयोग करता है, दूसरा ज्यामिति का)। यह सुनिश्चित करता है कि टीम के पास किसी भी समस्या को संभालने के लिए विविध उपकरणों की एक विस्तृत श्रृंखला हो।

जब उन्होंने इसे आज़माया तो क्या हुआ?

लेखकों ने इसे एक विशाल मॉडल (33 बिलियन पैरामीटर्स) और 20 विशेषज्ञों के साथ टेस्ट किया। यहाँ उन्हें क्या मिला:

कोडिंग (Codeforces): यह सबसे बड़ी जीत थी। नए तरीके ने रोबोट के कोडिंग स्कोर में 179 अंकों का सुधार किया (प्रतिस्पर्धी प्रोग्रामिंग में एक बड़ी छलांग)। रोबोट केवल बेहतर नहीं हुआ; उसने कोड समस्याओं को हल करने के अधिक विविध तरीके भी खोजे।
गणित (AIME): रोबोट ने अधिक गणितीय समस्याओं को सही ढंग से हल किया। दिलचस्प बात यह है कि इसने अंतिम उत्तर समझाने के लिए कम शब्दों का उपयोग किया, भले ही इसने "सोचने" (आंतरिक तर्क उत्पन्न करने) में अधिक समय बिताया। यह अधिक कुशल बन गया।
निर्देशों का पालन (Instruction Following): रोबोट जटिल निर्देशों का पालन करने में बहुत बेहतर हो गया, संभवतः इसलिए क्योंकि वह "एक ही आकार में फिट होने वाली" दिनचर्या में नहीं फंसा था।

निष्कर्ष

यह पेपर दावा करता है कि AI के "मस्तिष्क" को विविध विशेषज्ञों की एक टीम के रूप में मानकर, जिन्हें एक समान होने के बजाय अलग होने के लिए प्रोत्साहित किया जाता है (चुंबकीय विकर्षण का उपयोग करके), AI बनता है:

अधिक रचनात्मक (यह समस्याओं को हल करने के अधिक तरीके खोजता है)।
अधिक स्थिर (यह क्रैश नहीं होता या फंसता नहीं है)।
अधिक कुशल (यह काम पूरा करने के लिए कम टोकन का उपयोग करता है)।

लेखक इस बात पर जोर देते हैं कि यह तब सबसे अच्छा काम करता है जब AI को लंबे, जटिल उत्तर लिखने होते हैं (जैसे 16,000 टोकन), जहाँ एक एकल, कठोर रणनीति की तुलना में विविध "विशेषज्ञों" की एक टीम अधिक मूल्यवान होती है।

तकनीकी सारांश: वेरिएशनल प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (VP2O)

1. समस्या विवरण

प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) और इसके वेरिएंट्स (जैसे, GRPO) का उपयोग करने वाला रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) तीन निरंतर चुनौतियों का सामना करता है:

पॉलिसी मोड कोलैप्स (Policy Mode Collapse): पॉलिसियाँ अक्सर उच्च-पुरस्कार वाले व्यवहारों के एक संकीर्ण सेट की ओर अभिसरित (converge) हो जाती हैं, जिससे मानव प्राथमिकताओं के पूर्ण स्पेक्ट्रम को कैप्च करने के लिए आवश्यक विविधता का बलिदान होता है।
अकुशल अन्वेषण (Inefficient Exploration): अन्वेषण भंगुर बना रहता है, विशेष रूप से विरल (sparse) या शोर वाले रिवॉर्ड लैंडस्केप में, जो अक्सर एंट्रॉपी बोनस जैसे ह्यूरिस्टिक्स पर निर्भर करता है।
डिस्ट्रीबशनल ड्रिफ्ट और अस्थिरता (Distributional Drift and Instability): पॉलिसियाँ मिसस्पेसिफाइड रिवॉर्ड मॉडल के प्रति ओवरफिट हो सकती हैं, जिससे "रिवॉर्ड हैकिंग" होती है। इसके अलावा, PPO/GRPO में टोकन-लेवल इम्पोर्टेंस रेश्यो लंबी अनुक्रमों (sequences) के दौरान हाई-वैरिएंस शोर पैदा करते हैं, जिससे अस्थिरता आती है और फिक्स्ड क्लिपिंग या KL शेड्यूल्स जैसे एड-हॉक समाधानों की आवश्यकता होती है।

वर्तमान दृष्टिकोण, जैसे कि GRPO, ग्रेडिएंट पेनल्टी के माध्यम से स्थिरता में सुधार करते हैं, लेकिन उनमें विविधता-जागरूक अनुकूलन (diversity-aware optimization) और अन्वेषण के लिए मौलिक तंत्रों का अभाव है।

2. कार्यप्रणाली: वेरिएशनल प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (VP2O)

VP2O, RLHF पॉलिसी ऑप्टिमाइज़ेशन को एक वेरिएशनल इन्फरेंस (variational inference) समस्या के रूप में पुनर्गठित करता है। प्रॉक्सिमल कंट्रोल को एक स्केलर क्लिपिंग नियम के रूप में मानने के बजाय, यह अनुकूलन प्रक्रिया को एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर के भीतर स्टीन वेरिएशनल ग्रेडिएंट डिसेंट (SVGD) में मैप करता है।

मुख्य ढांचा (Core Framework)

वेरिएशनल रीफॉर्मुलेशन: पेपर PPO/GRPO ऑब्जेक्टिव को वर्तमान पॉलिसी $\pi_\theta$ और इष्टतम पॉलिसी डिस्ट्रीब्यूशन $p^*$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस $D_{KL}(\pi_\theta \parallel p^*)$ को कम करने के रूप में पुनर्गठित करता है।
पार्टिकल-आधारित अनुकूलन: इष्टतम वितरण $p^*$ को केवल एक सिंगल पॉलिसी द्वारा नहीं, बल्कि "पार्टिकल्स" के एक समूह (ensemble) द्वारा अनुमानित किया जाता है। VP2O में, ये पार्टिकल्स एक स्पार्स MoE लेयर के भीतर व्यक्तिगत एक्सपर्ट्स के रूप में साकार होते हैं।
स्टीन ट्रांसपोर्ट फील्ड्स (Stein Transport Fields): अनुकूलन इन एक्सपर्ट पार्टिकल्स को अपडेट करने के लिए SVGD का उपयोग करता है। अपडेट नियम दो बलों को जोड़ता है:
1. ड्राइविंग फोर्स (Driving Force): पार्टिकल्स (एक्सपर्ट्स) को $p^*$ के उच्च-पुरस्कार वाले क्षेत्रों की ओर ले जाता है।
2. रिपल्सिव फोर्स (Repulsive Force): पार्टिकल्स को एक ही मोड में ढहने (collapse) से रोकता है, जिससे विविधता बनी रहती है।

प्रमुख आर्किटेक्चरल घटक

वेरिएशनल एन्सेम्बल के रूप में MoE: MoE लेयर में प्रत्येक एक्सपर्ट $i$ , एक विशिष्ट पॉलिसी घटक $\pi_{\theta_i}$ के रूप में कार्य करता है। राउटर $\phi(\cdot)$ प्रत्येक टोकन के लिए एक्सपर्ट्स के एक स्पार्स सबसेट (Top-K) का चयन करता है।
प्रोटोटाइप्स पर फंक्शनल कर्नेल्स: हाई-डायमेंशनल पैरामीटर स्पेस को संभालने के लिए, VP2O पैरामीटर स्पेस के बजाय आउटपुट स्पेस में कर्नेल $K$ को परिभाषित करता है। यह प्रत्येक एक्सपर्ट के लिए एक यूनिट-नॉर्म प्रोटोटाइप $p_i$ बनाए रखता है (जो एक्सपर्ट के आउटपुट प्रोजेक्शन मैट्रिक्स के प्रिंसिपल आइजनवेक्टर से प्राप्त होता है)। कर्नेल प्रोटोटाइप्स के बीच कोणीय समानता (angular similarity) को मापता है।
डिकपल्ड ट्रांसपोर्ट फील्ड: स्टीन अपडेट को रूटिंग गतिविधि के आधार पर अलग किया जाता है:
- आकर्षण (Attraction): सह-सक्रिय (co-activated) एक्सपर्ट्स, जिन्हें राउटर द्वारा चुना गया है, कर्नेल-वेटेड ग्रेडिएंट एवरेजिंग के माध्यम से सूचना साझा करते हैं।
- विकर्षण (Repulsion): निष्क्रिय या कम सह-सक्रिय होने वाले एक्सपर्ट्स को विशेषज्ञता (specialization) को प्रोत्साहित करने के लिए कर्नेल-ग्रेडिएंट टर्म्स के माध्यम से दूर धकेला जाता है।
एक्सपर्ट ऑर्थोगोनलाइजेशन (Expert Orthogonalization): कोलैप्स को और अधिक रोकने के लिए, एक सहायक लॉस (auxiliary loss) ऑर्थोगोनल एक्सपर्ट रिप्रेजेंटेशन्स को प्रोत्साहित करता है, जो एक ही Top-K ग्रुप के भीतर विभिन्न एक्सपर्ट आउटपुट्स के एक-दूसरे पर प्रोजेक्शन को कम करता है।
जियोमेट्रिक ट्रस्ट रीजन: VP2O फिक्स्ड क्लिपिंग और स्टैटिक KL पेनल्टी के स्थान पर दो जियोमेट्री-आधारित नियंत्रणों का उपयोग करता है:
1. एंकर प्रोटोटाइप बजट: एक "एंकर" पॉलिसी स्नैपशॉट के सापेक्ष लो-डायमेंशनल प्रोटोटाइप स्पेस में स्टेप साइज को सीमित करता है।
2. ऑन-पॉलिसी बिहेवियर बजट: ड्रिफ्ट डायग्नोस्टिक्स (KL डाइवर्जेंस और प्रभावी सैंपल साइज) के आधार पर इवेंट-ड्रिवन सिंक्रोनाइज़ेशन का उपयोग करता है ताकि एक्टर पॉलिसी को केवल आवश्यकता पड़ने पर ही रिफ्रेश किया जा सके, न कि एक निश्चित शेड्यूल पर।

3. प्रमुख योगदान

RLHF के लिए SVGD: पेपर KL-रेगुलराइज्ड रिवॉर्ड मैक्सिमाइजेशन को स्टीन वेरिएशनल ग्रेडिएंट डिसेंट का उपयोग करके $D_{KL}(\pi_\theta \parallel p^*)$ को कम करने के रूप में पुनर्व्याख्या करता है। यह PPO के क्लिपिंग को कर्नेल-वेटेड अपडेट से बदल देता है जो रिवॉर्ड और विविधता दोनों को संयुक्त रूप से अनुकूलित करते हैं।
संयुक्त एक्सपर्ट स्पेशलाइजेशन: एक विशेष ऑब्जेक्टिव पेश करता है जो ऑर्थोगोनैलिटी लॉस और रूटिंग डाइवर्सिफिकेशन लॉस को जोड़ता है। यह सुनिश्चित करता है कि प्रत्येक एक्सपर्ट (MoE में) एक कार्यात्मक रूप से विशिष्ट व्यवहार विकसित करे, जो मानक PPO/GRPO में होने वाले एक्सपर्ट कोलैप्स को कम करता है।
एकीकृत ढांचा: VP2O, पोस्टीरियर सैंपलिंग और पॉलिसी कंस्ट्रेंट्स को एकीकृत करता है, जिससे ऐसी पॉलिसियाँ सक्षम होती हैं जो विविध, अनिश्चितता-जागरूक और मानव प्राथमिकताओं के साथ संरेखित (aligned) हैं, बिना किसी एड-हॉक ट्रस्ट रीजन पर निर्भर रहे।

4. प्रयोगात्मक परिणाम

लेखकों ने एक 33B/4B स्पार्स MoE मॉडल (33B कुल पैरामीटर्स, प्रति टोकन 4B सक्रिय) पर समान स्थितियों के तहत GRPO-प्रशिक्षित बेसलाइन के विरुद्ध VP2O का मूल्यांकन किया।

प्रदर्शन बेंचमार्क

गणितीय तर्क (AIME): VP2O ने निरंतर लाभ दिखाया। AIME 2024 पर, इसने 8K कॉन्टेक्स्ट में +2.6% और 16K में +1.6% का सुधार हासिल किया। उल्लेखनीय रूप से, VP2O AIME 2024 पर बेसलाइन की तुलना में लगभग 2,000 स्टेप्स पहले अभिसरित (converge) हुआ।
वैज्ञानिक तर्क (GPQA): 8K कॉन्टेक्स्ट में लगभग समानता, लेकिन 16K कॉन्टेक्स्ट में स्पष्ट +1.8% का लाभ, जो बताता है कि विविधता लंबे जनरेशन बजट के तहत जटिल, बहु-चरणीय कार्यों में लाभ प्रदान करती है।
कोड जनरेशन (Codeforces): सबसे महत्वपूर्ण लाभ 16K कॉन्टेक्स्ट में देखा गया, जहाँ VP2O ने बेसलाइन को +179 ELO और +3.6 Pass@1 पॉइंट्स से पीछे छोड़ दिया। लेखक इसका श्रेय उन रिपल्सिव फोर्सेज को देते हैं जो एक्सपर्ट्स को संरचनात्मक रूप से भिन्न समाधान रणनीतियों की ओर धकेलते हैं।
इंस्ट्रक्शन फॉलोइंग (IFBench/IFEval): VP2O ने सभी इंस्ट्रक्शन-फॉलोइंग मेट्रिक्स में सबसे सुसंगत लाभ दिया, जिसमें मेट्रिक और कॉन्टेक्स्ट लेंथ के आधार पर +3.6% से +5.7% तक का सुधार देखा गया।

दक्षता और टोकन उपयोग

टोकन दक्षता: VP2O ने बेहतर समाधान दक्षता प्रदर्शित की। AIME 2025 (8K कॉन्टेक्स्ट) पर, इसने उच्च सटीकता प्राप्त करते हुए 32% कम टोकन (130 कम) का उपयोग किया।
रीजनिंग पैटर्न: "थॉट टोकन्स" बनाम "सॉल्यूशन टोकन्स" के विश्लेषण से पता चला कि VP2O अधिक "सोचने" (मध्यवर्ती तर्क टोकन अधिक उत्पन्न करना) की प्रवृत्ति रखता है लेकिन कोडिंग और गणितीय कार्यों में अधिक संक्षिप्त अंतिम उत्तर लिखता है।

प्रशिक्षण गतिशीलता (Training Dynamics)

स्थिरता: VP2O ने शुरुआती प्रशिक्षण चरणों से एक स्थिर एडवांटेज स्थापित किया, जिससे बेसलाइन में देखी गई देर से होने वाली गिरावट (रिवॉर्ड ओवर-ऑप्टिमाइज़ेशन) से बचा जा सका।
अभिसरण (Convergence): फ्रेमवर्क ने, विशेष रूप से 16K कॉन्टेक्स्ट सेटिंग में, तेज़ अभिसरण प्रदर्शित किया।

5. महत्व और दावे

पेपर का दावा है कि VP2O उन ह्यूरिस्टिक बाधाओं (क्लिपिंग, फिक्स्ड KL शेड्यूल्स) के लिए एक मौलिक विकल्प प्रदान करता है जो वर्तमान में RLHF पर हावी हैं। एक एक्सपर्ट्स की आबादी पर वेरिएशनल इन्फरेंस के लेंस के माध्यम से पॉलिसी ऑप्टिमाइज़ेशन को देखते हुए, VP2O:

ह्यूरिस्टिक्स पर निर्भरता कम करता है: डेटा से प्राप्त जियोमेट्री-आधारित प्रॉक्सिमल कंट्रोल्स के साथ एड-हॉक क्लिपिंग को बदल देता है।
विविधता बढ़ाता है: स्टीन रिपल्सिव फोर्सेज और ऑर्थोगोनैलिटी कंस्ट्रेंट्स के माध्यम से मोड कोलैप्स और एक्सपर्ट ओवरलैप को स्पष्ट रूप से रोकता है।
लंबे प्रारूप के जनरेशन (Long-Form Generation) में सुधार करता है: इसके लाभ लंबे जनरेशन कॉन्टेक्स्ट (16K टोकन) में सबसे अधिक स्पष्ट हैं, जो सुझाव देता है कि कार्यात्मक विविधता को बनाए रखना लंबे प्रारूप वाले RL ट्राजेक्टरीज को स्थिर करने के लिए महत्वपूर्ण है।

लेखक नोट करते हैं कि हालांकि परिणाम एक सिंगल मॉडल फैमिली (33B/4B MoE) पर आशाजनक हैं, लेकिन बड़े पैमाने पर (जैसे, 70B+) और विभिन्न मॉडल आर्किटेक्चर पर आगे का सत्यापन एक खुला प्रश्न बना हुआ है। वर्तमान कार्य VP2O के वेरिएशनल फ्रेमवर्क की RLHF प्रशिक्षण को स्थिर करने और विविध बनाने की प्रभावकारिता पर केंद्रित है।