Aligning Compound AI Systems via System-level DPO

यहाँ "Aligning Compound AI Systems via System-level DPO" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कंपाउंड AI सिस्टम (वे सिस्टम जो LLM, फाउंडेशन मॉडल्स और बाहरी टूल्स जैसे कई परस्पर क्रिया करने वाले घटकों को एकीकृत करते हैं) ने एकल मॉडल्स की तुलना में बेहतर प्रदर्शन दिखाया है। हालाँकि, इन सिस्टम्स को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित (align) करना एकल मोनोलिथिक मॉडल्स की तुलना में काफी चुनौतीपूर्ण है, जिसके तीन प्राथमिक कारण हैं:

1. गैर-विभेदन योग्य अंतःक्रियाएं (Non-differentiable Interactions): घटक अक्सर प्राकृतिक भाषा या असतत (discrete) आउटपुट के माध्यम से संचार करते हैं, जो एंड-टू-एंड ग्रेडिएंट-आधारित अनुकूलन (जैसे, मानक बैकप्रोपैगेशन अंतिम छवि से टेक्स्ट प्रॉम्प्ट तक LLM तक नहीं जा सकता) को रोकता है।
2. गैर-विभाजन योग्य प्राथमिकताएं (Non-decomposable Preferences): सिस्टम-स्तरीय प्राथमिकताएं (जैसे, एक छवि अनुक्रम की सुसंगतता) प्रत्येक घटक के लिए स्वतंत्र प्राथमिकताओं में सरल रूप से विभाजित नहीं की जा सकतीं। प्रत्येक घटक को अलग से अनुकूलित करने से अक्सर अंतिम आउटपुट में मिसअलाइनमेंट होता है।
3. सूक्ष्म-स्तरीय बेंचमार्क का अभाव (Lack of Fine-grained Benchmarks): मौजूदा बेंचमार्क आमतौर पर अंतिम सिस्टम आउटपुट का मूल्यांकन करते हैं, जिनमें मध्यवर्ती चरणों या घटक-स्तरीय प्राथमिकताओं के लिए ग्राउंड ट्रुथ (ground truth) का अभाव होता है।

वर्तमान विधियाँ जैसे कि डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) और RLHF सीधे तौर पर लागू नहीं होती हैं क्योंकि वे एक एकल, विभेदनीय नीति (differentiable policy) मानती हैं।

2. कार्यप्रणाली: SysDPO फ्रेमवर्क (Methodology: The SysDPO Framework)

लेखक SysDPO का प्रस्ताव करते हैं, जो कंपाउंड सिस्टम के लिए DPO का विस्तार करता है और उन्हें डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में मॉडल करता है।

2.1 सिस्टम फॉर्मूलेशन (System Formulation)

• DAG प्रतिनिधित्व: सिस्टम को एक DAG के रूप में मॉडल किया गया है जहाँ नोड्स वेरिएबल्स (इनपुट $x$, मध्यवर्ती आउटपुट $y$, अंतिम आउटपुट $z$) का प्रतिनिधित्व करते हैं और एडजेस (edges) डेटा प्रवाह का प्रतिनिधित्व करते हैं।
• संभाव्यता अपघटन (Probability Decomposition): सिस्टम आउटपुट की संयुक्त संभाव्यता को व्यक्तिगत घटकों की सशर्त संभाविताओं के गुणनफल में विभाजित किया जाता है:
  $$p_\theta(s|x) = \prod p_{\theta_i}(y_i | \text{Pa}(y_i)) \cdot \prod p_{\theta_j}(z_j | \text{Pa}(z_j))$$
  जहाँ $s$ सभी उत्पन्न वेरिएबल्स का सेट है।

2.2 SysDPO के दो वेरिएंट्स (Two Variants of SysDPO)

डेटा की उपलब्धता के आधार पर यह फ्रेमवर्क दो दृष्टिकोण प्रदान करता है:

A. SysDPO-Direct (उन सिस्टम्स के लिए जिनमें अवलोकन योग्य मध्यवर्ती आउटपुट होते हैं)

• परिदृश्य: उपयोग तब किया जाता है जब प्रेफरेंस डेटासेट में मध्यवर्ती आउटपुट ($y$) और अंतिम आउटपुट ($z$) दोनों शामिल हों।
• तंत्र: यह पूर्ण सेट ऑफ जनरेटेड वेरिएबल्स $s = \{y, z\}$ पर सीधे DPO लॉस फंक्शन लागू करता है।
• अनुकूलन (Optimization): लॉस को संयुक्त वितरण (joint distribution) पर मिनिमाइज किया जाता है। उन घटकों के लिए जहाँ संभावना सीधे तौर पर विभेदनीय (differentiable) नहीं है (जैसे, डिफ्यूजन मॉडल्स), लेखक DDPM फॉर्मूलेशन का उपयोग करके लॉस के ऊपरी स्तर (upper bound) को प्राप्त करते हैं, जिससे ट्रैक्टेबल ग्रेडिएंट अपडेट संभव हो पाता है।

B. SysDPO-Sampling (उन सिस्टम्स के लिए जिनमें अनऑब्जर्व्ड मध्यवर्ती आउटपुट होते हैं)

• परिदृश्य: उपयोग तब किया जाता है जब केवल इनपुट ($x$) और अंतिम आउटपुट ($z$) के जोड़े उपलब्ध होते हैं (जो मानक प्रेफरेंस डेटासेट्स में सामान्य है)।
• तंत्र: चूंकि मध्यवर्ती आउटपुट $y$ छिपे हुए हैं, इसलिए सटीक संभावना $p(z|x)$ में सभी संभावित $y$ पर एक कठिन योग (intractable summation) शामिल है। SysDPO-Sampling विविध मध्यवर्ती उम्मीदवारों $\{y^\alpha\}$ के एक छोटे सेट को सैंपल करके इसका अनुमान लगाता है।
• सैंपलिंग रणनीति: यह $k$ विशिष्ट, उच्च-संभाव्यता वाले मध्यवर्ती उम्मीदवारों को उत्पन्न करने के लिए डाइवर्स बीम सर्च (Diverse Beam Search - DBS) का उपयोग करता है। यह मोंटे कार्लो सैंपलिंग की अक्षमता और लगभग समान नमूनों की पुनरावृत्ति से बचता है।
• लॉस फंक्शन: DPO लॉस का अनुमान इन सैंपल किए गए ट्राजेक्टरीज का उपयोग करके लगाया जाता है, जिससे बिना $y$ देखे भी ग्रेडिएंट डिसेंट के माध्यम से एंड-टू-एंड अनुकूलन सक्षम होता है।

3. मुख्य योगदान (Key Contributions)

1. औपचारिक ढांचा (Formal Framework): कंपाउंड AI सिस्टम के लिए एक DAG-आधारित फॉर्मूलेशन पेश किया, जो घटक अंतःक्रियाओं और डेटा प्रवाह को स्पष्ट रूप से मॉडल करता है।
2. SysDPO एल्गोरिदम: डेटा उपलब्धता परिदृश्यों को संभालने के लिए दो वेरिएंट्स (Direct और Sampling) प्रस्तावित किए, जिससे घटक-स्तरीय प्रेफरेंस लेबल के बिना सिस्टम-स्तरीय संरेखण संभव हुआ।
3. सैद्धांतिक गारंटी (Theoretical Guarantees): सिद्ध किया कि SysDPO पॉपुलेशन सेटिंग में $\beta$-परफेक्ट अलाइनमेंट प्राप्त करता है, जो कंपाउंड सिस्टम के लिए मानक DPO की सैद्धांतिक गारंटियों का सामान्यीकरण करता है। यह प्रमाण इस धारणा पर आधारित है कि प्रशिक्षण वितरण विविध मध्यवर्ती अवस्थाओं को कवर करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग अनुप्रयोग डोमेन में प्रभावशीलता प्रदर्शित की:
   • LLM + Diffusion Model: एक LLM (कैप्शन जनरेट करना) और एक डिफ्यूजन मॉडल (छवियां जनरेट करना) को संयुक्त रूप से संरेखित करना ताकि छवियों के अनुक्रम में तार्किक प्रगति सुनिश्चित हो सके।
   • Multi-LLM Collaboration: जटिल तर्क कार्यों के लिए एक दो-चरणीय LLM पाइपलाइन (प्रश्न पीढ़ी $\to$ परिशोधन/Refinement) को संरेखित करना।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग 1: LLM + Diffusion Model (इमेज प्रोग्रेशन)

• कार्य: एक विशेषता में क्रमिक परिवर्तन (जैसे, "बढ़ता हुआ गुस्सा दिखाता हुआ बिल्ली") दिखाने वाला छवियों का एक अनुक्रम उत्पन्न करना।
• बेसलाइन्स: अनअलाइन्ड सिस्टम, बेस्ट-ऑफ-N सैंपलिंग, केवल LLM को प्रशिक्षित करना, केवल डिफ्यूजन मॉडल को प्रशिक्षित करना।
• परिणाम:
  • अनअलाइन्ड सिस्टम ने केवल 32% ऑर्डर कंसिस्टेंसी (सही प्रगति) प्राप्त की।
  • केवल LLM को प्रशिक्षित करने से यह बढ़कर 65% हो गई, जो सिस्टम को गाइड करने में LLM की भूमिका को उजागर करती है।
  • SysDPO-Direct ने 73% ऑर्डर कंसिस्टेंसी और उच्चतम प्रेफरेंस स्कोर (0.25) के साथ उच्चतम प्रदर्शन किया, जो सभी बेसलाइन्स से बेहतर है।
  • निष्कर्ष: संयुक्त अनुकूलन (Joint optimization), अलग-थलग घटक ट्यूनिंग की तुलना में श्रेष्ठ है।

प्रयोग 2: कंपाउंड LLM कोलैबोरेशन (दो-चरणीय QA)

• कार्य: एक दो-चरणीय सिस्टम जहाँ मॉडल 1 एक मध्यवर्ती उत्तर उत्पन्न करता है और मॉडल 2 उसे परिष्कृत (refine) करता है।
• बेसलाइन्स: प्रॉम्प्टेड सिस्टम (कोई प्रशिक्षण नहीं), सेपरेट-DPO (प्रत्येक मॉडल को व्यक्तिगत रूप से संरेखित करना)।
• परिणाम:
  • SysDPO-Sampling ने मानव-पसंदीदा प्रतिक्रियाओं के विरुद्ध 19.8% जीत दर (win rate) प्राप्त की, जो अनअलाइन्ड प्रॉम्प्टेड सिस्टम (12.8%) की तुलना में 55% सापेक्ष सुधार है।
  • इसने सेपरेट-DPO (16.6%) को भी महत्वपूर्ण रूप से पीछे छोड़ दिया, जो सिद्ध करता है कि घटक समान होने पर भी सिस्टम-स्तरीय फीडबैक महत्वपूर्ण है।
  • एब्लेशन (Ablation): एक मॉडल को फ्रीज करके दूसरे को प्रशिक्षित करने से पता चला कि हालांकि दोनों योगदान देते हैं, लेकिन दूसरे चरण (अंतिम आउटपुट जनरेटर) का अंतिम गुणवत्ता पर अधिक प्रभाव पड़ता है। हालांकि, केवल संयुक्त प्रशिक्षण ही शिखर प्रदर्शन प्राप्त कर सका।
  • सैंपलिंग दक्षता: केवल 2 सैंपल के साथ डाइवर्स बीम सर्च (DBS) का उपयोग करने से 5 सैंपल के मोंटे कार्लो सैंपलिंग से बेहतर परिणाम मिले, जो विविधता दंड (diversity penalty) की दक्षता की पुष्टि करता है।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

• पैराडाइम शिफ्ट: यह कार्य क्षेत्र को एकल मॉडल्स को संरेखित करने से बदलकर सिस्टम्स को संरेखित करने की ओर ले जाता है, जो इस वास्तविकता को संबोधित करता है कि आधुनिक AI अनुप्रयोग तेजी से मॉड्यूलर और सहयोगात्मक होते जा रहे हैं।
• व्यावहारिकता: गैर-विभेदन योग्य अंतःक्रियाओं और छिपे हुए मध्यवर्ती अवस्थाओं को संभालकर, SysDPO मानक प्रेफरेंस डेटा का उपयोग करके जटिल वर्कफ़्लो (जैसे, RAG, मल्टी-एजेंट सिस्टम, मल्टीमॉडल पाइपलाइन) को संरेखित करना संभव बनाता है।
• स्केलेबिलिटी: फ्रेमवर्क ने 2-घटक सिस्टम से लेकर एक प्रारंभिक 3-घटक सिस्टम तक सफलतापूर्वक विस्तार किया, जो बड़े, अधिक जटिल आर्किटेक्चर के लिए इसकी प्रयोज्यता का सुझाव देता है।
• भविष्य का कार्य: लेखक डायनेमिक रूटिंग, फीडबैक लूप और उच्च-आयामी लेटेंट आउटपुट वाले सिस्टम में SysDPO के विस्तार की चुनौतियों की पहचान करते हैं, साथ ही बड़े पैमाने के कंपाउंड सिस्टम के लिए प्रशिक्षण दक्षता में सुधार की भी बात करते हैं।

संक्षेप में, SysDPO जटिल कंपाउंड AI सिस्टम को संरेखित करने के लिए एक सिद्धांतपूर्ण, सैद्धांतिक रूप से सुदृढ़ और अनुभवजन्य रूप से सत्यापित समाधान प्रदान करता है, जो यह दर्शाता है कि संयुक्त सिस्टम-स्तरीय अनुकूलन, अलग-थलग घटक संरेखण की तुलना में काफी बेहतर प्रदर्शन करता है।