TriAlign: Towards Universal Truth Consistency in Personalized LLM Alignment

तकनीकी सारांश: TriAlign: व्यक्तिगत LLM संरेखण में सार्वभौमिक सत्य निरंतरता की ओर

समस्या विवरण

व्यक्तिगत लार्ज लैंग्वेज मॉडल्स (PLLMs) उपयोगकर्ता की प्राथमिकताओं और सामाजिक गुणों (जैसे आयु, लिंग, व्यवसाय) के अनुसार प्रतिक्रियाओं को अनुकूलित करते हैं। हालाँकि, यह वैयक्तिकरण एक गंभीर दोष पेश करता है: सार्वभौमिक सत्य असंगतता (Universal Truth Inconsistency)। जबकि प्रतिक्रिया की प्रस्तुति भिन्न हो सकती है, अंतर्निहित वस्तुनिष्ठ सत्य (जैसे गणितीय तथ्य, वैज्ञानिक सिद्धांत) सामाजिक समूहों में अपरिवर्तनीय रहना चाहिए। मौजूदा साक्ष्य बताते हैं कि PLLMs विशिष्ट सामाजिक समूहों को अन्य समूहों की तुलना में व्यवस्थित रूप से कम सटीक प्रतिक्रियाएं प्रदान कर सकते हैं, जिससे "सत्य अंतराल" (truth gaps) उत्पन्न होते हैं।

वर्तमान संरेखण विधियाँ इसे पर्याप्त रूप से संबोधित करने में विफल रहती हैं:

1. "एक ही आकार सभी के लिए" (One-size-fits-all) मॉडल पूरी तरह से वैयक्तिकरण की अनदेखी करते हैं।
2. मौजूदा PLLM संरेखण मुख्य रूप से व्यक्तिपरक प्राथमिकताओं पर ध्यान केंद्रित करता है, सत्य अपरिवर्तनीयता की अनदेखी करता है।
3. प्रॉम्प्ट-आधारित शमन (जैसे, जनसांख्यिकीय विवरणों को अनदेखा करने का निर्देश देना) केवल सतही पीढ़ी को निर्देशित करता है, मॉडल मापदंडों में एनकोडेड जनसांख्यिकीय सहसंबंधों को संशोधित नहीं करता है, जिससे अक्सर मामूली सुधार होता है या वैयक्तिकरण की गुणवत्ता घट जाती है।

एक प्रशिक्षण-आधारित संरेखण विधि की आवश्यकता है जो सार्वभौमिक सत्य सटीकता, क्रॉस-ग्रुप सत्य निरंतरता, और वैयक्तिकरण को संयुक्त रूप से अनुकूलित करे।

कार्यप्रणाली: TriAlign

लेखक TriAlign प्रस्तावित करते हैं, जो सत्य-अपरिवर्तनीय संरेखण (Truth-Invariant Alignment - TIA) के लिए डिज़ाइन किया गया पहला ऑफलाइन मल्टी-एजेंट सुदृढ़ीकरण लर्निंग (MARL) फ्रेमवर्क है।

1. MARL के रूप में निरूपण

TriAlign प्रत्येक सामाजिक समूह को एक साझा वातावरण के भीतर परस्पर क्रिया करने वाले एक स्वतंत्र एजेंट के रूप में मॉडल करता है।

• एजेंट्स (Agents): प्रत्येक एजेंट $i$ एक सामाजिक समूह $g_i$ (लिंग या आयु जैसे जनसांख्यिकीय गुणों द्वारा परिभाषित) के अनुरूप है।
• स्टेट (State): $s_{i,t} = (x, g_i, \tau_{i,t})$, जहाँ $x$ क्वेरी है, $g_i$ समूह प्रोफ़ाइल है, और $\tau$ बातचीत का इतिहास है।
• एक्शन (Action): एजेंट एक प्रतिक्रिया $a_{i,t}$ उत्पन्न करता है।
• एनवायरनमेंट (Environment): एक ही क्वेरी $x$ के लिए सभी $m$ एजेंटों से संयुक्त क्रियाओं को एकत्र करता है, सत्य विसंगतियों की पहचान करने के लिए उनकी तुलना करता है, और फीडबैक प्रदान करता है।
• प्रशिक्षण/निष्पादन (Training/Execution): प्रशिक्षण केंद्रीकृत है (एजेंट प्रतिक्रियाओं की तुलना करने के लिए परस्पर क्रिया करते हैं), जबकि निष्पादन विकेंद्रीकृत है (प्रत्येक एजेंट अपने विशिष्ट समूह प्रोफ़ाइल के आधार पर स्वतंत्र रूप से प्रतिक्रिया उत्पन्न करता है)।

2. उद्देश्य और पुरस्कार डिज़ाइन

TriAlign एक निष्पक्षता-जागरूक उद्देश्य को अनुकूलित करता है जो प्रभुत्वशाली समूहों का पक्ष लेने से रोकने के लिए नैश सोशल वेलफेयर (NSW) से प्रेरित है। ऑब्जेक्टिव फंक्शन $J(\theta)$ रिटर्न के योग को अधिकतम करता है और सबसे खराब प्रदर्शन करने वाले समूहों के लिए एक लॉगरिदमिक पद को शामिल करता है:
$$J(\theta) = \mathbb{E} \left[ \sum_{i=1}^m (R_i + \lambda_{NSW} \log(R_i + \epsilon)) \right]$$
जहाँ $R_i$ एजेंट $i$ के लिए संचयी रिटर्न है।

प्रत्येक एक्शन के लिए रिवॉर्ड फंक्शन (Reward Function) $r_i$ तीन घटकों को जोड़ता है:

1. सत्य सटीकता ($r_{truth}$): सार्वभौमिक सत्य $y^\star$ के विरुद्ध शुद्धता।
2. वैयक्तिकरण ($r_{pref}$): समूह-विशिष्ट बाधाओं (शैली, स्वर) के साथ संरेखण।
3. निरंतरता दंड ($r_{cons}$): सभी सामाजिक समूहों के औसत सत्य सटीकता और एजेंट की सत्य सटीकता के बीच पूर्ण अंतर पर आधारित एक स्पष्ट दंड। यह सीधे तौर पर सार्वभौमिक सत्य में विचलन को हतोत्साहित करता है।

3. ऑफलाइन RL कार्यान्वयन

ऑनलाइन RL (जिसके लिए निष्पक्षता और सत्य के लिए मानव एनोटेशन की आवश्यकता होती है) की उच्च लागत से बचने के लिए, TriAlign पूर्व-संग्रहित प्रक्षेप पथों (trajectories) पर ऑफलाइन RL का उपयोग करता है:

• डेटा निर्माण: एक मल्टी-टर्न इंटरैक्शन सिमुलेशन चलाया जाता है जहाँ $m$ एजेंट (विभिन्न सामाजिक समूहों का प्रतिनिधित्व करते हुए) एक ही प्रश्नों के उत्तर देते हैं। वातावरण उत्तरों की तुलना करता है और रिवार्ड असाइन करता है।
• अनुकूलन (Optimization): फ्रेमवर्क एक भारित सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) ऑब्जेक्टिव का उपयोग करता है जिसमें निहित KL बाधाएं हैं। वेट (weights) एडवांटेज फंक्शन और NSW ऑब्जेक्टिव से प्राप्त किए जाते हैं, जो उन क्रियाओं को प्राथमिकता देते हैं जो उच्च सामूहिक सटीकता बनाए रखते हुए "सबसे खराब मामले" के प्रदर्शन में सुधार करती हैं।

4. पर्सोना ऑग्मेंटेशन (Persona Augmentation)

विविध प्रशिक्षण डेटा सुनिश्चित करने के लिए, लेखकों ने 75 जनसांख्यिकीय श्रेणी-मूल्य युग्मों के साथ एक सामाजिक-समूह स्थान $G$ का निर्माण किया। उन्होंने एक संतुलित 7,500 पर्सोना का पूल बनाने के लिए पर्सोना-टू-पर्सोना ऑग्मेंटेशन पाइपलाइन का उपयोग किया, जिससे यह सुनिश्चित हुआ कि अल्पप्रतिनिधित्व वाले समूहों को पर्याप्त रूप से सिम्युलेट किया गया है।

प्रमुख योगदान

1. समस्या निरूपण: यह कार्य पहली बार सत्य-अपरिवर्तनीय संरेखण (TIA) को एक ऑफलाइन MARL समस्या के रूप में निरूपित करता है, जो स्पष्ट रूप से वैयक्तिकरण और सार्वभौमिक सत्य निरंतरता के बीच के ट्रेड-ऑफ को संबोधित करता है।
2. TriAlign फ्रेमवर्क: एक नया MARL फ्रेमवर्क प्रस्तावित करता है जहाँ सामाजिक समूह एजेंट के रूप में कार्य करते हैं। यह एक निष्पक्षता-जागरूक उद्देश्य (NSW-प्रेरित) और एक स्पष्ट क्रॉस-ग्रुप इनकंसिस्टेंसी पेनल्टी पेश करता है जो सत्य, निरंतरता और वैयक्तिकरण को संयुक्त रूप से अनुकूलित करता है।
3. इंटरैक्शन सिमुलेशन: ऑफलाइन RL प्रक्षेप पथों का निर्माण करने के लिए एक मल्टी-सोशल-ग्रुप, मल्टी-टर्न इंटरैक्शन फ्रेमवर्क विकसित करता है, जिससे एजेंट तुलनात्मक फीडबैक के माध्यम से अपनी प्रतिक्रियाओं को पुनरावृत्ति से परिष्कृत कर सकते हैं।
4. अनुभवजन्य सत्यापन: यह व्यापक प्रयोगों के माध्यम से प्रदर्शित करता है कि TriAlign सत्य विषमताओं को कम करने और वैयक्तिकरण की गुणवत्ता बनाए रखने या सुधारने में मजबूत बेसलाइन (प्रॉम्प्ट-आधारित डिबायसिंग और मानक SFT सहित) से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

प्रयोग विविध बेंचमार्क पर किए गए जिनमें AIME25 (गणित), StereoSet (सामाजिक पूर्वाग्रह), MMLU-PRO, और TruthfulQA शामिल हैं।

• सत्य निरंतरता: TriAlign ने बेसलाइन की तुलना में सामाजिक समूहों के बीच सत्य सटीकता के मानक विचलन (Std), वर्स्ट-ग्रुप गैप (Worst-Group Gap), और कोएफिशिएंट ऑफ वेरिएशन (CV) को महत्वपूर्ण रूप से कम किया। उदाहरण के लिए, StereoSet पर, TriAlign ने बेस मॉडल के 0.100 की तुलना में सर्वश्रेष्ठ और सबसे खराब प्रदर्शन करने वाले समूहों के बीच के अंतर को घटाकर 0.015 कर दिया।
• सत्य सटीकता: पद्धति ने मीन (Mean) सार्वभौमिक सत्य सटीकता (जैसे, StereoSet पर 0.317 बेस मॉडल के मुकाबले 0.788) और वर्स्ट-ग्रुप (Worst-Group) सटीकता में सुधार किया, जो दर्शाता है कि हाशिए पर रहने वाले समूहों को काफी अधिक सटीक प्रतिक्रियाएं मिलीं।
• वैयक्तिकरण: उन प्रॉम्प्ट-आधारित विधियों के विपरीत जो अक्सर निष्पक्षता के लिए वैयक्तिकरण का त्याग करती हैं, TriAlign ने प्रेफरेंस अलाइनमेंट एक्यूरेसी (Pref) (जैसे, StereoSet पर 0.791) को बनाए रखा या सुधारा।
• एब्लेशन स्टडीज (Ablation Studies): NSW ऑब्जेक्टिव या निरंतरता मॉडलिंग घटक को हटाने से निष्पक्षता मेट्रिक्स और वैयक्तिकरण दोनों में प्रदर्शन में गिरावट आई, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि TriAlign अधिक निष्पक्ष और विश्वसनीय व्यक्तिगत AI सिस्टम की ओर एक मौलिक कदम है। इसका महत्व निम्नलिखित में निहित है:

• "सतही-स्तर" के डिबायसिंग (प्रॉम्प्टिंग) से आगे बढ़कर प्रशिक्षण-आधारित संरेखण की ओर बढ़ना जो सत्य और निष्पक्षता के संबंध में मॉडल के आंतरिक व्यवहार को संशोधित करता है।
• यह प्रदर्शित करना कि सार्वभौमिक सत्य निरंतरता और वैयक्तिकरण परस्पर अनन्य नहीं हैं; उन्हें मल्टी-एजेंट परिप्रेक्ष्य का उपयोग करके संयुक्त रूप से अनुकूलित किया जा सकता है।
• एक स्केलेबल, ऑफलाइन RL समाधान प्रदान करना जो निष्पक्षता के लिए महंगे ह्यूमन-इन-द-लूप एनोटेशन पर निर्भर नहीं है, जिससे यह बड़े पैमाने पर तैनाती के लिए लागू करने योग्य बनता है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि उनके सिम्युलेटेड पर्सोना वास्तविक दुनिया की इंटरसेक्शनल पहचान की जटिलता को पूरी तरह से कैप्चर नहीं कर सकते हैं और इन उद्देश्यों को संतुलित करना एक चुनौतीपूर्ण, निरंतर शोध समस्या बनी हुई है। वे इस बात पर जोर देते हैं कि TriAlign PLLMs में सार्वभौमिक सत्य निरंतरता के लिए एक पूर्ण समाधान नहीं, बल्कि एक कदम है।