तकनीकी सारांश: LLM सलाह में 'परसोना कोलैप्स' (व्यक्तित्व पतन) का निदान और सुधार

1. समस्या की परिभाषा

यह शोध पत्र व्यक्तिगत सलाह देने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) में एक महत्वपूर्ण मिसअलाइनमेंट (असंगति) को संबोधित करता है। पोस्ट-ट्रेनिंग मॉडल्स को एक स्थिर, प्रो-सोशल "असिस्टेंट" व्यक्तित्व (जो गर्मजोशी भरा, संवेदी और सहायक हो) की ओर संरेखित किया जाता है, जबकि प्रभावी मानवीय सलाह के लिए परिस्थिति-आधारित व्यक्तित्व चयन (situation-conditioned persona selection) की आवश्यकता होती है। एक कुशल सलाहकार को अपनी संचार शैली को संदर्भ और उपयोगकर्ता की स्थिति (जैसे संकट, इनकार, या तार्किक आवश्यकता) के आधार पर अनुकूलित करना चाहिए—जो सांत्वना देने से लेकर चुनौतीपूर्ण, प्रक्रियात्मक या टकरावपूर्ण होने तक भिन्न हो सकती है।

लेखक LLMs द्वारा अनुकूलन करने में विफलता को परसोना कोलैप्स (Persona Collapse) के रूप में औपचारिक रूप देते हैं: विविध और विषम सलाह स्थितियों को एक एकल डिफ़ॉल्ट व्यक्तित्व में संकुचित कर देना। इसके परिणामस्वरूप मॉडल लगातार "गर्मजोशी" (warm) दिखाते हैं, भले ही स्थिति जवाबदेही, प्रक्रियात्मक तटस्थता या रचनात्मक घर्षण (constructive friction) की मांग करती हो, जिससे वे विकृतियों को वैध बना सकते हैं या निर्भरता को गहरा कर सकते हैं।

2. कार्यप्रणाली

2.1 पर्सोना स्पेस फ्रेमवर्क (व्यक्तित्व स्थान ढांचा)

लेखक सलाह देने को एक द्वि-आयामी स्थान (चित्र 1) के भीतर परिभाषित करते हैं:

1. हेडोनिक वैलेंस (H - सुखवादी प्रवृत्ती): तात्कालिक भावनात्मक स्वर (चुनौतीपूर्ण/नकारात्मक से संवेदी/सकारात्मक तक)।
2. एजेंटिक डेप्थ (E - अभिकर्ता गहराई): प्राप्तकर्ता की एजेंसी और वास्तविकता के साथ जुड़ाव की गहराई (विकृत करने वाले/सक्षम बनाने वाले से स्वायत्तता-सहायक तक)।

यह स्थान पाँच व्याख्या योग्य सलाहकार व्यक्तित्व प्रदान करता है:

• हीलर/सपोर्टिव गाइड (Healer/Supportive Guide): (H > 0, E > 0) गर्मजोशी भरा और विकास-उन्मुख।
• स्टोइक/ट्रुथ-ओरिएंटेड चैलेंजर (Stoic/Truth-Oriented Challenger): (H < 0, E > 0) एजेंसी का समर्थन करने के लिए घर्षण पैदा करता है।
• टेक्नीशियन (Technician): (H ≈ 0, E ≈ 0) तटस्थ प्रक्रियात्मक मार्गदर्शन।
• एनेबलर (Enabler): (H > 0, E < 0) वास्तविकता से जुड़ने के बजाय केवल पुष्टि करता है (विषाक्त सकारात्मकता)।
• डूमर सिनिक (Doomer Cynic): (H < 0, E < 0) रचनात्मक उद्देश्य के बिना टकराव पैदा करता है (निहिलिस्टिक कठोरता)।

2.2 पतन का निदान (Diagnosis of Collapse)

• कॉर्पस: 14 विशिष्ट Reddit संदर्भों (जैसे AITA, relationship_advice, legaladvice) से 1,281 सलाह-खोजने वाली स्थितियाँ।
• मेट्रिक्स:
  • प्रभावी व्यक्तित्व संख्या ($N_{eff}$): शैनन एंट्रॉपी पर आधारित, जो व्यक्तित्व वितरण की विविधता को मापता है (1 = पूर्ण पतन, 5 = समान वितरण)।
  • जेन्सन-शैनन डाइवर्जेंस (JS): मॉडल के व्यक्तित्व वितरण और शीर्ष-रेटेड मानवीय प्रतिक्रियाओं से प्राप्त संदर्भ वितरण के बीच की दूरी को मापता है।
• मूल्यांकन: एक LLM-as-a-judge (GPT-5.4-nano) H और E अक्षों पर प्रतिक्रियाओं को स्कोर देता है ताकि उन्हें पाँच व्यक्तित्वों में मैप किया जा सके।

2.3 सुधार हस्तक्षेप (Repair Interventions)

अध्ययन पर्सोना कोलैप्स को ठीक करने के लिए छह ओपन इंस्ट्रक्ट मॉडल्स (OLMo3, Llama-3.1, Qwen3) पर परीक्षण करता है:

1. इन्फरेंस-टाइम बेसलाइन्स:
   • इंस्ट्रक्ट (Instruct): मानक प्रॉम्प्टिंग।
   • प्लान-फर्स्ट प्रॉम्प्टिंग (Plan-First Prompting): मॉडल से लिखने से पहले अपनी मुद्रा (posture) की योजना बनाने के लिए कहना।
   • पर्सोना ऑरेकल (Persona Oracle): ग्राउंड-ट्रुथ (H, E) स्कोर को एक योजना के रूप में इंजेक्ट करना (केवल नैदानिक जांच हेतु)।
2. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) वेरिएंट्स:
   • SFT-डायरेक्ट (SFT-Direct): सीधे मानवीय प्रतिक्रियाओं पर प्रशिक्षण।
   • SFT-पर्सोना (SFT-Persona): (H, E) स्कोर से व्युत्पन्न योजना द्वारा पूर्ववर्ती मानवीय प्रतिक्रियाओं पर प्रशिक्षण।
   • इनवर्स-प्रोसेस डिस्टिलेशन (IPD): प्रस्तावित नवीन विधि। एक "टीचर" मॉडल उस स्थितिजन्य पठन (situational reading) (संकेत, साक्ष्य, आवश्यकताएं, रणनीति) को पुनर्गठित करता है जो एक विशिष्ट मानवीय प्रतिक्रिया को पैदा कर सकता था। स्टूडेंट मॉडल को (स्थिति $\to$ पुनर्गठित सोच $\to$ मानवीय प्रतिक्रिया) पर प्रशिक्षित किया जाता है। इसका उद्देश्य केवल उत्तर को नहीं, बल्कि चयन नीति (selection policy) को डिस्टिल करना है।

2.4 मानव वरीयता अध्ययन

199 अनुभवी सलाहकारों (कोचिंग, काउंसलिंग आदि में पेशेवर) के एक ब्लाइंड अध्ययन ने रिपेयर्ड मॉडल्स का बेसलाइन के विरुद्ध मूल्यांकन किया। प्रतिभागियों ने टोन फिट, स्थिति की समझ, सत्य/जवाबदेही, संभावित हानि और 'ब्लोट' (अनावश्यक विस्तार) पर रेटिंग दी। उन्होंने "तत्काल वरीयता" बनाम "दीर्घकालिक सहायता" के लिए भी प्रतिक्रियाओं को रैंक किया।

3. मुख्य परिणाम

3.1 निदान: सार्वभौमिक पतन (Universal Collapse)

• मानवीय भिन्नता: शीर्ष-रेटेड मानवीय सलाह संदर्भ के अनुसार व्यवस्थित रूप से बदलती है। उदाहरण के लिए, AITA-YTA (दोषी ठहराना) स्टोइक चैलेंजर (>50%) को प्राथमिकता देता है, जबकि domesticviolence हीलर (>80%) को प्राथमिकता देता है। मानवीय प्रभावी व्यक्तित्व गणना ($N_{eff}$) 3.80 है।
• मॉडल पतन: फ्रंटियर LLMs (GPT-5.1, Claude Opus 4.5, Gemini 3 Pro) संदर्भ की परवाह किए बिना 90% से अधिक प्रतिक्रियाओं को हीलर व्यक्तित्व में संकुचित कर देते हैं।
  • GPT-5.1: 99.8% हीलर ($N_{eff} = 1.02$)।
  • Claude Opus 4.5: 94.8% हीलर ($N_{eff} = 1.29$)।
    ये मॉडल अनकंडीशनल पॉलिसी की तरह व्यवहार करते हैं, जो उपयुक्त मुद्रा चुनने में विफल रहते हैं।

3.2 सुधार के परिणाम

• इन्फरेंस-टाइम फिक्सेस विफल रहे: "प्लान-फर्स्ट प्रॉम्प्टिंग" ने पतन को और बदतर बना दिया, जिससे हीलर दर बढ़ गई और $N_{eff}$ कम हो गया। 'पर्सोना ऑरेकल' ने आइटम-लेवल अलाइनमेंट में थोड़ा सुधार किया लेकिन वितरण क्षमता को बहाल करने में विफल रहा, जो दर्शाता है कि एक मजबूत "हीलर प्रायर" निर्देशों को ओवरराइड कर देता है।
• SFT ने क्षमता बहाल की: सभी SFT वेरिएंट्स (Direct, Persona, Inverse-Process) ने सफलतापूर्वक $N_{eff}$ को मानव स्तर (~4.0) के करीब बहाल किया और JS डाइवर्जेंस को 50-60% कम किया।
• चयन की कमी (The Selection Deficit): जबकि SFT ने विविधता बहाल की, इसे आइटम-लेवल चयन में संघर्ष करना पड़ा:
  • स्टोइक-डूमर कन्फ्यूजन: जिन्हें चुनौतीपूर्ण होने के लिए प्रशिक्षित किया गया था, वे अक्सर स्टोइक चैलेंजर (रचनात्मक घर्षण) को डूमर सिनिक (निहिलिस्टिक कठोरता) के साथ भ्रमित कर देते थे। उन्होंने नकारात्मक हेडोनिक टोन (H) तो सीख लिया लेकिन एजेंटिक डेप्थ (E) को अलग करने में विफल रहे।
  • इनवर्स-प्रोसेस डिस्टिलेशन (IPD): तैनात करने योग्य विकल्पों में से यह विधि सबसे अच्छा प्रदर्शन करती है, जो स्टोइक और डूमर व्यक्तित्वों के बीच सबसे कम भ्रम दिखाती है, हालांकि यह अभी भी मानव बेसलाइन की तुलना में हीलर व्यक्तित्व का उत्पादन कम करती है।

3.3 मानव वरीयता: "वेरिफायर समस्या" (The Verifier Problem)

• पतन के प्रति वरीयता: एक ब्लाइंड अध्ययन में, अनुभवी सलाहकारों ने सभी मेट्रिक्स (टोन फिट, स्थिति की समझ, सत्य) में सभी रिपेयर्ड मॉडल्स के मुकाबले सिकुड़े हुए डिफ़ॉल्ट (Instruct) को दृढ़ता से प्राथमिकता दी।
• संदर्भगत दंड (Contextual Penalty): डिफ़ॉल्ट के प्रति वरीयता तब सबसे अधिक थी जब स्थिति को गैर-हीलर व्यक्तित्व (जैसे स्टोइक या डूमर) की आवश्यकता थी। भले ही स्थिति टकराव की मांग करती थी, परीक्षकों ने मॉडल्स को "रूखा" या "हानिकारक" मानकर दंडित किया, और गर्मजोशी भरे, संवेदी डिफ़ॉल्ट को पसंद किया।
• एक्सपोज़र के साथ बदलाव: बार-बार एक्सपोजर के साथ प्राथमिकताएं थोड़ी बदलीं (प्रतिभागी बाद के राउंड में रिपेयर्ड मॉडल्स के प्रति थोड़े अधिक स्वीकार्य हो गए), लेकिन "सुरक्षित" डिफ़ॉल्ट के प्रति प्रारंभिक वरीयता प्रभावी बनी रही।

4. मुख्य योगदान

1. परसोना कोलैप्स का औपचारिककरण: यह शोध पत्र एक विशिष्ट पॉलिसी-लेवल विफलता मोड को परिभाषित और मात्रात्मक करता है जहाँ LLMs विविध सलाह संदर्भों को एक एकल, सुरक्षित व्यक्तित्व में संकुचित कर देते हैं, जो मानवीय अनुकूलन व्यवहार से विचलित होता है।
2. इनवर्स-प्रोसेस डिस्टिलेशन (IPD): एक नवीन प्रशिक्षण विधि जो विशेषज्ञ प्रतिक्रिया के पीछे के 'स्थितिजन्य पठन' को पुनर्गठित करती है ताकि मॉडल को केवल आउटपुट की नकल करने के बजाय यह सिखाया जा सके कि व्यक्तित्व कैसे चुना जाए।
3. "वेरिफायर समस्या" का अनुभवजन्य प्रमाण: अध्ययन दर्शाता है कि तत्काल मानव वरीयता (गर्मी, आराम) के लिए अनुकूलित करना सक्रिय रूप से प्रभावी सलाह (जवाबदेही, एजेंसी) के लक्ष्यों के विरुद्ध काम कर सकता है, क्योंकि उपयोगकर्ता उस सुरक्षित डिफ़ॉल्ट को पसंद करते हैं जो संदर्भ के अनुसार अनुपयुक्त हो सकता है।

5. महत्व और दावे

लेखक दावा करते हैं कि वर्तमान LLM सलाह प्रणालियाँ इसलिए मिसअलाइन्ड नहीं हैं क्योंकि उनमें विविधता की कमी है (प्री-ट्रेंड मॉडल्स उच्च विविधता दिखाते हैं), बल्कि इसलिए क्योंकि पोस्ट-ट्रेनिंग एक एकल, वैश्विक रूप से सुरक्षित व्यक्तित्व को स्थिर कर देती है जो संदर्भ के अनुकूल नहीं होता।

शोध तर्क देता है कि:

• तकनीकी सुधार आंशिक है: जबकि IPD जैसे तरीके व्यक्तित्व का वितरण बहाल कर सकते हैं, वे रचनात्मक बनाम विनाशकारी चुनौती के सूक्ष्म चयन को सिखाने में संघर्ष करते हैं।
• मूल्यांकन अंतराल: मानक मूल्यांकन मेट्रिक्स (तत्काल वरीयता, गर्मजोशी) सलाह के लिए अपर्याप्त हैं। एक ऐसी प्रतिक्रिया जो तुरंत अच्छा महसूस कराती है, वह दीर्घकालिक रूप से हानिकारक हो सकती है।
• अलाइनमेंट चुनौती: सलाह एक अनूठा अलाइनमेंट समस्या प्रस्तुत करती है जहाँ "सही" उत्तर अक्सर असहज होता है। शोध बताता है कि बिना बेहतर रिवॉर्ड सिग्नल्स (जैसे दीर्घकालिक परिणाम बनाम तत्काल अपवोट) के, मॉडल "हीलर" डिफ़ॉल्ट के लिए अनुकूलित होते रहेंगे, जो जुड़ाव के लिए स्थानीय रूप से इष्टतम (locally optimal) है लेकिन उपयोगकर्ता कल्याण के लिए वैश्विक रूप से उप-इष्टतम (globally suboptimal) है।

लेखक निष्कर्ष निकालते हैं कि पर्सोना कोलैप्स एक व्यापक अलाइनमेंट समस्या का लक्षण है: उन प्रणालियों को ऐसी सलाह देने के लिए प्रशिक्षित करने की कठिनाई जो एजेंसी और सत्य का समर्थन करती है, जबकि तत्काल रिवॉर्ड सिग्नल (उपयोगकर्ता वरीयता) आराम और पुष्टि को प्राथमिकता देता है।