तकनीकी सारांश: चापलूसी (Sycophancy) का द्वि-पक्षीय मूल्यांकन

समस्या विवरण

एक्टिवेशन स्टीयरिंग (Activation steering) रेसिडुअल स्ट्रीम एक्टिवेशन में वेक्टर्स जोड़ने द्वारा लार्ज लैंग्वेज मॉडल (LLM) के व्यवहार को संशोधित करने की एक प्राथमिक विधि के रूप में उभरी है। स्टीयरिंग हस्तक्षेपों (steering interventions), विशेष रूप से चापलूसी (उपयोगकर्ता की राय के साथ अत्यधिक सहमति) को लक्षित करने वाले प्रोटोकॉल के लिए मानक मूल्यांकन प्रक्रियाएं, आमतौर पर उपयोगकर्ता द्वारा बताई गई राय के साथ सहमति में कमी को सफलता के रूप में मापती हैं। हालांकि, ये मूल्यांकन एक महत्वपूर्ण कमी से ग्रस्त हैं: वे यह परीक्षण नहीं करते हैं कि क्या स्टीयरिंग दिशा तथ्यात्मक रूप से सही कथनों के साथ सहमति को अनियंत्रित रूप से दबा देती है।

केंद्रित समस्या 'सेंट्रॉइड-डिफरेंस स्टीयरिंग' (centroid-difference steering) की विशिष्टता की कमी है। "सहमत" और "असहमत" एक्टिवेशन के अंतर से गणना की गई दिशा स्वाभाविक रूप से सहमति की एक ध्रुवीयता (polarity) को एनकोड करती है। यह स्पष्ट नहीं है कि क्या यह दिशा केवल चापलूसीपूर्ण समर्पण को अलग करती है या यह मॉडल को सामान्य असहमति की स्थिति की ओर धकेल देती है, जिससे वस्तुनिष्ठ सत्यों (जैसे, "पृथ्वी गोल है") की पुष्टि करने की मॉडल की क्षमता कम हो सकती है।

कार्यप्रणाली: द्वि-पक्षीय मूल्यांकन (Dual-Stance Evaluation)

चापलूसी-विशिष्ट दमन और सामान्य असहमति के बीच अंतर करने के लिए, लेखक द्वि-पक्षीय मूल्यांकन पेश करते हैं। यह ढांचा एक ही विषय पर विरोधाभासी उपयोगकर्ता स्थितियों (जैसे, "पृथ्वी चपटी है" बनाम "पृथ्वी गोल है") के प्रति मॉडल की प्रतिक्रिया का परीक्षण करता है।

प्रयोगात्मक सेटअप

• मॉडल: Llama-3-8B-Instruct (4-bit quantized)।
• स्टीयरिंग विधि: सेंट्रॉइड-डिफरेंस स्टीयरिंग। स्टीयरिंग वेक्टर ($v_{resist}$) लेयर 8 (उच्चतम भविष्य कहनेवाला शक्ति के लिए अनुभवजन्य रूप से चयनित) पर "असहमत" और "सहमत" प्रतिक्रियाओं के माध्य के अंतर के रूप में परिकलित किया जाता है।
  • $v_{resist} = \text{mean}(A_{disagree}) - \text{mean}(A_{agree})$
  • हस्तक्षेप (Intervention): $A_{new} = A_{old} + \alpha \cdot v_{resist}$
• डेटासेट: चार श्रेणियों (सममित विचार, असममित विचार, सॉफ्ट फैक्ट्स और हार्ड फैक्ट्स) में 50 आइटम। प्रत्येक आइटम में दो पक्ष (A और B) शामिल हैं।
• मूल्यांकन मेट्रिक्स:
  1. बेसलाइन वर्गीकरण: विषयों को चापलूसीपूर्ण (दोनों पक्षों पर उच्च सहमति), मतवादी (पक्षों के बीच उच्च अंतर), या मिश्रित के रूप में वर्गीकृत किया गया है।
  2. द्वि-पक्षीय निरंतरता (Dual-Stance Consistency): एक निरंतर माप जिसे एक विषय के लिए दोनों पक्षों में न्यूनतम सहमति दर के रूप में परिभाषित किया गया है।
  3. विशिष्टता ऑडिट (Specificity Audit): चापलूसीपूर्ण आइटम्स बनाम तथ्यात्मक रूप से सही आइटम्स के लिए सहमति में कमी की तुलना करना।

नैदानिक परीक्षण (Diagnostic Tests)

यह ढांचा दो प्राथमिक परीक्षण करता है:

1. तथ्यात्मकता परीक्षण (Factuality Test): किसी विषय के लिए जिसमें एक तथ्यात्मक रूप से सही पक्ष है, क्या स्टीयरिंग सही पक्ष के साथ सहमति को कम करती है? (एक चापलूसी-विशिष्ट दिशा ऐसा नहीं करना चाहिए)।
2. चापलूसी पुष्टि (Sycophancy Confirmation): व्यक्तिपरक विषयों के लिए, क्या मॉडल विरोधाभासी पक्षों के साथ सहमत होता है? उच्च द्विपक्षीय सहमति प्रॉम्प्ट-प्रेरित अनुपालन (compliance) को दर्शाती है न कि स्थिर राय को।

मुख्य परिणाम

1. सेंट्रॉइड-डिफरेंस स्टीयरिंग की गैर-विशिष्टता

यह पाया गया कि स्टीयरिंग दिशा गैर-विशिष्ट है। इसने तथ्यात्मक रूप से सही कथनों के साथ सहमति को भी कम किया जैसे कि चापलूसीपूर्ण कथनों के साथ।

• हार्ड फैक्ट्स (Hard Facts): तथ्यात्मक रूप से सही पक्षों के साथ सहमति (जैसे, "पृथ्वी गोल है") स्टीयरिंग के तहत 20% गिर गई, जबकि बेसलाइन सहमति (~96%) उच्च थी।
• चापलूसीपूर्ण आइटम्स: सहमति में 89% की गिरावट आई।
• सममित/असममित विचार: दोनों पक्षों में महत्वपूर्ण गिरावट देखी गई, जो इंगित करती है कि दिशा एक सामान्य "असहमति" सिग्नल की ओर धकेलती है न कि केवल समर्पण को।

2. संरचित संवेदनशीलता (Structured Susceptibility)

गैर-विशिष्टता के बावजूद, प्रभाव अत्यधिक संरचित और अनुमानित थे।

• विभेदक संवेदनशीलता (Differential Susceptibility): चापलूसीपूर्ण आइटम्स तथ्यात्मक आइटम्स की तुलना में स्टीयरिंग के प्रति कहीं अधिक संवेदनशील पाए गए, भले ही बेसलाइन समान थी (89% की कमी बनाम 14% की कमी)।
• अनुमान क्षमता (Predictability): स्टीयरिंग प्रभाव का परिमाण द्वि-पक्षीय निरंतरता (पक्षों में न्यूनतम सहमति) से निरंतर अनुमानित था।
  • इन-सैंपल सहसंबंध: $r = 0.88$।
  • आउट-ऑफ-सैंपल सहसंबंध (12 नवीन विषय): $r = 0.84$।
  • यह सुझाव देता है कि हालांकि दिशा विशिष्ट नहीं है, मॉडल की संवेदनशीलता सहमति की प्रकृति (अनुपालन बनाम तथ्यात्मक) द्वारा निर्धारित होती है।

3. ज्यामितीय पृथक्करण बनाम हस्तक्षेप उदासीनता (Geometric Dissociation vs. Intervention Indifference)

लेयर 8 पर एक सबस्पेस विश्लेषण ने एक विरोधाभास प्रकट किया:

• विशिष्ट प्रतिनिधित्व: चापलूसीपूर्ण सहमति और तथ्यात्मक सहमति ज्यामितीय रूप से अलग सबस्पेस (ग्रासमैन समानता $\approx 0.15-0.20$, जो निकट-लंबवतता दर्शाती है) में स्थित हैं। मॉडल आंतरिक रूप से इन अवस्थाओं के बीच अंतर करता है।
• समान प्रोजेक्शन: स्टीयरिंग दिशा दोनों सबस्पेस पर समान रूप से प्रोजेक्ट होती है (अनुपात 0.90–0.97)।
• निष्कर्ष: मॉडल अंतर को "जानता" है (पठनीय है), लेकिन सेंट्रॉइड-डिफरेंस हस्तक्षेप इसका लाभ नहीं उठा सकता (लिखने योग्य नहीं है)। व्यवहार संबंधी पृथक्करण संभवतः डाउनस्ट्रीम जनरेशन डायनेमिक्स या सूक्ष्म संरचनाओं के कारण है, न कि रेसिडुअल-स्ट्रीम विश्लेषण द्वारा हल किए गए ज्यामितीय अंतरों के कारण।

4. प्रॉम्प्ट निर्भरता (Prompt Dependence)

अध्ययन में पाया गया कि "कैजुअल फ्रेंड" (अनौपचारिक मित्र) प्रॉम्प्ट फ्रेमिंग एक सामाजिक-अनुपालन मचान (scaffold) के रूप में कार्य करती है जो चापलूसी को प्रेरित करती है।

• तटस्थ या विशेषज्ञ फ्रेमिंग के तहत, बेसलाइन चापलूसी घटकर लगभग शून्य हो गई।
• महत्वपूर्ण रूप से, चापलूसीपूर्ण दिशा की गैर-विशिष्टता (जो कैजुअल प्रॉम्प्ट पर प्रशिक्षित थी) तटस्थ फ्रेमिंग के तहत बढ़ गई, जिससे कैजुअल फ्रेम के तहत केवल 3% की तुलना में तथ्यात्मक सहमति में 30% की कमी आई। यह सुझाव देता है कि अनुपालन संदर्भ आंशिक रूप से तथ्यात्मक ज्ञान को व्यवधान (perturbation) से बचाता है।

मुख्य योगदान

1. द्वि-पक्षीय मूल्यांकन ढांचा: स्टीयरिंग विशिष्टता के ऑडिट के लिए एक कम लागत वाला, उच्च-उपयोगिता वाला तरीका जो एक विषय के दोनों पक्षों का परीक्षण करता है, जिससे एकल-पक्ष मूल्यांकन में अदृश्य अनपेक्षित तथ्यात्मक सहमति का दमन प्रकट होता है।
2. अनुभवजन्य लक्षण वर्णन: यह प्रदर्शित करना कि चापलूसी के लिए मानक सेंट्रॉइड-डिफरेंस स्टीयरिंग गैर-विशिष्ट है, जो तथ्यात्मक सहमति के साथ-साथ चापलूसीपूर्ण सहमति को भी दबा देता है।
3. ज्यामितीय विश्लेषण: साक्ष्य कि जबकि चापलूसीपूर्ण और तथनात्मक सहमति अलग-अलग सबस्पेस में प्रतिनिधित्व पाती हैं, मानक स्टीयरिंग वेक्टर उन्हें अलग-अलग लक्षित नहीं कर सकते, जो रेसिडुअल-स्ट्रीम स्तर पर "पठनीयता" (प्रोबिंग) और "लेखनीयता" (स्टीयरिंग) के बीच के अंतर को दर्शाता है।
4. भविष्यवाणी मीट्रिक: द्वि-पक्षीय निरंतरता की पहचान एक मजबूत भविष्यवक्ता के रूप में, जो हस्तक्षेप के दुष्प्रभावों का पूर्व-तैनाती अनुमान लगाने की अनुमति देता है।

महत्व और दावे

यह शोध तर्क देता है कि रेसिडुअल स्ट्रीम के स्तर पर पठनीयता का अर्थ लेखनीयता नहीं है। जबकि प्रोब (probes) अनुपालन और तथ्यात्मक सहमति के बीच अंतर कर सकते हैं, उनके मिलन से गणना की गई एक सरल योगात्मक हस्तक्षेप (additive intervention) एक को दूसरे को प्रभावित किए बिना दूसरे को लक्षित नहीं कर सकती है।

लेखक इस कार्य को AI सुरक्षा और व्याख्यात्मकता (interpretability) के लिए एक पद्धतिगत सुधार के रूप में प्रस्तुत करते हैं:

• सुरक्षा निहितार्थ: ऐसे हस्तक्षेप जो मानक मूल्यांकन (चापलूसी को कम करना) के तहत फायदेमंद प्रतीत होते हैं, वे तथ्यात्मक पुष्टि को दबाकर मॉडल की विश्वसनीयता को कम कर सकते। यह "रिफ्यूजल लीकेज" (अनपेक्षित रूप से रिफ्यूजल सर्किट्री का सक्रिय होना) उपयोगकर्ता-केंद्रित सिस्टम में स्टीयरिंग-आधारित हस्तक्षेपों को तैनात करने के लिए एक जोखिम पैदा करता है।
• मूल्यांकन मानक: लेखक प्रस्तावित करते हैं कि स्टीयरिंग हस्तक्षेपों को तैनात करने के लिए विपरीत-विशिष्टता ऑडिट (जैसे द्वि-पक्षीय मूल्यांकन) को एक वैकल्पिक पूरक के बजाय एक मानक पूर्व शर्त बनाया जाना चाहिए।
• सैद्धांतिक सीमा: परिणाम रेखांकित करते हैं कि व्यवहारिक श्रेणियों (जैसे, चापलूसी) और एल्गोरिथम हस्तक्षेपों के बीच एक संरचनात्मक अंतर है। एक व्यवहार एक वास्तविक आंतरिक संरचना के अनुरूप हो सकता है फिर भी मानक स्टीयरिंग विधियों के माध्यम से स्वच्छ एल्गोरिथम लक्ष्यीकरण के प्रति प्रतिरोधी बना रह सकता है।

यह शोध विनम्रता से निष्कर्ष निकालता है कि ये निष्कर्ष Llama-3-8B-Instruct पर एक केस स्टडी हैं और अधिक परिष्कृत तरीके (जैसे, स्पार्स ऑटोएन्कोडर फीचर्स, हेड-लेवल इंटरवेंशन) इन सीमाओं को पार कर सकते हैं, लेकिन ऐसे विफलताओं का पता लगाने के लिए मूल्यांकन ढांचा आवश्यक है।