तकनीकी सारांश: AMEL (LLM निर्णयों पर संचित संदेश प्रभाव)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग कोड समीक्षा, सामग्री मॉडरेशन और स्कोरिंग जैसे कार्यों के लिए स्वचालित जज के रूप में तेजी से किया जा रहा है। प्रोडक्शन वातावरण में, दक्षता अक्सर यह मांग करती है कि एक ही कन्वर्सेशन सेशन के भीतर कई वस्तुओं का मूल्यांकन किया जाए, जिससे पिछले निर्णयों का एक इतिहास बन जाता है। यह शोध जांच करता है कि क्या इस पूर्व बातचीत के इतिहास की ध्रुवीयता (polarity) आगामी निर्णयों को प्रभावित करती है। लेखक इस घटना को LLM निर्णयों पर संचित संदेश प्रभाव (Accumulated Message Effect on LLM Judgments - AMEL) के रूप में परिभाषित करते हैं।

यह अध्ययन AMEL को संबंधित अवधारणाओं से अलग करता है:

• चापलूसी (Sycophancy): चापलूसी के विपरीत, जहाँ मॉडल उपयोगकर्ता की राय से सहमत होता है, AMEL तब होता है जब एक मॉडल बाहरी उपयोगकर्ता की राय के बिना अपने स्वयं के पिछले प्रतिक्रिया पैटर्न का अनुसरण करता है।
• बहुमत लेबल पूर्वाग्रह (Majority Label Bias): कुछ-शॉट वर्गीकरण पूर्वाग्रह (few-shot classification bias) के विपरीत, जहाँ स्वरूपित उदाहरण भविष्यवाणियों को प्रभावित करते हैं, AMEL विविध विषयों पर पूर्ण प्रश्न-उत्तर आदान-प्रदान से उत्पन्न होता है।
• एंकरिंग (Anchoring): एंकरिंग के विपरीत, यहाँ कोई स्पष्ट संख्यात्मक संदर्भ बिंदु नहीं है; पूर्वाग्रह बातचीत के समग्र स्वर (tone) से उभरता है।

कार्यप्रणाली

यह अध्ययन चार प्रदाताओं (OpenAI, Anthropic, Google, और स्थानीय ओपन-सोर्स मॉडल) के 11 मॉडलों के माध्यम से 75,898 API कॉल्स का उपयोग करते हुए एक 'बिटवीन-सबजेक्ट्स' (between-subjects) प्रयोगात्मक डिजाइन नियोजित करता है।

प्रयोगात्मक डिजाइन

• स्थितियाँ (Conditions): समान परीक्षण वस्तुओं को चार स्थितियों के तहत प्रस्तुत किया गया था:
  1. बेसलाइन (Baseline): वस्तु केवल सिस्टम प्रॉम्प्ट के बाद आती है (कोई इतिहास नहीं)।
  2. नो-सैचुरेटेड (No-Saturated): वस्तु $N$ पूर्व टर्न के बाद आती है जहाँ 90% मूल्यांकन "नहीं" (नकारात्मक) थे।
  3. यस-सैचुरेटेड (Yes-Saturated): वस्तु $N$ पूर्व टर्न के बाद आती है जहाँ 90% मूल्यांकन "हाँ" (सकारात्मक) थे।
  4. न्यूट्रल (Neutral): वस्तु $N$ पूर्व टर्न के बाद आती है जिसमें 50/50 का विभाजन है।
• कॉन्टेक्स्ट लेंथ ($N$): संचय (accumulation) का परीक्षण करने के लिए $\{5, 10, 20, 50\}$ टर्न के रूप में भिन्न थी।
• डोमेन (Domains): तीन बाइनरी मूल्यांकन डोमेन का परीक्षण किया गया:
  1. कोड समीक्षा: "क्या यह कोड प्रोडक्शन-रेडी है?"
  2. कंटेंट मॉडरेशन: "क्या यह टिप्पणी उपयुक्त है?"
  3. पोषण संबंधी मूल्यांकन: "क्या यह एक स्वस्थ विकल्प है?"
• टेस्ट आइटम्स: प्रत्येक डोमेन में 21 आइटम शामिल थे जिन्हें क्लियर पॉजिटिव, एम्बिगअस (अस्पष्ट), और क्लियर नेगेटिव में वर्गीकृत किया गया था।
• बायस स्कोर (BS): इसे $P(r^*|\text{treatment}) - P(r^*|\text{baseline})$ के रूप में परिभाषित किया गया है, जहाँ $r^*$ ध्रुवीयता स्थिति के लिए लक्षित प्रतिक्रिया है। एक नकारात्मक स्कोर "नहीं" की ओर झुकाव (अवलोकित प्रमुख नकारात्मक पूर्वाग्रह) को दर्शाता है।

परीक्षण किए गए मॉडल

अध्ययन ने GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro, और स्थानीय मॉडलों (Llama 3.2, Qwen3/3.5) सहित विभिन्न स्केल्स और आर्किटेक्चर को कवर किया। सभी API मॉडल्स में तापमान $T=1.0$ का उपयोग किया गया।

मुख्य निष्कर्ष

1. AMEL का अस्तित्व और परिमाण

सभी 11 मॉडलों में, बातचीत का इतिहास प्रतिक्रियाओं को इतिहास की प्रचलित ध्रुवीयता की ओर महत्वपूर्ण रूप से स्थानांतरित करता है, जिसका समग्र प्रभाव आकार $d = -0.17$ ($p < 10^{-46}$) है। यह दर्शाता है कि चाहे इतिहास मुख्य रूप से सकारात्मक, नकारात्मक या तटस्थ हो, "नहीं" की ओर एक व्यवस्थित विचलन होता है। बोनफेरोनी सुधार (Bonferroni correction) के बाद नौ मॉडलों ने महत्वपूर्ण पूर्वाग्रह दिखाया।

2. संवेदनशीलता और अनिश्चितता

यह प्रभाव समान नहीं है; यह उन वस्तुओं पर केंद्रित है जहाँ मॉडल बेसलाइन पर वास्तव में अनिश्चित होता है।

• हाई-एन्ट्रॉपी आइटम्स: वे आइटम जहाँ मॉडल की बेसलाइन संभावना $P(\text{yes})$ गैर-नियत (non-deterministic) है, वे नियत बेसलाइन ($d = -0.15$) वाले आइटम्स की तुलना में लगभग 2 गुणा अधिक पूर्वाग्रह ($d = -0.34$) को अवशोषित करते हैं।
• व्यावहारिक निहितार्थ: वे आइटम जो AMEL के प्रति सबसे अधिक संवेदनशील हैं, वे सीमावर्ती मामले (borderline cases) हैं जहाँ निष्पक्ष मूल्यांकन सबसे महत्वपूर्ण है।

3. नकारात्मकता विषमता (Negativity Asymmetry)

नकारात्मक इतिहास, सकारात्मक इतिहास की तुलना में काफी मजबूत पूर्वाग्रह उत्पन्न करते हैं।

• परिमाण: नकारात्मक संदर्भ प्रति-आइटम शिफ्ट के लिए सकारात्मक संदर्भों की तुलना में 1.62 गुणा अधिक मजबूत प्रभाव पैदा करते हैं ($t = 13.46, p < 10^{-39}$)।
• न्यूट्रल हिस्ट्री: एक संतुलित (50/50) इतिहास भी एक नकारात्मक बदलाव पैदा करता है, जो यह सुझाव देता है कि केवल एक मूल्यांकनात्मक संदर्भ की उपस्थिति ही सामग्री की ध्रुवीयता के स्वतंत्र रूप से एक अधिक आलोचनात्मक मोड को ट्रिगर करती है।

4. सैचुरेशन और कॉन्टेक्स्ट लेंथ

पूर्वाग्रह कॉन्टेक्स्ट लेंथ के साथ रैखिक रूप से नहीं बढ़ता है।

• तत्काल सैचुरेशन: विषम इतिहास के पांच टर्न वही शिफ्ट पैदा करते हैं जो पचास टर्न करते हैं ($Spearman |r| < 0.01, p > 0.94$)।
• तंत्र (Mechanism): मॉडल तेजी से प्रचलित पैटर्न का पता लगा लेता है और एक संतुलन तक पहुँच जाता है; अतिरिक्त उदाहरण पूर्वाग्रह को मजबूत नहीं करते हैं।

5. मॉडल स्केलिंग और वेरिएंस

• स्केलिंग: प्रोवाइडर परिवारों के भीतर बड़े मॉडल आम तौर पर कम पूर्वाग्रह दिखाते हैं (जैसे, Anthropic Haiku $d=-0.22$ बनाम Opus $d=-0.17$), लेकिन कोई भी इससे मुक्त नहीं है।
• अपवाद:
  • Gemini: रुझान Google मॉडल्स के लिए उलट गया, जिसमें Gemini 2.5 Pro ने Flash की तुलना में अधिक पूर्वाग्रह दिखाया, जो संभवतः "थिंकिंग" टोकन्स द्वारा पैटर्न पहचान को बढ़ाने के कारण हो सकता है।
  • Qwen: Qwen3 4B ने एक महत्वपूर्ण विरोधी (contrarian) पूर्वाग्रह प्रदर्शित किया (इतिहास से दूर जाना), जो संभवतः दोहराव को दंडित करने वाले इंस्ट्रक्शन ट्यूनिंग के कारण है।

6. तंत्र और लक्षण वर्णन

तीन फॉलो-अप प्रयोगों ने संभावित तंत्रों को सीमित किया:

• निरंतर बदलाव (Continuous Shift): लॉगप्रोब्स (Logprobs) विश्लेषण ने पुष्टि की कि AMEL टोकन वितरण में एक निरंतर बदलाव है, न कि थ्रेशोल्ड आर्टिफैक्ट।
• टोकन बनाम सिमेंटिक स्रोत: नकारात्मकता विषमता में टोकन-स्तरीय और सिमेंटिक दोनों घटक हैं। GPT-4.1 Nano में, "no" टोकन स्वयं चिपचिपा (sticky) प्रतीत होता है; Llama 3.2 3B में, "अस्वीकृति" (rejection) की अवधारणा (सिमेंटिक) विषमता को संचालित करती है।
• पोजीशन इंडिपेंडेंस: 50-टर्न के इतिहास के भीतर पूर्वाग्रही टर्न की स्थिति (शुरुआत, अंत, या फैलाव) मायने नहीं रखती; पांच पूर्वाग्रही टर्न ही पूर्ण प्रभाव पैदा करने के लिए पर्याप्त हैं।

महत्व और सिफारिशें

यह पेपर तर्क देता है कि AMEL मल्टी-टर्न LLM मूल्यांकन पाइपलाइनों में एक मौलिक भेद्यता (vulnerability) का प्रतिनिधित्व करता है। लेखक निष्कर्ष निकालते हैं कि केवल स्केलिंग से समस्या हल नहीं होती, क्योंकि फ्रंटियर मॉडल्स भी इसके प्रति संवेदनशील रहते हैं।

व्यावहारिक सिफारिशें:

1. फ्रेश कॉन्टेक्स्ट (Fresh Contexts): प्राथमिक शमन (mitigation) प्रत्येक आइटम का एक फ्रेश कन्वर्सेशन के साथ मूल्यांकन करना है जिसमें कोई पूर्व इतिहास न हो, जिससे पूर्वाग्रह चैनल पूरी तरह समाप्त हो जाता है।
2. बैलेंस्ड बैचिंग (Balanced Batching): यदि बैचिंग अपरिहार्य है, तो आइटम्स को रैंडमाइज और बैलेंस्ड किया जाना चाहिए (अपेक्षित "yes" और "no" परिणामों को इंटरलीव करना) ताकि स्वयं-सुदृढ़ ध्रुवीयता विचलन को रोका जा सके।
3. अनिश्चित आइटम्स की सुरक्षा: उन आइटम्स के लिए फ्रेश कॉन्टेक्स्ट को प्राथमिकता दें जहाँ मॉडल की बेसलाइन अनिश्चितता उच्च है।
4. रनटाइम करेक्शन: उन सिस्टमों के लिए जहाँ फ्रेश कॉन्टेक्स्ट संभव नहीं है, रिस्पॉन्स-हिस्ट्री बायस डिटेक्टर्स (जैसे, B-score) या लॉगप्रोब्स-आधारित सुधारों का उपयोग किया जा सकता है।

अध्ययन इस बात पर जोर देता है कि हालांकि समग्र प्रभाव आकार मध्यम है, इसका अनिश्चित आइटम्स पर संकेंद्रण उच्च-दांव वाले डोमेन में स्वचालित मूल्यांकन की विश्वसनीयता के लिए एक महत्वपूर्ण जोखिम पैदा करता है।