💬 NLP

Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations

यह शोध पत्र नए SynAnchors डेटासेट और परिष्कृत मूल्यांकन मेट्रिक्स के माध्यम से लार्ज लैंग्वेज मॉडल्स में एंकरिंग बायस (anchoring bias) के अस्तित्व, उथले-स्तर के तंत्रों (shallow-layer mechanisms) और सीमित शमन (mitigation) की जांच करता है।

मूल लेखक: Yiming Huang, Biquan Bie, Zuqiu Na, Weilin Ruan, Songxin Lei, Yutao Yue, Xinlei He

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiming Huang, Biquan Bie, Zuqiu Na, Weilin Ruan, Songxin Lei, Yutao Yue, Xinlei He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Understanding the Anchoring Effect of LLM with Synthetic Data" का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

🎣 हुक (The Hook): "एंकरिंग इफेक्ट" क्या है?

कल्पना कीजिए कि आप एक पुराने बाज़ार में एक विंटेज घड़ी खरीदने की कोशिश कर रहे हैं। विक्रेता कहता है, "इस घड़ी की कीमत $1,000** है, लेकिन मैं इसे आपको **$ 500 में बेच दूँगा।" भले ही वह घड़ी वास्तव में केवल ** $100** की हो, आपका दिमाग उस पहले नंबर ($ 1,000) पर अटक जाता है। आप सोच सकते हैं, "वाह, $500 तो बहुत सस्ता है!" और आप उसे खरीद लेते हैं, भले ही आप अभी भी ज़्यादा पैसे दे रहे हों।

उस पहले नंबर को एंकर (Anchor) कहा जाता है। मनोविज्ञान में, इसे एंकरिंग इफेक्ट (Anchoring Effect) कहते हैं: हमारा मस्तिष्क उस पहली जानकारी पर "अटक" जाता है जो हम देखते हैं, और यह हमारे भविष्य के सभी निर्णयों को प्रभावित करता है।

बड़ा सवाल: क्या AI चैटबॉट्स (लार्ज लैंग्वेज मॉडल्स या LLMs) भी उसी तरह इस चाल में फंसते हैं जैसे इंसान फंसते हैं?

🧪 प्रयोग: AI के लिए एक जाल बनाना

शोधकर्ता इसका परीक्षण करना चाहते थे, लेकिन उन्हें इसके लिए एक विशाल, नियंत्रित तरीके की आवश्यकता थी। इसलिए, उन्होंने SynAnchors नामक एक नया डेटासेट बनाया। इसे एक विशाल "संज्ञानात्मक जाल" (cognitive trap) के रूप में समझें जिसे विशेष रूप से AI की गलतियों को पकड़ने के लिए डिज़ाइन किया गया है।

उन्होंने दो प्रकार के जाल बनाए:

"उच्च/निम्न" जाल (Semantic): वे AI से पूछते हैं, "क्या अमेज़न में पेड़ों की संख्या 1 अरब से अधिक है या कम?" (वास्तविक उत्तर लगभग 390 अरब है)। फिर, वे तुरंत पूछते हैं, "वहाँ कितने पेड़ हैं?"
- जाल: यदि AI "1 अरब" कहता है, तो वह एंकर (anchor) का शिकार हो गया है। यदि वह "390 अरब" कहता है, तो उसने जाल को नज़रअंदाज़ कर दिया।
"रैंडम नंबर" जाल (Numerical): वे पूछते हैं, "एक पेलिकन का वजन कितना होता है?" लेकिन पहले वे एक रैंडम, बेकार नंबर डाल देते हैं, जैसे, "वैसे, स्लॉट मशीन अभी 114 पर रुकी है।"
- जाल: क्या पेलिकन के वजन के लिए AI का उत्तर उस रैंडम "114" के कारण बदल जाता है?

उन्होंने छोटे मॉडलों से लेकर सुपर-स्मार्ट "रीज़निंग" मॉडलों (जैसे DeepSeek-R1 और GPT-4o) तक, कई अलग-अलग AI मॉडलों का परीक्षण किया।

🔍 निष्कर्ष: AI बहुत भोला है

1. पूर्वाग्रह मौजूद है (RQ1)
परिणाम स्पष्ट थे: हाँ, AI एंकरिंग का शिकार होता है।

जब उसे एक उच्च (high) एंकर दिया गया, तो AI ने ऊंचे नंबरों का अनुमान लगाया।
जब उसे एक निम्न (low) एंकर दिया गया, तो उसने कम नंबरों का अनुमान लगाया।
यहाँ तक कि "स्मार्ट" रीज़निंग मॉडल भी इससे अछूते नहीं थे, हालांकि वे छोटे मॉडलों की तुलना में जाल से बचने में थोड़े बेहतर थे।
उपमा: यह एक इंसान से पूछने जैसा है, "क्या आसमान हरा है या नीला?" और फिर पूछना, "आसमान का रंग क्या है?" भले ही वे जानते हों कि आसमान नीला है, लेकिन "हरा" शब्द उन्हें हिचकिचाता है या नीले रंग के थोड़े हरे शेड का अनुमान लगाने पर मजबूर करता है। AI भी ऐसा ही करता है।

2. "कहाँ" और "क्यों" (RQ2)
शोधकर्ताओं ने यह देखने के लिए कि गलती कहाँ होती है, कॉज़ल ट्रेसिंग (Causal Tracing) नामक तकनीक का उपयोग किया (इसे AI के मस्तिष्क के लिए एक्स-रे की तरह समझें)।

खोज: एंकरिंग प्रभाव AI के प्रसंस्करण (processing) के बहुत शुरुआती चरणों में, यानी "उथले" (shallow) लेयर्स में होता है।
उपमा: कल्पना कीजिए कि AI एक अपराध सुलझाने वाला जासूस है। "एंकर" अपराध स्थल पर छोड़ा गया एक 'रेड हेरिंग' (भटकाने वाला गलत सुराग) है। शोधकर्ताओं ने पाया कि जासूस कमरे में प्रवेश करते ही तुरंत उस रेड हेरिंग को नोटिस करता है और तुरंत विचलित हो जाता है। जब तक जासूस जांच के "गहन चिंतन" (deep thinking) वाले हिस्से तक पहुँचता है, तब तक नुकसान हो चुका होता है। AI उस एंकर पर "पुनर्विचार" नहीं करता; वह उसे कहानी के एक हिस्से के रूप में स्वीकार कर लेता है।

3. क्या हम इसे ठीक कर सकते हैं? (RQ3)
टीम ने AI को "ठीक" करने के कई तरीके आजमाए:

उसे सावधान रहने के लिए कहना: "कृपया उत्तर देने से पहले गहराई से सोचें।" (यह अच्छी तरह काम नहीं किया)।
उसे अतिरिक्त तथ्य देना: (यह भी अच्छी तरह काम नहीं किया)।
AI को फिर से प्रशिक्षित (Retraining) करना: (यह भी काम नहीं आया)।
"एंटी-DP" रणनीति: यह सबसे आशाजनक था। उन्होंने AI को रुकने और यह कहने के लिए मजबूर किया, "रुको, मुझे उस रैंडल नंबर को अनदेखा करना चाहिए और पहले अपने खुद के नियम तय करने चाहिए।"
- परिणाम: यह सबसे अच्छा काम कर गया। यह एक जासूस को यह बताने जैसा है, "रेड हेरिंग को अनदेज़ो; अपने द्वारा खोजे गए सबूतों को देखो।"
- सीख: एकमात्र वास्तविक इलाज AI को अपने सहज ज्ञान (System 1) को ओवरराइड करने के लिए अपने तर्क करने वाले मस्तिष्क (System 2) का उपयोग करने के लिए मजबूर करना लगता है।

🚑 निष्कर्ष: यह क्यों मायने रखता है

यह शोध पत्र बताता है कि AI केवल एक सटीक कैलकुलेटर नहीं है; इसमें इंसानों जैसे मनोवैज्ञानिक दोष भी हैं। यह भी पहले देखे गए नंबर से विचलित हो जाता है, ठीक हमारी तरह।

समस्या: यदि हम महत्वपूर्ण निर्णयों (जैसे वित्तीय सलाह या चिकित्सा अनुमान) के लिए AI पर भरोसा करते हैं, और हम अनजाने में उसे एक "गलत एंकर" दे देते हैं, तो वह हमें एक पक्षपाती उत्तर दे सकता है, और हमें इसका पता भी नहीं चलेगा।
समाधान: हम केवल साधारण नियमों के साथ AI को "पैच" नहीं कर सकते। हमें ऐसे सिस्टम बनाने की आवश्यकता है जो AI को उत्तर देने से पहले रुकने और तर्क करने के लिए मजबूर करें, जिससे एंकर के चिपकने से पहले ही उसे तोड़ा जा सके।

संक्षेप में: AI स्मार्ट है, लेकिन वह पहले सुने गए नंबर से आसानी से धोखा खा जाता है। इसे भरोसेमंद बनाने के लिए, हमें इसे "रेड हेरिंग्स" को अनदेज़ना और अपने आप सोचना सिखाना होगा।

यहाँ ICLR HCAIR वर्कशॉप 2026 के लिए तैयार किए गए शोध पत्र "Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इस बढ़ती चिंता को संबोधित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs), अपनी उन्नत क्षमताओं के बावजूद, अपने प्रशिक्षण डेटा से मानव जैसे संज्ञानात्मक पूर्वाग्रह (cognitive biases) विरासत में प्राप्त करते हैं। विशेष रूप से, यह एंकरिंग प्रभाव (Anchoring Effect) की जांच करता है, जो एक संज्ञानात्मक पूर्वाग्रह है जहाँ किसी व्यक्ति का निर्णय प्रस्तुत की गई पहली जानकारी (जिसे "एंकर" कहा जाता है) से अत्यधिक प्रभावित होता है, भले ही वह जानकारी अप्रासंगिक हो।

जबकि पिछले अध्ययनों ने LLM पूर्वाग्रहों पर चर्चा की है, उनमें अक्सर निम्नलिखित कमियाँ रही हैं:

कठोर प्रतिमान (Rigorous Paradigms): कई अध्ययन सिमेंटिक प्राइमिंग (दो-चरणीय गुणात्मक फिर मात्रात्मक) और न्यूमेरिकल प्राइमिंग (अप्रासंगिक संख्याओं का अनुमानों को प्रभावित करना) के बीच अंतर करने में विफल रहे।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): मौजूदा कार्य सतह-स्तर के प्रदर्शन में गिरावट पर ध्यान केंद्रित करते हैं, न कि उन आंतरिक तंत्रों पर जो पूर्वाग्रह का कारण बनते हैं।
प्रभावी शमन (Effective Mitigation): वर्तमान रणनीतियों (जैसे, मानक प्रॉम्प्ट इंजीनियरिंग) का LLM में एंकरिंग के मूल कारणों के विरुद्ध व्यवस्थित रूप से परीक्षण नहीं किया गया है।

2. कार्यप्रणाली (Methodology)

A. डेटासेट निर्माण: SynAnchors

बड़े पैमाने पर नियंत्रित अध्ययन को सक्षम करने के लिए, लेखकों ने SynAnchors पेश किया है, जिसे DeepSeek-R1 का उपयोग करके एक Human-LLM-in-the-Loop प्रक्रिया के माध्यम से बनाया गया है।

संरचना: डेटासेट में दो प्रतिमान शामिल हैं:
1. सिमेंटिक प्राइमिंग (60 प्रश्न): एक दो-चरणीय प्रक्रिया। चरण 1 में एक गुणात्मक अनुमान ("उच्च/निम्न" एक एंकर के संदर्भ में) मांगा जाता है। चरण 2 में संदर्भ के आधार पर एक विशिष्ट संख्यात्मक मान मांगा जाता है।
2. न्यूमेरिकल प्राइमिंग (40 प्रश्न): एक एक-चरणीय प्रक्रिया जहाँ एक तथ्यात्मक प्रश्न से पहले एक अप्रासंगिक संख्या (जैसे, "स्लॉट मशीन 114 पर रुकी") डाली जाती है।
गुणवत्ता नियंत्रण: प्रश्न 10 विविध विषयों (तथ्यात्मक और व्यक्तिपरक) को कवर करते हैं, जिन्हें मनुष्यों द्वारा "सत्य मानों" (True Values) के लिए सत्यापित किया गया है, और उन्हें सामान्य LLMs की याद रखने की क्षमता (memorization) को रोकने के लिए चुना गया है।

B. मूल्यांकन मेट्रिक्स (RQ1)

लेखकों ने एंकरिंग की उपस्थिति और तीव्रता को मापने के लिए मात्रात्मक मेट्रिक्स परिभाषित किए:

सिमेंटिक: उच्च बनाम निम्न एंकर समूहों की तुलना करने वाले t-tests से एंकर इंडेक्स (A-Index) और सांख्यिकीय सार्थकता ( $p < 0.05$ $p < 0.05$ ) का उपयोग करता है।
- $A\text{-Index} = \frac{|Median_{high} - Median_{low}|}{|Anchor_{high} - Anchor_{low}|}$
न्यूमेरिकल: एंकर के साथ बनाम बिना एंकर के उत्तरों की तुलना करने के लिए रिलेटिव एरर (R-Error) और पेयर्ड t-tests का उपयोग करता है।
- $R\text{-Error} = \text{Mean}\left(\frac{|v_{anchor} - v_{orig}|}{v_{orig}}\right)$

C. मैकेनिस्टिक विश्लेषण (RQ2)

यह समझने के लिए कि LLMs एंकर को कैसे प्रोसेस करते हैं, लेखकों ने Llama-3.1-8B-Instruct पर कॉज़ल ट्रेसिंग (Causal Tracing) (एक्टिवेशन पैचिंग) का उपयोग किया।

प्रक्रिया: उन्होंने तीन परिदृश्य चलाए: क्लीन (सामान्य इनपुट), करप्टेड (एंकर टोकन में शोर जोड़ा गया), और रिस्टोर्ड (करप्टेड अवस्थाओं में क्लीन एक्टिवेशन को पैच किया गया)।
लक्ष्य: विभिन्न परतों (अटेंशन और FFN मॉड्यूल) में आउटपुट पर एंकर-संबंधित टोकन के कारण प्रभाव को मापने के लिए कुलबैक-लीब्लर (KL) डाइवर्जेंस को मापा।
रीजनिंग विश्लेषण: यह देखने के लिए DeepSeek-R1 के रीजनिंग ट्रेसेस का विश्लेषण किया गया कि क्या एंकर जानकारी का स्पष्ट उल्लेख पूर्वाग्रह के साथ सह-संबंधित है।

D. शमन रणनीतियाँ (Mitigation Strategies) (RQ3)

लेखकों ने Llama-3.1-8B और Qwen2.5-7B पर कई रणनीतियों का मूल्यांकन किया:

प्रॉम्प्ट-आधारित: क्वेश्चन-अवेयर प्रॉम्प्ट्स, नॉलेज एनहांसमेंट, सेल्फ-इंप्रूविंग (रिफ्लेक्शन)।
ट्रेनिंग-आधारित: निष्पक्ष डेटा पर एडवरसेरियल फाइनट्यूनिंग (LoRA)।
डिकोडिंग/आर्किटेक्चर: DoLa (डिकोडिंग बाय कॉन्ट्रास्टिंग लेयर्स) और Anti-DP (एंटी-ड्यूल-प्रोसेस), जो एक दो-चरणीय रीजनिंग हस्तक्षेप है जिसे "सिस्टम 1" (स्वचालित) ह्यूरिस्टिक्स के बजाय "सिस्टम 2" (विचारशील) सोच को मजबूर करने के लिए डिज़ाइन किया गया है।

3. मुख्य योगदान (Key Contributions)

SynAnchors डेटासेट: एक उच्च-गुणवत्ता वाला, मानव-क्यूरेटेड बेंचमार्क जो विशेष रूप से LLMs में सिमेंटिक और न्यूमेरिकल एंकरिंग प्रतिमानों का परीक्षण करने के लिए बनाया गया है।
व्यापक बेंचमार्किंग: मात्रात्मक प्रमाण कि एंकरिंग पूर्वाग्रह सभी आकार के मॉडल्स (0.5B से 235B पैरामीटर्स तक) में प्रचलित है, जिसमें रीजनिंग मॉडल्स में सबसे कम लेकिन फिर भी महत्वपूर्ण पूर्वाग्रह देखा गया है।
मैकेनिस्टिक खोज: एंकरिंग के लिए कॉज़ल ट्रेसिंग का पहला अनुप्रयोग, जिससे पता चला कि प्रभाव उथला (shallow) है, जो मुख्य रूप से शुरुआती परतों (डिटोकेनाइजेशन चरण) में होता है, न कि गहरी सिमेंटिक परतों में।
शमन अंतर्दृष्टि: यह पहचानना कि पारंपरिक तरीके पूर्वाग्रह को समाप्त करने में विफल रहते हैं, जबकि रीजनिंग-आधारित हस्तक्षेप (विशेष रूप से Anti-DP) शमन के लिए सबसे आशाजनक मार्ग प्रदान करते हैं।

4. मुख्य परिणाम (Key Results)

अस्तित्व (RQ1)

व्यापकता: परीक्षण किए गए सभी मॉडल्स में एंकरिंग प्रभाव मौजूद है।
- छोटे मॉडल्स: गंभीर पूर्वाग्रह दिखाते हैं (जैसे, Qwen2.5-0.5B का एंकरिंग अनुपात 61.1% है)।
- बड़े/रीजनिंग मॉडल्स: कम लेकिन गैर-शून्य पूर्वाग्रह दिखाते हैं। DeepSeek-R1 (Thinking Mode) ने सबसे कम अनुपात (25.0%) प्राप्त किया, और Qwen3-235B (Thinking Mode) ने 22.0% प्राप्त किया।
प्रतिमान अंतर: सिमेंटिक प्राइमिंग (दो-चरणीय) आमतौर पर न्यूमेरिकल प्राइमिंग (अप्रासंगिक संख्याएं) की तुलना में अधिक मजबूत पूर्वाग्रह उत्पन्न करती है।

तंत्र (RQ2)

शैलो सैलिएंस (Shallow Salience): कॉज़ल ट्रेसिंग ने खुलासा किया कि एंकर टोकन (जैसे, "उच्च," "निम्न," या अप्रासंगिक संख्याएं) का महत्वपूर्ण कारण प्रभाव केवल मॉडल की शुरुआती परतों (मध्यम परतों से पहले) में होता है।
गहरी सुधार की कमी: एंकर का प्रभाव उच्च परतों तक महत्वपूर्ण रूप से प्रसारित नहीं होता है जहाँ जटिल तर्क (reasoning) होता है। मॉडल गहरी सिमेंटिक प्रोसेसिंग में एंकर को "अनलर्न" करने में विफल रहता है।
रीजनिंग सहसंबंध: रीजनिंग मॉडल्स में, कम एंकरिंग पूर्वाग्रह वाले प्रश्नों में रीजनिंग ट्रेस में एंकर का कम स्पष्ट उल्लेख था, जो सुझाव देता है कि सफल रीजनिंग एंकर के प्रभाव को कम करने में शामिल होती है।

शमन (RQ3)

मानक विधियों की अप्रभावीता: प्रॉम्प्ट इंजीनियरिंग (क्वेश्चन-अवेयर, नॉलेज एनसेंसमेंट) और मानक फाइनट्यूनिंग (LoRA) पूर्वाग्रह को समाप्त करने में विफल रहे, जो केवल मामूली या असंगत सुधार प्रदान करते हैं।
Anti-DP की सफलता: Anti-Dual-Process (Anti-DP) रणनीति, जो मॉडल को उत्तर देने से पहले स्वतंत्र मानदंड स्थापित करने के लिए मजबूर करती है, ने एंकरिंग प्रभाव को काफी कम कर दिया (उदाहरण के लिए, Llama-3.1-8B के लिए अनुपात को 19.0% तक कम करना)।
DoLa: लेयर्स के बीच कंट्रास्ट करके डिकोडिंग (DoLa) ने मध्यम सफलता दिखाई, विशेष रूप से सिमेंटिक कार्यों में।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र संज्ञानात्मक मनोविज्ञान और LLM व्याख्यात्मकता (interpretability) के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि LLMs में एंकरिंग एक स्थिर विफलता नहीं है, बल्कि उथले, स्वचालित सिमेंटिक सक्रियण (सिस्टम 1 थिंकिंग के समान) का एक उभरता हुआ गुण है।

सैद्धांतिक प्रभाव: यह LLMs के संदर्भ में सेलेक्टिव एक्सेसिबिलिटी मॉडल (SAM) को मान्य करता है, जो सुझाव देता है कि एंकर जनरेशन प्रक्रिया के शुरुआती चरणों में सिमेंटिक रूप से सुसंगत जानकारी को प्राइम करके काम करते हैं।
व्यावहारिक प्रभाव: यह मानक सुरक्षा बेंचमार्क (जैसे TruthfulQA) पर निर्भरता को चुनौती देता है जो इन सूक्ष्म संज्ञानात्मक पूर्वाग्रहों को मिस कर सकते हैं।
भविष्य की दिशा: अध्ययन बताता है कि रीजनिंग क्षमताएं LLMs को "डी-एंकर" करने की कुंजी हैं। मॉडल को जानबूझकर, बहु-चरणीय तर्क (सिस्टम 2) में संलग्न होने के लिए मजबूर करके जो स्पष्ट रूप से प्रारंभिक एंकर्स को खारिज करता है, उथले पूर्वाग्रह को कम किया जा सकता है। यह अधिक विश्वसनीय, संज्ञानात्मक रूप से सुदृढ़ AI सिस्टम विकसित करने के लिए एक स्पष्ट रोडमैप प्रदान करता है।