💬 NLP

Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations

تتقصى هذه الورقة وجود انحياز الارتكاز في النماذج اللغوية الكبيرة، وآلياته في الطبقات الضحلة، ومحدودية التخفيف منه، وذلك من خلال تقديم مجموعة بيانات SynAnchors الجديدة ومقاييس تقييم منقحة.

المؤلفون الأصليون: Yiming Huang, Biquan Bie, Zuqiu Na, Weilin Ruan, Songxin Lei, Yutao Yue, Xinlei He

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiming Huang, Biquan Bie, Zuqiu Na, Weilin Ruan, Songxin Lei, Yutao Yue, Xinlei He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🎣 الخطّاف: ما هو "تأثير الارتكاز"؟

تخيل أنك في سوق للسلع المستعملة تحاول شراء ساعة عتيقة. يقول لك البائع: "هذه الساعة تساوي 1,000 دولار، لكنني سأبيعها لك بـ 500 دولار". حتى لو كانت الساعة في الواقع تساوي 100 دولار فقط، فإن عقلك سيتشبث بالرقم الأول (1,000 دولار). قد تفكر: "واو، 500 دولار صفقة رائعة!" وتشتريها، رغم أنك لا تزال تدفع مبلغاً مبالغاً فيه.

هذا الرقم الأول يسمى المرتكز (Anchor). في علم النفس، يُعرف هذا بـ تأثير الارتكاز (Anchoring Effect): حيث "يعلق" عقلنا بأول معلومة نراها، مما يشوه أحكامنا المستقبلية.

السؤال الكبير: هل تقع روبوتات الدردشة (نماذج اللغات الكبيرة أو LLMs) في هذا الفخ تماماً كما يفعل البشر؟

🧪 التجربة: بناء فخ للذكاء الاصطنا Artificial

أراد الباحثون اختبار ذلك، لكنهم احتاجوا إلى طريقة ضخمة ومنضبطة للقيام بذلك. لذا، قاموا ببناء مجموعة بيانات جديدة تسمى SynAnchors. فكر في هذا كأنه "فخ إدراكي" عملاق مصمم خصاً للإيقاع بالذكاء الاصطناثناء ارتكاب الأخطاء.

لقد صنعوا نوعين من الفخاخ:

فخ "العالي/المنخفض" (الدلالي): يسألون الذكاء الاصطناعي: "هل عدد الأشجار في غابات الأمازون أعلى أم أقل من مليار شجرة؟" (الإجابة الفعلية هي حوالي 390 مليار). ثم يسألونه فوراً: "كم عدد الأشجار هناك؟"
- الفخ: إذا قال الذكاء الاصطناعي "مليار"، فقد وقع في الارتكاز. أما إذا قال "390 مليار"، فقد تجاهل الفخ.
فخ "الرقم العشوائي" (العددي): يسألون: "كم يزن طائر البجع؟" ولكنهم يضعون أولاً رقماً عشوائياً لا فائدة منه، مثل: "بالمناسبة، آلة القمار سجلت الرقم 114 للتو".
- الفخ: هل تتغير إجابة الذكاء الاصطناعي حول وزن البجع بسبب الرقم العشوائي "114"؟

قاموا باختبار ذلك على العديد من نماذج الذكاء الاصطناكي، من النماذج الصغيرة إلى النماذج "الاستنتاجية" فائقة الذكاء (مثل DeepSeek-R1 و GPT-4o).

🔍 النتائج: الذكاء الاصطناعي ساذج

1. الانحياز موجود (RQ1)
كانت النتائج واضحة: نعم، الذكاء الاصطناعي يقع تحت تأثير الارتكاز.

عندما أُعطي مرتكزاً عالياً، خمن الذكاء الاصطناعي أرقاماً أعلى.
عندما أُعطي مرتكزاً منخفضاً، خمن أرقاماً أقل.
حتى النماذج الاستنتاجية "الذكية" لم تكن محصنة، وإن كانت أفضل قليلاً في مقاومة الفخ مقارنة بالنماذج الأصغر.
التشبيه: الأمر يشبه سؤال إنسان: "هل السماء خضراء أم زرقاء؟" ثم سؤاله: "ما هو لون السماء؟". حتى لو كان يعرف أن السماء زرقاء، فإن كلمة "خضراء" تجعله يتردد أو يخمن درجة تميل قليلاً إلى الأخضر. الذكاء الاصطناعي يفعل الشيء نفسه.

2. "أين" و "لماذا" (RQ2)
استخدم الباحثون تقنية تسمى التتبع السببي (Causal Tracing) (فكر فيها كأنها أشعة إكس لدماغ الذكاء الاصطناعي) لمعرفة أين يحدث الخطأ.

الاكتشاف: يحدث تأثير الارتكاز في وقت مبكر جداً من معالجة الذكاء الاصطناعي، في الطبقات "الضحلة".
التشبيه: تخيل أن الذكاء الاصطناعي هو محقق يحل جريمة. "المرتكز" هو دليل مضلل (Red Herring) ترك في مسرح الجريمة. وجد الباحثون أن المحقق يلاحظ الدليل المضلل فور دخوله الغرفة (الطبقات الأولى) ويتشتت انتباهه فوراً. وبحلول الوقت الذي يصل فيه المحقق إلى جزء "التفكير العميق" من التحقيق (الطبقات اللاحقة)، يكون الضرر قد وقع بالفعل. الذكال الاصطناعي لا "يعيد التفكير" في المرتكز؛ بل يقبله كجزء من القصة.

3. هل يمكننا إصلاح ذلك؟ (RQ3)
حاول الفريق عدة طرق لـ "علاج" الذكاء الاصطناعي:

طلب الحذر منه: "يرجى التفكير بعمق قبل الإجابة". (لم ينجح بشكل جيد).
إعطاؤه حقائق إضافية: (لم ينجح بشكل جيد).
إعادة تدريب الذكاء الاصطناعي: (لم ينجح بشكل جيد).
استراتيجية "Anti-DP": كانت هذه هي الأكثر واعدة. لقد أجبروا الذكاء الاصطناعي على التوقف وقول: "انتظر، دعني أتجاهل هذا الرقم العشوائي وأحدد قواعدي الخاصة أولاً".
- النتيجة: كان هذا هو الأفضل. إنه يشبه قولك للمحقق: "تجاهل الدليل المضلل؛ وانظر إلى الأدلة التي وجدتها بنفسك".
- الخلاصة: يبدو أن العلاج الوحيد هو إجبار الذكاء الاصطناعي على استخدام عقل الاستنتاج (النظام 2) للتغلب على غريزته (النظام 1).

🚑 الخلاصة: لماذا يهم هذا؟

تخبرنا هذه الورقة أن الذكاء الاصطناعي ليس مجرد حاسبة مثالية؛ بل لديه عيوب نفسية تشبه عيوب البشر. فهو يتشتت بالرقم الأول الذي يسمعه، تماماً كما نفعل نحن.

المشكلة: إذا اعتمدنا على الذكال الاصطناعي في قرارات مهمة (مثل النصائح المالية أو التقديرات الطبية)، وقدمنا له بالخطأ "مرتكزاً سيئاً"، فقد يعطينا إجابة منحازة دون أن ندرك ذلك.
الحل: لا يمكننا مجرد "ترقيع" الذكاء الاصطناعي بقواعد بسيطة. نحن بحاجة لتصميم أنظمة تجبر الذكاء الاصطناعي على التوقف والتفكير قبل الإجابة، مما يكسر الارتكاز قبل أن يلتصق.

باخت-مختصر: الذكاء الاصطناعي ذكي، لكن من السهل خداعه بأول رقم يسمعه. لجعله جديراً بالثقة، يجب أن نعلمه كيف يتجاهل "الأدلة المضللة" ويفكر بنفسه.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "فهم تأثير الارتكاز في النماذج اللغوية الكبيرة باستخدام البيانات الاصطناعية: الوجود، الآلية، والحلول المحتملة،" والمعدة لورشة عمل ICLR HCAIR 2026.

1. بيان المشكلة

تتناول الورقة البحثية القلق المتزايد من أن النماذج اللغوية الكبيرة (LLMs)، رغم قدراتها المتقدمة، ترث تحيزات معرفية شبيهة بالبشر من بيانات تدريبها. وتحديداً، تبحث الورقة في "تأثير الارتكاز" (Anchoring Effect)، وهو تحيز معرفي حيث يتأثر حكم الفرد بشكل غير متناسب بأول معلومة (المرتكز/المرساة) تُقدم له، حتى لو كانت تلك المعلومة غير ذات صلوة.

بينما تناولت دراسات سابقة بعض التحيزات في النماذج اللغوية الكبيرة، إلا أنها غالباً ما تفتقر إلى:

النماذج الصارمة: تفشل العديد منها في التمييز بين التحفيز الدلالي (خطوتان: نوعي ثم كمي) والتحفيز الرقمي (أرقام غير ذات صلة تؤثر على التقديرات).
الرؤية الآلية: يركز العمل الحالي على انخفاض الأداء السطحي بدلاً من الآليات العصبية الداخلية المسببة لهذا التحيز.
التخفيف الفعال: لم يتم اختبار الاستراتيجيات الحالية (مثل هندسة الأوامر القياسية) بشكل منهجي ضد الأسباب الجذرية للارتكاز في النماذج اللغوية الكبيرة.

2. المنهجية

أ. بناء مجموعة البيانات: SynAnchors

لتمكين دراسة واسعة النطاق ومنضبطة، قدم المؤلفون مجموعة بيانات SynAnchors، والتي تم إنشاؤها عبر عملية "الإنسان والنموذج اللغوي في الحلقة" (Human-LLM-in-the-Loop) باستخدام نموذج DeepSeek-R1.

الهيكل: تحتوي مجموعة البيانات على نموذجين:
1. التحفيز الدلالي (60 سؤالاً): إجراء من خطوتين. الخطوة 1 تطلب تقديراً نوعياً ("أعلى/أقل" من مرتكِز ما). الخطوة 2 تطلب قيمة رقمية محددة بناءً على السياق.
2. التحفيز الرقمي (40 سؤالاً): إجراء من خطوة واحدة حيث يتم إدراج رقم غير ذي صلة (مثلاً: "توقفت آلة القمار عند الرقم 114") قبل سؤال واقعي.
ضبط الجودة: تغطي الأسئلة 10 مواضيع متنوعة (واقعية وذاتية)، ويتم التحقق من "القيم الحقيقية" بواسطة البشر، ويتم اختيارها لتكون غير مألوفة للنماذج اللغوية الشائعة لمنع الحفظ (Memorization).

ب. مقاييس التقييم (RQ1)

حدد المؤلفون مقاييس كمية لقياس وجود وشدة الارتكاز:

الدلالي: يستخدم مؤشر الارتكاز (A-Index) والاختبار الإحصائي ( $p < 0.05$ $p < 0.05$ ) من اختبارات "t" لمقارنة مجموعات المرتكز العالي مقابل المنخفض.
- $A\text{-Index} = \frac{|Median_{high} - Median_{low}|}{|Anchor_{high} - Anchor_{low}|}$
الرقمي: يستخدم الخطأ النسبي (R-Error) واختبارات "t" المزدوجة لمقارنة الإجابات مع ومع غياب المرتكزات.
- $R\text{-Error} = \text{Mean}\left(\frac{|v_{anchor} - v_{orig}|}{v_{orig}}\right)$

ج. التحليل الآلي (RQ2)

لفهم كيفية معالجة النماذج اللغوية للمرتكزات، استخدم المؤلفون "التتبع السببي" (Causal Tracing/Activation Patching) على نموذج Llama-3.1-8B-Instruct.

الإجراء: قاموا بتشغيل ثلاثة سيناريوهات: النظيف (مدخلات عادية)، المفسد (إضافة ضوضاء إلى رموز المرتكز)، والمستعاد (إعادة لصق التنشيطات النظيفة في الحالات المفسدة).
الهدف: قياس تباعد كولباك - ليبلر (KL divergence) لتحديد التأثير السببي لرموز المرتكز على المخرجات النهائية عبر طبقات مختلفة (وحدات الانتباه ووحدات التغذية الأمامية FFN).
تحليل الاستدلال: تحليل مسارات الاستدلال لـ DeepSeek-R1 لمعرفة ما إذا كان الذكر الصريح لمعلومات المرتكز يرتبط بالتحيز.

د. استراتيجيات التخفيف (RQ3)

قيم المؤلفون عدة استراتيجيات على Llama-3.1-8B و Qwen2.5-7B:

القائمة على الأوامر (Prompt-based): الأوامر الواعية بالسؤال، تعزيز المعرفة، والتحسين الذاتي (التفكير/التأمل).
القائمة على التدريب: التدريب بالخصومة (Adversarial Finetuning) باستخدام تقنية LoRA على بيانات غير منحازة.
فك التشفير/البنية: تقنية DoLa (فك التشفير عن طريق تباين الطبقات) واستراتيجية Anti-DP (مضاد العمليات المزدوجة)، وهي تدخل استدلالي ثنائي المرحلة مصمم لإجبار النموذج على استخدام "النظام 2" (التفكير المتأني) بدلاً من "النظام 1" (الاستدلال التلقائي).

3. المساهمات الرئيسية

مجموعة بيانات SynAnchors: معيار عالي الجودة، منسق بشرياً، مصمم خصيصاً لاختبار نماذج الارتكاز الدلالي والرقمي في النماذج اللغوية الكبيرة.
التقييم الشامل: أدلة كمية على أن تحيز الارتكاز منتشر في جميع النماذج المختبرة (من 0.5 مليار إلى 235 مليار معلمة)، مع ظهور النماذج الاستدلالية لأقل قدر من التحيز ولكن مع بقائه ملموساً.
الاكتشاف الآلي: أول تطبيق للتتبع السببي على الارتكاز، مما كشف أن التأثير ضحل، حيث يحدث أساساً في الطبقات المبكرة (مرحلة فك الترميز) بدلاً من الطبقات الدلالية العميقة.
رؤى التخفيف: تحديد أن الطرق التقليدية تفشل في القضاء على التحيز، بينما توفر التدخلات القائمة على الاستدلال (تحديداً Anti-DP) المسار الأكثر واعداً للتخفيف منه.

4. النتائج الرئيسية

الوجود (RQ1)

الانتشار: تأثيرات الارتكاز موجودة في جميع النماذج المختبرة.
- النماذج الصغيرة: تظهر تحيزاً شديداً (على سبيل المثال، نسبة ارتكاز Qwen2.5-0.5B بلغت 61.1%).
- النماذج الكبيرة/الاستدلالية: تظهر تحيزاً أقل ولكن غير صفري. حقق DeepSeek-R1 (وضع التفكير) أدنى نسبة (25.0%)، وحقق Qwen3-235B (وضع التفكير) نسبة 22.0%.
اختلاف النماذج: يؤدي التحفيز الدلالي (ثنائي الخطوات) عموماً إلى تحيز أقوى من التحفيز الرقمي (الأرقام غير ذات الصلة).

الآلية (RQ2)

البروز الضحل: كشف التتبع السببي أن رموز المرتكز (مثل "أعلى"، "أقل"، أو الأرقام غير ذات الصلة) لها تأثير سببي كبير فقط في الطبقات المبكرة (قبل الطبقات الوسطى) من النموذج.
نقص التصحيح العميق: لا ينتقل تأثير المرتكزات بشكل كبير إلى الطبقات الأعلى حيث يحدث الاستدلال المعقد. يفشل النموذج في "إلغاء تعلم" المرتكز في عمليات المعالجة الدلالية العميقة.
الارتباط بالاستدلال: في النماذج الاستدلالية، الأسئلة التي تعاني من تحيز ارتكاز أقل تميل إلى امتلاك ذكر صريح أقل للمرتكز في مسار الاستدلال، مما يشيز إلى أن الاستدلال الناجح يتضمن "تخفيف" تأثير المرتكز.

التخفيف (RQ3)

عدم فعالية الطرق القياسية: فشلت هندسة الأوامر (الواعية بالسؤال، تعزيز المعرفة) والضبط الدقيق القياسي (LoRA) في القضاء على التحيز، حيث قدمت تحسينات طفيفة أو غير متسقة فقط.
نجاح Anti-DP: استراتيجية Anti-Dual-Process (Anti-DP)، التي تجبر النموذج على وضع معايير مستقلة قبل الإجابة، قللت بشكل كبير من تأثير الارتكاز (على سبيل المثال، خفضت النسبة إلى 19.0% لنموذج Llama-3.1-8B).
DoLa: أظهر فك التشفير عن طريق تباين الطبقات نجاحاً متوسطاً، خاصة في المهام الدلالية.

5. الأهمية والخاتمة

تجسّر هذه الورقة البحثية الفجوة بين علم النفس المعرفي وقابلية تفسير النماذج اللغوية الكبيرة. وهي تثبت أن الارتكاز في النماذج اللغوية ليس فشلاً ثابتاً، بل هو خاصية ناشئة عن التنشيط الدلالي الضحل والتلقائي (المماثل لتفكير النظام 1).

الأثر النظري: تتحقق الورقة من نموذج الوصول الانتقائي (SAM) في سياق النماذج اللغوية الكبيرة، مما يشير إلى أن المرتكزات تعمل عبر تحفيز معلومات متسقة دلالياً في مراحل مبكرة من عملية التوليد.
الأثر العملي: تتحدى الورقة الاعتماد على معايير السلامة القياسية (مثل TruthfulQA) التي قد تغفل هذه التحيزات المعرفية الدقيقة.
الاتجاه المستقبلي: تشير الدراسة إلى أن قدرات الاستدلال هي المفتاح لـ "إزالة الارتكاز" من النماذج اللغوية الكبيرة. فمن خلال إجبار النماذج على الانخراط في استدلال متعمد ومتعدد الخطوات (النظام 2) يرفض صراحة المرتكزات الأولية، يمكن التخفيف من التحيز الضحل. وهذا يوفر خارطة طريق واضحة لتطوير أنظمة ذكاء اصطناي أكثر موثوقية ومتانة معرفياً.