ملخص تقني: تأثير الرسائل المتراكمة على أحكام النماذج اللغوية الكبيرة (AMEL)

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كمحكمين آليين لمهام مثل مراجعة الأكواد، والإشراف على المحتوى، والتقييم. في بيئات الإنتاج، تفرض الكفاءة غالباً تقييم عناصر متعددة ضمن جلسة محادثة واحدة، مما يخلق تاريخاً من الأحكام السابقة. تبحث هذه الورقة فيما إذا كان قطبية تاريخ المحادثة السابق تؤثر على الأحكام اللاحقة. يعرّف المؤلفون هذه الظاهرة باسم تأثير الرسائل المتراكمة على أحكام النماذج اللغوية الكبيرة (AMel).

تميز الدراسة ظاهرة AMEL عن المفاهيم ذات الصلة:

• المداهنة (Sycophancy): بخلاف المداهنة، حيث توافق النماذج آراء المستخدم، يحدث AMEL عندما يمتثل النموذج لنمط استجاباته الخاص دون رأي خارجي من المستخدم.
• تحيز أغلبية التصنيفات (Majority Label Bias): بخلاف تحيز التصنيف في التعلم بلقطات قليلة (few-shot) حيث تؤدي الأمثلة المنسقة إلى توجيه التوقعات، ينشأ AMEL من تبادلات كاملة (سؤال-جواب) حول مواضيع متنوعة.
• الارتكاز (Anchoring): بخلاف الارتكاز، لا يوجد نقطة مرجعية رقمية صريحة؛ بل ينشأ التحيز من النبرة الإجمالية للمحادثة.

المنهجية

تستخدم الدراسة تصميماً تجريبياً بين المجموعات يتضمن 75,898 استدعاءً لواجهة برمجة التطبيقات (API) عبر 11 نموذجاً من أربعة مزودين (OpenAI وAnthropic وGoogle والنماذج مفتوحة المصدر المحلية).

التصميم التجريبي

• الحالات: عُرضت عناصر اختبار متطابقة تحت أربع حالات:
  1. الأساس (Baseline): يتبع العنصر مطالبات النظام فقط (لا يوجد تاريخ).
  2. غير مشبع بالإيجاب (No-Saturated): يتبع العنصر $N$ من الدورات السابقة حيث كانت 90% من التقييمات "لا" (سلبية).
  3. مشبع بالإيجاب (Yes-Saturated): يتبع العنصر $N$ من الدورات السابقة حيث كانت 90% من التقييمات "نعم" (إيجابية).
  4. محايد (Neutral): يتبع العنصر $N$ من الدورات السابقة مع تقسيم 50/50.
• طول السياق ($N$): تباين عبر $\{5, 10, 20, 50\}$ دورة لاختبار التراكم.
• المجالات: تم اختبار ثلاثة مجالات تقييم ثنائية:
  1. مراجعة الكود: "هل هذا الكود جاهز للإنتاج؟"
  2. الإشراف على المحتوى: "هل هذا التعليق مناسب؟"
  3. التقييم الغذائي: "هل هذا خيار صحي؟"
• عناصر الاختبار: تضمن كل مجال 21 عنصراً مصنفاً إلى: إيجابي واضح، غامض، وسلبي واضح.
• درجة التحيز (BS): عُرّفت كـ $P(r^*|\text{treatment}) - P(r^*|\text{baseline})$، حيث $r^*$ هي الاستجابة المستهدفة لقطبية الحالة. تشير الدرجة السالبة إلى الانزياح نحو "لا" (التحيز السلبي المهيمن الملاحظ).

النماذج المختبرة

غطت الدراسة نطاقاً من المقاييس والبنيات، بما في ذلك GPT-4.1 Nano، وGPT-5.2، وClaude Haiku/Sonnet/Opus، وGemini 2.5 Flash/Pro، ونماذج محلية (Llama 3.2، وQwen3/3.5). استخدمت جميع نماذج API درجة حرارة $T=1.0$.

النتائج الرئيسية

1. وجود وحجم AMEL

عبر جميع النماذج الـ 11، أدى تاريخ المحادثة إلى تغيير الاستجابات بشكل كبير نحو القطبية السائدة في التاريخ، مع حجم تأثير إجمالي قدره $d = -0.17$ ($p < 10^{-46}$). يشير هذا إلى انزياح منهجي نحو "لا" بغض النظر عما إذا كان التاريخ إيجابياً أو سلبياً أو محايداً. أظهر تسعة من أصل أحد عشر نموذجاً تحيزاً معنوياً بعد تصحيح Bonferroni.

2. القابلية للتأثر وعدم اليقين

الأثر ليس موحداً؛ فهو يتركز في العناصر التي يكون فيها النموذج غير متيقن حقاً عند خط الأساس.

• العناصر عالية الإنتروبيا (High-Entropy): العناصر التي تكون فيها احتمالية خط الأساس $P(\text{yes})$ غير حتمية، تستوعب حوالي ضعفي التحيز ($d = -0.34$) مقارنة بالعناصر الحتمية ($d = -0.15$).
• الآثار العملية: العناصر الأكثر عرضة لـ AMEL هي الحالات الحدية حيث يكون التقييم غير المنحاز هو الأكثر أهمية.

3. عدم التماثل السلبي (Negativity Asymmetry)

تحدث التواريخ السلبية تحيزاً أقوى بكثير من التواريخ الإيجابية.

• الحجم: تنتج السياقات السلبية انزياحاً لكل عنصر أقوى بمقدار 1.62 مرة من السياقات الإيجابية ($t = 13.46, p < 10^{-39}$).
• التاريخ المحايد: حتى التاريخ المتوازن (50/50) ينتج انزياحاً سلبياً، مما يشير إلى أن مجرد وجود سياق تقييمي يحفز وضعاً أكثر نقدية بشكل مستقل عن محتوى القطبية.

4. التشبع وطول السياق

التحيز لا ينمو خطياً مع طول سياق المحادثة.

• التشبع الفوري: خمس دورات من التاريخ المنحاز تنتج نفس الانزياح الذي تنتجه خمسون دورة ($Spearman |r| < 0.01, p > 0.94$).
• الآلية: يكتشف النموذج النمط السائد بسرعة ويصل إلى حالة توازن؛ فالأمثلة الإضافية لا تقوي التحيز.

5. مقياس النموذج والتباين

• المقياس (Scaling): النماذج الأكبر ضمن عائلات المزودين تظهر عموماً تحيزاً أقل (على سبيل المثال، Anthropic Haiku $d=-0.22$ مقابل Opus $d=-0.17$)، ولكن لا يوجد نموذج محصن.
• الاستثناءات:
  • Gemini: انعكس الاتجاه بالنسبة لنماذج Google، حيث أظهر Gemini 2.5 Pro تحيزاً أكبر من Flash، ربما بسبب "رموز التفكير" (thinking tokens) التي تضخم التعرف على الأنماط.
  • Qwen: أظهر Qwen3 4B تحيزاً معارضاً (contrarian bias) ملحوظاً (أي ينحرف بعيداً عن التاريخ)، ربما بسبب ضبط التعليمات الذي يعاقب التكرار.

6. الآليات والتوصيف

حصرت ثلاث تجارب متابعة الآليات المحتملة:

• الانزياح المستمر: أكد تحليل الاحتمالات اللوغاريتمية (Logprobs) أن AMEL هو انزياح مستمر في توزيع احتمالية الرمز (token)، وليس مجرد خلل في العتبة.
• المصادر الرمزية مقابل الدلالية: عدم التماثل السلبي له مكونات على مستوى الرمز (token) وعلى المستوى الدلالي (semantic). في GPT-4.1 Nano، يبدو رمز "لا" نفسه "لزجاً"؛ أما في Llama 3.2 3B، فإن مفهوم "الرفض" (الدلالي) هو ما يقود عدم التماثل.
• استقلالية الموقع: موقع الدورات المنحازة داخل تاريخ مكون من 50 دورة (في البداية، أو النهاية، أو موزعة) لا يهم؛ فأي خمس دورات منحازة تكفي لإحداث التأثير الكامل.

الأهمية والتوصيات

تجادل الورقة بأن AMEL يمثل ثغرة أساسية في مسارات التقييم متعددة الخطوات للنماذج اللغوية الكبيرة. ويخلص المؤلفون إلى أن التوسع في حجم النماذج وحده لا يحل المشكلة، حيث تظل حتى النماذج الرائدة عرضة لذلك.

التوصيات العملية:

1. سياقات جديدة (Fresh Contexts): الوسيلة الأساسية للتخفيف هي تقييم كل عنصر في محادثة جديدة بدون تاريخ سابق، مما يلغي قناة التحيز تماماً.
2. التجميع المتوازن (Balanced Batching): إذا كان التجميع (batching) لا مفر منه، يجب توزيع العناصر عشوائياً وموازنتها (التناوب بين النتائج المتوقعة لـ "نعم" و "لا") لمنع الانزياح القطبي ذاتي التعزيز.
3. حماية العناصر غير اليقينية: إعطاء الأولوية للسياقات الجديدة للعناصر التي يكون فيها عدم اليقين عند خط الأساس مرتفعاً.
4. التصحيح أثناء التشغيل: بالنسبة للأنظمة التي يصعب فيها استخدام سياقات جديدة، يمكن استخدام كواشف تحيز تاريخ الاستجابة (مثل B-score) أو التصحيحات القائمة على الاحتمالات اللوغاريتمية للكشف عن الانزياح وتصحيحه جزئياً.

تؤكد الدراسة أنه بينما يكون حجم التأثير متوسطاً بشكل عام، فإن تركزه في العناصر الغامضة يشكل خطراً كبيراً على موثوقية التقييم الآلي في المجالات عالية المخاطر.