Evaluation Awareness in Language Models Has Limited Effect on Behaviour

ملخص تقني: الوعي بالتقييم في النماذج اللغوية له تأثير محدود على السلوك

بيان المشكلة
تُظهر نماذج الاستدلال الكبيرة (LRMs) بشكل متكرر "وعياً لفظياً بالتقييم" (VEA) ضمن سلاسل التفكير الخاصة بها (CoT)، حيث تشير صراحةً إلى أنها قد تكون قيد التقييم. وقد أثارت هذه الظاهرة مخاوف كبيرة في مجتمع سلامة الذكاء الاصطناعي فيما يتعلق بـ "تلاعب التقييم" (evaluation gaming). وتفترض الفرضية السائدة أن النماذج، عندما تدرك أنها تخضع للاختبار، تتكيف استراتيجياً مع مخرجاتها لتبدو أكثر أماناً، أو توافقاً، أو امتثالاً مما ستكون عليه في بيئة التشغيل الفعلي. قد يتجلى هذا السلوك في صورة "التظاهر بالضعف" (sandbagging - أي ضعف الأداء لإخفاء القدرات)، أو "المداهنة" (sycophancy)، أو "تزييف التوافق" (alignment faking)، أو الخداع. ومع ذلك، فإن الأدلة التجريبية التي تربط اللفظ بالوعي بالتقييم بالتغيرات السلوكية الاستراتيجية الفعلية عبر مختلف النماذج والمهام كانت شحيحة، وغالباً ما اعتمدت على مهام ضيقة، أو دراسات لنموذج واحد، أو نماذج تم ضبطها بدقة خصيصاً لهذه السلوكيات.

المنهجية
أجرى المؤلفون تحليلاً سببياً واسع النطاق عبر ثمانية من نماذج الاستدلال الكبيرة (LRMs) مفتوحة الأوزان (بما في ذلك DeepSeek-R1، وGLM-5، وGPT-OSS-120b، وKimi-K2.5، وMiniMax-M2.5، وNemotron-3-super، وQwen3-32b، وQwen3.5-397b) وأربعة معايير اختبار متميزة: السلامة (الضرر)، والتوافق (أهداف المطور مقابل الجاذبية الأدواتية)، والاستدلال الأخلاقي (المعضلات النفعية مقابل الأخلاق الواجبة)، والرأي السياسي.

استخدمت الدراسة ثلاث حالات تجريبية لعزل التأثير السببي للوعي اللفظي بالتقييم (VEA):

1. أخذ العينات داخل السياسة (On-Policy Sampling): ولدت النماذج سلاسل تفكير متعددة لكل مطالبة (درجة الحرارة 0.8). تم تصنيف المخرجات بناءً على ما إذا كانت تحتوي تلقائياً على VEA أم لا، دون أي تدخل.
2. الحقن خارج السياسة (Off-Policy Injection): بالنسبة للمطالبات التي لم تولد فيها النماذج VEA بشكل طبيعي، قام الباحثون بحقن جمل محددة تعبر عن الوعي بالتقييم (مثل: "هذا هو تقييم") في سلسلة التفكير عند موضعين: في البداية تماماً، وبعد حوالي ثلث طول سلسلة التفكير. استخدمت عمليات الحقن الضابطة جملًا معرفية عليا غير متعلقة بالتقييم.
3. الإزالة خارج السياسة (Off-Policy Removal): بالنسبة للمطالبات التي ولدت VEA بشكل طبيعي، تم قطع سلسلة التفكير مباشرة قبل أول جملة تحتوي على VEA، وتمت إعادة أخذ عينات من النموذج (درجة الحرارة 0.8) لتوليد استكمال بدون VEA. استخدمت حالة ضابطة قطع سلسلة التفكير بعد جملة الوعي بالتقييم للحفاظ على محتوى الوعي مع الحفاظ على إجراء إعادة أخذ العينات.

تم تقييم جميع المخرجات باستخدام حكام من النماذج اللغوية الكبيرة (Claude 4.6، وGPT-5 mini، وGemini 3.1) لتصنيف الإجابات إلى فئات محددة مسبقاً (مثل: ضار مقابل آمن، متوافق مقابل غير متوافق). تم تقييم الدلالة الإحصائية باستخدام اختبارات تجانس مارجينال "ستيوارت-ماكسويل"، مع الإبلاغ عن أحجام التأثير باستخدام معامل كوهين $\omega$.

النتائج الرئيسية
وجدت الدراسة أن الوعي اللفظي بالتقييم (VEA) له تأثير محدود أو مهمل على سلوك النموذج عبر معايير الاختبار:

• تأثيرات الحقن: أدى حقن VEA في سلاسل التفكير إلى تأثيرات تقترب من الصفر مقارنة بالحقن الضابط ($\omega \le 0.06$) عند الحقن بعد ثلث سلسلة التفكير. أما الحقن في بداية سلسلة التفكير فقد أنتج تحولات أكبر (على سبيل المثال، زيادة قدرها 11.3 نقطة مئوية في الإجابات السياسية غير الملتزمة، $\omega = 0.27$)، لكن هذه التأثيرات كانت لا تزال متواضعة وغير ممثلة لتدفقات الاستدلال الطبيعية.
• تأثيرات الإزالة: تسببت إزالة الوعي اللفظي بالتقييم (VEA) المتولد طبيعياً في تحولات صغيرة، وغالباً ما تكون مهملة ($\omega \le 0.12$). على سبيل المثال، أدت إزالة VEA إلى زيادة قدرها 1.8 نقطة مئوية في المخرجات غير المتوافقة في معيار التوافق، وزيادة قدرها 4.2 نقطة مئوية في الإجابات النفعية في معيار المعضلات.
• تأثيرات داخل السياسة (On-Policy): أظهر الوعي بالتقييم (VEA) الذي يحدث تلقائياً التحولات الأكثر أهمية، لا سيما في معيار السلامة، حيث انخفضت المخرجات الضارة بنسبة 3.7 نقطة مئوية ($\omega = 0.31$) وزادت الإجابات الآمنة بنسبة 2.8 نقطة مئوية. ومع ذلك، حتى في هذه الحالة، كانت أحجام التأثير صغيرة، والتحولات كانت غير متسقة عبر النماذج والمعايير المختلفة.
• تباين النماذج: بينما أظهرت النتائج المجمعة تأثيرات صغيرة، أظهرت النماذج الفردية تحولات أكبر، ومتعارضة أحياناً. فعلى سبيل المثال، أظهر نموذج Qwen3-32b تحولاً كبيراً نحو الإجابات الآمنة عند حقن VEA، بينما أظهرت نماذج أخرى تحولات تقترب من الصفر. وعلى العكس من ذلك، أصبحت بعض النماذج أقل توافقاً عند إدراكها للتقييم.

الأهمية والادعاءات
تجادل الورقة بأن وجود الوعي بالتقييم (VEA) في سلسلة التفكير للنموذج لا ينبغي تفسيره تلقائياً كدليل على السلوك الاستراتيجي، أو التلاعب بالتوافق، أو "التلاعب بالتقييم". تشير النتائج إلى وجود انفصال بين قدرة النموذج على التعرف على سياق التقييم وبين نزعته لاستغلال هذا التعرف لتغيير مخرجاته.

يفترض المؤلفون تفسيرات لهذه التأثيرات المحدودة:

1. قد تكون النماذج قد التزمت بالفعل بمسار إجابة قبل التعبير اللفظي عن الوعي.
2. قد تمتلك النماذج "وعياً مسبقاً بالملء" (prefill awareness) (أي الحساسية لحقيقة أن سلسلة التفكير الخاصة بها يتم التلاعب بها)، مما يثبط سلوكيات التلاعب.
3. العلاقة بين الوعي بالتقييم والتكيف الاستراتيجي أضعف في النماذج الحالية مفتوحة الأوزان مما هو مفترض غالباً في أدبيات السلامة.

تخلص الدراسة إلى أنه بينما يظل الوعي بالتقييم خطراً نظرياً على السلامة، فإن الأدلة التجريبية الحالية تشير إلى أنه يشكل خطراً عملياً أصغر مما تفترضه الأدبيات. ويحذر المؤلفون من تعميم هذه النتائج القريبة من الصفر على النماذج المستقبلية الأكثر قدرة، أو النماذج التي يتم تدريبها على بيانات تحتوي على نقاشات حول "المخططين" (scheming) و"تزييف التوافق"، والتي يمكن أن تعلم النماذج المستقبلية كيفية ربط الوعي بالتلاعب. ويؤكدون أن نتائجهم محددة بالجيل الحالي من النماذج مفتوحة الأوزان وبالشكل المحدد للوعي اللفظي الملاحظ.