Representation Without Control: Testing the Realization Effect in Language Models

ملخص تقني: التمثيل بدون تحكم

بيان المشكلة
تتناول الورقة البحثية فجوة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs) المستخدمة كمحاكيات سلوكية. فبينما تُستخدم هذه النماذج بشكل متزايد لنمذجة الإدراك البشري، لا يزال من غير الواضح ما إذا كانت مخرجاتها الحساسة للظروف تعكس تمثيلاً داخلياً حقيقياً للآليات المعرفية البشرية أم أنها مجرد أنماط سطحية حساسة للصياغة (prompt-sensitive). يستقصي المؤلفون ذلك من خلال اختبار "تأثير التحقق" (realization effect)، وهو ظاهرة مشخصة جيداً في الاقتصاد السلوكي حيث يتغير سلوك المخاطرة بشكل منهجي بناءً على ما إذا كانت المكاسب أو الخسائر السابقة هي "ورقية" (حساب ذهني مفتوح) أو "محققة" (حساب ذهني مغلق). السؤال الجوهري هو ما إذا كانت النماذج اللغية الكبيرة لا تظهر فقط حساسية سلوكية تجاه هذه الصياغة، بل تقوم أيضاً بتشفير المفهوم الأساسي كتمثيل سببي يقود القرارات اللاحقة.

المنهجية
تعتمد الدراسة تصميماً تجريبياً من ثلاث مراحل باستخدام نموذج Gemma 3 4B لاختبار ثلاث ادعاءات مترابطة: الحساسية السلوكية، القابلية للفك الخطي، والتحكم السببي.

1. مهمة سلوكية تعتمد على الصياغة فقط: قام المؤلفون بإنشاء 11 حالة سيناريو تغطي النتائج الورقية والمحققة (التمويل، الكازينو، إلخ) لاختبار ما إذا كانت استجابات النموذج اللغوي (مبالغ الرهان وتفضيلات المخاطرة) تحاكي التنبؤات الاتجاهية لتأثيرات التحقق البشرية.
2. قراءة التنشيط: حلل الفريق تنشيطات "المجرى المتبقي" (residual stream) في نموذج Gemma لتحديد ما إذا كان "وضع التحقق" (realization status) قابلاً للفك الخطي. قاموا ببناء متجه اتجاه فرق المتوسط ($v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$) باستخدام تقسيم تدريبي مكون من 756 زوجاً متوافقاً عند الطبقة 18. تم اختبار هذا الاتجاه لتعميم النتائج على مجموعات تحقق محجوزة ومجموعة صياغات جديدة تم إنشاؤها بواسطة DeepSeek.
3. تدخل التوجيه السببي: لاختبار ما إذا كان التمثيل المفكوك يتحكم سببياً في السلوك، طبق المؤلفون توجيهاً للمجرى المتبقي. قاموا بإضافة اتجاه التحقق المقيّم والمطبع إلى تنشيطات النموذج عند الطبقة 18 أثناء التوليد. اختبروا مقاييس توجيه مختلفة (من -50 إلى +150) لمعرفة ما إذا كان إزاحة التنشيط نحو حالات "المحققة" أو "الورقية" يغير بشكل موثوق من خيارات الرهان والمخاطرة للنموذج. كما تم إجراء مهمة تصنيف كـ "ضبط إيجابي" للتحقق من التحولات الدلالية في الأحكام المباشرة.

النتائج الرئيسية
تكشف النتائج عن انفصال كبير بين التمثيل والتحكم:

• الحساسية السلوكية (جزئية): النماذج اللغية الكبيرة حساسة للظروف، حيث تنتج استجابات مختلفة بناءً على الصياغة. ومع ذلك، فإن النمط الاتجاهي لا يطابق بقوة تنبؤات تأثير التحقق البشرية. على سبيل المثال، أدت الخسائر المحققة إلى زيادة المخاطرة في النموذج، وهو ما يخالف الميل البشري لتقليل المخاطرة بعد الخسائر المحققة.
• القراءة الخطية (نجاح): وضع التحقق قابل للفك الخطي من المجرى المتبقي لنموذج Gemma عند الطبقة 18. نجح اتجاه تم تدريبه على مجموعة من الصياغات في فصل الصياغات "الورقية" عن "المحققة" في مجموعات التحقق المحجوزة، بما في ذلك تلك المستمدة من مصدر مختلف (DeepSeek).
• التحكم السببي (فشل): لا يؤدي التوجيه على طول اتجاه التحقق المفكوك إلى تغيير سلوك المخاطرة اللاحق بشكل موثوق.
  • الرهان والمخاطرة: عبر مقاييس التوجيه الموجبة والسالبة، كانت فروق المتوسط في الرهان والمخاطرة صغيرة، وكانت قيم الوسيط للفروق صفراً باستمرار.
  • التماثل: لم يتم ملاحظة الانعكاس المتوقع المتماثل في الإشارة (التوجيه نحو "الورقي" يجب أن يقلل المخاطرة، والتوجيه نحو "المحقق" يجب أن يزيدها، أو العكس).
  • الارتباط: بينما ارتبطت قوة الإسقاط الخام بشكل ضعيف مع مبالغ الرهان على مستوى الصياغة، إلا أن هذا الارتباط تلاشى بعد التحكم في بنية الصياغة. ضمن الأزواج المتوافقة، لم تتنبأ فروق الإسقاط بالفروق السلوكية.
• الضبط الإيجابي: أظهرت مهمة التصنيف تحولاً اتجاهياً ضعيفاً في الحكم الدلالي (زيادة التنبؤات بـ "المحققة" عند المقاييس الموجبة العالية)، لكن الدقة ظلت قريبة من الصدفة، وكان التحول غير متماثل.

المساهمات الرئيسية
تتمثل المساهمة الأساسية للورقة في الإثبات التجريبي أن الحساسية السلوكية، والقراءة الكامنة، والتحكم السببي هي ثلاث خصائص متميزة لا تتلازم تلقائياً.

• تثبت أن نجاح القراءة الخطية لمتغير ما ليس دليلاً كافياً على أن النموذج يعتمد على هذا التمثيل أثناء عملية صنع القرار اللاحقة.
• تقدم دراسة حالة ملموسة حيث يجتاز النموذج أول اختبارين من اختبارات التفسير الآلي (الحساسية والقدرة على الفك) ولكنه يفشل في الاختبار الثالث (التحكم السببي).
• تتحدى الافتراض بأن الحساسية للظروف في النماذج اللغية الكبيرة تعني تنفيذ آليات معرفية شبيهة بالبشر.

الأهمية والادعاءات
يجادل المؤلفون بأن نتائجهم تستوجب تغيير الطريقة التي يتم بها إجراء وتفسير الأبحاث السلوكية للنماذج اللغية الكبيرة.

• للتقييم السلوكي: الحساسية للظروف وحدها تعد دليلاً ضعيفاً على الإدراك الشبيه بالبشر. قد تتبع النماذج الميزات السطحية للصياغات (الإطار) دون تشفير المفاهيم الذهنية الأساسية (مثل المحاسبة الذهنية).
• للتفسير الآلي: تحذر الدراسة من معاملة القابلية للفك الخطي كبديل للتفسير السببي. يمكن أن يكون التمثيل قابلاً للقراءة في التنشيطات ومع ذلك يكون عرضياً (epiphenomenal) للسياسة التي تحكم المخرجات. ويفترض المؤلفون أن "التحقق السببي، وليس مجرد الفك الارتباطي، ضروري لإثبات أن التمثيل يقوم بعمل حقيقي".
• الخلاصة: تخلص الورقة إلى أن إثبات أن النموذج ينفذ حقاً مفهوماً بشرياً لاتخاذ القرار يتطلب إظهار أن التمثيل ذي الصلة يقع سببياً قبل السلوك محل الاهتمام. هذا معيار أعلى مما يطبقه المجال حالياً، ويقترح المؤلفون ضرورة معاملة التحكم السببي كشرط ضروري لمثل هذه الادعاءات الميكانيكية.

يظل المؤلفون متواضعين بشأن نطاق الدراسة، مشيرين إلى أن النتيجة الصفرية خاصة بتكوين Gemma 3 4B (الطبقة 18، توجيه الرمز النهائي) وأن هذا الانفصال قد يختلف عبر النماذج أو الطبقات أو أنواع المهام. ومع ذلك، فإن هذه النتيجة تحفز وضع معيار أكثر صرامة للمطالبة بآليات معرفية محددة في النماذج اللغية الكبيرة.