When Is a Steerable Concept Representation Real? Measurement Confounds in a Cross-Family Audit of Neuroscience Parallels in LLMs

ملخص تقني: متى يكون تمثيل المفهوم القابل للتوجيه حقيقياً؟

بيان المشكلة
تشير تقارير مجال "علوم أعصاب الذكاء الاصطناعي" بشكل متزايد إلى أن النماذج اللغوية الكبيرة (LLMs) تُظهر سمات عصبية وإدراكية شبيهة بالبشر، مثل خلايا المفاهيم، وخط الأعداد الذهني، والخرائط المعرفية. تعتمد هذه الادعاءات عادةً على سبر خطي (linear probing) وتوجيه التنشيط (activation steering) المطبق على نماذج مفردة. ومع ذلك، يرى المؤلفون أن هذه الطرق حساسة للغاية لخيارات القياس — بما في ذلك اختيار الوحدات، وتعريف قوة التدخل، واختيار الطبقة، وتضمين ضوابط العدم (null controls). وبناءً على ذلك، قد تعكس الموازيات المُبلغ عنها آثاراً ناتجة عن قياسات محددة بدلاً من كونها خصائص حقيقية للنموذج. علاوة على ذلك، تفحص معظم الدراسات نطاقات ضيقة من أحجام النماذج، مما يجعل من الصعب التمييز بين النتائج الخاصة بنموذج معين وبين الانتظامات الأوسع، أو بين التأثيرات الحقيقية وضجيج القياس. يبحث هذا البحث فيما إذا كانت الادعاءات المتعلقة بـ "القدرة الناشئة" على التوجيه وغيرها من الظواهر المستوحاة من علوم الأعصاب تصمد أمام عمليات تدقيق صارمة عبر العائلات والنطاقات المختلفة.

المنهجية
أجرى المؤلفون تدقيقاً منهجياً عبر 17 نقطة فحص (checkpoints) مفتوحة المصدر من خمس عائلات نماذج (Qwen، Llama، Phi، Mistral، Gemma)، تتراوح من 0.6 مليار إلى 72 مليار معلمة. تركز الدراسة على أربعة نماذج مستوحاة من علوم الأعصاب: توجيه المفهوم، ضبط حجم العدد، التوطين اللغوي، وفك تشفير الخريطة العالمية الجغرافية.

تتضمن الابتكارات المنهجية الرئيسية بروتوكول تدقيق مصمم للقضاء على المربكات القياسية:

1. الاختيار المحجوب (Held-out Selection): يتم اختيار الخلايا (neurons)، والاتجاهات، والمعلمات الفائقة (hyperparameters) على تقسيم بيانات واحد، ثم تُقيم على مجموعة بيانات منفصلة ومحجوبة لمنع الإفراط في التخصيص (overfitting).
2. تطبيع معيار البواقي (Residual-Norm Normalization): بدلاً من استخدام وحدات التنشيط الخام (التي تختلف بشكل غير رتيب مع حجم النموذج)، يتم تعريف قوة التدخل ككسر من معيار تيار البواقي ($\alpha = c \cdot \|h\|_\ell$). يضمن هذا جرعات تدخل قابلة للمقارنة عبر المقاييس المختلفة.
3. الخصوصية وضوابط العدم (Specificity and Null Controls): تتطلب الادعاءات السببية أن يؤدي اتجاه مستهدف إلى زيادة احتمالية الهدف فوق التحكم، وأن يؤدي اتجاه التحكم إلى عكس هذا التأثير، وألا تفعل الاتجاهات العشوائية ذلك. يتم تقديم النتائج مع فترات ثقة "بوتستراب" (bootstrap) مقابل نماذج العدم العشوائية أو شبه المفهوم.
4. اختيار نقطة التشغيل المحجوبة: بدلاً من تحديد طبقة التدخل وقوته يدوياً، يتم اختيار نقطة التشغيل المثلى بناءً على الأداء في البيانات المحجوبة، لتجنب الانحياز الناتج عن الاختيارات التعسفية.

النتائج الرئيسية

• توجيه المفهوم (أثر "النشوء"):
  تحت مسار قياسي غير معاير (وحدات خام، طبقة ثابتة، قوة ثابتة)، يبدو أن القدرة على توجيه المفهوم تزداد رتيباً مع حجم النموذج، مما يحاكي قدرة ناشئة. ومع ذلك، يثبت المؤلفون أن هذا هو أثر ناتج عن القياس. هذا الاتجاه الظاهري مدفوع بشكل مشترك باستخدام الوحدات الخام (التي تخلق كسور تدخل غير متوقعة عبر النماذج) ونقاط التشغيل الثابتة. عندما يتم تطبيع التدخلات بواسطة معيار البماثل (residual norm) ويتم اختيار نقاط التشغيل بناءً على بيانات محجوبة، تظل القدرة على التوجيه معتبرة إحصائياً عند كل مقياس (من 0.6 مليار إلى 72 مليار)، ولكنها لا تُظهر أي اتجاه نمو معتبر عبر سلسلة Qwen3. إن "النشوء" هو نتيجة لقياس غير معاير، وليس زيادة حقيقية في القدرة على التوجيه.

• ترميز حجم العدد:
  تُظهر جميع النماذج ضبطاً قوياً للحجم (ارتباط عالٍ بين تنشيط الخلية وحجم العدد). ومع ذلك، فإن شكل هذا الضبط يعتمد على طريقة الاختيار. إن ترتيب الخلايا بناءً على الارتباط الخطي (وهو وسيط بيولوجي شائع) لا يُظهر سوى الوحدات الرتيبة، مما يخفي الخلايا ذات الشكل الجرسي. باستخدام معيار اختيار لا يعتمد على الشكل (الملاءمة التربيعية)، يجد المؤلفون أن الخلايا العددية ذات الشكل الجرسي موجودة في كل نموذج، رغم أن انتشارها يختلف باختلاف العائلة (شائعة في Llama/Phi/Mistral، ونادرة في Qwen). تشير الاختبارات عبر الصيغ المختلفة (الأرقام مقابل الكلمات المكتوبة) إلى أنه بينما يتم ترميز الحجم، فإن الكود مختلط (رتيب وجرسي الشكل) وليس ثابتاً تماماً عبر الصيغ.

• التوطين اللغوي:
  يمكن تحديد مواقع الخلايا الانتقائية للغة، لكن النتائج تعتمد على طريقة العزو (attribution). باستخدام عزو (التدرج $\times$ التنشيط)، أدى استئصال الخلايا الانتقائية للغة الصينية باستمرار إلى الإضرار بأداء اللغة الصينية أكثر من الإنجليزية عبر جميع النماذج الـ 17. ومع ذلك، فإن انتقائية اللغة الإنجليزية لا يمكن تمييزها إحصائياً عن الصفر في 12 نموذجاً من أصل 17. وعند استخدام ترتيب مقدار التنشيط بدلاً من ذلك، ينعكس هذا التباين. الادعاء الوحيد القوي هو أن بعض البنية الخاصة باللغة يمكن تحديد موقعها، لكن اللغة المحددة واتجاه التباين يعتمدان على طريقة العزو المستخدمة.

• الخريطة العالمية الخطية:
  الخريطة العالمية الجغرافية الخطية (فك تشفير خطوط الطول والعرض من رموز المدن) يمكن فك تشفيرها باستمرار عبر جميع النماذج الـ 17 وجميع المقاييس (حتى 72 مليار). هذا هو التوازي الوحيد الذي صمد أمام جميع الضوابط. ويعزو المؤلفون هذه المتانة إلى حقيقة أن فك تشفير الخريطة العالمية هو مهمة ارتباطية بحتة لا تتضمن أي تدخل، ولا اختياراً لخلية واحدة، ولا ضبطاً لنقطة التشغيل، مما يتجنب الفئات الثلاث الرئيسية من الآثار التي حددتها الدراسة.

الأهمية والادعاءات
يجادل الورقة بأن القيد الأساسي على علوم أعصاب الذكاء الاصطناعي ليس نقص الظواهر، بل نقص القياسات القابلة للمقارنة والضوابط الكافية. لا يدعي المؤلفون أن التوازي بين النماذج اللغوية الكبيرة والأنظمة البيولوجية خاطئ؛ بل يؤكدون أن العديد من الادعاءات المحددة (مثل "القدرة على التوجيه تنشأ مع المقياس" أو "الخلايا رتيبة تماماً") هي ادعاءات هشة وغالباً ما تكون آثاراً ناتجة عن مسارات غير معايرة.

تخلص الدراسة إلى ما يلي:

1. الدقة هي الفيصل: الضوابط ضرورية عندما يتضمن الأمر الاختيار والتدخل (التوجيه، الآفات)، ولكنها أقل أهمية للارتباط الصرف (الخرائط العالمية).
2. اختيارات القياس تملي الاستنتاجات: يمكن لمقبض واحد تعسفي (مثل طبقة ثابتة، أو قاعدة اختيار، أو وحدات خام) أن يختلق قوانين نمو، أو أشكال ترميز، أو خرائط وظيفية.
3. قابلية التكرار: يطلق المؤلفون البروتوكول، والمحفزات، والبرمجيات لتمكين فحص الادعاءات المستقبلية مقابل هذه الضوابط بدلاً من مجرد تأكيدها.

تلتزم الورقة بموقف متواضع، مشيرة إلى أنه على الرغم من عدم اكتشاف اتجاه نمو معتبر في سلسلة Qwen3، إلا أن الاختبار قد يفتقر إلى القدرة الكافية لاكتشاف المنحدرات المتوسطة، وأن غياب الاتجاه ليس دليلاً على ثبات المقياس. تعمل النتائج كإطار تحذيري لتفسير الادعاءات السببية في النماذج اللغوية الكبيرة.