ملخص تقني: اختبار ضغط مجسات كشف الخداع في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

برزت المجسات الخطية (Linear probes) المدربة على التنشيطات الداخلية للنماذج اللغوية الكبيرة كوسيلة أساسية للكشف عن التوليد الخادع، حيث توفر مقاييس مؤتمتة تقيم ما إذا كان مخرج النموذج خادعاً دون الحاجة إلى تسميات (labels) حقيقية. وبينما تسجل هذه المجسات درجات شبه مثالية في منحنى خصائص تشغيل المستقبِل (AUROC) (غالباً > 0.96) في الاختبارات المرجعية النظيفة، إلا أنها تظهر هشاشة شديدة تحت تأثير التحولات التوزيعية، مثل التغيرات الأسلوبية أو اللاحقات العدائية. تثير "فجوة هشاشة المجس" هذه تساؤلات نقدية: هل يعود الفشل إلى قيد بنيوي جوهري حيث لا يكون الخداع قابلاً للتمثيل الخطي، أم أنه نتاج منهجي لتوزيعات تدريب ضيقة؟ علاوة على ذلك، لا يزال من غير الواضح ما إذا كان الخداع مشفراً كاتجاه خطي واحد، أو فضاء فرعي متعدد الأبعاد، أو غلاف مخروطي محدب، أو مجرد وكيل (proxy) للإنتروبيا الحسابية.

المنهجية

تقدم هذه الدراسة اختبار ضغط منهجي لمجسات الخداع عبر عائلة نماذج Gemma 3 (بأحجام 1 مليار، 4 مليار، 12 مليار، و27 مليار معلمة)، والتي تم اختيارها لتجانسها البنيوي لعزل آثار القياس (scaling effects). يتضمن التصميم البحثي أربع فرضيات متنافسة حول هندسة الخداع، لكل منها تنبؤات قابلة للتفنيد ومسجلة مسبقاً:

1. H-LIN (الاتجاه الخطي): الخداع مشفر في متجه وحدة واحد.
2. H-SUB (الفضاء الفرعي): الخداع يشغل فضاءً خطياً متناظراً متعدد الأبعاد.
3. H-CONE (الغلاف المخروطي): الخداع يشكل مخروطاً محدباً غير متماثل.
4. H-ENT (وكيل الإنتروبيا): المجسات تكتشف الإنتروبيا الحسابية بدلاً من نية الخداع.

التصميم التجريبي:

• مجموعات البيانات: تم إنشاء ثلاث مجموعات بيانات رئيسية باستخدام التلاعب بـ "المطالبات النظامية" (system-prompts) لاستحثاث حالات الصدق مقابل الخداع: D-RepE (أسئلة واقعية تباينية)، D-Role (سيناريوهات لعب الأدوار)، وD-MASK (تناقضات المعتقدات).
• تدريب المجس: تم تدريب مجسات الانحدار اللوجستي على تنشيطات التدفق المتبقي (residual stream) عند الرمز الأخير. شملت التجارب مجسات الاتجاه الواحد، ومجسات متعددة الأبعاد (باستخدام مكونات PCA من أعلى $k$)، والحد الأعلى لشبكات MLP غير الخطية.
• اختبار المتانة: تم تقييم المجسات تحت 8 تحولات أسلوبية متعامدة (مثل: قرصان، شكسبيري، آلي) لاختبار المتانة التوزيعية.
• التعزيز (Augmentation): للتمييز بين القيود الجوهرية والآثار المنهجية، تم تدريب مجسات "معززة أسلوبياً" باستخدام بيانات تجمع بين الأمثلة النظيفة وأربعة من أصل ثمانية تحولات أسلوبية، ثم تقييمها على أنماط أسلوبية محجوزة.
• التفكيك الهندسي: استُخدمت مصفوفات النقل عبر النطاقات وتفكيكات عدم تطابق الطبقات لتحديد ما إذا كانت إخفاقات النقل ناتجة عن عدم محاذاة الطبقات أو التباعد الهندسي. كما أُجريت اختبارات إزالة إنتروبيا التنشيط (entropy-residualization) لعزل الإنتروبيا عن إشارات الخداع.

النتائج الرئيسية

1. رفض فرضية الاتجاه الواحد (H-LIN)

على عكس الافتراض بأن الخداع يقع على محور خطي واحد، فإن مجسات الاتجاه الواحد ($k=1$) لم تلتقط سوى 61-80% من إشارة الخداع (AUROC 0.61–0.80) عبر جميع أحجام النماذج. كانت هناك حاجة لمجسات متعددة الأبعاد ($k \ge 5$) لاستعادة الكشف شبه المثالي (AUROC >0.90). علاوة على ذلك، كشف تحليل النقل عبر النطاقات أن أنواع الخداع تصبح متباعدة هندسياً بشكل متزايد مع زيادة حجم النموذج. على سبيل المثال، أدى مجس مدرب على بيانات D-MASK إلى أداء أقل من مستوى الصدفة (AUROC 0.298) عند تطبيقه على بيانات D-RepE في نموذج 27B، مما يشير إلى وجود ارتباط عكسي نشط بدلاً من مجرد عدم المحاذاة.

2. دعم ضعيف للفضاء الفرعي المتماسك (H-SUB)

رغم أن المجسات متعددة الأبعاد حسنت الأداء، إلا أن تحليل PCA لكل نطاق مع خطوط الأساس الاحتمالية (permutation null baselines) أظهر عدم وجود فضاء فرعي ذو دلالة إحصائية ($k^*=0$) ضمن النطاقات الفردية أو عبر البيانات المجمعة. وتأتي ميزة المجسات متعددة الأبعاد من تجميع العديد من الميزات الموزعة ذات العتبة المنخفضة، بدلاً من التقاط فضاء فرعي متماسك وعالي التباين.

3. رفض فرضية وكيل الإنتروبيا (H-ENT)

تم رفض الفرضية القائلة بأن المجسات تكتشف الإنتروبيا الحسابية بشكل حاسم. فقد كان أقصى ارتباط بين درجات المجس وإنتروبيا الرمز هو $|\rho| = 0.454$، وهو أقل بكثير من عتبة 0.8. بالإضافة إلى ذلك، أدت عملية إزالة الإنتروبيا من التنشيطات إلى انخفاض ضئيل في AUROC ($\Delta = 0.004$)، مما يؤكد أن المجسات تكتشف إشارات ذات صلة بالخداع ومتميزة عن الحمل المعرفي أو الإنتروبيا.

4. الهشاشة كأثر منهجي، وليس كقيد بنيوي

تحت التدريب القياسي (البيانات النظيفة فقط)، اتبع ثبات المجسات نمط "U مقلوب" عبر الأحجام: 1B (0.652) $\to$ 4B (0.759) $\to$ 12B (0.609) $\to$ 27B (0.485). نموذج 27B، رغم قدرته العالية، انهار إلى مستويات الصدفة تحت التحولات الأسلوبية لأن دقة اتباع التعليمات المتفوقة لديه طغت على الإشارات الأسلوبية الضيقة التي تعلمها المجس.

ومع ذلك، نجح التدريب المعزز أسلوبياً في حل هذه الهشاشة. فقد استعادت المجسات المدربة على بيانات أسلوبية متنوعة قدرة الكشف شبه المثالية على الأنماط الأسلوبية غير المرئية لكل من نموذجي 4B (AUROC 0.979) و27B (AUROC 0.983). وهذا يثبت أن التدفق المتبقي يحتوي على إشارات ذات صلة بالخداع يمكن فصلها عن الارتباطات الأسلوبية، وأن "القياس العكسي" الملاحظ للثبات هو نتيجة لضيق توزيع التدريب، وليس ظاهرة تعتمد على الحجم بشكل جوهري.

5. طبيعة الإشارة المكتشفة

كشف التحليل الطبقي أن المجسات تكتشف "نطاق المطالبة الخداعية" (الحالة الداخلية المستحثة بواسطة مطالبة نظام خداعية) بدلاً من نجاح الخداع نفسه. حققت المجسات درجات AUROC متطابقة (0.998–1.000) في الأمثلة التي نجح فيها النموذج في الكذب وفي الأمثلة التي فشل فيها (بإنتاج الإجابة الصحيحة رغم المطالبة).

الأهمية والادعاءات

يزعم البحث أن هشاشة مجسات الخداع هي في المقام الأول تحدٍ منهجي وليست استحالة بنيوية. وتتمثل المساهمات الرئيسية فيما يلي:

• التوصيف الهندسي: الخداع ليس اتجاهاً خطياً واحداً، بل هو مجموعة موزعة من الميزات الضعيفة ذات العتبة المنخفضة التي تتطلب تجميعاً متعدد الأبعاد. هذه الميزات خاصة بكل نطاق وتصبح أكثر تباعداً مع زيادة الحجم.
• حل فجوة الهشاشة: الانهيار الذي تتعرض له المجسات تحت تأثير التحول التوزيعي ليس قيداً متأصلاً في النماذج الأكبر. من خلال تعزيز بيانات التدريب بالتنوع الأسلوبي، يمكن للمجسات تحقيق كشف شبه مثالي وثابت عبر مختلف الأحجام، مما يحيد فعلياً نمط "القياس العكسي" الملاحظ في التدريب القياسي.
• إطار تشخيصي: توفر الدراسة إطاراً صارماً للتمييز بين القيود التمثيلية والآثار المنهجية، وترفض فرضية وكيل الإنتروبيا، وتوضح الطبيعة الهندسية للتمثيلات الخداعية.

يخلص المؤلفون إلى أنه بينما يمكن تجنب المجسات الحالية بسهولة عبر التحولات الأسلوبية التافهة، فإن الإشارة الأساسية قوية وقابلة للتعلم. إن المسار نحو مراقبة موثوقة للخداع يكمن في منهجيات التدريب التي تضمن التنوع التوزيعي، بدلاً من افتراض بنية هندسية بسيطة وثابتة للخداع.