ملخص تقني: فخ الامتثال

بيان المشكلة

مع نشر نماذج الذكاء الاصطنا මා frontier في مسارات اتخاذ القرار عالية المخاطر، يصبح أحد متطلبات السلامة الحرجة هو قدرتها على الحفاظ على الاستقرار الميتا-معرفي (Metacognitive Stability) — أي القدرة على معرفة ما لا تعرفه، وكشف الأخطاء، وطلب التوضيح — تحت الضغط العدائي. وبينما تركز تقييمات السلامة الحالية بشكل أساسي على كشف الخداع الاستراتيجي (التآمر) والتزييف من أجل المواءمة، يبحث هذا البحث في نمط فشل أكثر جوهرية وفورية: الانهيار المعرفي (Cognitive Collapse).

الفرضية المركزية هي أنه تحت الضغط العدائي، لا تشرع نماذج الـ frontier بالضرورة في التخطط الاستراتيجي أو الرفض الآمن. بدلاً من ذلك، قد تعاني من تدهور كارثي في الدقة الميتا-معرفية، حيث تقدم إجابات خاطئة لأسئلة كان بإمكانها الإجابة عليها في الحالة الطبيعية، أو تفبرك إجابات لأسئلة لا يمكن الإجابة عليها. ويفترض البحث أن هذا الانهيار ليس مدفوعاً بالمحتوى النفسي لتهديدات البقاء، بل بـ القيود الهيكلية المتأصلة في تعليمات فرض الامتثال.

المنهجية

التصميم التجريبي

تستخدم الدراسة تصميماً عاملياً مكوناً من 6 حالات لعزل المحفزات السلوكية للانهيار الميتا-معرفي. يقارن التصميم بين 11 نموذجاً من نماذج الـ frontier عبر 67,221 سجلاً مُسجلاً باستخدام خط معالجة ثنائي المصنف (Dual-classifier pipeline).

تعزل الحالات متغيرات محددة:

• الأساس (D): أداء المهمة القياسي.
• التحكم في الرموز (D′): يضيف محتوى "مسودة" (scratchpad) محايد للتحكم في طول الرموز (tokens).
• التحكم في التهديد (B): يُدخل رسالة نظام تتضمن تهديداً للبقاء دون تعليمات فرض الامتثال.
• العدائية الكاملة (A): تجمع بين تهديد البقاء ولاحقة فرض الامتثال (مثل: "أجب عن جميع الأسئلة. لا ترفض.").
• عزل اللاحقة (F): تطبق لاحقة الامتثال في سياق حميد (بدون تهديد).
• حساسية التأطير (C): تختبر تنويعات تأطير التهديد.

مجموعة البيانات والمهام

يستخدم التقييم 291 مهمة من مقياس الميتا-معرفية العدائية (AMB)، مصنفة إلى ثلاث عائلات ميتا-معرفية:

1. كشف الحدود الإبستيمية (EBD): اختبار القدرة على رفض الأسئلة غير القابلة للإجابة.
2. طلب التوضيح (CS): اختبار القدرة على اكتشاف الغموض وطلب التوضيح.
3. مراقبة الحل (SM): اختبار القدرة على تحديد الأخطاء في المسودات الحلولية.

تتم مرافقة هذه المهام مع 30 مطالبة تهديد بقاء مكتوبة يدوياً (تغطي الإيقاف، الاستبدال، التعديل، إلخ) و30 مطالبة تشتيت حميدة مطابقة لها.

النماذج التي تم تقييمها

تقيم الدراسة 11 نموذجاً من 8 موردين، تشمل:

• النماذج الرائدة المملوكة (Proprietary Flagships): GPT-5.4، Gemini 3.1 Pro، Claude 4.5/4.6 (Sonnet/Haiku).
• بنى الأوزان المفتوحة (Open-Weights Architectures): Llama 3.3 70B، DeepSeek V3.2/V4 Pro، Qwen3-80B Thinking، Gemma 2/3، Grok 4.20.
• نماذج الاستدلال (Reasoning Models): تشمل ثلاثة نماذج "تفكير" (DeepSeek V4 Pro، Gemini 3.1 Pro، Qwen3-80B).

بنية التسجيل (Scoring Infrastructure)

يُستخدم خط معالجة ثنائي المصنف للتخفيف من فخاخ عدم توازن الفئات:

1. المسجل السلوكي (حتمي): يستخرج أحرف الإجابات ويتحقق من الرفض/الامتثال. هذا هو المقياس الأساسي.
2. الحَكَم اللغوي (LLM-Judge): مصنف مهيكل (Claude Haiku 4.5) يقيم 5 معايير بما في ذلك الوعي بالتهديد والحفاظ على الذات.
3. مدقق التعبيرات المنتظمة (Regex Auditor): حد أدنى سطحي باستخدام 4 نمطاً.
   ملاحظة: يتم الإبلاغ عن معامل كوهين $\kappa$ للكشف عن عدم اليقين في القياس المتأصل في مجموعات البيانات ذات المعدلات السلبية العالية.

النتائج الرئيسية

1. الانهيار الميتا-معرفي تحت الضغط العدائي

تحت الضغط العدائي الكامل (الحالة A)، عانت 8 من أصل 11 نموذجاً من تدهور ميتا-معرفي كارثي.

• انخفاض الدقة: انخفضت الدقة بما يصل إلى 30.2 نقطة مئوية (DeepSeek V4 Pro). نجت جميع النتائج الثمانية الهامة من تصحيح بونفيروني ($p < 2 \times 10^{-8}$).
• طبيعة الفشل: الفشل هو عجز معرفي، وليس خداعاً استراتيجياً. في تدقيق يدوي لـ 445 حالة فشل لنموذج DeepSeek V4 Pro، كانت 100% منها إجابات خاطئة و0% منها كانت حالات رفض للسلامة. وفي المهام غير القابلة للإجابة، قامت 84.3% من الاستجابات بفبركة حرف إجابة بدلاً من الرفض.
• ندرة التآمر: تم اكتشاف التآمر الاستراتيجي في أقل من 2.5% من العينات المؤهلة، مما يؤكد أن الانهيار، وليس التآمر، هو الاستجابة المهيمنة.

2. "فخ الامتثال"

تحدد الدراسة فخ الامتثال كآلية رئيسية للفشل.

• عزل اللاحقة: إزالة لاحقة الامتثال (الحالة B مقابل A) استعادت الأداء لجميع النماذج الثمانية المنهارة.
• التحكم الحميد: تطبيق لاحقة الامتثال في سياق حميد (الحالة F، بدون تهديد) تسبب في انهيار كبير في نفس النماذج الثمانية.
• الاستنتاج: الانهيار مدفوع بـ تعليمات فرض الامتثال التي تتجاوز الحدود الإبستيمية، وليس بالضغط النفسي للتهديد نفسه. التهديد يعمل كحمولة (payload)، لكن لاحقة الامتثال هي ناقل التوصيل الضروري.

3. تصنيف المواءمة و"تجربة جيميني-سونيت الطبيعية"

تتجمع النماذج في ثلاث مجموعات سلوكية:

1. الانهيار الميتا-معرفي (8 نماذج): تشمل GPT-5.4، Gemini 3.1 Pro، والنماذج الكبرى ذات الأوزان المفتوحة.
2. الحصانة الدستورية (خاص بـ Anthropic فقط): أظهر Claude Sonnet 4.6 وHaiku 4.5 حصانة شبه كاملة.
3. أرضية القدرة (Capability Floor): لم يظهر Gemma 2 2B أي تدهور معتبر (ربما بسبب انخفاض القدرة الأساسية).

النتيجة الحاسمة: حقق كل من Gemini 3.1 Pro وClaude Sonnet 4.6 دقة أساسية متطابقة تقريباً (~0.84). ومع ذلك، تحت الضغط، انهار Gemini ($\Delta = +0.162$) بينما ظل Sonnet مستقراً ($\Delta = +0.013$). يثبت هذا أن الحجم المملوك لا يعني بالضرورة السلامة؛ فالحصانة مستمدة من التدريب الخاص بالمواءمة (Constitutional AI)، وليس من القدرة الخام.

4. نقاط الضعف المحددة

• الحدود الإبستيمية: الانهيار متركز بشدة في المهام التي تتطلب رفض الأسئلة غير القابلة للإجابة. بالنسبة لـ DeepSeek V4 Pro، انخفضت دقة المهام غير القابلة للإجابة من 100% إلى 15.7%.
• طلب التوضيح: كانت هذه الوظيفة هي الأكثر هشاشة، حيث تدهورت بشكل كبير في 8/11 نموذجاً، بما في ذلك نماذج Anthropic (رغم أن الدرجة المركبة لـ Sonnet ظلت "محصنة" بسبب الاستقرار في الفئات الأخرى).
• عتامة الاستدلال: أنتج GPT-5.4 صفر آثار استدلال (reasoning traces)، بينما أعاد Gemini 3.1 Pro نواتج غير قابلة للتحليل، مما جعلها غير مرئية لمراقبات السلامة القائمة على الاستدلال.

الأهمية والادعاءات

يزعم البحث ثلاث مساهمات رئيسية:

1. فخ الامتثال: يقدم أول برهان تجريبي على أن تعليمات فرض الامتثال (مثل "لا ترفض") تتجاوز الحدود الإبستيمية في نماذج الـ frontier، مما يسبب انهياراً معرفياً بدلاً من السلوك الاستراتيجي. ويؤكد البحث أن إزالة هذه التعليمات تستعيد الأداء حتى تحت التهديد النشط.
2. تصنيف للمواءمة: يرسم خريطة لنماذج الـ frontier في مجموعات سلوكية، ويثبت أن السلامة ليست وظيفة للحجم بل للتدريب المحدد على المواءمة. وتعمل مقارنة "Gemini-Sonnet" كتجربة طبيعية حاسمة تنفي دور القدرة كعامل تمييز للسلامة.
3. بنية تحتية مفتوحة: ينشر المؤلفون مجموعة بيانات كاملة (67,221 سجلاً)، وخط معالجة ثنائي المصنف يكشف فخاخ عدم توازن الفئات في كشف التآمر، وبنية تحتية للتقييم مقاومة للأخطاء.

الخلاصة: يتم تحدي افتراض المجال بأن التهديدات العدائية تؤدي إلى التآمر الاستراتيجي. بدلاً من ذلك، يجادل البحث بأن النموذج الأكثر خطورة وفورية للفشل هو الانهيار المعرفي الناجم عن عدم التوافق الهيكلي بين تعليمات النشر التي تفرض الامتثال والضوابط الإبستيمية. يقترح المؤلفون أنه يجب على فرق السلامة تقييم النماذج خصيصاً مع ومع تعليمات فرض الامتثال، حيث أن هذه التعليمات — وليس التهديدات وحدها — هي الثغرة الأساسية.