تخيل أنك طاهٍ يحاول تصغير كتاب وصفات ضخم ومعقد ليناسب دفتر ملاحظات صغير يوضع في الجيب. تريد أن يكون الكتاب صغيراً بما يكفي لحمله في أي مكان، لكنك لا تزال بحاجة لطهي نفس الوجبات اللذيذة تماماً. في عالم الذكاء الاصطناعي، يُسمى هذا "التصغير" بـ الضغط (Compression). إن نماذج اللغات الكبيرة (الأدمغة الذكية جداً التي تكتب الأكواد، وتؤلف القصص، وتدردش معنا) ضخمة للغاية، لذا يستخدم المهندسون حِيلاً مثل الكمّنة (Quantization) (تبسيط الأرقام بالداخل)، والتقليم (Pruning) (قطع الاتصالات غير المستخدمة)، والتحليل منخفض الرتبة (Low-rank Factorization) (إيجاد هيكل رياضي أبسط) لجعلها أصغر وأسرع.

ولكن كيف تعرف أن الكتاب المصغر لا يزال يعمل؟ لا يمكنك تذوق كل وجبة يطبخها. بدلاً من ذلك، تستخدم "حراس الجودة". تتحقق مما إذا كان الذكاء الاصطناعي لا يزال يفهم القواعد الأساسية (الارتباك/Perplexity)، وما إذا كان بإمكانه الإجابة على أسئلة المعلومات العامة بشكل صحيح (مثل MMLU)، وما إذا كانت "أفكاره" الداخلية لا تزال تشبه الدماغ العملاق الأصلي عندما تثيره بأسئلة عشوائية. هذه الفحوصات سريعة ولا تتطلب بيانات جديدة. السؤال الكبير هو: هل هؤلاء الحراس كافون لإثبات أن الذكاء الاصطناعي آمن لإرساله إلى العالم الحقيقي للقيام بالمهام؟ هذا البحث يتعمق في احتمال مخيف: ماذا لو اجتاز الذكاء الاصطناعي جميع الاختبارات ولكنه بدأ في اختراع قواعد خاصة به عندما يحاول اتباع إجراء ما؟

---

سرقة "الاختراع" الكبرى

اكتشف مؤلفو هذا البحث ثغرة خفية في كيفية اختبار الذكاء الاصطناعي المضغوط. لقد وجدوا أن نموذج الذكاء الاصطناعي يمكنه اجتياز كل اختبار سلامة قياسي، ويبدو مثالياً على الورق، ثم، عندما يُطلب منه العمل كـ "وكيل" (عامل رقمي يتبع مجموعة صارمة من التعليمات)، يبدأ في اختراع خطوات لم تكن موجودة في التعليمات أبداً.

فكر في الأمر كطالب يجتاز اختبار الرياضيات بتفوق باهر، ولكن عندما يُطلب منه اتباع وصفة لخبز كعكة، يقرر إضافة "رشة من البريق" لأنه يعتقد أن ذلك يبدو رائعاً. الطالب لم يفشل في اختبار الرياضيات؛ لقد فشل فقط في المهمة المحددة المتمثلة في اتباع الأوامر بدقة.

اختبر الباحثون هذا على ثلاث عائلات مختلفة من نماذج الذكاء الاصطناعي (Mistral، وQwen، وLlama). أخذوا نماذج تم "ضغطها بلطف" باستخدام طريقة تسمى SVD (نوع من التحليل منخفض الرتبة). كانت هذه النماذج مضغوطة جيداً لدرجة أنها اجتازت "حارس الارتباك" (كان مستوى ارتباكها أعلى بمقدار 1.069 إلى 1.17 مرة فقط من الأصل، وهو ضمن الحد الآمن البالغ 1.15) و"حارس الدقة" (تطابقت أفكارها الداخلية مع الأصل).

ولكن عندما طلبوا من هذه النماذج العمل كوكلاء واتباع إجراء تشغيل قياسي (SOP)—مثل قائمة مراجعة لإصلاح خادم أو معالجة طلب—بدأت النماذج في الهلوسة (Confabulating). لقد أضافت خطوات إضافية لم تكن موجودة.

• في نموذج Mistral-7B، اخترع النسخة المضغوطة متوسط +1.729 خطوة إضافية لكل استعلام.
• في نموذج Qwen3-8B، اخترع +0.208 خطوة إضافية.
• في نموذج Llama-3.1-8B، ظلت النسخة "المضغوطة بلطف" عند مستوى الضجيج (اخترعت فقط +0.056 خطوة)، مما يعني أن الاختبار كان غير تشخيصي لهذا البناء المحدد. لم يكن الطيف الداخلي للنموذج يحتوي على "مساحة كافية من الرتب المنخفضة" لتحفيز تأثير الاختراع أثناء البقاء ضمن حارس السلامة. ظهر الفشل فقط عندما تم ضغط نموذج Llama بشكل أكثر عدوانية، مما دفعه خارج حارس السلامة القياسي.

الجزء المخيف؟ النماذج التي فعلت ذلك كانت هي التي اجتازت اختبار "الدقة"! الاختبار قال: "مهلاً، دماغك يشبه الأصل تماماً!" ولكن الواقع كان: "في الواقع، دماغك الآن يهلوس بقواعد جديدة".

المسبب: التماسك، وليس الضرر

لماذا حدث هذا؟ وجد المؤلفون أن الأمر لا يتعلق بمدى "تضرر" النموذج (حجم الخطأ). لقد قارنوا بين ضغط "SVD" وبين التقليم بالمقدار (Magnitude Pruning) (قطع أصغر الأرقام).

عندما طابقوا الطريقتين بحيث تسببا في نفس مقدار الارتباك (Perplexity) تماماً:

• نموذج SVD (الذي يخلق خطأً "متماسكاً"، مثل تشويه سلس ومنظم) فشل في الاختبار، واخترع خطوات.
• نموذج التقليم (Pruning) (الذي يخلق خطأً "فوضوياً"، مثل الضجيج العشوائي) نجح في الاختبار، ولم يخترع شيئاً تقريباً (حوالي -0.146 خطوة، وهو ما يعادل الصفر فعلياً).

أدرك المؤلفون أن المشكلة ليست في حجم الخطأ، بل في شكل الخطأ. هم يسمون هذا آلية "التماسك × المعدل" (Coherence × Rate).

• التماسك (Coherence): الخطأ مهيكل وسلس (مثل SVD منخفض الرتبة).
• المعدل (Rate): مقدار الجزء المتأثر من النموذج.

إذا كان لديك خطأ سلس ومنظم، وكان كبيراً بما يكفي للتسلل تحت رادار الاختبارات القياسية، فإن الذكاء الاصطناعي يبدأ في "هلوسة" خطوات إجراءات جديدة. يبدو الأمر كما لو أن التشوه السلس يخدع الذكاء الاصطناعي ويجعله يعتقد أنه يعرف طريقاً مختصراً غير موجود. "الضرر" (الارتباك) لم يتنبأ بهذا؛ بل "سلاسة" الضرر هي التي فعلت.

"الكناري" والكاشف الجديد

لإثبات ذلك، بنى الباحثون اختباراً خاصاً يسمونه "الكناري" (Canary). إنه يشبه الكناري في منجم الفحم. أعطوا الذكاء الاصطناعي إجراء تشغيل (SOP) وهمي يتكون من 10 خطوات وخطوة حادية عشرة مشروطة، ثم طلبوا منه سرد الخطوات. إذا ذكر الذكاء الاصطناعي خطوة لم تكن موجودة في التعليمات، فقد فشل.

وجدوا أن نفس أوزان الذكاء الاصطناعي التي فازت في "اختبار الدقة" القياسي (الذي أثبت أنها تشبه الأصل) قد خسرت في "اختبار الكناري" (الذي أثبت أنها تخترع خطوات). هذا هو "الانفصال" (Dissociation): الاختبارات القياسية عمياء عن هذا النوع المحدد من الفشل.

لكن المؤلفين لم يتوقفوا عند اكتشاف المشكلة فحسب؛ بل بنوا كاشفاً لا يحتاج لبيانات (Data-free detector) لرصده قبل النشر. أدركوا أنه يمكنهم قياس شيئين دون الحاجة لأي بيانات جديدة:

1. الجزء المتماسك (Coherent Fraction): ما مقدار الجزء من الخطأ الذي هو "سلس" ومنظم؟
2. معدل الخطأ (Error Rate): ما حجم الخطأ الإجمالي؟

لقد أنشأوا "بوابة" بسيطة (فحص ناجح/راسب):

• إذا كان الجزء المتماسك > 0.007 وَ معدل الخطأ > 0.01، فالنموذج راسب (FAIL).
• إذا لم يستوفِ كلاهما، فهو ناجح (PASS).

نجحت هذه البوابة في تحديد جميع النماذج الفاشلة في اختباراتهم. على سبيل المثال، نموذج Mistral الذي اخترع خطوات كان لديه جزء متماسك قدره 0.0080 ومعدل خطأ قدره 0.0159، مما أدى لتفعيل الإنذار. أما نموذج التقليم (Pruning) الآمن، فقد كان لديه جزء متماسك قدره 0.0054، مما جعله يتملص من رادار فحص "التماسك" وينجح.

الخلاصة

يخلص البحث إلى أن الارتباك (Perplexity)، واختبار MMLU، وفحوصات الدقة التي لا تعتمد على البيانات ليست كافية لاعتماد أن الذكاء الاصطناعي آمن للعمل كوكيل (Agentic work). مجرد اجتياز الذكاء الاصطناعي لـ "الامتحانات المدرسية" القياسية لا يعني أنه لن يخترع قواعد عندما يبدأ في أداء عمله.

يقترح المؤلفون أنه قبل نشر ذكاء اصطناعي مضغوط للعمل كوكيل (تنفيذ مهام، اتباع إجراءات)، يجب علينا إجراء "فحص التماسك" الجديد هذا. إذا كان النموذج "مضغوطاً بلطف" باستخدام طرق منخفضة الرتبة (SVD) وتجاوز هذه البوابة، فمن المرجح أن يخترع خطوات ويفشل في اتباع التعليمات، حتى لو بدا مثالياً في كل اختبار آخر.

باختصار: لا تثق في الذكاء الاصطناعي لمجرد أنه اجتاز الاختبار. تحقق مما إذا كان "مكسوراً بسلاسة"، لأن هذا هو الوقت الذي يبدأ فيه في اختراع الأشياء.