Don't Judge a Book by its Cover: Testing LLMs' Robustness Under Logical Obfuscation

إليك شرح لورقة بحثية بعنوان "لا تحكم على الكتاب من غلافه"، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: اختبار "السؤال الخادع"

تخيل أن لديك طالباً ذكياً جداً يمكنه التفوق في اختبار الرياضيات إذا كانت الأسئلة مكتوبة بوضوح. ولكن بمجرد أن تعيد كتابة نفس المسألة الرياضية باستخدام كلمات منمقة ومربكة أو بخط مختلف، يتعثر الطالب ويفشل.

تجادل هذه الورقة البحثية بأن نماذج الذكاء الاصطناعي المتقدمة اليوم (نماذج اللغات الكبيرة، أو LLMs) تشبه ذلك الطالب. فهي بارعة في التعرف على الأنماط التي رأتها من قبل، لكنها تعاني عندما تكون المسألة متطابقة منطقياً ولكنها تبدو مختلفة.

أراد الباحثون معرفة ما إذا كانت هذه الأنظمة تفهم المنطق حقاً أم أنها مجرد تحفظ للطريقة التي تبدو بها الأسئلة عادةً. ولاختبار ذلك، أنشأوا لعبة جديدة تسمى LogiQAte.

الأداة: "Logifus" (المتحول السحري)

لتشغيل اختبارهم، بنى المؤلفون أداة تسمى Logifus. فكر في Logifus كـ "مترجم سحري" يأخذ سؤالاً بسيطاً ويعيد كتابته بطريقة تكون:

1. متطابقة منطقياً: الإجابة لم تتغير على الإطلاق.
2. مربكة بصرياً: الكلمات، أو الهيكل، أو الرموز مختلفة تماماً.

التشبيه:
تخيل وصفة تقول: "اخلط كوبين من الدقيق مع كوب واحد من السكر".

• الأصل: "اخلط كوبين من الدقيق مع كوب واحد من السكر."
• النسخة المربكة: "اجمع المسحوق الأبيض من الكيس الأول (الذي يحتوي على مقياسين قياسيين) مع البلورات الحلوة من الكيس الثاني (الذي يحتوي على مقياس قياسي واحد)."

كلتا التعليمات تؤديان إلى نفس الخليط تماماً. الطاهي البشري يدرك أنهما الشيء نفسه. أراد الباحثون معرفة ما إذا كان الذكاء الاصطناعي سيدرك أنهما متطابقان، أم سيصاب بالارتباك بسبب الصياغة الجديدة.

التحديات الأربعة (المهام "المُربكة")

اختبر الباحثون الذكاء الاصطناعي في أربعة أنواع من الألغاز، محولين كل منها إلى نسخة "خادعة":

1. الألغاز المنطقية (Obfus FOL):

   • العادي: "إذا أمطرت، تبتل الأرض."
   • الخداع: "من الخطأ أن تظل الأرض جافة كلما أمطرت."
   • الاختبار: هل يمكن للذكاء الاصطناعي أن يرى أن هاتين الجملتين تعنيان الشيء نفسه تماماً؟

2. أشجار العائلة (Obfus Blood Relation):

   • العادي: "د هي زوجة ج، و ج هو والد ف. كيف ترتبط د بـ ف؟" (الإجابة: الأم).
   • الخداع: "د هي زوجة ج، و ج هو الابن الوحيد لجد ف. كيف ترتبط د بـ ف؟"
   • الاختبار: يجب على الذكاء الاصطناعي فك تشابك سلسلة عائلية طويلة ومتعرجة بدلاً من الرابط المباشر.

3. أنماط الأرقام (Obfus Number Series):

   • العادي: "2، 4، 6، 8، ؟" (الإجابة: 10).
   • الخداع: استبدلوا الأرقام بأسماء كواكب (الزهرة، المريخ، المشتري، زحل) أو حتى رموز تبدو عشوائية (مثل "a87ff...").
   • الاختبار: هل يمكن للذكاء الاصطناعي اكتشاف النمط (إضافة 2) حتى لو كانت الأرقام مخفية خلف رموز أو أكواد؟

4. إدراك الاتجاهات (Obfus Direction Sense):

   • العادي: "سر 5 أميال شمالاً، ثم 3 أميال شرقاً."
   • الخداع: "سر 6 أميال شمالاً، 4 أميال شرقاً، 6 أميال جنوباً، 3 أميال شرقاً، 4 أميال غرباً، وأخيراً 5 أمل شمالاً."
   • الاختبار: الخطوات الإضافية تلغي بعضها البعض (شمال ثم جنوب = صفر)، مما يترك الوجهة النهائية كما هي. يجب على الذكاء الاصطناعي تجاهل "الضجيج" للعثور على المسار الحقيقي.

ماذا حدث؟ (النتائج)

كانت النتائج بمثابة صرخة استيقاظ. عندما كانت الأسئلة "مُربكة" (مخادعة)، انهارت أداء الذكاء الاصطناعي.

• الهبوط: حتى أكثر النماذج ذكاءً، مثل GPT-4o و GPT-5، شهدت انخفاضاً كبيراً في دقتها. في المتوسط، انخفضت درجاتها بنسبة 27% إلى 47%.
• "منطقة فشل الاستدلال": نظر الباحثون داخل "عقل" الذكاء الاصطناعي (طبقاته العصبية) أثناء الإجابة. ووجدوا أنه عندما يكون السؤال مخادعاً، تنخفض ثقة الذكاء الاصطناعي في إجاباته بشكل حاد في الطبقات العميقة من شبكته. كان الأمر يشبه طالباً يبدأ في الذعر في منتصف الاختبار لأن الصياغة لا تطابق ما حفظه.
• الحفظ مقابل الفهم: أظهرت الدراسة أن الذكاء الاصطناعي، عند مواجهة هذه الأسئلة المخادعة، اعتمد بشكل أكبر بكثير على الأنماط المحفوظة من بيانات التدريب الخاصة به بدلاً من التفكير فعلياً في المنطق. لقد كان يحاول تخمين الإجابة بناءً على كيفية "شكل" السؤال، وليس ما "يعنيه".

الخلاصة

تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الحالية بارعة في مطابقة الأنماط ولكنها ليست بارعة بعد في الاستدلال العميق.

المجاز النهائي:
فكر في نماذج الذكاء الاصط هذه كممثلين حفظوا نصاً مسرحياً بدقة. إذا أعطيتهم النص كما هو مكتوب تماماً، فسوف يؤدون ببراعة. ولكن إذا أعطيتهم نفس النص مع تغيير ترتيب الكلمات أو تغيير توجيهات المسرح (حتى لو كانت القصة هي نفسها)، فسوف ينسون أدوارهم. إنهم لم يتعلموا القصة؛ بل تعلموا فقط النص.

يقول الباحثون إننا بحاجة لبناء نماذج تفهم المعنى وراء الكلمات، وليس مجرد الكلمات نفسها، حتى تتمكن من التعامل مع هذه "الأسئلة الخادعة" دون فشل.