Absurd World: A Simple Yet Powerful Method to Absurdify the Real-world for Probing LLM Reasoning Capabilities
تقدم هذه الورقة "العالم العبثي" (Absurd World)، وهو إطار عمل للمقارنة المرجعية يعمل على تحويل السيناريوهات الواقعية بشكل منهجي إلى سياقات عبثية لكنها متماسكة منطقيًا، وذلك لتقييم ما إذا كانت النماذج اللغوية الكبيرة تمتلك قدرات استدلال منطقي قوية ومستقلة عن الأنماط الواقعية المحفوظة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً، قد قرأ كل كتاب ومقال وموقع على الإنترنت تقريباً. تسأله سؤالاً بسيطاً: "إذا كان لدي 3 تفاحات وأكلت واحدة، فكم يتبقى لدي؟" فيجيب "2" فوراً. يبدو الأمر مثالياً.
لكن ماذا لو قلت للروبوت: "في هذا العالم السحري، إذا أكلت تفاحة، فإنك في الواقع تكسب تفاحة"؟ سيفهم الإنسان هذه القاعدة الجديدة فوراً وسيقول: "حسناً، أصبح لدي 4 تفاحات". لكن هذه الورقة البحثية تشير إلى أن العديد من مساعدي الذكاء الاصطناعي الحاليين قد يصابون بالارتباك. قد يتجاهلون قاعدتك الجديدة ويقولون "2" لأن هذا ما تعلموا توقع حدوثه في "العالم الحقيقي".
تقدم هذه الورقة ساحة اختبار جديدة تسمى "العالم العبثي" (Absurd World) لترى ما إذا كان بإمكان الذكاء الاصطناعي اتباع قواعدك بالفعل، أم أنه يتبع فقط ذاكرته عما يحدث عادة في العالم الواقعي.
الفكرة الكبرى: لعبة "كرة القدم السحرية"
قام الباحثون بإنشاء لعبة بسيطة تعتمد على ركلات جزاء في كرة القدم. في اللعبة العادية، إذا ركلت الكرة داخل الشباك، تحصل على نقطة. إذا أخطأت الهدف، لا تحصل على شيء.
في "العالم العبثي"، أخذوا هذه اللعبة المألوفة وحوروا قواعدها قليلاً، فخلقوا نسخاً "عبثية" لا تزال سهلة الفهم للبشر ولكنها غريبة بالنسبة للذكاء الاصطناعي:
- قاعدة "الإخفاق": في هذه النسخة، الإخفاق في إصابة الشباك يمنحك نقطة، وإصابة الشباك تمنحك صفراً.
- قاعدة "الأقل": الفريق الذي يسجل أقل عدد من النقاط هو الفائز.
- قاعدة "الآيس كريم": بدلاً من النقاط، تكسب الفرق أقماع الآيس كريم.
- قاعدة "التبديل": تقوم الفرق بركل الشباك باتجاه الكرة (عكس أدوار الأشياء).
لم يكن الهدف جعل الرياضيات صعبة؛ فالرياضيات كانت مجرد عدّ بسيط. الهدف كان معرفة ما إذا كان بإمكان الذكاء الاصطناعي تجاهل معرفته بالعالم الحقيقي واتباع التعليمات الغريبة والجديدة بدقة.
كيف اختبروا ذلك؟
لقد تصرفوا كعلماء مجانين، حيث قاموا بتفكيك لعبة كرة قدم قياسية إلى وحدات بناء:
- الرموز: اللاعبون، الكرة، الشباك.
- الأفعال: الإصابة أو الإخفاق.
- القواعد: كيف يتم تسجيل النقاط ومن يفوز.
ثم قاموا بتبديل هذه الوحدات حول بعضها لإنشاء مئات من هذه السيناريوهات "العبثية". وطلبوا من نماذج مختلفة من الذكاء الاصطناعي قراءة قصة قصيرة عن مباراة وإعلان الفائز.
النتائج المفاجئة
وجدت الورقة ثلاثة أمور رئيسية قد تجعلك تعيد التفكير في مدى "ذكاء" هذه الأنظمة:
1. النماذج "الأغلى ثمنًا" كانت في الواقع أسوأ
قد تعتقد أن نماذج الذكاء الاصطناعي الأكثر قوة والأعلى تكلفة ستكون الأفضل في اتباع القواعد الجديدة. لكن المثير للدهشة أن النماذج "الرخيصة" كانت غالباً أفضل من النماذج "الغالية" غير القائمة على الاستنتاج. بدت النماذج الغالية وكأنها عالقة في أفكارها الخاصة، حيث اعتمدت بشكل مفرط على ما "ظنت" أنه يجب أن يحدث في مباراة كرة قدم حقيقية، بدلاً من اتباع ما ورد في النص فعلياً.
2. نماذج "الاستنتاج" كانت هي الأبطال
النماذج المصممة خصيصاً لـ "التفكير" (والتي تُسمى غالباً نماذج الاستنتاج) كانت الوحيدة التي حصلت على درجة كاملة. لقد استطاعت النظر إلى القاعدة العبثية ("الإخفاق يمنح نقطة") والقول: "حسناً، سأتجاهل معرفتي بالعالم الحقيقي وأتبع هذه القاعدة الجديدة". لم ترتبك أمام السحر.
3. إعطاء الأمثلة أدى لنتائج عكسية
عادةً، عندما تريد تعليم شيء ما للذكاء الاصطناعي، فإنك تعطيه بعض الأمثلة أولاً (وهذا ما يسمى "التحفيز بالأمثلة القليلة" أو few-shot prompting). قد تقول له: "إليك مثال على كيفية اللعب، والآن دورك".
- التحول المفاجئ: في هذه الدراسة، أدى إعطاء الأمثلة للذكاء الاصطناعي إلى جعله أسوأ. بدا وكأن رؤية أمثلة للطريقة "القديمة" في فعل الأشياء قد أربكت الذكاء الاصطناعي عندما حاول الانتقال إلى القواعد "العبثية". كان الأمر يشبه إظهار صورة قطة لشخص قبل أن تطلب منه رسم كلب؛ سيستمر في رسم ملامح القط.
الخلاصة
تجادل الورقة بأننا بحاجة للتوقف عن اختبار الذكاء الاصطناعي فقط عبر الألغاز المعقدة والصعبة. بدلاً من ذلك، نحتاج لاختباره في مهام بسيطة بقواعد غريبة.
إذا كان الذكاء الاصطناعي لا يستطيع اتباع قاعدة بسيطة تقول "أخطئ الهدف لتفوز"، فقد لا يكون من الآمن الوثوق به في مهام أكثر تعقيداً حيث تكون القواعد مختلفة عما تعلمه من بيانات تدريبه. "العالم العبثي" هو أداة للتحقق مما إذا كان الذكاء الاصطناعي يستمع إليك حقاً، أم أنه يكتفي بسرد ما يعتقد أنك تريد سماعه.
باخت de مختصر: مجرد معرفة الذكاء الاصطناعي بكل شيء عن العالم الحقيقي لا يعني بالضرورة قدرته على اللعب وفق قواعدك في عالم سحري. لقد صممت هذه الورقة ملعباً لاكتشاف أي الذكاء الاصطناعي يمكنه تغيير مساره، وأيها عالق في وضع الحياد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.