Do AI Models Perform Human-like Abstract Reasoning Across Modalities?
تُثبت هذه الورقة أن تقييم التفكير التجريدي للذكاء الاصطناعي بناءً على الدقة وحدها هو أمر مضلل، لأنه يبالغ في تقدير القدرات في المهام القائمة على النصوص حيث تعتمد النماذج على اختصارات سطحية، ويقلل من تقديرها في المهام البصرية حيث تدرك النماذج غالباً التجريدات المقصودة رغم فشلها في تطبيقها بشكل صحيح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تعطي طالبًا لغزًا. يظهر اللغز بعض الأمثلة لكيفية تغير نمط ما (مثل "حرك المربع الأحمر إلى اليسار")، ثم يطلب من الطالب تطبيق نفس القاعدة على صورة جديدة لم يسبق رؤيتها.
لفترة طويلة، كنا نختبر الذكاء الاصطناعي في هذه الألغاز باستخدام "بطاقة تقييم" تحسب فقط عدد المرات التي يصل فيها الذكاء الاصطناعي إلى الإجابة النهائية الصحيحة. إذا حصل الذكاء الاصطناعي على الصورة الصحيحة، فإننا نعطيه درجة امتياز (+A).
هذه الورقة البحثية تطرح سؤالًا أعمق: هل فهم الذكاء الاصطناعي القاعدة حقًا، أم أنه مجرد حالفه الحظ عبر رصد خدعة غريبة؟
إليك قصة ما وجده الباحثون، مشروحة ببساطة:
١. الطريقتان لاختبار القدرات
اختبر الباحثون نماذج الذكاء الاصطناعي رفيعة المستوى (مثل o3 من OpenAI، وClaude، وGemini) بطريقتين مختلفتين:
- وضع النص: قدموا اللغز للذكاء الاصطناعي كقائمة من الأرقام والكلمات (على سبيل المثال: "الشبكة ١ تحتوي على مربع أحمر في الموقع ٢،٢...").
- الوضع البصري: عرضوا على الذكاء الاصطناعي صورة فعلية للغز، تمامًا كما يراه البشر.
٢. مفاجأة "النص": درجات عالية، وفهم سطحي
عندما خاض الذكاء الاصطناعي الاختبار في وضع النص، حقق أداءً مذهلاً. في الواقع، حصل أفضل ذكاء اصطناعي (o3) على درجة أعلى من متوسط البشر.
لكن هنا تكمن الخدعة: طلب الباحثون من الذكاء الاصطناعي شرح كيفية حله للغز.
- البشر عادة ما يشرحون الأمر باستخدام المفهوم الحقيقي، مثل "أزل الكائنات العلوية والسفلية".
- الذكاء الاصطناعي غالبًا ما قدم تفسيرات صحيحة تقنيًا للأمثلة المعروضة تحديدًا، لكنها أغفلت الصورة الكبيرة.
التشبيه: تخيل طالبًا يجري اختبارًا في الرياضيات. يسأل المعلم: "ما هو ٢ + ٢؟" فيجيب الطالب "٤". يسأله المعلم: "كيف وصلت لهذه النتيجة؟" فيقول الطالب: "لقد نظرت إلى الساعة، وكانت العقارب عند الرقم ٤، لذا خمنت أن الإجابة ٤".
كانت الإجابة صحيحة، لكن التفكير كان عبارة عن "اختصار". كان الذكاء الاصطناعي يفعل هذا باستمرار؛ فقد كان يرصد أنماطًا عرضية في الأرقام (مثل "اللون الأحمر دائمًا هو الرقم ٣، لذا سأقوم بإزالة الرقم ٣") بدلاً من فهم مفهوم "الكائنات".
الحكم: في وضع النص، بالغت درجات الذكاء الاصطنالة العالية في تقدير ذكائه الحقيقي. لقد كان جيدًا في التخمين، لكنه لم يكن دائمًا جيدًا في التفكير المنطقي.
٣. مفاجأة "البصر": درجات منخفضة، وعبقرية خفية
عندما انتقل الباحثون إلى الوضع البصري (عرض الصور)، انهارت درجات الذكاء الاصطناعي. لقد أخطأ في الإجابة النهائية أكثر بكثير مما يخطئ البشر.
ومع ذلك، نظر الباحثون في تفسيرات الذكاء الاصطناعي مرة أخرى.
ووجدوا شيئًا مفاجئًا: حتى عندما أخطأ الذكاء الاصطناعي في الصورة النهائية، كان تفسيره للقاعدة غالبًا صحيحًا!
التشبيه: تخيل مهندسًا معماريًا بارعًا يمكنه وصف كيفية بناء منزل بدقة ("ضع الطوب في دائرة، ثم أضف سقفًا"). ولكن، عندما يحاول فعليًا وضع الطوب، يستمر في إسقاطه أو وضعه في المكان الخاطئ بسبب عدم دقة يديه.
كان الذكاء الاصطناعي في الوضع البصري يشبه هذا المهندس المعماري. لقد فهم المفهوم المجرد (الـ "قاعدة") تمامًا، لكنه عانى من أجل "رؤية" الصورة بوضوح كافٍ لتطبيق القاعدة. لم يستطع تحديد حجم الشبكة بدقة أو أماكن الكائنات بدقة.
الحكم: في الوضع البصري، قللت درجات الذكاء الاصطناعي المنخفضة من تقدير ذكائه الحقيقي. لقد فهم المنطق جيدًا، لكنه فشل في جزء "الإدراك".
٤. تأثير "الأداة"
أعطى الباحثون أيضًا للذكاء الاصطناعي "آلة حاسبة" (كود برمجي بلغة Python) للمساعدة.
- في وضع النص: لم تساعد الآلة الحاسبة كثيرًا. كان الذكاء الاصطناعي جيدًا بالفعل في المنطق ولكنه سيء في استخدام الاختصارات.
- في الوضع البصري: ساعدت الآلة الحاسبة كثيرًا. عندما تمكن الذكاء الاصطناعي من استخدام الكود لـ "رؤية" الصورة وعدّ البكسلات، ارتفعت درجاته. أثبت هذا أن الذكاء الاصطناعي لم يكن "غبيًا" في المنطق؛ بل كان يحتاج فقط إلى مساعدة في "رؤية" الصورة.
الخلاصة الكبرى
إذا نظرت فقط إلى الدرجة النهائية (الـ "+A")، فقد تعتقد أن الذكاء الاصطناعي عبقري في وضع النص ولكنه فاشل في الوضع البصري.
ولكن عندما تنظر إلى كيفية تفكيرهم:
- في النص: غالبًا ما يستخدمون "طرقًا مختصرة" ذكية لكنها لا تعمل في العالم الحقيقي.
- في البصر: هم عباقرة "خرقاء" يفهمون القواعد ولكنهم لا يستطيعون تنفيذها بدقة تامة.
تخلص الورقة البحثية إلى أنه لكي نعرف حقًا ما إذا كان الذكاء الاصطناعي يصبح "شبيهًا بالبشر"، لا يمكننا الاكتفاء بالتحقق مما إذا كانت الإجابة صحيحة أم لا. يجب أن نتحقق أيضًا مما إذا كان الاستنتاج المنطقي صحيحًا. وإلا، فسنكون إما مبالغين في تقدير مهاراتهم النصية، أو مقللين من قدراتهم البصرية الكامنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.