Measuring Iterative Temporal Reasoning with Time Puzzles
تقدم هذه الورقة "أحاجي الوقت" (Time Puzzles)، وهي معيار لتقييم الاستدلال الزمني التكراري باستخدام الأدوات، كاشفةً أن حتى النماذج اللغوية الكبيرة المتطورة تعاني في استنتاج التاريخ دون قيود صريحة، وأن استخدام الأدوات الحالي لا يزال غير موثوق لمثل هذه المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من البحث عن ماسة مسروقة، أنت تبحث عن تاريخ محدد في التقويم.
تقدم هذه الورقة البحثية لعبة جديدة تسمى "ألغاز الوقت" (Time Puzzles)، صُممت لاختبار مدى قدرة الذكاء الاصطناعي الحديث (نماذج اللغات الكبيرة) على لعب دور المحقق عندما يُسمح له باستخدام أدوات مثل محرك بحث الويب.
إليك تفصيل الورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: الفجوة بين "الساكن" و"العالم الحقيقي"
فكر في معظم اختبارات الذكاء الاصطناي كأنها امتحان كتاب مغلق. يُعطى الذكاء الاصطناعي سؤالاً ويجب عليه الإجابة باستخدام ما حفظه أثناء تدريبه فقط.
- الواقع: في العالم الحقيقي، لا يجلس الذكاء الاصطناعي في مكتبة فحسب. بل يمتلك هاتفاً ذكياً؛ يمكنه البحث في جوجل، أو التحقق من تطبيق التقويم، أو البحث عن حدث تاريخي.
- المشكلة: الاختبارات الحالية لا تختبر ما إذا كان بإمكان الذكاء الاصطناعي استخدام هاتفه الذكي بفعالية. هي تختبر فقط ما إذا كان يتذكر الأشياء. أراد المؤلفون معرفة: هل يمكن للذكاء الاصطناعي استخدام محرك البحث لحل لغز خطوة بخطوة، تماماً كما يفعل البشر؟
2. الحل: "ألغاز الوقت"
ابتكر المؤلفون نوعاً جديداً من الألغاز. تخيل لغزاً حيث يتعين عليك إيجاد يوم محدد، ولكن يتم إعطاؤك أدلة مثل ملف قضية لمحقّق:
- الدليل 1: "إنه في نفس السنة التي كان فيها هانس بلاشكي عمدة فيينا". (تحتاج للبحث عن هذه الحقيقة).
- الدليل 2: "إنه الشهر السادس من التقويم الصيني القمري". (تحتاج لتحويله إلى شهر ميلادي).
- الدليل 3: "إنه الأحد قبل الأخير من ذلك الشهر".
- الدليل 4: "إنه بعد اليوم الخامس من الشهر".
لحل هذا، لا يمكن للذكاء الاصطناعي أن "يخمن". بل يجب عليه:
- البحث عن متى كان بلاشكي عمدة (ليجد السنة: 1945).
- ترجمة الشهر القمري إلى شهر يوليو.
- التحقق من تقويم عام 1945 لإيجاد الأحد قبل الأخير (22 يوليو).
- التأكد من أن 22 يوليو يأتي بعد اليوم الخامس.
هذا هو الاستنتاج التكراري: سلسلة من الخطوات الصغيرة حيث تؤدي إجابة واحدة إلى الخطوة التالية، وغالباً ما تتطلب أداة (مثل محرك البحث) في كل خطوة.
3. التجربة: اختبار 13 نموذجاً للذكاء الاصطناعي
قام الباحثون ببناء 600 لغز من هذه النوعية واختبروها على 13 نموذجاً مختلفاً للذكاء الاصطناعي (بما في ذلك أحدث النماذج مثل GPT-5). اختبروها بطريقتين:
- اختبار "بدون هاتف": كان على الذكاء الاصطناعي حل اللغز باستخدام ذاكرته فقط.
- اختبار "مع هاتف": سُمح للذكاء الاصطناعي باستخدام أداة بحث الويب.
4. النتائج المفاجئة
على الرغم من أن هذه الألغاز قد تبدو سهلة للإنسان الذي يستخدم بحث جوجل، إلا أن الذكاء الاصطناعي عانى بشدة.
- معاناة "بدون هاتف": حتى أذكى ذكاء اصطناعي (GPT-5) لم يحصل إلا على حوالي 55% من الإجابات الصحيحة بدون أدوات. الأمر يشبه طالباً عبقرياً رسب في الاختبار لأنه رفض استخدام الآلة الحاسبة.
- فجوة "الأداة": عندما سُمح للذكاء الاصطناعي باستخدام بحث الويب، تحسن أداؤه، لكنه لم يكن جيداً كما ينبغي.
- التحول المثير: عندما أعاد الباحثون كتابة الألغاز لإعطاء الذكاء الاصطماعي التواريخ الدقيقة بدلاً من مطالبته بالبحث عنها (على سبيل المثال، تغيير "عمدة فيينا" إلى "السنة 1945")، ارتفع أداء الذكاء الاصطناعي بشكل هائل.
- الاستنتاج: الذكاء الاصطناعي ليس سيئاً في الرياضيات أو المنطق. بل هو سيء في ربط النقاط ببعضها. إنه يعاني في أخذ حقيقة وجدها على الويب ("كان بلاشكي عمدة في 1945") ودمج هذا الرقم بسلاسة في الخطوة التالية من اللغز. غالباً ما يفقد المسار في منتصف العملية.
5. فشل "مفسر الكود" (Code Interpreter)
حاول الباحثون أيضاً إعطاء الذكاء الاصطناعي "آلة حاسبة" (مفسر الكود) للقيام بالعمليات الحسابية. ومن المثير للدهشة، أن هذا جعل الأمور أسوأ في بعض الأحيان. لقد ارتبك الذكاء الاصطناعي أثناء محاولة استخدام الأداة، مما يشير إلى أن مجرد منح أداة للذكاء الاصطناعي لا يضمن أنه يعرف كيفية استخدامها بشكل صحيح.
الخلاصة الكبرى
فكر في الذكاء الاصطناعي الحالي كأنه متدرب ذكي جداً.
- إذا أعطيته تعليمات واضحة وخطوة بخطوة مع ملء جميع الأرقام، فسيكون رائعاً.
- ولكن إذا قلت له: "اذهب وابحث عمن كان العمدة في عام 1945، ثم حدد أي يوم من أيام الأسبوع كان ذلك، ثم أخبرني بالتاريخ"، فغالباً ما سيتوه. قد يجد العمدة، ثم ينسى السنة، أو يخلط بين التقاويم.
باخت-القول: لقد بنينا أنظمة ذكاء اصطناعي بارعة في تذكر الحقائق، لكنها لا تزال تتعلم كيف تكون محققين فعالين يمكنهم استخدام الأدوات لحل المشكلات المعقدة متعددة الخطوات في العالم الحقيقي. "ألغاز الوقت" هي مسطرة جديدة لقياس المدى الذي يجب أن يقطعه هؤلاء للوصول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.