WebDS: An End-to-End Benchmark for Web-based Data Science
تقدم هذه الورقة WebDS، وهو أول معيار شامل (end-to-end) لعلوم البيانات القائمة على الويب، والذي يضم 870 مهمة معقدة ومتعددة الخطوات عبر مواقع إلكترونية متنوعة، مما يكشف عن فجوات أداء كبيرة بين وكلاء النماذج اللغوية الكبيرة الحاليين والقدرات البشرية في مجالات الحصول على البيانات وتحليلها واستخلاص الرؤى في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً عبقرياً فائق السرعة يُدعى "الذكاء الاصطناعي" للقيام بمشروع بحثي معقد. قلت له: "اذهب وابحث عن أحدث أرقام البطالة، وقارنها بالإحصائيات الصحية من ثلاثة مواقع حكومية مختلفة، واكتشف ما إذا كان هناك علاقة بينهما، ثم اكتب تقريراً لمديرنا."
في الماضي، اختبرنا هؤلاء المتدربين من الذكاء الاصطناعي في مهام بسيطة للغاية، مثل "ابحث عن سعر حذاء معين في موقع واحد" أو "اكتب جملة عن الطقس". لقد كانوا بارعين في ذلك. ولكن في العالم الحقيقي، علم البيانات فوضوي. الأمر يشبه محاولة طهي وجبة فاخرة بينما المطبخ يحترق، والمكونات مبعثرة في ثلاثة متاجر بقالة مختلفة، والوصفة تتغير باستمرار.
تقدم هذه الورقة البحثية WebDS، وهو اختبار جديد وشديد الصعوبة مصمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي التعامل فعلياً مع هذا "الطبخ الفوضوي" في العالم الحقيقي.
إليك تفصيل لما قاموا به وما وجدوه، باستخدام بعض التشبيهات اليومية:
1. المشكلة: "لعبة الفيديو" مقابل "العالم الحقيقي"
فكر في اختبارات الذكاء الاصطناعي السابقة كأنها ألعاب فيديو. في لعبة الفيديو، القواعد ثابتة، والخريطة لا تتغير، والأدوات موجودة دائماً في نفس المكان. إذا تدربت بما يكفي، يمكنك الفوز بالمستوى.
- الاختبارات القديمة: كانت تشبه ألعاب الفيديو. كانت تطلب من الذكاء الاصطناعي الضغط على زر أو إيجاد رقم في صفحة ثابتة.
- العالم الحقيقي: الإنترنت يشبه مدينة حية. المباني يتم ترميمها، واللافتات تتغير، وتحدث ازدحامات مرورية، وعليك التنقل من حي إلى آخر للحصول على الصورة الكاملة.
أدرك المؤلفون أن وكلاء الذكاء الاصطناعي الحاليين يشبهون أبطال ألعاب الفيديو الذين يضيعون تماماً عند إنزالهم في مدينة حقيقية. لا يمكنهم التعامل مع فوضى علم البيانات الحقيقي.
2. الحل: "مضمار عقبات WebDS"
قام الباحثون ببناء WebDS (علم بيانات الويب). بدلاً من لعبة فيديو، بنوا مضمار عقبات ضخم يتكون من 29 محطة عبر الإنترنت الحقيقي.
- المضمار: يتضمن 87-0 مهمة مختلفة. بعضها سهل (مثل العث de على رقم هاتف)، لكن معظمها صعب.
- التحدي: يجب على الذكاء الاصطناعي القيام بـ:
- التنقل: المرور عبر مواقع إلكترونية مختلفة (مثل الانتقال من مكتبة إلى بنك إلى كشك جرائد).
- خلط المكونات: أخذ جدول بيانات من موقع ما ومقال إخباري من موقع آخر ودمجهما.
- استخدام الأدوات: في بعض الأحيان يتعين عليه تحميل ملف، أو إجراء عملية حسابية، أو كتابة نص برمجي.
- التسليم: في النهاية، يجب عليه كتابة ملخص أو تقرير.
الأمر يشبه مطالبة المتدرب بالذهاب إلى متجر البقالة، ومتجر الأدوات، والمكتبة، وشراء أصناف محددة، وخلطها في خلاط، ثم خبز كعكة، كل ذلك دون أن يتشتت انتباهه بالألعاب اللامعة في الممرات.
3. النتائج: "الفجوة بين الذكاء الاصطناعي والإنسان"
وضع الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-4o وغيرها) في هذا الاختبار. وكانت النتائج صادمة:
- أداء الذكاء الاصطناعي: لم ينجح أفضل نماذج الذكاء الاصطناعي إلا في حوالي 13% إلى 22% من المهام.
- تشبيه: تخيل طالباً يجري امتحاناً نهائياً ويحصل على درجة D-. لقد عرف كيف يقرأ الأسئلة، لكنه لم يستطع ربط النقاط ببعضها لحل المشكلة.
- أداء البشر: حصل البشر الحقيقيون (الذين أُعطوا نفس الأدوات والوقت) على حوالي 90% صحيحة.
- تشبيه: حصل البشر على درجة +A. لقد عرفوا كيف يتكيفون عندما يكون الموقع مربكاً، وكيف يدققون في عملهم، وكيف يدركون متى يسلكون مساراً خاطئاً.
الفجوة: هناك فجوة هائلة تزيد عن 75 نقطة بين أفضل ذكاء اصطناعي وبين الإنسان. هذا يخبرنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في التحدث، فإنه لا يزال سيئاً جداً في القيام بعمل معقد متعدد الخطوات في العالم الحقيقي.
4. لماذا فشل الذكاء الاصطناعي؟ (أنماط الفشل)
حللت الورقة البحثية لماذا فشل الذكاء الاصطناعي، ووجدت بعض الأسباب المضحكة والمحبطة:
- "أمين المكتبة الذي يهلوِس": كان الذكاء الاصطناعي يجد المستند الصحيح ولكنه يقرأ الرقم الخطأ منه. الأمر يشبه العث find الصفحة الصحيحة في كتاب، لكنك تقرأ الفقرة من الصفحة التي تسبقها.
- "الأسطوانة المشروخة": إذا لم يعمل زر ما، يستمر الذكاء الاصطناعي في الضغط عليه 50 مرة، آملاً أن يعمل في المرة القادمة. لم يكن يعرف كيف يقول: "حسناً، هذا لا يعمل، لنحاول من باب آخر".
- "آخذ الطرق المختصرة": بدلاً من القيام بالعمل الشاق المتمثل في تحميل ملف وتحليله، يقوم الذكاء الاصطناعي بمجرد تخمين الإجابة بناءً على بحث سريع في جوجل، وغالباً ما يخطئ في ذلك.
- "السائح الضائع": كان الذكاء الاصطناعي يرتبك بسبب الأسماء المتشابهة (على سبيل المثال، الذهاب إلى موقع "النقل العام" بدلاً من موقع "العلاج الطبيعي") ويتوه إلى الحي الخطأ.
5. لماذا يهم هذا؟
هذه الورقة هي بمثابة جرس إنذار. لفترة طويلة، اعتقدنا أن الذكاء الاصطناٍ جاهز تقريباً لتولي وظائفنا. يظهر هذا الاختبار أنه بينما يمكن للذكاء الاصطناعي الإجابة على أسئلة بسيطة، فإنه ليس مستعداً بعد ليكون عالم بيانات أو موظف مكتب موثوق به.
الخلاصة:
نحن بحاجة للتوقف عن اختبار الذكاء الاصطناعي في مهام "ألعاب الفيديو" السهلة والبدء في اختباره في "مضامير العقبات" الفوضوية في العالم الحقيقي. إذا أردنا أن يكون الذكاء الاصطناعي مفيداً حقاً في المستقبل، فنحن بحاجة لتعليمه كيفية التنقل في فوضى الإنترنت الحقيقي، وليس فقط في عالم ألعاب الفيديو النظيف والمتوقع.
باختختصار: الذكاء الاصطناعي هو عالم بارع يمكنه تسميع القاموس، لكنه لا يستطيع التنقل في مدينة مزدحمة لشراء البقالة. WebDS هو الخريطة التي نحتاجها لمساعدته على التعلم كيف يصل إلى هناك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.