A Benchmark for Deep Information Synthesis
تقدم الورقة البحثية DEEPSYNTH، وهو معيار مرجعي جديد وتحدٍ يتكون من 120 مهمة من واقع العالم عبر 7 مجالات، يقيم قدرة الوكلاء القائمين على النماذج اللغوية الكبيرة على تركيب المعلومات واستنتاج الرؤى، مما يكشف عن قصور كبير حالي في القدرة على الاستنتاج والتحكم في الهلوسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعد باحث جديداً لمساعدتك في التخطيط لرحلة دولية ضخمة ومعقدة. أنت لا تريد منه مجرد البحث في جوجل عن "أفضل الفنادق في باريس". بل تريده أن يقوم بما يلي:
- يتحقق من أسعار الرحلات الجوية في طوكيو، وأسعار صرف العملات في برلين، وقوانين التأشيرات في البرازيل.
- يقرأ ثلاثة تقارير حكومية مختلفة حول اتجاهات السياحة.
- يربط بين جدول بيانات لمدد تأخير شركات الطيران ومقال إخباري عن إضراب عمالي.
- وأخيراً، يكتب مسار رحلة واحداً مثالياً يشرح لك لماذا يجب أن تذهب إلى الدولة (س) بدلاً من الدولة (ص)، مدعوماً ببيانات صلبة.
هذا هو بالضبط ما يدور حوله بحث DEEPSYNTH. إنه "اختبار" جديد مصمم لاختبار مدى قدرة وكلاء الذكاء الاصطناي (البرامج الحاسوبية الذكية) على القيام بهذا النوع من المهام الشاقة.
إليك تفاصيل الورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: فخ "البحث في جوجل"
في الوقت الحالي، معظم اختبارات الذكاء الاصطناعي تشبه سؤال طالب: "من هو أول رئيس للولايات المتحدة؟". هنا، يتذكر الذكاء الاصطناعي الإجابة من بيانات تدريبه فقط. إنه مجرد استرجاع لحقيقة بسيطة.
لكن الحياة الواقعية ليست كذلك. الحياة الواقعية فوضوية. الأمر يشبه سؤال: "أي الدول غير الأعضاء في منظمة (ASEAN) استعادت سياحتها إلى سنغافورة بحلول عام 2023، وهل كان ذلك معظمه لرجال أعمال أم للسياح؟"
- التحديد: لا يمكن للذكاء الاصطناعي مجرد "تذكر" هذا. عليه أن يخرج، ويبحث عن البيانات من 67 دولة مختلفة، ويقرأ الجداول، ويقارن الأرقام، ويقوم بالعمليات الحسابية.
- الوضع الحالي: تقول الورقة إن نماذج الذكاء الاصطعي الحالية تشبه الطلاب الذين يجيدون تسميع القاموس لكنهم سيئون في كتابة أطروحة علمية. إنهم يضيعون عندما يتعين عليهم ربط النقاط بين مصادر مختلفة.
2. الحل: اختبار "DEEPSYNTH"
ابتكر المؤلفون معياراً جديداً (اختباراً) يسمى DEEPSYNTH.
- المحتوى: يحتوي على 120 سؤالاً شديد الصعوبة.
- درجة الصعوبة: للإجابة على سؤال واحد فقط، يتعين على الذكاء الاصطناعي زيارة متوسط 4.2 موقعاً إلكترونياً مختلفاً، وقراءة ما يصل إلى 15 وثيقة، وإجراء عمليات حسابية أو منطقية معقدة.
- "المعيار الذهبي": قام البشر (الخبراء) بوضع هذه الأسئلة. لم يكتفوا بطرح سؤال فحسب؛ بل وجدوا البيانات أولاً، وأجروا التحليل، واستنتجوا الإجابة، ثم كتبوا السؤال. هذا يضمن أن الإجابة ليست شيئاً يمكن للذكاء الاصطناعي مجرد حفظه من الإنترنت مسبقاً.
تشبيه: تخيل مسابقة طبخ.
- الاختبارات القديمة: "ما هي درجة غليان الماء؟" (سهل، يعتمد على الحفظ).
- DEEPSYNTH: "إليك 10 وصفات مختلفة من 10 دول، وقائمة بالمكونات المتاحة في سوقك المحلي، وميزانية محددة. قم بإنشاء قائمة طعام توازن بين التغذية والتكلفة، واشرح خياراتك."
3. النتائج: الذكاء الاصطناعي يعاني
اختبر المؤلفون أذكى نماذج الذكاء الاصطناي المتاحة (مثل GPT-5، وDeepSeek، ووكلاء البحث المتخصصين) في هذا الاختبار.
- النتيجة: كانت النتائج صادمة. أفضل نموذج ذكاء اصطناعي حصل فقط على درجة F1 تبلغ 8.97 (من أصل 100).
- واقع الحال: تحت القواعد الأكثر صرامة (المطابقة التامة)، حصل كل ذكاء اصطناعي تقريباً على صفر. لم يتمكنوا من الإجابة بشكل صحيح تماماً ولو لمرة واحدة.
- لماذا؟
- الهلوسة: الذكاء الاصطناعي يختلق أشياء. قد يخترع إحصائية لأنه "يعتقد" أنها تبدو صحيحة.
- أخطاء التنقل: ينقر على الرابط الخطأ أو يعلق في موقع إلكتروني.
- "فجوة أفريقيا": كان الذكاء الاصطناعي سيئاً جداً في الإجابة على الأسئلة المتعلقة بالدول الأفريقية. وهذا يشير إلى أن الذكاء الاصطناعي منحاز لأن تدريبه اعتمد بشكل أساسي على بيانات من الولايات المتحدة وأوروبا وآسيا.
تشبيه: الأمر يشبه إعطاء أمين مكتبة عبقري خريطة لمكتبة تحتوي على 10,000 كتاب. أمين المكتبة يعرف كيف يقرأ، ولكن عندما يُطلب منه العثوف على حقيقة محددة مخبأة في كتاب في قسم "أفريقيا"، فإنه إما لا يستطيع العثود إلى القسم، أو يخمن الإجابة لأنه لم يسبق له رؤية هذا القسم من قبل.
4. وكلاء "البحث العميق"
اختبرت الورقة أيضاً "الوكلاء" (Agents)—وهي برامج ذكاء اصطناي مبرمجة لاستخدام أدوات مثل متصفحات الويب أو حاسبات الأكواد.
- النتيجة: حتى هؤلاء "الوكلاء الخارقين" لم يحلوا سوى 3 مهام فقط من أصل 120 مهمة بشكل مثالي.
- الدرس المستفاد: مجرد إعطاء الذكاء الاصطناي متصفح ويب لا يجعله ذكياً بما يكفي للقيام بالبحث العميق. لا يزال يصاب بالارتباك عندما يتعين عليه التخطيط لسلسلة طويلة من الخطوات (على سبيل المثال: "اذهب إلى الموقع (أ)، حمل الملف، افتحه، ابحث عن الرقم، اذهب إلى الموقع (ب)، قارنه بـ...").
5. لماذا يهم هذا؟
تخلص الورقة إلى أننا نصطدم بحائط مسدود. لا يمكننا جعل الذكاء الاصطناعي "أذكى" بمجرد جعله أكبر حجماً؛ نحن بحاجة لتعليمه كيفية التركيب (Synthesis).
- التركيب (Synthesis) هو القدرة على أخذ كومة من البيانات الخام والفوضوية وتحويلها إلى رؤية واضحة ومفيدة.
- حالياً، الذكاء الاصطناي يشبه آلة تصوير سريعة جداً. يمكنه نسخ الحقائق، لكنه لا يستطيع بعد كتابة القصة التي تربط بينها.
الملخص
DEEPSYNTH هو بمثابة "واقع صادم" لصناعة الذكاء الاصطناي. فهو يوضح أنه بينما يتحسن الذكاء الاصطناي في الدردشة والكتابة، إلا أنه لا يزال سيئاً جداً في القيام بالبحث العميق متعدد الخطوات الذي يقوم به البشر يومياً. الذكاء الاصطناي حالياً هو "مدقق حقائق فائق السرعة" يحتاج لأن يصبح "باحثاً حقيقياً" قبل أن يمكن الوثوق به في المشكلات المعقدة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.