💬 NLP

Benchmarking Real-Time Question Answering via Executable Code Workflows

تقدم هذه الورقة البحثية RT-QA، وهو إطار تقييم ديناميكي يستخدم سير عمل برمجيات قابلة للتنفيذ لتقييم الإجابة على الأسئلة في الوقت الفعلي، كاشفةً أن حتى النماذج الأكثر تطوراً تعاني من صعوبات في التكيف الزمني بسبب الاسترجاب الكسول والارتباك الزمني، حيث حققت دقة تبلغ 46% فقط.

المؤلفون الأصليون: Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenjie Zhou, Yuan Gao, Xin Zhou, Hao Fu, Zhongjian Miao, Wei Chen, Bo Chen, Xiaobing Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🕵️‍♂️ المشكلة الكبرى: فخ "جريدة الأمس"

تخيل أنك تسأل أمين مكتبة فائق الذكاء (ذكاء اصطیعي): "ما هو العنوان الرئيسي في الجريدة أمس؟"

معظم نماذج الذكاء الاصطنا الحالي تشبه أمناء المكتبة الذين حفظوا كل كتاب في المكتبة حتى تاريخ معين، لكنهم لم يخرجوا من باب المكتبة منذ ذلك الحين. إذا سألتهم عن "أمس"، فقد يقومون بـ:

التخمين بناءً على أنماط قديمة (الهلوسة).
استرجاع عنوان من العام الماضي لأنهم يعتقدون أن "أمس" هي ذاكرة ثابتة (تقادم المعرفة).
الرفض للإجابة لأنهم لا يملكون اتصالاً "مباشراً" بمنصة بيع الصحف.

الاختبارات الحالية لهذه النماذج تشبه الاختبارات القصيرة التي تستخدم أسئلة قديمة وثابتة. إنها لا تخبرنا ما إذا كان بإمكان الذكاء الاصطناعي الخروج فعلياً، والتحقق من منصة الأخبار الحالية، وإحضار الإجابة الحقيقية لليوم.

🚀 الحل: RT-QA (اختبار "الوكيل الحي")

ابتكر المؤلفون اختباراً جديداً يسمى RT-QA. بدلاً من إعطاء الذكاء الاصطناعي سؤالاً ثابتاً مع مفتاح إجابة مكتوب مسبقاً، أعطوه مهمة.

التشبيه: "الوصفة السحرية" مقابل "الوجبة الجاهزة"

الطريقة القديمة (الأسئلة والأجوبة الثابتة): الاختبار يعطي الذكاء الاصطناعي وجبة جاهزة (الإجابة) ويسأله: "هل هذا لذيذ؟". يتعين على الذكاء الاصطناعي فقط قول "نعم" أو "لا". لا يحتاج لطهي أي شيء.
الطريقة الجديدة (RT-QA): الاختبار يعطي الذكاء الاصطناعي وصفة سحرية (كود قابل للتنفيذ). تقول الوصفة: "اذهب إلى موقع الاستاد الوطني، وانظر إلى الجدول الزمني ليوم غد، وأخبرني من سيلعب".
- يجب على الذكاء الاصطناعي تشغيل الوصفة (تنفيذ الكود).
- يزور الموقع الآن.
- يقرأ الجدول الزمني الآن.
- يولد الإجابة بناءً على الواقع الحالي.

إذا تغير تصميم الموقع (مثل تغيير مطعم لخط قائمة الطعام الخاصة به)، فقد تتعطل "الوصفة السحرية" للذكاء الاصطناعي. يتضمن نظام RT-QA آلية إصلاح ذاتي — مثل طباخ آلي يلاحظ أن الفرن معطل، فيقوم بإصلاح الأسلاك ويستمر في الطهي.

📊 ما الذي وجدوه: "الطالب الكسول" و"المسافر عبر الزمن"

اختبر الباحثون أفضل نماذج الذكاء الاصطناعي (مثل GPT-5.2، وClaude، وغيرها) في هذا الاختبار الجديد. كانت النتائج مفاجئة ومحرجة قليلاً للذكاء الاصطناعي.

1. الدرجة كانت منخفضة
حتى أذكى النماذج حصلت فقط على حوالي 46% من الإجابات الصحيحة. هذا بالكاد يعتبر نجاحاً في امتحان مدرسي. هذا يعني أن نماذج الذكاء الاصطناضي الحالية سيئة جداً في التعامل مع المعلومات "المباشرة/الحية".

2. نمط الفشل رقم 1: "الطالب الكسول" (الاسترجاع الكسول)

السيناريو: السؤال يطلب سعر سهم شركة ما.
الخطأ: ينظر الذكاء الاصطناعي إلى ملخص محرك البحث (الفقرة المختصرة في أعلى جوجل) ويخمن الإجابة دون النقر فعلياً على الرابط الخاص بالبورصة.
التشبيه: يشبه الطالب الذي يقرأ فهرس المحتويات لكتاب مدرسي ويعتقد أنه عرف القصة كاملة، دون قراءة الفصول الفعلية. إنهم يعتمدون على الاختصارات ويفقدون التفاصيل.

3. نمط الفشل رقم 2: "المسافر عبر الزمن" (الارتباك الزمني)

السيناريو: السؤال يسأل: "من فاز في الحفل الموسيقي في الاستاد الوطني أمس؟"
الخطأ: يبحث الذكاء الاصطناعي عن "حفل الاستاد الوطني" ويجد مقالاً كبيراً عن حفل أقيم في عام 2024. يصاب بالحماس، ويأخذ ذلك التاريخ، وينسى التحقق من اليوم الذي هو فيه اليوم. فيجيب بالفائز من عام 2024.
التشبيه: تخيل مسافراً عبر الزمن هبط في عام 2026 لكنه يستمر في النظر إلى ساعته من عام 2024. لقد ارتبك بشأن معنى كلمة "اليوم".
التحول المفاجئ: وجد الباحثون أن الأسئلة الأصعب (المستوى 3) تمت الإجابة عليها أحياناً بشكل أفضل من الأسئلة المتوسطة (المستوى 2). لماذا؟ لأن الأسئلة الصعبة أجبرت الذكاء الاصطناعي على التفكير بعمق والتخطيط بعنا_ية، مما جعله يصلح ارتباكه الزمني بالصدفة. أما الأسئلة المتوسطة فكانت "خداعة" بما يكفي لتضليل الذكاء الاصطناعي، لكنها لم تكن صعبة بما يكفي لإجباره على التمهل والتحقق من التاريخ مرتين.

🛠️ كيف بنوا ذلك (الوكيل داخل الحلقة)

لصنع هذا الاختبار، لم يكتبوا 320 سؤالاً يدوياً. بل بنوا بناءً آلياً (الوكيل RT).

الباني (The Builder) ينظر إلى موقع إلكتروني (مثل موقع طقس أو جدول مباريات).
يكتب سكربت بايثون (برنامج كمبيوتر صغير) لسحب تلك البيانات.
يختبر السكربت. إذا تعطل السكربت بسبب تغير الموقع، يقوم "الباني" بإصلاح الكود تلقائياً.
يسمح هذا بإنشاء بنك اختبارات ضخم ومتجدد باستمرار يغطي 12 موضوعاً مختلفاً (التمويل، الرياضة، الطقس، إلخ).

💡 الخلاصة: ما التالي؟

تخلص الورقة البحثية إلى أن مجرد إعطاء الذكاء الاصطناعي أدوات بحث أفضل ليس كافياً. نحن بحاجة لتعليمهم إدارة الوقت.

الذكاء الاصطناعي الحالي: "لقد وجدت حقيقة عن عام 2024. لا بد أن هذه هي الإجابة."
الذكاء الاصطناعي المستقبلي: "لقد وجدت حقيقة عن عام 2024. انتظر، المستخدم سأل عن أمس. أحتاج لاستبعاد هذه الحقيقة القديمة، والبحث عن التاريخ الحالي، ثم البحث عن الحقيقة الجديدة."

باخت de مختصر: الإنترنت كائن حي يتنفس ويتغير في كل ثانية. مساعدو الذكاء الاصطناعي حالياً يشبهون السياح الذين يحملون خريطة من عام 1990. RT-QA هو أول اختبار يجبرهم على تعلم كيفية استخدام نظام الـ GPS والتنقل في العالم الحقيقي، الآن.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم أداء الإجابة على الأسئلة في الوقت الفعلي عبر سير عمل الأكواد القابلة للتنفيذ" (RT-QA).

1. بيان المشكلة

تتكامل وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد مع قدرات البحث للوصول إلى المعلومات في الوقت الفعلي. ومع ذلك، تعاني معايير التقييم الحالية من قصورين حرجين:

الطبيعة الساكنة: تعتمد معظم المعايير على أزواج ثابتة من الأسئلة والأجوبة. يؤدي هذا إلى تسرب البيانات (إجابة النماذج من الذاكرة التدريبية بدلاً من البحث) وتقادم المعرفة (تغير الحقائق بمر0ال الزمن يجعل الحقيقة المرجعية غير صالحة).
الاعتماد على المصادر المهيكلة: تحاول المحاولات الأخيرة لإنشاء معايير ديناميكية الاعتماد على واجهات برمجة تطبيقات (APIs) موجودة مسبقاً أو قواعد بيانات مهيكلة (مثل Wikidata). تفشل هذه الطريقة في تغطية المعلومات عالية التكرار وغير المهيكلة من الويب المفتوح (مثل أسعار الأسهم اليومية، أو جداول فعاليات محددة) حيث لا يوجد API مباشر.

التحدي الجوههري هو تقييم قدرة الوكيل على التعامل مع القيود الزمنية النسبية (مثل "أمس"، "آخر 7 أيام") واسترجاع إجابات حديثة من مصادر ويب غير مهيكلة دون الاعتماد على بيانات مخزنة مسبقاً.

2. المنهجية: إطار عمل RT-QA

يقترح المؤلفون RT-QA، وهو إطار تقييم ديناميكي ينقل النموذج من "الإجابات الساكنة" إلى "سير عمل الأكواد القابلة للتنفيذ".

أ. الابتكار الجوهري: سير العمل القابل للتنفيذ

بدلاً من تخزين سلسلة نصية ثابتة للإجابة، فإن كل عنصر اختبار في RT-QA هو زوج $(q_\tau, w_\tau)$ :

$q_\tau$ : سؤال باللغة الطبيعية يتضمن قيوداً زمنية نسبية.
$w_\tau$ : سير عمل قائم على لغة بايثون (Python) قابل للتنفيذ.
توليد الحقيقة المرجعية (Ground Truth): لا يتم حساب الحقيقة المرجعية مسبقاً، بل يتم توليدها ديناميكياً في لحظة التقييم بالضبط عن طريق تنفيذ $w_\tau$ . يقوم سير العمل بزيارة المواقع الموثوقة، وتحليل عناصر الـ DOM الخام، وحساب الإجابة بناءً على الطابع الزمني الحالي.

ب. مسار وكيل RT (The RT Agent Pipeline)

لبناء هذا المعيار على نطاق واسع، طور المؤلفون مسار عمل "الوكيل في الحلقة" (Agent-in-the-Loop):

التحضير: تنسيق 12 مجالاً (التمويل، الرياضة، السياسة، إلخ) وتحديد الأدوات (مثل Check_html_content و Code_interpreter).
توليد سير العمل: يقوم نموذج لغوي كبير (RT Agent) بتحليل رابط URL مستهدف بشكل مستقل، ويخطط لاستراتيجية، ويولد كود بايثون (باستخدام Playwright) لكشط واستخراج البيانات.
آلية الإصلاح الذاتي: نظيماً لتغير هياكل الويب، يتضمن المسار "وكيل إصلاح" (Repair Agent). إذا فشل سير العمل (على سبيل المثال، تعطل محدد CSS)، يقوم الوكيل بإعادة تحليل الـ DOM الحي، وتحديد التغييرات الهيكلية، وترقيع الكود لاستعادة الوظائف.
التحقق: يقوم الوكيل بالتحقق المتبادل بين النص المستخرج ولقطات الشاشة للصفحة لضمان التوافق مع الإدراك البشري.

ج. بناء مجموعة البيانات

النطاق: 320 سؤالاً عبر 12 مجالاً.
مستويات الصعوبة:
- المستوى الأول (L1 - مباشر): استرجاع مباشر (مثل "ما هي حالة الطقس في بكين؟").
  escala
- المستوى الثاني (L2 - خطوة واحدة): يتطلب تحديد كيان من حدث ماضٍ قبل استرجاع البيانات الحالية (مثل "من استضاف قمة 2025؟ وما هي حالة الطقس هناك اليوم؟").
- المستوى الثالث (L3 - خطوتان فأكثر): استدلال معقد متعدد الخطوات يتضمن كيانات وأطر زمنية متعددة.

3. المساهمات الرئيسية

معيار RT-QA: أول معيار يستخدم سير عمل الأكواد القابلة للتنفيذ لتوليد حقيقة مرجعية ديناميكية، مما يلغي تسرب البيانات وتقادم المعرفة.
إطار عمل RT Agent: نظام مؤتمت لتوليد وصيانة سير العمل هذا، ويتميز بآلية إصلاح ذاتي للتعامل مع تقلبات الويب.
تصنيف الفشل: تحليل دقيق لأكثر من 7,000 مسار للوكلاء يكشف عن أنماط فشل محددة في الاستدلال في الوقت الفعلي.

4. النتائج التجريبية

قيم المؤلفون 8 نماذج من أحدث النماذج (بما في ذلك GPT-5.2، GLM-4.7، Claude-4.5، و DeepSeek-V3.2) على مدار 6 أيام في يناير 2026.

دقة إجمالية منخفضة: حققت أفضل النماذل دقة تبلغ ~46% فقط. وسقطت معظم النماذج مفتوحة الأوزان تحت 40%.
التقلب: تذبذب الأداء بشكل كبير من يوم لآخر (على سبيل المثال، تباين DeepSeek-V3.2 بأكثر من 11 نقطة خلال 24 ساعة)، مما يشير إلى عدم استقرار في استراتيجيات الاسترجاع.
منحنى الأداء "على شكل حرف U": على عكس التوقعات، أدت المهام من المستوى الثاني (L2 - متوسطة) أداءً أسوأ من مهام المستوى الثالث (L3 - معقدة).
- فشل L2: غالباً ما "يعلق" الوكلاء عند التواريخ التاريخية المسترجعة خلال الخطوة الأولى (مثل تاريخ حدث ماضٍ) ويفشلون في إعادة الربط بالوقت الحالي للخطوة الثانية.
- نجاح L3: التعقيد الأعلى في مهام L3 يجبر الوكلاء على الانخراط في تخطيط أكثر صرامة، مما يساعدهم دون قصد على التمييز بين المتغيرات الزمنية التاريخية والحالية.

5. تحليل أنماط الفشل

حدد تحليل أكثر من 7,000 مسار سبعة أنماط للفشل، وكان أبرزها:

الاسترجاع الكسول (20%): يعتمد الوكلاء على مقتطفات محركات البحث بدلاً من زيارة الموقع الموثوق الفعلي للتحقق من التفاصيل.
الارتباك الزمني (20%): خطأ معرفي حيث يسترجع الوكلاء تاريخاً تاريخياً (مثل "أكتوبر 2025") ويستخدمونه خطأً كـ "الوقت الحالي" للاستدلال اللاحق، مما يؤدي للفشل في تحديث الحالة الزمنية.
أنماط أخرى: المسح غير المكتمل (15%)، الهلوسة (15%)، مشكلات جودة المصدر (10%)، فشل التحليل (10%)، والأخطاء المنطقية (10%).

6. الأهمية والخاتمة

تسلط الورقة الضوء على هشاشة الوكلاء الحاليين في البيئات الديناميكية. العائق الأساسي ليس مجرد القدرة على الاسترجاع، بل إدارة الحالة الزمنية (Temporal State Management).

الآثار المترتبة: مجرد توفير أدوات بحث أفضل ليس كافياً. تتطلب الوكلاء المستقبلية آليات قوية للتمييز بين الأحداث الماضية والأهداف الحالية، وإدارة السياق الزمني بنشاط طوال عملية الاستدلال متعدد الخطوات.
الاتجاه المستقبلي: يجب أن تتطور الوكلاء من باحثين سلبيين إلى محققين استباقيين قادرين على التحقق من المعلومات وإدارة المتغيرات الزمنية ديناميكياً.

تم إطلاق إطار عمل RT-QA والبيانات كبنية تحتية مفتوحة لتسريع تطوير مساعدين ذكاء اصطناعي موثوقين في الوقت الفعلي.