💬 NLP

RPTS: Tree-Structured Reasoning Process Scoring for Faithful Multimodal Evaluation

تقدم هذه الورقة البحثية "درجة شجرة عملية الاستدلال" (RPTS)، وهي مقياس ذو بنية شجرية لتقييم مدى دقة خطوات الاستدلال متعدد الوسائط، وتتحقق من صحتها من خلال معيار جديد (RPTS-Eval) يكشف عن أوجه القصور في النماذج اللغوية البصرية الكبيرة الحالية فيما يتعلق بالعلاقات بين الوسائط وعيوب الاستدلال التي تحجبها الإجابات الصحيحة.

المؤلفون الأصليون: Haofeng Wang, Yu Zhang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haofeng Wang, Yu Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف محققاً لحل لغز ما. في الماضي، كنا نهتم فقط بالنتيجة النهائية: "هل أمسكوا بالمشتبه به الصحيح؟" إذا كانت الإجابة "نعم"، كنا نمنحهم نجمة ذهبية، حتى لو وصلوا إلى هناك عن طريق التخمين، أو تجاهل الأدلة، أو اتباع مسار منطقي خاطئ تماماً أدى بهم بالصدفة إلى الشخص الصحيح.

تجادل هذه الورقة بأن نهج "النجمة الذهبية فقط" هذا معيب، خاصة بالنسبة لنماذج الذكاء الاصطناعي التي تنظر إلى الصور وتقرأ النصوص (والتي تسمى نماذج الرؤية واللغة الكبيرة - Large Vision-Language Models). أحياناً، يحصل هؤلاء المحققون من الذكاء الاصطناك على الإجابة الصحيحة ولكن للأسباب الخاطئة.

إليك شرح بسيط لما فعله المؤلفون لإصلاح ذلك، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: المحقق "المحظوظ في التخمين"

اختبارات الذكاء الاصطناعي الحالية تشبه اختبار الاختيار من متعدد.

الطريقة القديمة: ينظر الذكاء الاصطناعي إلى صورة لمسرح الجريمة وتقرير شرطة. يقول: "الخادم هو الفاعل!". إذا كان مفتاح الإجابة يقول "الخادم"، يحصل الذكاء الاصطناعي على 100%.
العيب: ربما لم يرَ الذكاء الاصطناعي المسدس في الصورة أو يقرأ تقرير البصمات. ربما خمن فقط أن "الخادم" هو الفاعل لأن هذا نمط شائع في الأفلام. الإجابة صحيحة، لكن التفكير كان تافهاً.

أدرك المؤلفون أننا بحاجة إلى تقييم العملية، وليس فقط النتيجة.

2. الحل: "شجرة المنطق" (RPTS)

لإصلاح ذلك، ابتكر المؤلفون نظام تسجيل جديداً يسمى RPTS (درجة شجرة عملية الاستدلال).

تخيل أن عملية تفكير الذكاء الاصطناعي ليست خطاً مستقيماً، بل هي شجرة عائلة أو شجرة قرار:

الجذور (العقد الورقية): هذه هي الحقائق الخام. "أرى مظلة مبللة" (بصري) و"إنها تمطر" (نصي).
الأغصان: هذه هي الخطوات التي يتخذها الذكاء الاصطناعي لربط النقاط. "بما أنها تمطر، فالمظلة مبللة".
القمة (الاستنتاج): "المشتبه به كان في الخارج".

كيف يعمل نظام RPTS:
بدلاً من مجرد التحقق من قمة الشجرة، يقوم نظام RPTS بالسير عبر كل غصن. إنه يسأل:

هل هذه الحقيقة صحيحة؟
هل تؤدي هذه الحقيقة فعلياً إلى الخطوة التالية؟
هل تشتت انتباه الذكاء الاصطناعي بسبب دليل زائف؟

إذا ارتكب الذكاء الاصطناعي خطأ في غصن صغير (ورقة)، فإن RPTS يكشفه، حتى لو كانت الإجابة النهائية في قمة الشجرة صحيحة. الأمر يشبه تقييم اختبار رياضيات ليس فقط بناءً على الرقم النهائي، بل على كل خطوة من خطوات المعادلة. إذا ضربت 2 في 2 وحصلت على 5، ثم أضفت 1 لتصل إلى 6 (الإجابة الصحيحة)، فإن RPTS يعطيك درجة رسوب لأن رياضياتك كانت خاطئة.

3. الاختبار الجديد: "RPTS-Eval"

لم يكتفِ المؤلفون بابتكار درجة فحسب؛ بل بنوا ساحة لعب جديدة لاختبارها. لقد أنشأوا 390 لغزاً جديداً تتضمن صوراً ونصوصاً.

لقد صمموا هذه الألغاز لاختبار ثلاثة أنواع محددة من "العمل الجماعي" بين الصورة والنص:

الموجه (الشريك المساعد): النص يقول: "انظر إلى السيارة الحمراء في الصورة". النص يساعدك على إيجاد الدليل في الصورة.
المعارض (المشتت): النص يقول: "السيارة زرقاء"، لكن الصورة تظهر بوضوح سيارة حمراء. يجب على الذكاء الاصطناعي تجاهل النص الكاذب والثقة في الصورة.
المستقل (اللعب المتوازي): النص يتحدث عن الطقس، والصورة تظهر كلباً. يجب على الذكاء الاصطناعي الجمع بين شيئين غير مرتبطين لحل اللغز.

4. ما وجدوه: "معاناة المصادر المفتوحة"

قاموا باختبار نماذج ذكاء اصطناعي شهيرة (مثل GPT-4o وLlama وLlava) على هذا الاختبار الجديد والأكثر صعوبة. وإليكم ما اكتشفوه:

وباء "الإجابة الصحيحة، السبب الخاطئ": حصلت العديد من نماذج الذكال الاصطناعي مفتوحة المصدر على الإجابة الصحيحة، لكن "شجرة المنطق" الخاصة بها كانت مليئة بالثغرات. كانت في الأساس تهلوس روابط غير موجودة.
العمى الصوري: عندما كان يتعين على الذكاء الاصطناعي النظر إلى صورة لاتخاذ قرار، فشلت العديد من النماذج. كانت بارعة في قراءة النصوص لكنها سيئة جداً في "رؤية" الصورة واستخدامها لحل المشكلة. إنه مثل محقق يمكنه قراءة تقرير ببراعة ولكنه كفيف قانونياً عند النظر إلى مسرح الجريمة.
الفجوة اللغوية: أدت النماذج أداءً أفضل بكثير باللغة الإنجليزية مقارنة باللغة الصينية. يبدو أن بيانات التدريب لهؤلاء "المحققين" من الذكاء الاصطناعي منحازة بشدة نحو المنطق الإنجليزي، مما يجعلهم يتعثرون عند تغيير اللغات.

الخلاصة الكبرى

هذه الورقة هي بمثابة جرس إنذار. لا يمكننا فقط أن نسأل الذكاء الاصطناعي: "ما هي الإجابة؟". يجب أن نسأله: "أرني عملك".

باستخدام درجة RPTS، يمكن للباحثين أخيراً معرفة أين يفشل الذكاء الاصطناعي. هل هو سيء في القراءة؟ هل هو سيء في النظر؟ هل هو مجرد تخمين؟ هذا يساعد المطورين على بناء ذكاء اصطناعي أكثر ذكاءً وأمانة، لا يكتفي بالتخمينات المحظوظة بل يفهم حقاً العالم الذي ينظر إليه.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "RPTS: تسجيل عملية الاستدلال ذات البنية الشجرية للتقييم متعدد الوسائط الموثوق".

1. بيان المشكلة

تتفوق النماذج اللغوية البصرية الكبيرة (LVLMs) الحالية في الاستدلال متعدد الوسائط، ولكن يتم تقييمها بشكل أساسي من خلال صيغ الاختيار من متعدد أو الإجابات القصيرة. تعاني هذه المعايير التقليدية من عيبين حرجين:

"إجابات صحيحة لأسباب خاطئة": فهي تفشل في التمييز بين الاستدلال المنطقي الصحيح وبين الاستنتاجات الصحيحة بالصدفة والمستمدة من منطق معيب.
التقييم المفرط في التبسيط: تستخدم الطرق الحالية التي تقيم عمليات الاستدلال غالبًا أطرًا خطية تتجاهل الطبيعة غير الخطية والهرمية للاستدلال متعدد الوسائط في العالم الحقيقي. كما أنها تفشل في مراعاة العلاقات بين الوسائط المعقدة (كيف تتفاعل الأدلة البصرية والنصية، أو تتعارض، أو تدعم بعضها البعض).

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتكون من مقياس جديد (RPTS) ومعيار مخصص (RPTS-Eval).

أ. درجة عملية الاستدلال الشجرية (RPTS)

إن RPTS هو مقياس ذو بنية شجرية مصمم لتقييم مدى موثوقية عملية الاستدلال، وليس فقط الإجابة النهائية.

البنية: يتم تحليل استدلال النموذج إلى شجرة حيث تمثل العقد الورقية (leaf nodes) الأدلة الذرية (الأدلة البصرية، الأدلة النصية) وتمثل العقد غير الورقية الاستنتاجات الوسيطة.
آلية التسجيل:
- التقييم خطوة بخ خطوة: يقوم نموذج لغوي كبير (تحديدًا GPT-4) بتسجيل خطوات الاستدلال الفردية بناءً على التماسك المنطقي والمواءمة الدلالية مع الحقيقة الأرضية (ground truth)، بدلاً من تسجيل السلسلة بأكملة دفعة واحدة.
- التجميع الموزون: الدرجة النهائية هي متوسط مرجح لدرجات الخطوات. يتم تحديد وزن $w_i$ للعقدة $n_i$ بناءً على ارتفاعها $h$ في الشجرة بالنسبة لخطوة تركيز $h_f$ وعامل اضمحلال $\lambda$ :
  $w_i = \lambda^{|h_f - h|}$
- المعلمات الفائقة (Hyperparameters):
  - $h_f$ : ارتفاع الخطوة المراد التركيز عليها (على سبيل المثال، التركيز على خطوة الاستدلال الأولى).
  - $\lambda$ : يتحكم في سرعة اضمحلال الأوزان.
- تحديد موقع الخطأ: من خلال ضبط هذه المعلمات، يمكن لـ RPTS تحديد مكان فشل النموذج بدقة في سلسلة الاستدلال (على سبيل المثال، استخراج بصري مبكر مقابل استنتاج منطقي لاحق).

ب. معيار RPTS-Eval

للتحقق من صحة RPTS، أنشأ المؤلفون مجموعة بيانات جديدة تضم 390 حالة استدلال عبر 374 صورة.

بناء البيانات: نهج هجين يجمع بين البشر والذكاء الاصطناعي، حيث يقوم GPT-4 بتوليد إلهامات للقصص، ويقوم المقيّمون البشريون بتصميم مسارات استدلال صارمة، وأدلة بصرية/نصية، وحقائق أرضية.
أنواع التفاعل بين الوسائط: يصنف المعيار الحالات إلى ثلاثة أنواع مختلفة من العلاقات لاختبار ديناميكيات الاستدلال المختلفة:
1. الموجه (Guided): يقوم أحد الوسائط بتوجيه استرجاع المعلومات من الوسيط الآخر بشكل صريح أو ضمني.
2. المعارض (Adversarial): يتداخل أحد الوسائط مع الآخر أو يناقضه (مما يتطلب من النموذج حل النزاعات).
3. المستقل (Independent): الوسائط غير مرتبطة ببعضها البعض ويجب معالجتها بشكل منفصل.
القدرات: يغطي ست مهارات: التعرف، التعرف الضوئي على الحروف (OCR)، المنطق العام، الرياضيات، مقارنة الصور، والوعي المكاني.

3. المساهمات الرئيسية

مقياس RPTS: نظام تسجيل مبتكر ذو بنية شجرية يكتشف "الإجابات الصحيحة للأسباب الخاطئة" ويتيح تحديد موقع الخطأ بدقة داخل سلسلة الاستدلال.
معيار RPTS-Eval: مجموعة بيانات عالية الجودة مع تعليقات توضيحية موثوقة للأدلة الذرية وأنواع متنوعة من العلاقات بين الوسائط، مما يعالج نقص التقييم الصارم للاستدلال في مجموعات البيانات الحالية.
التصنيف بين الوسائط: التعريف الرسمي لثلاثة أنواع من العلاقات (الموجه، المعارض، المستقل) لفهم وتصنيف تحديات الاستدلال متعدد الوسائط بشكل أفضل.
التحليل الشامل: تجارب واسعة النطاق تكشف عن فجوات كبيرة في النماذج اللغوية البصرية الكبيرة الحالية، لا سيما فيما يتعلق بالاستدلال القائم على الصور ونقل القدرات عبر اللغات.

4. النتائج التجريبية

قام المؤلفون بتقييم 15 نموذجًا (بما في ذلك GPT-4o، وLlava-Next، وInternVL2، وQwen-VL) على RPTS-Eval.

الدقة مقابل الموثوقية: عند تصفية الحالات التي توصلت فيها النماذج إلى إجابات صحيحة عبر استدلال معيب (RPTS < 0.5)، انخفضت الدقة بشكل كبير لمعظم النماذج.
- أظهر GPT-4o أعلى قدر من المتانة (أصغر انخفاض)، مما يشير إلى اتساق منطقي متفوق.
- عانت النماذج مفتوحة المصدر (مثل Llava-Next، وInternVL2) من انخفاضات أكبر في الدقة، مما يكشف عن نقص في المتانة المنطقية.
تحليل الخطوات:
- أدت معظم النماذج أداءً ضعيفًا في خطوة الاستدلال الأولى ( $h_f=1$ )، حيث واجهت صعوبة في استخلاص المعلومات الضرورية مباشرة من الأدلة البصرية.
- البصري مقابل النصي: سجلت النماذج باستمرار درجات أقل عند استخلاص استنتاجات من الأدلة البصرية مقارنة بالأدلة النصية، مما يسلط الضوء على ضعف في معالجة الصور من أجل الاستدلال.
التفاوت اللغوي: لوحظت فجوات كبيرة في الأداء بين السياقات الإنجليزية والصينية. أدتت النماذج عمومًا بشكل أفضل في الإنجليزية، مما يشير إلى أن منهجيات التدريب تواجه صعوبة في نقل قدرات الاستدلة متعدد الوسائط عبر اللغات.
حجم النموذج: أظهرت النماذج الأكبر حجمًا (مثل InternVL2-76B) أداءً أفضل، لكنها لا تزال تظهر قيودًا في السيناريوهات المعارضة المعقدة مقارنة بـ GPT-4o.

5. الأهمية

التقييم الموثوق: ينقل RPTS التركيز من "صحة الإجابة" إلى "موثوقية الاستدلال"، مما يوفر معيارًا أكثر صرامة لتقييم سلامة الذكاء الاصطناعي وموثوقيته في المجالات عالية المخاطر (مثل التحليل القانوني أو التشخيص الطبي).
أداة تشخيصية: تتيح القدرة على تحديد موقع الأخطاء في خطوات محددة من شجرة الاستدلال للباحثين تحديد أنماط الفشل بدقة (مثل ضعف التأسيس البصري مقابل أخطاء الاستنتاج المنطقي).
اتجاه بحثي مستقبلي: يسلط هذا المعيار الضوء على أن النماذج اللغوية البصرية الكبيرة مفتوحة المصدر الحالية تحتاج إلى تحسين كبير في التأسيس البصري وقدرات الاستدلال عبر اللغات. إنه يضع معيارًا جديدًا لتطوير نماذج يمكنها التعامل مع الأدلة متعددة الوسائط غير الخطية والمتعارضة.