💻 computer science

Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

تقدم هذه الورقة البحثية XTC-Bench، وهو إطار تقييم جديد ومقياس الاتساق المستمر عبر المهام (CCTA)، لتشخيص وقياس الاتساق الدلالي بين الفهم البصري والتوليد في النماذج متعددة الوسائط الموحدة، مما يكشف أن الأداء العالي في المهام المنفردة لا يضمن تمثيلات موحدة متماسكة.

المؤلفون الأصليون: Weixing Wang, Liudvikas Zekas, Anton Hackl, Constantin Alexander Auga, Parisa Shahabinejad, Jona Otholt, Antonio Rueda-Toicen, Gerard de Melo

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weixing Wang, Liudvikas Zekas, Anton Hackl, Constantin Alexander Auga, Parisa Shahabinejad, Jona Otholt, Antonio Rueda-Toicen, Gerard de Melo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً للغاية يمكنه أيضاً العمل كمرشد متحف. هذا الفنان هو "نموذج متعدد الوسائط موحد" (uMM). وظيفته هي القيام بشيئين بنفس الصورة:

الفهم: ينظر إلى صورة ويصف ما يحدث (دور "المرشد").
الإنشاء: يقرأ وصفاً ويرسم صورة جديدة بناءً عليه (دور "الفنان").

لفترة طويلة، اختبرنا هؤلاء الفنانين من خلال فحص مهارات "المرشد" لديهم بشكل منفصل عن مهارات "الفنان". كنا نسأل: "ما مدى جودة وصفهم لسيارة؟" و"ما مدى جودة رسمهم لسيارة؟" بشكل منفصل. إذا حصلوا على درجات عالية في كليهما، كنا نفترض أنهم مثاليون.

المشكلة: قضية "الشخصية المنقسمة"
أدرك مؤلفو هذه الورقة وجود خلل خفي. فمجرد قدرة الفنان على وصف سيارة حمراء بشكل مثالي لا يعني بالضرورة أنه يستطيع رسم سيارة حمراء عندما يُطلب منه ذلك. وعلى العكس، قد يرسم سيارة حمراء جميلة ولكنه يفشل في التعرف عليها كسيارة حمراء عندما يُطلب منه وصفها.

لقد أطلقوا على ذلك عدم الاتساق عبر المهام (Cross-Task Consistency). إنه يشبه الشخص الذي يمكنه تلاوة وصفة طهي بدقة مثالية، ولكنه يحرق الكعكة عندما يحاول الطهي فعلياً. تجادل الورقة بأن النماذج الحالية غالباً ما تعاني من هذه "الشخصية المنقسمة": فهمها الداخلي للعالم لا يتطابق مع قدرتها على إنشائه.

الحل: XTC-Bench (نظام "التحقق من الحقائق")
لإصلاح ذلك، بنى المؤلفون ساحة اختبار جديدة تسمى XTC-Bench. وبدلاً من طرح أسئلة عامة، يستخدمون "رسم المخطط المشهدي" (Scene Graph).

فكر في "رسم المخطط المشهدي" كأنه بطاقة وصفة مفصلة ومنظمة لصورة ما. فهو يفكك الصورة إلى حقائق ذرية صغيرة:

الكائن: سيارة.
الصفة: لونها أبيض وفضي.
العلاقة: مركونة أمام شجرة.

إليك كيف يعمل اختبارهم:

الوصفة الرئيسية: يبدأون بـ "بطاقة وصفة" مثالية (رسم المخطط المشهدي) لصورة حقيقية.
دور الفنان: يغذون الذكاء الاصطناعي بالوصفة ويطلبون منه رسم الصورة.
دور المرشد: يعرضون على الذكاء الاصطناعي الصورة الأصلية ويطلبون منه قراءة الوصفة مرة أخرى (مثلاً: "ما لون السيارة؟").
المقارنة: نقارن ما رسمه الذكاء الاصطناعي بما قاله الذكاء الاصطناعي.

إذا رسم الذكاء الاصطناعي سيارة بيضاء ولكنه قال إن السيارة زرقاء، فقد فشل في اختبار الاتساق، حتى لو رسم سيارة جيدة وأعطى إجابة جيدة بشكل منفصل.

الدرجة الجديدة: CCTA (مقياس "الحقيقة")
اخترعوا درجة جديدة تسمى CCTA (الاتفاق المستمر عبر المهام).

الطريقة القديمة: "هل حصلت على الإجابة الصحيحة؟" (الدقة).
الطريقة الجديدة (CCTA): "هل قلت الحقيقة في كلا الاتجاهين؟" (الاتساق).

كما ابتكروا درجة أذكى تسمى AW-CCTA. وهذا أمر بالغ الأهمية لأنها تكشف خدعة محددة: الهلوسة المتسقة (Consistent Hallucination).

السيناريو: ذكاء اصطناعي سيء في كل شيء. يرسم دائماً سيارة زرقاء، وعندما يُسأل، يقول دائماً إن السيارة زرقاء.
الدرجة القديمة: تبدو متسقة! (فهي تطابق نفسها).
الدرجة الجديدة (AW-CCTA): تعطي درجة منخفضة لأنها، رغم كونها متسقة، إلا أنها خاطئة باستمرار. فهي تكافئ النماذج التي تكون متسقة وصحيحة في آن واحد.

ما وجدوه
اختبر المؤلفون 8 نماذج مفتوحة المصدر وعملاقين تجاريين (مثل Google Gemini و OpenAI GPT). وإليكم ما اكتشفوه:

الدرجات العالية لا تعني اتساقاً عالياً: يمكن للنموذج أن يكون بارعاً في الرسم وبارعاً في الوصف، ومع ذلك يظل لديه "شخصية منقسمة". فالمهارتان لا تتواصلان تلقائياً.
الفهم أسهل من الإنشاء: كان كل نموذج تقريباً أفضل في وصف الصورة منه في رسمها. إنهم مرشدون أفضل من كونهم فنانين.
البنية التحتية مهمة، ولكن ليس كما تظنون: قد تعتقد أنه إذا بنيت نموذجاً بـ "عقل واحد" للمهمتين، فسيكون متسقاً. وجد المؤلفون أن مجرد مشاركة "الدماغ" (البنية) ليس كافياً. المفتاح يكمكم في مدى ترابط أهداف التدريب لعمليتي "الرؤية" و"الرسم". إذا لم تكن مرتبطة بإحكام، فإن النموذج يتعلم لغتين مختلفتين لنفس العالم.
فخ "الخطأ المتسق": تم اكتشاف أن بعض النماذج تهلوس بشكل متسق (تختلق نفس الحقائق الخاطئة في كلا الاتجاهين). كانت درجة AW-CCTA الجديدة هي الوحيدة التي كشفت ذلك.

الخلاصة
تقدم هذه الورقة طريقة جديدة لاختبار الذكاء الاصطناعي تبحث عن الأمانة الداخلية. وهي توضح أنه مجرد قدرة الذكاء الاصطناعي على القيام بشيئين جيداً لا يعني أنه يفهم العالم بطريقة واحدة متماسكة. لبناء ذكاء اصطناعي موحد حقاً، علينا التوقف عن اختبار "المرشد" و"الفنان" بشكل منفصل، والبدء في التحقق مما إذا كانا يرويان القصة نفسها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء الدقة: قياس اتساق المهام المتعددة في النماذج الموحدة متعددة الوسائط" (XTC-Bench).

1. بيان المشكلة

تهدف النماذج الموحدة متعددة الوسائط (uMMs) إلى أداء كل من الفهم البصري (الإدراك) والتوليد البصري (التركيب) ضمن مساحة معمارية وتمثيلية مشتركة. وبينما تقيم المعايير الحالية هذه القدرات بشكل مستقل (مثل VQA للفهم، ودرجات FID/CLIP للتوليد)، إلا أنها تفشل في تقييم التماسك الدلالي بين المهمتين.

القضية الجوهرية: قد يتفوق النموذج في الإجابة على الأسئلة حول صورة ما (الفهم)، ولكنه يفشل في توليد نفس تلك التفاصيل عند طلبها (التوليد)، أو العكس. يشير هذا إلى وجود عدم تماثل هيكلي في التمثيل الداخلي للنموذج. فالدرجات العالية في المهام المنعزلة يمكن أن تخفي نقصًا جوهريًا في التوافق الدلالي الموحد، حيث يتعلم النموذج "الهلوسة" بشكل متسق عبر المهام بدلاً من ترسيخ كلتا المهمتين في واقع مشترك.

2. المنهجية: XTC-Bench

قدم المؤلفون XTC-Bench، وهو إطار تقييم قائم على الرسوم البيانية للمشاهد (scene-graph) مصمم لقياس الاتساق الدلالي البصري عبر المهام.

أ. خط إنتاج بناء البيانات

المصدر: 2,000 صورة تم اختيارها يدويًا من COCO 2017 وVisual Genome.
استخراج الرسم البياني للمشهد: يتم استخدام خط إنتاج ثنائي المراحل لإنشاء "الرسم البياني المرجعي للمشهد" ( $G$ $G$ ) لكل صورة:
1. كشف الأشياء والتقسيم: يستخدم kMaX-DeepLab للتقسيم البانورامي (panoptic segmentation).
2. توقع العلاقات: يستخدم Fair-PSG لتوقع العلاقات الثنائية.
3. التحسين:
  - التصفية: يتم تطبيق عتبات ثقة عالية لإزالة العلاقات الزائفة.
  - التحقق بواسطة نموذج لغوي بصري (VLM): يقوم نموذج لغوي بصري ضخم (Qwen3-VL-235B) بالتحقق من العلاقات والسمات باستخدام تعليقات مربعات الإحاطة (bounding box).
  - توليد السمات: يستخدم نهج "الرؤية المزدوجة" (البقعة الدلالية + القص التفصيلي) لضمان التعرف الدقيق على سمات أشياء محددة.
توليد المطالبات والاستعلامات:
- مطالبات التوليد: يتم تحويل الرسم البياني للمشهد إلى نص خطي (linearized) في شكل مطالبة لغة طبيعية لتوليد الصور.
  * استعلامات الفهم: يتم توليد أسئلة VQA متوافقة مع الحقائق لكل حقيقة ذرية (كائن، سمة، علاقة) في الرسم البياني للمشهد.

ب. بروتوكول التقييم

لكل نموذج $M$ :

التوليد: يولد النموذج صورة ( $\hat{I}$ ) من المطالبة. يتم تحليل هذه الصورة مرة أخرى إلى رسم بياني للمشهد متوقع ( $\hat{G}$ ) باستخدام نفس خط إنتاج الاستخراج.
الفهم: يجيب النموذج على أسئلة VQA بناءً على الصورة الأصلية.
المطابقة: تستخدم خوارزمية مطابقة الرسوم البيانية الدلالية ذات المرحلتين (باستخدام خوارزمية هنجاريان) لمحاذاة العقد والحواف بين الرسم البياني الحقيقي $G$ والرسم البياني المتوقع $\hat{G}$ .

ج. المقاييس

يقدم الإطار ثلاثة مقاييس رئيسية:

درجة التوليد ( $G$ ) ودرجة الفهم ( $U$ ): يتم تقييمهما باستخدام نموذج لغوي كبير كحكم (Qwen3-235B) الذي يسجل التكافؤ الدلالي (على مقياس 0-5) بين مخرجات النموذج والحقيقة، بدلاً من مطابقة النصوص الحرفية.
الاتساق المستمر عبر المهام (CCTA):
- يقيس الاتساق بين استجابات التوليد والفهم لنفس الحقائق الذرية.
- الصيغة: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$ .
- القصور: النموذج الذي يكون خاطئًا بشكل متسق (يهلوس بنفس الخطأ في كلتا المهمتين) سيحصل على درجة عالية في CCTA.
الاتساق الموزون بالدقة (AW-CCTA):
- يعالج عيب "الهلوسة المتسقة" عن طريق قياس حد الاتساق بمتوسط الدقة المشتركة.
- الصيغة: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$ .
- هذا المقياس يعاقب النماذج التي تكون خاطئة بشكل متماثل، ويكافئ فقط تلك التي تكون صحيحة بشكل متماثل.

3. المساهمات الرئيسية

صياغة الاتساق عبر المهام: تعريف الاتساق كخاصية قابلة للقياس ومتميزة عن الدقة المستقلة، مع تقديم CCTA و AW-CCTA لقياس التماثل التمثيلي.
إطار عمل XTC-Bench: معيار مؤتمت بالكامل، قائم على الرسوم البيانية للمشاهد، يقيم مجتمعة عمليات التوليد، والفهم، وتوافقهم تحت تمثيل هيكلي مشترك.
الاكتشاف التجريبي: أثبتت الدراسة أن النماذج الموحدة متعددة الوسائط الحالية تظهر عدم تماثل هيكليًا منهجيًا. فالأداء العالي في مهمة واحدة لا يضمن التوافق في المهمة الأخرى، كما أن التوحيد المعماري وحده لا يضمن التماسك الدلالي.

4. النتائج التجريبية

قيم المؤلفون 8 نماذج مفتوحة المصدر (مثل BAGEL، OmniGen، Show-o، Janus-Pro) ونموذجين تجاريين (Gemini، GPT-5).

الارتباط الضعيف: هناك علاقة تنبؤية ضعيفة بين أداء المهمة المستقلة ( $G$ أو $U$ ) والاتساق عبر المهام (AW-CCTA). يمكن للنموذج أن يحقق درجات توليد عالية ولكن توافقًا منخفضًا.
نمط فشل "الهلوسة المتسقة":
- أظهرت نماذج مثل MMaDA-8B قيمة CCTA عالية (0.630) ولكن AW-CCTA منخفضة جدًا (0.144). يشير هذا إلى أن النموذج يولد ويفهم نفس الحقائق الخاطئة، وهو نمط فشل غير مرئي للمقاييس القياسية.
- حقق BAGEL-7B و Gemini-2.5 Flash أعلى مستويات AW-CCTA، مما يشير إلى أداء أكثر توازنًا.
الرؤى المعمارية:
- أظهرت النماذج التوليدية التكرارية (AR) الصرفة (مثل OmniGen، Janus-Pro) أعلى متوسط AW-CCTA، مما يشير إلى أن هدف التنبؤ بالرمز التالي الموحد يربط المهام بشكل أفضل طبيعيًا.
- أظهرت نماذج AR + Diffusion أكبر فجوة بين التوليد والفهم، مما يشير إلى الحساسية تجاه المعايرة بين المكونين.
- أظهرت نماذج الانتشار (Diffusion) الصرفة اتساقًا خامًا عاليًا ولكن اتساقًا منخفضًا موزونًا بالدقة.
الفهم > التوليد: سجلت معظم النماذج درجات أعلى في الفهم منها في التوليد، مما يشير إلى أن أهداف التدريب الحالية تفضل التجذر الإدراكي على الأمانة التوليدية.

5. الأهمية والتوجهات المستقبلية

ما وراء المقاييس المنعزلة: يثبت XTC-Bench أن تقييم النماذج الموحدة متعددة الوسائط يتطلب الانتقال من مجرد الدقة المنعزلة إلى قياس تماسك التمثيل الداخلي.
أداة تشخيصية: يعمل التباين بين CCTA و AW-CCTA كأداة تشخيصية حرجة لـ "الهلوسات المتسقة"، وهو نمط فشل خطير في التطبيقات الحساسة للأمان.
توجيه التدريب: تشير النتائج إلى أن توحيد المعماريات وحده ليس كافيًا؛ يجب أن يركز البحث المستقبلي على ربط أهداف التعلم عبر الوسائط لضمان أن الإدراك والتركيب يتشاركان في نفس الأساس الدلالي.
القيود: يعتمد الإطار حاليًا على نماذج معلمة مؤتمتة (قد ترث تحيزات) وصور ثابتة. يجب أن يستكشف العمل المستقبلي سبر الأجهزة (white-box probing) لتحديد نقاط التباعد في المعمارية وتوسيع الإطار ليشمل الفيديو والصوت.

في الختام، يوفر XTC-Bench طريقة صارمة وقابلة للتكرار لكشف "الفجوة الدلالية" في النماذج الموحدة متعددة الوسائط، مما يقدم مسارًا ملموسًا لتطوير نماذج تدرك وتولد واقعًا متسقًا حقًا.