🤖 AI

SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis

تقدم هذه الورقة SANEval، وهو معيار تقييم تركيبي مفتوح المفردات يستفيد من النماذج اللغوية الكبيرة وكواشف الكائنات المحسنة لتوفير تقييم تشخيصي دقيق وقابل للتوسع لنماذج تحويل النص إلى صورة، مما يظهر ارتباطاً فائقاً مع التقييم البشري مقارنة بالطرق الحالية.

المؤلفون الأصليون: Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم فنون صارم يصحح رسمة طالب بناءً على مجموعة تعليمات محددة للغاية. إذا قيل للطالب أن يرسم "قطة حمراء تجلس على سجادة زرقاء بجانب شجرة خضراء"، فإن المعلم الجيد لن يكتفي بالقول: "رسمة جميلة!". بل سيتحقق من: هل القطة حمراء؟ هل السجادة زرقاء؟ هل الشجرة موجودة بالفعل؟ والأهم من ذلك، هل القطة على السجادة والشجرة بجانب السجادة؟

لفترة طويلة، كانت الحواسيب التي تحول النصوص إلى صور (مثل الفنانين بالذكاء الاصطناعي) تتحسن في صنع صور جميلة، لكن لم يكن لدينا طريقة جيدة لتقييمها بناءً على هذه التفاصيل المحددة. كانت الاختبارات الموجودة تشبه اختبار الاختيار من متعدد بقائمة إجابات ثابتة. إذا رسم الذكاء الاصطناعي "كلب بودل"، ولكن الاختبار لم يعرف سوى كلمة "كلب"، فسيصاب الكمبيوتر بالارتباك. أو إذا أعطى الاختبار مجرد درجة واحدة مثل "8/10"، فإنه لن يخبر الذكاء الاصطناعي لماذا فقد النقاط.

تقدم هذه الورقة البحثية SANEval، وهو نظام تقييم أذكى للفن الناتج عن الذكاء الاصطناعي. وإليك كيف يعمل، مقسماً إلى أجزاء بسيطة:

1. المشكلة: "فخ المفردات"

كانت طرق الاختبار القديمة تشبه حارس أمن عند ملهى ليلي لديه قائمة ضيوف صارمة. إذا كان اسمك (أو الشيء الذي رسمته) ليس في القائمة، فلن يسمح لك الحارس بالدخول.

المشكلة: إذا رسم الذكاء الاصطناعي "كابيبارا"، ولكن برنامج الاختبار لم يتعرف إلا على "الكلاب" و"القطط"، فسيفشل الاختبار حتى لو كان الذكاء الاصطناعي قد أدى عملاً رائعاً.
حل SANEval: يستخدم SANEval "مساعداً ذكياً" (نموذج لغوي كبير) ليعمل كمترجم. إذا قال النص "كابيبارا"، يخبر المساعدُ أداةَ الكشف: "مهلاً، ابحث عن كابيبارا، ولكن تحقق أيضاً من 'قارض كبير' أو 'حيوان محب للماء' للاحتياط فقط". هذا يسمح للاختبار بالتحقق من أي جسم، وليس فقط الأشياء الموجودة في قائمة معتمدة مسبقاً.

2. فئات التقييم الثلاث

لا يعطي SANEval درجة واحدة فقط؛ بل يقسم الدرجة إلى ثلاثة مواضيع محددة، مثل الشهادة المدرسية:

ربط الصفات (اختبار "الملابس"):
- المهمة: هل وضع الذكاء الاصطناعي "الملابس" الصحيحة على "الأشخاص" الصحيحين؟
- مثال: إذا كان النص يقول "سيارة زرقاء وشاحنة حمراء"، يجب على الذكاء الاصطناعي رسم السيارة باللون الأزرق والشاحنة باللون الأحمر.
- طريقة SANEval: يقوم بقص صورة السيارة ويسأل ذكاءً اصطناعياً بصرياً: "ما هو لون هذا؟". إذا كانت الإجابة "أزرق"، يحصل على نقطة. إذا كانت "أخضر"، يحصل على صفر. كما يقدم ملاحظات مثل: "لقد رسمت الشاحنة باللون الأحمر، لكن النص طلب اللون الأزرق".
العلاقات المكانية (اختبار "ترتيب الأثاث"):
- المهمة: هل الأشياء في أماكنها الصحيحة بالنسبة لبعضها البعض؟
- مثال: "قطة فوق كلب".
- طريقة SANEval: يرسم صناديق غير مرئية حول القطة والكلب. ثم يتحقق من الحسابات: هل صندوق القطة أعلى مادياً من صندوق الكلب؟ إذا كانت القطة تطفو في السماء أو تحت الكلب، فسيتم رصد ذلك في الاختبار ويقول: "القطة في مكان خاطئ".
الحساب (اختبار "العد"):
- المهم،ة: هل رسم الذكاء الاصطناي العدد الدقيق للعناصر المطلوبة؟
- مثال: "ثلاث تفاحات واثنتان من البرتقال".
- طريقة SANEval: يقوم بعد الأشياء المكتشفة. إذا رأى أربع تفاحات، فإنه يبلغ: "لقد رسمت تفاحة إضافية".

3. سير عمل "المحقق"

تصف الورقة البحثية مسار عمل يعمل مثل محقق يحل لغزاً:

محلل النص (Prompt Analyst): يقرأ نص المستخدم ويقوم بتفكيكه إلى قائمة مراجعة (مثلاً: "مطلوب: 3 مقاعد، 1 وعاء، يجب أن يكون المقعد أزرق").
محقق الصور (Image Detective): ينظر إلى الصورة التي أنتجها الذكاء الاصطناعي. وبدلاً من البحث عن كلمة "مقعد" فقط، يستخدم "المساعد الذكي" للبحث عن مرادفات مثل "مقعد للجلوس" أو "كرسي" لضمان عدم تفويت أي شيء.
القاضي (The Judge): يقارن قائمة المراجعة بما وجده المحقق.
الشهادة المدرسية (The Report Card): بدلاً من قول "فشل"، يقدم ملاحظة مفصلة: "لقد حصلت على العدد الصحيح، لكنك دهنت المقعد باللون الأخضر بدلاً من الأزرق، وتجاهلت الوعاء تماماً".

4. ماذا وجدوا؟

اختبر المؤلفون هذا النظام الجديد على ستة من أفضل مولدات الفن بالذكاء الاصطناعي في العالم.

النتائج: حتى أفضل نماذج الذكاء الاصطناعي تعاني عندما تصبح التعليمات معقدة. على سبيل المثال، إذا طلبت صورة بسيطة، فإنهم يؤدون بشكل جيد. ولكن إذا طلبت "كرة حمراء، وكرة زرقاء، وكرة خضراء جميعها فوق بعضها البعض"، فغالباً ما يخلط الذكاء الاصطناعي بين الألوان أو يفقد العد.
مشكلة الشكل: وجدت الورقة أن الذكاء الاصطناعي سيء بشكل مفاجئ في ضبط الأشكال الصحيحة عندما يكون هناك العديد من الأشياء. فهو بارع في ضبط الألوان، ولكن إذا طلبت "مربعاً" و"مثلثاً" في مشهد مزدحم، فغالباً ما يحولهم الذكاء الاصطناعي إلى كتل مشوهة.
أفضل من الاختبارات القديمة: أظهر المؤلفون أن اختبارهم الجديد يعطي نتائج مختلفة عن الاختبارات القديمة. وهذا يثبت أن SANEval يكتشف مشكلات جديدة كانت الاختبارات القديمة تغفل عنها.

الملخص

SANEval هو أداة جديدة تساعدنا على فهم أين يفشل مولدو الفن بالذكاء الاصطناعي بالضبط. إنه ينتقل من مرحال "التخمين" فيما إذا كانت الصورة جيدة، إلى تقديم شهادة مدرسية مفصلة ومنفتحة تقول: "لقد فعلت هذا بشكل جيد، لكنك أخطأت في هذا التفصيل المحدد". وهذا يساعد المطورين على إصلاح الأخطاء المحددة بدلاً من مجرد الأمل في أن يتحسن الذكاء الاصطناعي بمرور الوقت.

ملخص تقني: SANEval

بيان المشكلة

على الرغم من التقدم السريع في نماذج تحويل النص إلى صورة (T2I) (مثل Stable Diffusion، وImagen، وGPT-4o)، إلا أن قدرتها على تجسيد المطالبات المعقدة التي تتضمن كائنات متعددة، وسمات محددة، وعلاقات مكانية لا تزال تشكل عقبة كبيرة. تعاني طرق التقييم الحالية من ثلاث قيود رئيسية:

المفردات ذات المجموعات المغلقة: تعتمد الاختبارات المعيارية الحالية غالبًا على كواشف الكائنات المدربة على مجموعات بيانات ثابتة (مثل 80 فئة من MS-COCO)، مما يخلق "عدم تطابق في المفردات" حيث لا يمكن تقييم الكائنات الواقعية أو النادرة.
الافتقار إلى الدقة التشخيصية: تقدم العديد من المقاييس درجة واحدة غير قابلة للتفسير (مثل CLIPScore) أو أحكامًا ثنائية بالنجاح أو الفشل، مما يفشل في تحديد نقاط الفشل التركيبية المحددة (مثل فقدان الكائنات، أو ربط السمات بشكل غير صحيح، أو الأخطاء المكانية).
القابلية للتوسع والذاتية: التقييم البشري مكلف ويصعب توحيده، بينما تفشل المقاييس الآلية مثل FID أو IS في رصد الأخطاء التركيبية الدقيقة.

المنهجية: إطار عمل SANEval

يقدم المؤلفون SANEval (تقييم المكان، والسمات، والعدد)، وهو اختبار معياري مفتوح المفردات وتكويني مصمم ليكون قابلاً للتوسع، وموثوقًا، وقابلًا للتفسير. يتكون إطار العمل من خط معالجة معياري يضم وحدتين تقنيتين أساسيتين وثلاثة محاور للتقييم.

الوحدات الأساسية

وحدة فهم المطالبة (Prompt Understanding Module):
- تستخدم نموذج لغة كبير (LLM) موجهًا بمطالبات نظام محددة لتحليل مدخلات اللغة الطبيعية.
- تستخرج تمثيلاً مهيكلاً يتضمن:
  - الكائنات (Objects): قوائم كيانات فريدة.
  - السمات (Attributes): مرتبطة بكائنات محددة (اللون، الشكل، الملمس).
  - العلاقات المكانية (Spatial Relations): ممثلة في ثلاثيات <الكائن_1، العلاقة، الكائن_2>.
  - العدد (Numeracy): الأعداد المتوقعة لكل كائن.
- مصممة لتكون قوية ضد الاختلافات القواعدية وهياكل الجمل المعقدة.
وحدة الكشف عن الكائنات المحسنة (Enhanced Object Detection Module):
- تعالج محدودية المفردات في الكواشف التقليدية من خلال دمج كاشف عالم مفتوح (تحديدًا YOLO-E) مع توسيع المرادفات المدفوع بنماذج اللغة الكبيرة (LLM).
- العملية:
  - يقوم الـ LLM بتوسيع أسماء الكائنات المتوقعة إلى مجموعة من المرادفات والمصطلحات ذات الصلة (على سبيل المثال، "albatross" $\leftarrow$ {albatross, seabird, large bird}).
  - يقوم YOLO-E بالكشف عن الكائنات في الصورة المولدة.
  - يتم محاذاة تسميات الكائنات المكتشفة مع مجموعات المرادفات الموسعة لربط عمليات الكشف بالكلمات المقصودة في المطالبة.
- يستفيد هذا النهج الهجين من القدرة التفسيرية المهيكلة لعمليات الكشف عن الكائنات مع مرونة الاستنتاج في نماذج الرؤية واللغة (VLMs).

محاور التقييم

يقيم إطار العمل ثلاثة أبعاد تركيبية متميزة:

ربط السمات (Attribute Binding):
- العملية: يتم قص الكائنات المكتشفة وتمريرها إلى نموذج لغة ورؤية (VLM) يعمل كـ "قاضٍ" لتحديد سمات محددة (على سبيل المثال، "ما هو لون المقعد؟").
- التسجيل: يقارن الـ LLM بين السمة المتوقعة من الـ VLM وبين الحقيقة الأرضية، حيث يخصص درجة تشابه مستمرة (من 0.0 إلى 1.0) للسماح بالتقدير الجزئي (مثل "فيروزي" مقابل "أزرق").
- المخرجات: يولد ملاحظات مهيكلة تحدد السمات المفقودة أو غير المتطابقة.
العلاقات المكانية (Spatial Relationships):
- العملية: يستخدم صناديق الإحاطة (bounding boxes) من وحدة الكشف المحسنة والثلاثيات المكانية من وحدة فهم المطالبة.
- التسجيل: يطبق وظائف تقييم هندسية (مثل التحقق مما إذا كان مركز الثقل للكائن (أ) يقع إلى يسار الكائن (ب)) لحساب درجات الالتزام.
- المخرجات: يبلغ صراحة عن الأخطاء مثل "المتوقع وجود القط على يمين الكلب: الكائن المفقود: القط."
العدد (Numeracy):
- العملية: يقارن عدد الحالات المكتشفة مع الأعداد المتوقعة المستخرجة من المطالبة.
- التسجيل: 1.0 للمطابقة التامة، 0.5 للوجود مع عدد غير صحيح، 0.0 في حالة الفقدان.
- المخرجات: يبلغ عن الإنتاج الزائد أو الناقص (مثل "تم اكتشاف حقيبتين إضافيتين").

المساهمات الرئيسية

مجموعة اختبار SANEval: إطار تقييم شامل لنماذج T2I يغطي الالتزام المكاني، والسمات، والعدد مع قدرات مفتوحة المفردات.
مجموعة بيانات مفتوحة المصدر: إصدار SANEval-Simple (خوارزمي، حوالي 5,000 مطالبة) و Saneval-Hard (مصنوع بشرياً، 250 مطالبة معقدة)، مرفقة بصور مولدة وتسميات مطابقة تشخيصية.
خط معالجة قابل للتشغيل المباشر (Plug-and-Play): خط معالجة قابل للتوسع يفصل التقييم إلى محاور متميزة ويوفر درجات كمية وملاحظات تشخيصية مهيكلة وقابلة للتفسير.
التحقق من المتانة: إثبات أن إطار العمل متين تجاه اختيار نموذج اللغة الكبير (LLM) "القاضي" المستخدم (تم اختباره عبر استبدال Gemini Flash 2.5 بـ Llama-4) وأن وحدة توسيع المرادفات تعد أمراً حاسماً للكشف عن الكائنات النادرة.

النتائج والتحليل

قيم المؤلفون ستة نماذج من أحدث نماذج T2I (Imagen 3.0/4.0/4.0 Ultra, Nano Banana, Seedream 3.0, GPT Image 1) باستخدام إطار عمل SANEval.

اتجاهات الأداء: لا يهيمن نموذج واحد على جميع الفئات. حقق Imagen 4.0 Ultra أعلى درجة متوسطة إجمالية، حيث برع في العدد والروابط الدقيقة (الشكل/الملمس). بينما تفوق Seedream 3.0 في الاستدلال المكاني وربط الألوان.
الحساسية للتعقيد: يتدهور الأداء باستمرار مع زيادة تعقيد المطالبة (عدد الكائنات). تم تحديد ربط الشكل كأكثر مقياس هش، بينما ظل ربط اللون هو الأكثر متانة. على سبيل المثال، انخفضت دقة شكل Imagen 3.0 من ~0.31 في المطالبات ذات الكائن الواحد إلى ~0.06 في المطالبات التي تحتوي على أكثر من 10 كائنات.
المقارنة مع الاختبارات المعيارية الحالية: كشف تحليل ارتباط رتب سبيرمان ضد CompBench++ عن اختلافات ذات دلالة إحصائية (قيم p غالباً < $10^{-20}$ ) في المهام المكانية والعددية. يشير هذا إلى أن SANEval يوفر منظور تقييم مكملاً وغير متكرر يلتقط حالات الفشل التي تغفلها الطرق الحالية.
دراسة الاستئصال (Ablation Study): أدى حذف وحدة توسيع المرادفات المدفوعة بـ LLM إلى تدهور كبير في الأداء (على سبيل المثال، انخفاض نسبي بنسبة 75.69% في الدرجات المكانية) وانخفاض كبير في عدد الكائنات الفريدة المكتشفة، مما يؤكد ضرورة التعامل مع المفردات المفتوحة.

الأهمية والادعاءات

يزعم البحث أن SANEval يعالج الفجوة الحرجة في تقييم T2I من خلال الانتقال من المفردات الثابتة والدرجات الذاتية نحو الاختبار المعياري القائم على التغذية الراجعة والمفتوحة للعالم.

الفائدة التشخيصية: على عكس الاختبارات المعيارية السابقة التي تقدم درجات غامضة، يوفر SANEval ملاحظات قابلة للتنفيذ وقابلة للتفسير (مثل تحديد الكائنات المفقودة أو ربط السمات غير الصحيح)، وهو أمر ضروري لتشخيص سلوك النموذج.
أساس للتحسين: يفترض المؤلفون أن هذا الإطار يحول التقييم إلى شكل من أشكال الإشراف، مما قد يوجه التحسينات المستقبلية للنماذج والتعلم المعزز باستخدام التغذية الراجعة من الذكاء الاصطناعي (RLAIF).
التواضع: يقر المؤلفون بأنه بينما يحسن SANEval من الطرق الموجودة، فإنه يعتمد على الأولويات القائمة على اللغة (LLMs/VLMs) والتي قد تعكس تحيزات متأصلة. ويؤكدون أن العمل مصمم للتقييم والتحليل، وليس لإضافة قدرات توليدية جديدة، ويهدف إلى تشجيع تقييم أكثر شفافية ودقة للأنظمة التوليدية.