💬 NLP

PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions

تقدم هذه الورقة البحثية PoSh، وهو مقياس يعتمد على نموذج لغوي كبير (LLM) كحكم وموجه برسم بياني للمشهد (scene graph) لتقييم الأوصاف التفصيلية للصور، وتتحقق من صحته من خلال معيار DOCENT الجديد، مما يظهر ارتباطاً فائقاً مع الأحكام البشرية ومتانة عبر أنواع الصور المتنوعة مقارنة بالمقاييس الحالية.

المؤلفون الأصليون: Amith Ananthram, Elias Stengel-Eskin, Lorena A. Bradford, Julia Demarest, Adam Purvis, Keith Krut, Robert Stein, Rina Elster Pantalony, Mohit Bansal, Kathleen McKeown

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amith Ananthram, Elias Stengel-Eskin, Lorena A. Bradford, Julia Demarest, Adam Purvis, Keith Krut, Robert Stein, Rina Elster Pantalony, Mohit Bansal, Kathleen McKeown

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ناقد فني تزور متحفاً. تنظر إلى لوحة معقدة لمشهد فوضوي: رجل يصب الماء، طائر بمنقار ذي شكل محدد، ومجموعة من الأشخاص يتفاعلون فيما بينهم. تريد كتابة وصف تفصيلي لهذه اللوحة بحيث يستطيع شخص كفيف "رؤيتها" في ذهنه.

الآن، تخيل أن لديك روبوتاً (ذكاء اصطناعي) يكتب أوصافاً أيضاً. كيف ستعرف ما إذا كان الروبوت قد أدى عملاً جيداً؟

هذه هي المشكلة التي تحاول ورقة POSH البحثية حلها. إليك التفاصيل بتبسيط شديد:

1. المشكلة: المساطر القديمة لا تناسب الملابس الجديدة

لفترة طويلة، استخدمنا مساطر بسيطة لتقييم أوصاف الذكاء الاصطناعي. هذه المساطر القديمة (مقاييس مثل CIDEr أو SPICE) صُممت لجمل قصيرة وبسيطة، مثل "كلب يركض". وهي تتحقق مما إذا كان الذكاء الاصطناعي قد استخدم الكلمات الصحيحة.

لكن اليوم، يمكن للذكاء الاصطناعي كتابة قصص طويلة ومفصلة عن الصور. المساطر القديمة معطلة لهذا الغرض.

الخلل: إذا قال الذكاء الاصطناعي "الرجل يصب الماء"، بينما الرجل في الواقع "يمسك" بالماء، فقد تعطيها المسطرة القديمة درجة عالية لأنها حصلت على الكلمات "رجل"، "يصب"، و"ماء" بشكل صحيح. إنها تغفل عن الخطأ المنطقي.
المشكلة الحقيقية: في الأوصاف التفصيلية، يكون فهم العلاقات (من يفعل ماذا لمن) هو كل شيء. إذا أخطأ الذكاء الاصطناعي في العلاقات، يصبح الوصف بلا فائدة، حتى لو كانت المفردات مثالية.

2. الحل: POSH (المحقق "مخطط المشهد")

ابتكر المؤلفون أداة جديدة تسمى POSH. فكر في POSH ليس كمسطرة، بل كـ محقق لديه قائمة مراجعة.

إليك كيف يعمل POSH، خطوة بخطوة:

الخطوة 1: المخطط (مخططات المشهد - Scene Graphs):
تخيل أن الذكاء الاصطناعي كتب وصفاً. يأخذ POSH هذا النص ويحوله إلى مخطط (يسمى مخطط المشهد). يقوم بتفكيك القصة إلى لبنات بنائها الأساسية: من الموجود هناك؟ ماذا يرتدون؟ كيف يرتبطون ببعضهم؟
- مثال توضيحي: إذا كانت الجملة "الرجل الطويل الذي يركب الحصان يلوح بيده"، فإن المخطط يسرد: [رجل] + [طويل] + [على حصان] + [يلوح].
الخطوة 2: الاستجواب (النموذج اللغوي الكبير كقاضٍ - LLM-as-a-Judge):
يقارن POSH مخطط الذكاء الاصطناعي مقابل "المخطط المعياري الذهبي" (الذي كتبه خبير بشري). بدلاً من مجرد عد الكلمات المتطابقة، يستخدم POSH ذكاءً اصطناعياً ذكياً (الـ "قاضي") لطرح أسئلة محددة.
- السؤال: "هل ذكر الوصف رجلاً على حصان؟"
- النتيجة: إذا قال الذكاء الاصطناعي "رجل على دراجة هوائية"، فإن القاضي سيكتشف هذا الخطأ المحدد. إنه يحدد بدقة أين وقع الخطأ في النص.
الخطوة 3: تقرير الدرجات:
يعطي POSH درجة بناءً على شيئين:
1. الدقة (Precision): هل اخترع الذكاء الاصطناعي أشياءً لم تكن موجودة؟ (مثل قول وجود قطة بينما لا توجد قطة).
2. الاستدعاء/الشمول (Recall): هل نسي الذكاء الاصطناعي تفاصيل مهمة؟ (مثل نسيان ذكر منقار الطائر).

3. الاختبار الجديد: DOCENT (المتحف الفني)

لإثبات فعالية أداتهم الجديدة، بنى المؤلفون اختباراً جديداً يسمى DOCENT.

ما هو؟ مجموعة من 1,750 عملاً فنياً معقداً (لوحات، رسومات تخطيطية، تماثيل) من المعرض الوطني للفنون (National Gallery of Art).
لماذا هو مميز؟ معظم اختبارات الذكاء الاصطناعي تستخدم صوراً لقطط أو سيارات؛ وهي أشياء بسيطة. أما DOCENT فيستخدم الفن، وهو فن فوضوي، عاطفي، ومليء بالتفاصيل الخفية.
العنصر البشري: قاموا بتوظيف طلاب تاريخ الفن لتقييم أوصاف الذكاء الاصطناعي. هؤلاء الطلاب لم يكتفوا بالقول "جيد" أو "سيء"؛ بل حددوا بدقة أي الجمل كانت خاطئة أو ناقصة. وهذا ما خلق "المعيار الذهبي" لاختبار POSH.

4. النتائج: لماذا يتفوق POSH

عندما اختبروا POSH مقابل الطرق الأخرى:

إنه أذكى: ارتبط POSH بشكل أفضل بكثير مع الخبراء البشر حتى مقارنة بأكثر أحكام الذكاء الاصطناعي تقدماً (مثل GPT-4o). لقد فهم لماذا كان الوصف سيئاً، وليس فقط أنه سيء.
إنه أرخص: لا تحتاج إلى دفع تكاليف باهظة لاستخدام واجهات برمجة التطبيقات (API) لاستخدام POSH؛ فهو يستخدم نماذج مفتوحة المصدر.
إنه مدرب: استخدم المؤلفون POSH لـ "تدريب" ذكاء اصطناعي. بدلاً من مجرد عرض الأمثلة للذكاء الاصطناعي، جعلوا الذكاء الاصطناعي يتدرب واستخدموا POSH لتقديم ملاحظات له. وقد أصبح الذكاء الاصطناعي أفضل بكثير في وصف الفن بعد هذا التدريب.

الصورة الكبيرة

تجادل الورقة بأننا لكي نجعل الذكاء الاصطناعي مفيداً حقاً لأمور مثل سهولة الوصول (كتابة أوصاف للمكفوفين)، نحتاج إلى تجاوز مجرد مطابقة الكلمات البسيطة. نحن بحاجة إلى أدوات تفهم القصة والعلاقات في الصورة.

POSH هو تلك الأداة. إنه يشبه الانتقال من مدقق إملائي (الذي يتحقق فقط مما إذا كانت الكلمات مكتوبة بشكل صحيح) إلى محرر أدبي (الذي يتحقق مما إذا كانت الحبكة منطقية). ومن خلال استخدام هذا المحرر الجديد والاختبار الأصعب (DOCENT)، يمكننا أخيراً بناء ذكاء اصطناعي يمكنه حقاً "رؤية" العالم ووصفه بتفصيل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "POSH: استخدام الرسوم البيانية للمشاهد لتوجيه النماذج اللغوية الكبيرة (LLMs) كحكم للوصف التفصيلي للصور."

1. بيان المشكلة

بينما تقدمت نماذج الرؤية واللغة (VLMs) في توليد أوصاف تفصيلية للصور، إلا أن التقييم لا يزال يمثل عقبة كبيرة.

قصور المقاييس الحالية: صُممت المقاييس القياسية (مثل CIDEr وSPICE وBLEU) للتعليقات القصيرة وتعتمد على تداخل الـ n-gram أو المطابقة الدلالية البسيطة. وهي تفشل في استيعاب الفروق الدقيقة في النصوص الطويلة، مثل ارتباط الصفات والعلاقات (على سبيل المثال، الخلط بين من يقوم بصب الماء في مشهد ديناميكي). كما أنها تفتقر إلى القدرة على تحديد موقع الأخطاء في أجزاء نصية محددة.
قصور استخدام النماذج اللغوية الكبيرة كحكم (LLM-as-a-Judge): رغم أن النماذج اللغوية الكبيرة المستخدمة كحكام توفر ارتباطاً أفضل مع التقييمات البشرية، إلا أنها غالباً ما تقدم درجات عامة غير قابلة للتفسير. علاوة على ذلك، فإن النماذج مغلقة المصدر (مثل GPT-4o) باهظة الثمن، وغير قابلة للتكرار، وتفتقر إلى الشفافية.
نقص المعايير المرجعية (Benchmarks): هناك ندرة في مجموعات البيانات التي تحتوي على أحكام بشرية دقيقة (تحديد أخطاء وسهو محددين) للأوصاف التفصيلية طويلة التنسيق، خاصة في المجالات المعقدة مثل الفنون البصرية.

2. المنهجية: POSH

يقترح المؤلفون POSH (تدقيق الرسوم البيانية للمشاهد - PrOofing Scene grapHs)، وهو مقياس مرجعي مصمم لتقييم أوصاف الصور التفصيلية من خلال الجمع بين الرسوم البيانية للمشاهد المهيكلة وقدرات النماذج اللغوية الكبيرة كحكم.

سير العمل الأساسي (ثلاث خطوات):

استخراج الرسم البياني للمشهد:
- بالنظر إلى وصف مُولد ووصف مرجعي، يستخرج POSH رسوماً بيانية للمشهد على مستوى الجملة باستخدام تحليل التبعية (Spacy) وحل الإحالة المرجعية (Maverick).
- يتكون الرسم البيائي $G(d) = \langle O(d), E(d), K(d) \rangle$ من الأجسام ( $O$ )، الصفات ( $E$ )، والعلاقات ( $K$ ).
- من الضروري أن هذه الخطوة تحافظ على ارتباطات الأجسام (على سبيل المثال، التأكد من ربط "رجل على حصان" بشكل صحيح)، مما يقلل من تنوع النص السطحي إلى المكونات البصرية الجوهرية.
التقييم الدقيق عبر الأسئلة والأجوبة (QA):
- يستخدم POSH نموذجاً لغوياً كبيراً مفتوح الأوزان (تحديداً Qwen-3-14b) كحكم.
- يقوم بتوليد أسئلة نمطية لكل مكون في الرسم البياني للمشهد (مثلاً: "هل تم ذكر 'المرأة بالثوب الأبيض'؟").
- يجيب النموذج اللغوي على هذه الأسئلة لتحديد وجود المكونات في النص الآخر (للتحقق من التوليد مقابل المرجع من أجل الدقة/الأخطاء، والتحقق من المرجع مقابل التوليد من أجل الاستدعاء/السهو).
التقييم العام:
- يتم تجميع الدرجات الدقيقة (على مقياس 1-5) لإنتاج درجات عامة قابلة للتفسير لـ الأخطاء (الدقة)، السهو (الاستدعاء)، والجودة الإجمالية.
- نظرًا لأن الدرجة العامة هي تجميع للدرجات الدقيقة الموضعية، فإن المقياس قابل للتفسير، مما يسمح للمستخدمين برؤية أي أجزاء نصية بالضبط تسببت في انخفاض الدرجة.

3. المساهمات الرئيسية

أ. مقياس POSH

قابل للتفسير وقابل للتكرار: على عكس الأحكام القائمة على واجهات برمجة التطبيقات (APIs) المغلقة (الصندوق الأسود)، يستخدم POSH نماذج مفتوحة الأوزان ومعايير مهيكلة، مما يجعله قابلاً للتكرار بالكامل ومنخفض التكلفة.
التحديد الموضعي الدقيق: يحدد الأجزاء النصية المحددة التي تحتوي على أخطاء (مثل الخطأ في إسناد الصفات)، مما يعالج فجوة تقييم "النصوص الطويلة".
المتانة: يتعامل مع الصور المتنوعة وديناميكيات المشاهد المعقدة بشكل أفضل من مقاييس n-gram أو المقاييس القائمة على التضمين (embedding) البسيطة.

ب. معيار DOCENT المرجعي

للتحقق من صحة POSH، قدم المؤلفون DOCENT، وهو معيار جديد يركز على الفنون البصرية:

البيانات: 1,750 عملاً فنياً (لوحات، رسومات، منحوتات) من المعرض الوطني للفنون في الولايات المتحدة.
المراجع: أوصاف شاملة كتبها خبراء تركز على إمكانية الوصول (تغطية الملابس، الاتجاه، نظرة العين، إلوت إلخ).
التوليدات: أوصاف مولدة بواسطة 4 نماذج رؤية ولغة (LLaVA-1.6, Molmo, GPT-4o, Claude 3.5).
الأحكام البشرية: 300 حكم دقيق (على مستوى الجزء النصي) للأخطاء والسهو، و600 حكم عام (ترتيب زوجي) مقدم من طلاب تاريخ الفن وطالب دكتوراه خبير.
التعقيد: تحتوي صور DOCENT على حوالي 16% أكثر من الأجسام وتقريباً ضعف عدد الأشخاص مقارنة بالمعايير الحالية (مثل CapArena)، مما يتطلب استدلالاً علاقاتياً معقداً.

4. النتائج

التقييم على DOCENT (دقيق وعام)

الأداء الدقيق: حقق POSH أعلى F1-Macro لتحديد الأخطاء (0.580) والسهو (0.680)، متفوقاً على النماذج المرجعية القائمة على التضمين (4GramEmbed, SGEmbed).
الأداء العام:
- حقق POSH زيادة قدرها +0.05 في معامل سبيرمان ( $\rho$ ) في الارتباط مع الأحكام البشرية مقارنة بأفضل بديل مفتوح الأوزان، بل وتفوق على GPT-4o في التنبؤ بالجودة الإجمالية والسهو.
- أظهر متانة قوية عبر أنواع الأخطاء المختلفة (الأخطاء مقابل السهو).

التقييم على CapArena (المتانة)

تم اختباره على مجموعة بيانات صور ويب (CapArena) لضمان عدم انحياز POSH نحو الفن فقط.
حقق POSH دقة عالية في مستوى التعليق وارتباطات في ترتيب النماذج، متفوقاً على جميع البدائل مفتوحة الأوزان تقريباً وعلى GPT-4o.
في المجموعات الفرعية ذات التعقيد العالي (3 أشخاص أو أكثر)، تفوق POSH بشكل كبير على نموذج LLaVA-Critic الأكبر حجماً.

تجربة دالة المكافأة

استخدم المؤلفون POSH كدالة مكافأة لـ التعلم التعزيزي (DAPO) لضبط نموذج VLM (Qwen2.5-VL-7B).
النتيجة: أنتجت النماذج التي تم ضبطها باستخدام POSH أوصافاً تحتوي على سهو أقل بكثير (+0.432 تحسن) وجودة إجمالية أعلى (+0.135) مقارنة بالضبط الدقيق الخاضع للإشراف (SFT) القياسي، رغم الزيادة الطفيفة في الأخطاء البسيطة. وهذا يثبت فائدة POSH كمدقق للتعلم التعزيزي.

تحليل النماذج

باستخدام POSH، قيم المؤلفون النماذج مفتوحة المصدر مقابل المغلقة على DOCENT.
النتيجة: حتى النماذج التأسيسية رفيعة المستوى تواجه صعوبة في تحقيق تغطية كاملة وخالية من الأخطاء لديناميكيات المشهد الغنية. تغطي النماذج المغلقة (GPT-4o) حوالي 50% فقط من المعلومات البصرية الموجودة في المراجع، مما يسلط الضలు على فجوة كبيرة في قدرات نماذج VLM الحالية لتوليد نصوص مساعدة تفصيلية.

5. الأهمية والتأثير

تطوير التكنولوجيا المساعدة: من خلال تحسين تقييم الأوصاف التفصيلية للصور، يدعم POSH مباشرة تطوير النصوص البديلة (alt-text) الأفضل للمكفوفين وضعاف البصر، وهو مجال حيوي لإمكانية الوصول عبر الويب.
نموذج تقييم جديد: ينقل POSH المجال بعيداً عن مقاييس التداخل البسيطة نحو تقييم مهيكل ومستند إلى الواقع يفهم دلالات المشهد وعلاقاته.
الديمقراطية: من خلال كونه مفتوح الأوزان وقابلاً للتكرار، يخفض POSH الحاجة أمام الباحثين لتطوير واختبار نماذج الوصف التفصيلي دون الاعتماد على واجهات برمجة التطبيقات المغلقة والمكلفة.
وضع المعايير: يضع DOCENT معياراً جديداً عالي الصعوبة لنماذج VLM، مما يجبر المجتمع العلمي على معالجة التحديات في الاستدلال العلاقي وتوليد النصوص الطويلة.

باختدال، يوفر POSH إطاراً صارماً وقابلاً للتفسير ومنخفض التكلفة لتقييم أوصاف الصور التفصيلية، بينما يوفر DOCENT البيانات اللازمة لدفع التقدم في هذا المجال الصعب، بهدف نهائي هو تحسين إمكانية الوصول وفهم نماذج VLM للمشاهد البصرية المعقدة.