PortraitCraft: A Benchmark for Portrait Composition Understanding and Generation

1. بيان المشكلة

يعد تكوين الصور الشخصية (Portrait composition) عاملاً حاسماً في الجماليات البصرية، حيث يؤثر على إبراز الموضوع، والقص، ووضعية الجسم، وتعبيرات الوجه، والتفاعل بين الموضوع والخلفية. ومع ذلك، تواجه الأبحاث والمجموعات البيانية الحالية عدة قيود:

• التقييم السطحي: تركز معظم المجموعات البيانية الحالية (مثل AVA وAADB) على الجماليات العامة للصورة أو توفر فقط درجة جمالية عالمية واحدة، مما يفشل في استيعاب الطبيعة متعددة الأوجه لتكوين الصور الشخصية.
• الافتقار إلى الهيكلية: لا تدعم الموارد الحالية التحليل المنظم والدقيق لسمات التكوين المحددة (مثل الإضاءة، التنظيم المكاني، والاستقرار البصري).
• المهام المنفصلة: تُجرى الأبحاث حول "فهم" تكوين الصور الشخصية (التحليل) و"توليدها" (التركيب) بشكل منعزل عادةً. لا يوجد معيار موحد يربط بين تحليل التكوين المنظم وبين التوليد القابل للتحكم بناءً على قيود تكوينية صريحة.
• ندرة البيانات: هناك نقص في مجموعات البيانات واسعة النطاق المصممة خصيصاً لتصوير الصور الشخصية والتي تتضمن إشرافاً متعدد المستويات (درجات، سمات، تفسيرات، ومطالبات توليد).

2. المنهجية

يقدم المؤلفون PortraitCraft، وهو معيار موحد مصمم لسد الفجوة بين فهم تكوين الصور الشخصية وتوليدها. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. بناء مجموعة البيانات

• النطاق والمصدر: تتكون مجموعة البيانات من حوالي 50,000 صورة شخصية حقيقية منقحة تم الحصول عليها من موقع Unsplash.
• عملية التنقية: تم استخدام خط معالقة متعدد المراحل، يتضمن استرجاع الكلمات المفتاحية، والفرز الآلي عبر النماذج، والفحص اليدوي الصارم من قبل خبراء لإزالة الصور منخفضة الجودة، أو المولدة بالذكاء الاصطناعي، أو الحساسة للخصوصية.
• إطار التوسيم (Annotation):
  • مشاركة الخبراء: قام مصممون ومصورون محترفون بخبرة تترا-وح من 3 إلى أكثر من 10 سنوات بإجراء عمليات التوسيم الأساسية.
  • التوليد بمساعدة النماذج: استُخدمت نماذج لغوية كبيرة متعددة الوسائط (MLLMs) متقدمة لتوليد نصوص التفسير الأولية، وأزواج الأسئلة والأجوبة البصرية (VQA)، والأوصاف المهيكلة، والتي تمت مراجعتها وتنقيحها بعد ذلك من قبل الخبراء.
  • الإشراف متعدد المستويات: تتضمن مجموعة البيانات:
    1. درجات التكوين العالمية: تقييمات جمالية شاملة.
    2. 13 سمة تكوينية: تسميات دقيقة تغطي اللون/الأسلوب، الجودة التقنية/الإضاءة، التنظيم المكاني، تقديم الموضوع، والاستقرار البصري.
    3. تفسيرات على مستوى السمة: المبررات النصية لدرجات السمات.
    4. أزواج الأسئلة والأجوبة البصرية (VQA): أسئلة اختيار من متعدد قائمة على الصورة مع خيارات مشتتة عالية الجودة.
    5. الأوصاف المهيكلة: مطالبات نصية موجهة نحو التكوين لمهام التوليد.

ب. مهام المعيار (Benchmark Tasks)

يحدد المعيار مسارين متكاملين ضمن إطار موحد:

1. المسار الأول: فهم تكوين الصور الشخصية
   • الهدف: تقييم قدرة النموذج على تحليل جودة التكوين بشكل هيكلي.
     ের
   • المدخلات: صورة شخصية واحدة.
   • المخرجات:
     • التنبؤ بدرجة التكوين الإجمالية.
     • تصنيف 13 سمة محددة إلى ثلاثة مستويات (جيد، متوسط، ضعيف).
     • الإجابة على سؤال بصري من متعدد بناءً على الصورة.
2. المسار الثاني: توليد الصور الشخصية
   • الهدف: تقييم قدرة النموذج على توليد صور شخصية تلتزم بدقة بقيود التكوين الصريحة.
   • المدخلات: وصف نصي مهيكل يفصل متطلبات التكوين (مثل وضعية الموضوع، المساحة السلبية، وطبقات العمق).
   • المخرجات: صورة شخصية مولدة.
   • التقييم: يركز على التحاذي التكويني (مدى مطابقة الصورة المولدة للقيود الهيكلية في النص) بدلاً من مجرد الواقعية البصرية أو التشابه على مستوى البكسل.

ج. بروتوكولات التقييم

• مقاييس الفهم: معامل ارتباط سبيرمان (SRCC) ومعامل ارتباط بيرسون الخطي (PLCC) للتنبؤ بالدرجات؛ والدقة (Accuracy) لتصنيف السمات والأسئلة البصرية (VQA).
• مقاييس التوليد: يستخرج نموذج داخلي خصائص التكوين المهيكلة من الصور المولدة لمقارنتها بالمواصفات النصية المستهدفة، وحساب درجة التحاذي.

3. المساهمات الرئيسية

1. معيار موحد: أول إطار عمل يقيم معاً فهم وتوليد تكوين الصور الشخصية، ويربط التحليل بالتركيب القابل للتحكم.
2. مجموعة بيانات منقحة واسعة النطلة: مجموعة بيانات تضم حوالي 50,000 صورة شخصية حقيقية مع إشراف غني ومتعدد المستويات (درجات عالمية، 13 سمة، تفسيرات، VQA، ومطالبات مهيكلة)، تم بناؤها عبر عمليات تعتمد على التفاعل بين الخبير والنموذج (expert-human-in-the-loop).
3. التمثيل المهيكل: تقديم تصنيف معياري يتكون من 13 سمة لتكوين الصور الشخصية، مما ينتقل من التقييم العالمي السطحي إلى التقييم الدقيق والقابل للتفسير.
4. التقييم المعياري: تحديد بروتوكولات لكلا المسارين، بما في ذلك مقاييس محددة للتحاذي التكويني في عملية التوليد، لمعالجة نقص الاختبارات المعيارية في هذا المجال.
5. نتائج خط الأساس (Baselines): تقديم تطبيقات مرجعية باستخدام Qwen3-VL-4B، مما يثبت جدوى المهام ويضع خط أساس للأداء للأبحاث المستقبلية.

4. النتائج التجريبية

أجرى المؤلفون تجارب باستخدام Qwen3-VL-4B كنموذج خط أساس:

• المسار 1 (الفهم):
  • أدى ضبط النموذج (Fine-tuning) على PortraitCraft إلى تحسين الأداء بشكل كبير مقارنة بإعدادات Zero-shot عبر جميع المقاييس.
  • SRCC/PLCC: تحسن من ~0.67/0.64 (Zero-shot) إلى ~0.78/0.75 (بعد الضبط)، مما يشير إلى تحاذٍ أفضل مع تقييم الخبراء.
  • دقة VQA: ارتفعت من 78.25% إلى 87.65%، مما يظهر تعزيزاً في الاستنتاج القائم على الصورة.
  • دقة السمات: تحسنت من 42.90% إلى 45.92%. وتوضح هذه الزيادة الطفيفة أن الحكم الدقيق عبر 13 سمة يظل مهمة صعبة.
• المسار 2 (التوليد):
  • أظهرت النتائج النوعية أن النماذج التي تم ضبطها يمكنها توليد صور شخصية واقعية بصرياً تلتزم بقيود هيكلية محددة (مثل وضعية الموضوع، والتنظيم المكاني).
  • تؤكد النتائج أن مجموعة البيانات تدعم بفعالية التوليد الواعي بالتكوين، رغم أن التحكم الدقيق في الهياكل الدقيقة يظل تحدياً بحثياً مفتوحاً.

5. الأهمية والأثر

• تطوير الذكاء الاصطناعي الجمالي: ينقل النموذج من التقييم الجمالي العام إلى تحليل الصور الشخصية المهيكل، القابل للتفسير، والدقيق.
• التوليد القابل للتحكم: يوفر مساراً لتوليد صور ليست واقعية فحسب، بل صحيحة تكوينياً وفقاً لقواعد محددة من قبل البشر، وهو أمر بالغ الأهمية لتطبيقات التصوير الفوتوغرافي والتصميم الاحترافي.
• أساس بحثي: يوفر مورداً شاملاً لدراسة العلاقة بين الفهم البصري والتحكم التوليدي، مما يمهد الطريق لأعمال مستقبلية حول التقييم الجمالي القابل للتفسير والتركيب الصوري المهيكل.
• مورد للمجتمع العلمي: مجموعة البيانات والبرمجيات متاحة للجمهور، مما يعزيد البحث القابل لإعادة الإنتاج في مجال تكوين الصور الشخصية.

باختصار، يعالج PortraitCraft فجوة حرجة في الرؤية الحاسوبية من خلال توفير معيار مهيكل ومنقح من قبل الخبراء يتعامل مع تكوين الصور الشخصية كمشكلة متعددة الأوجه، مما يتيح كلاً من التحليل العميق والتوليد الدقيق القائم على القيود.