💻 computer science

OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

تقترح هذه الورقة إطار عمل OSPO، وهو إطار عمل ذاتي التحسين يعزز المحاذاة الدقيقة بين النص والصورة ويقلل من هلاوس الكائنات من خلال بناء بيانات تفضيل متمحورة حول الكائنات بشكل مستقل واستخدام خسارة SimPO الموزونة بالكائنات، متفوقاً بذلك على كل من أساليب التحسين الذاتي السابقة ونماذج الانتشار المتخصصة.

المؤلفون الأصليون: Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً للغاية يُدعى MLLM (نموذج لغوي كبير متعدد الوسائط). هذا الفنان مذهل في فهم ما تقوله ويمكنه رسم صور بناءً على أوصافك. ومع ذلك، لديه عادة مزعجة: هو بارع في الصورة الكبيرة ولكنه سيء جداً في التفاصيل.

إذا طلبت منه رسم "قطة حمراء تجلس على سجادة زرقاء"، فقد يرسم قطة، ولكن قد تكون خضراء، أو قد تكون السجادة حمراء، أو قد يرسم كلباً بدلاً منها عن طريق الخطأ. كما أنه يعاني في العد (مثل "ثلاث تفاحات") أو في ضبط العلاقات المكانية (مثل "التفاحة تحت الكوب").

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى OSPO (تحسين التفضيل ذاتي التحسين المرتكز على الأشياء) لإصلاح هذا الأمر. وإليك كيف تعمل، مشروحة ببساطة:

المشكلة في الطرق القديمة

في السابق، لتعليم الفنان ليكون أفضل، كان على البشر (أو نماذج ذكاء اصطناعي أخرى فائقة الذكاء) النظر إلى آلاف الرسومات، واختيار "الجيدة" منها، وشطب "السيئة".

المشكلة: هذا الأمر مكلف، وبطيء، ويتطلب توظيف فريق ضخم من النقاد. كما أن النقاد قد لا يتفقون على ما يعنيه "الجيد"، مما يؤدي إلى الارتباك.

حل OSPO: الفنان يصبح معلمه الخاص

OSPO يشبه إعطاء الفنان مرآة سحرية وقائمة مراجعة حتى يتمكن من تعليم نفسه دون الحاجة إلى مدير بشري. يحدث هذا في خمس خطوات:

1. مولد الأوامر (رجل الأفكار)

أولاً، يقوم النظام بإنشاء قائمة بطلبات رسم محددة. بدلاً من مجرد "قطة"، ينشئ طلبات مثل "قطة مخططة على سجادة". يقوم بتفكيك هذه الطلبات إلى فئات مثل الألوان، والأشكال، والمواقع.

2. لعبة "ماذا لو" (الاضطراب)

هذا هو الجزء الذكي. لكل طلب، ينشئ النظام نسخة "ملتوية" من الطلب.

الأصل: "قطة حمراء على سجادة زرقاء."
الملتوي: "قطة زرقاء على سجادة حمراء."
ثم يطلب النظام من الفنان رسم النسختين. الآن، لدى الفنان رسمتان: إحداهما تطابق الوصف الأول، والأخرى تطابق الوصف الثاني.

3. القناع السحري (كشف الأشياء)

هنا يصبح OSPO ذكياً. بدلاً من النظر إلى الصورة بأكملها، يستخدم النظام أداة خاصة (تعتمد على "انتباه" الفنان الداخلي) لرسم قناع حول الأشياء المذكورة تحديداً (مثل القطة أو السجادة).

تخيل هذا كأن الفنان يضع عدسة مكبرة فوق القطة فقط ليرى ما إذا كانت حمراء حقاً، متجاهلاً الخلفية. هذا يضمن تركيز الفنان على التفاصيل التي تهم، وليس فقط الانطباع العام.

4. الاختبار الذاتي (VQA)

قبل أن يُسمح للفنان بالاحتفاظ برسوماته، يجب عليه اجتياز اختبار حولها. يطرح النظام أسئلة بسيطة بنعم/لا بناءً على الأمر:

"هل القطة حمراء؟"
"هل السجادة زرقاء؟"
"هل هناك ثلاث تفاحات؟"
يجيب الفنان على هذه الأسئلة حول رسمته الخاصة. إذا رسم قطة خضراء لكنه قال "نعم، إنها حمراء"، فإن النظام يعرف أن الرسمة سيئة. يقوم النظام بتصفية الرسومات السيئة والاحتفاظ فقط بالرسومات التي يتطابق فيها الرسم والوصف تماماً.

5. حلقة التحسين الذاتي (التدريب)

أخيراً، يتعلم الفنان من الرسم "الجيد" مقابل الرسم "السيئ". ولكن السر يكمن في: "الخسارة المرجحة بالأشياء" (Object-Weighted Loss).

تخيل أن الفنان يتم تقييمه. في الماضي، إذا أخطأ في الخلفية لكنه أصاب في القطة، فقد يحصل على درجة جيدة.
مع OSPO، يقول النظام: "نحن لا نهتم بالخلفية الآن. نحن نهتم فقط بـ القطة. إذا كانت القطة خاطئة، فستحصل على صفر."
هذا يجبر الفنان على التركيز بشدة على الحصول على الأشياء المحددة وسماتها (اللون، الشكل، الموقع) بشكل صحيح.

لماذا يعد هذا أمراً كبيراً؟

لا حاجة لمساعدة خارجية: الفنان ينشئ مسائل التدريب الخاصة به ويقيم واجباته بنفسه. لا يحتاج إلى معلمين بشر مكلفين.
التركيز على التفاصيل: من خلال استخدام "الأقنعة" للتقريب والتركيز على أشياء محددة، فإنه يعالج مشكلة "الهلوسة" (رسم أشياء غير موجودة أو الخطأ في الألوان).
أفضل من المحترفين: تُظهر الورقة أن هذا الفنان الذي علم نفسه ذاتياً يرسم في الواقع بشكل أفضل من بعض أشهر بوتات الرسم المتخصصة (مثل DALL-E 3 أو SD-XL) عندما يتعلق الأمر بالتعليمات المعقدة والمفصلة.

ملخص التشبيه

فكر في الطريقة القديمة كطالب يحتاج إلى معلم ليقيم كل مقال يكتبه. هذا أمر بطيء ومكلف.

OSPO هو مثل طالب:

يكتب نسختين من المقال (واحدة صحيحة، والأخرى بها خطأ مطبعي).
يستخدم قلم تحديد (Highlighter) لتمييز مكان الخطأ بالضبط (قناع الشيء).
يختبر نفسه ليرى ما إذا كان بإمكانه رصد الخطأ (الاختبار الذاتي).
يتعلم خصيصاً لإصلاح ذلك الخطأ المحدد، متجاهلاً بقية الصفحة حتى يتقنها.

من خلال القيام بذلك بشكل متكرر، يصبح الطالب خبيراً في التفاصيل دون الحاجة أبداً إلى معلم ينظر إلى عمله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OSPO: تحسين التفضيل المتمحور حول الأشياء والذاتي التحسين لتوليد الصور من النصوص (OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation)."

1. بيان المشكلة

على الرغم من التقدم السريع في نماذج اللغات الكبيرة متعددة الوسائط الموحدة (MLLMs) في كل من فهم وتوليد المحتوى البصري، إلا أنها تعاني من صعوبة في تحقيق المحاذاة الدقيقة بين النص والصورة (fine-grained text-to-image alignment). وبشكل محدد، تفشل النماذج الحالية غالبًا في تجسيد ما يلي بدقة:

سمات الأشياء الدقيقة (اللون، الشكل، الملمس).
العلاقات المكانية بين الأشياء.
التعليمات التركيبية المعقدة.

يؤدي هذا إلى هلوسة الأشياء (object hallucination)، حيث تولد النماذح أشياءً غير موجودة، أو تغفل عن أشياء موصوفة، أو تشوه سماتها.

تواجه الحلول الحالية عقبتين رئيسيتين:

الاعتماد على البيانات: تعتمد طرق تحسين التفضيل التقليدية (مثل DPO أو PPO) على مجموعات بيانات ضخمة ومكلفة يتم تنسيقها بواسطة البشر أو نماذج ذكاء اصطناعي أقوى، والتي يصعب توسيع نطاقها لتوليد الصور.
عدم تطابق التوزيع (Distribution Mismatch): تعاني هذه الطرق من مشكلات "خارج السياسة" (off-policy)، حيث لا تتطابق بيانات التفضيل الخارجية مع توزيع مخرجات النموذج نفسه، مما يؤدي إلى عدم استقرار التحسين.
الافتقار إلى التفصيل (Lack of Granularity): تفتقر أطر العمل ذاتية التحسين الحالية (مثل SILMM) إلى إنتاج بيانات التفضيل، كما تفتقر إلى آليات صريحة لفرض المحاذاة على مستوى الأشياء (object-level)، مما يؤدي غالبًا إلى إشارات تدريب مشوشة (على سبيل المثال، أزواج "التفضيل الفارغ" حيث تكون كلتا الصورتين سيئتين بالتساوي، أو أزواج "التفضيل الخاطئ" حيث يتم تصنيف الصورة الأفضل بشكل خاطئ).

2. المنهجية: إطار عمل OSPO

يقترح المؤلفون OSPO (تحسين التفضيل المتمحور حول الأشياء والذاتي التحسين)، وهو إطار عمل كامل ومستقل يتكون من خمس مراحل، يمكّن نماذج MLLM من توليد بيانات تفضيل عالية الجودة متمحورة حول الأشياء وتحسين نفسها ذاتيًا دون الحاجة إلى نماذج أو مجموعات بيانات خارجية.

المرحلة 1: توليد المطالبات (Prompt Generation)

يقوم النموذج بتوليد مجموعة أساسية من مطالبات التدريب المصنفة إلى أربعة أنواع دلالية لضمان التنوع:

السمة (Attribute): اللون، الشكل، الملمس.
التخطيط (Layout): العلاقات المكانية ثنائية وثلاثية الأبعاد.
العلاقة غير المكانية (Non-spatial Relationship): الأفعال أو الحالات الديناميكية.
التركيب المعقد (Complex Composition): مزيج من العناصر أعلاه.

المرحلة 2: تشويه المطالبة وتكثيفها (Prompt Perturbation and Densification)

بدلاً من أسلوب "أفضل من N" (Best-of-N) القياسي (الذي يولد صورًا متعددة من مطالبة واحدة ويختار الفائز والخاسر)، يقوم OSPO بإنشاء مطالبات مزدوجة لضمان وجود اختلافات محكومة:

التشويه (Perturbation): لكل مطالبة أساسية $x$ $x$ ، يولد النموذج $N$ $N$ من المتغيرات المشوهة ( $\tilde{x}$ $\tilde{x}$ ) باستخدام ثلاث استراتيجيات:
- الاستبدال (Replace): استبدال كائن/سمة بأخرى جديدة.
- التبديل (Swap): تبادل مواقع الأشياء/السمات.
- الحذف (Drop): إزالة كائن/سمة.
التكثيف (Densification): يتم "تكثيف" المطالبات الأصلية والمشوهة (إثراؤها بتفاصيل سياقية) لضمان اشتراكها في نفس الخلفية العالمية ولكن مع اختلافها فقط في تفاصيل الأشياء الدقيقة. وهذا يخلق تباينًا واضحًا للتعلم.

المرحلة 3: توليد الصور وأقنعة الأشياء (Image and Object Mask Generation)

توليد الصور: يولد النموذج أزواج صور مرشحة $(y_w, y_\ell)$ من أزواج المطالبات المكثفة.
استخراج أقنعة الأشياء: من الضروري أن يستخرج النموذج أقنعة أشياء ثنائية (binary object masks) مباشرة من أوزان الانتباه الداخلية الخاصة به (تحديدًا من الطبقات المتوسطة، مع استبعاد الطبقات العليا/الدنيا لتجنب الضجيج). هذا يحدد أي الرموز البصرية (visual tokens) تتوافق مع أشياء محددة موصوفة في المطالبة، مما يلغي الحاجة إلى نماذج تقسيم (segmentation) خارجية.

المرحلة 4: بناء أزواج التفضيل القائمة على VQA

لتصفية البيانات المشوشة (أزواج التفضيل الفارغ والتفضيل الخاطئ)، يستخدم OSPO تقنية Self-VQA:

يقوم النموذج بتفكيك المطالبة إلى أسئلة ذرية بنظام (نعم/لا) تتعلق بسمات الأشياء وعلاقاتها.
يقيم كل صورة مرشحة مقابل هذه الأسئلة لحساب درجة المحاذاة ( $S$ ).
التصفية (Filtering): يتم استبعاد الأزواج إذا كانت درجة الصورة "المفضلة" أقل من عتبة معينة، أو إذا كانت الصورة "غير المفضلة" تلبي شروط المطالبة بالصدفة.
الاختيار (Selection): يتم اختيار الزوج الذي يحقق أعلى درجة محاذاة للصورة المفضلة للتدريب.

المرحلة 5: تحسين التفضيل (Preference Optimization)

يتم ضبط النموذج بدقة باستخدام دالة خسارة مركبة:

خسارة Object-weighted SimPO: وهي تعديل لخسارة SimPO القياسية. تطبق أوزانًا مكانية بناءً على أقنعة الأشياء المستخرجة، مما يجبر النموذج على تركيز التدرجات (gradients) على الرموز البصرية المتعلقة بالأشياء بدلاً من رموز الخلفية غير ذات الصلة.
- الصيغة: $L_{Obj-SimPO} = -E [\log \sigma ( \frac{w(y_w)}{|y_w|} \log \pi_\theta(y_w|x) - \frac{w(y_\ell)}{|y_\ell|} \log \pi_\theta(y_\ell|x) - \gamma )]$
خسارة SFT: هي خسارة الضبط الدقيق تحت الإشراف (Supervised Fine-Tuning) القياسية على الصورة المفضلة للحفاظ على التماسك الهيكلي العالمي والاستقرار.

3. المساهمات الرئيسية

إطار عمل OSPO: خط عمل مبتكر، ذاتي التحسين بالكامل، يبني بيانات تفضيل دقيقة ومتمحورة حول الأشياء دون الاعتماد على مجموعات بيانات أو نماذج مكافأة خارجية.
آلية التمحور حول الأشياء: تقديم أقنعة الأشياء القائمة على الانتباه وخسارة الأوزان الموجهة للأشياء، والتي توجه التحسين صراحة نحو تصحيح هلوسات مستوى الأشياء بدلاً من مجرد جودة الصورة العالمية.
خط بناء البيانات: طريقة قوية تتضمن تشويه المطالبات، والتكثيف، وتصفية Self-VQA التي تقلل بشكل كبير من الإشراف المشوش مقارنة بأساليب "أفضل من N" الحالية.
الأداء المتفوق (State-of-the-Art): أظهر قدرة على التفوق على نماذج الانتشار المتخصصة ونماذج MLLM ذاتية التحسين الأخرى في الاختبارات القياسية التركيبية.

4. النتائج التجريبية

قام المؤلفون بتقييم OSPO على نماذج Janus-Pro-1B و Janus-Pro-7B عبر ثلاثة اختبارات قياسية: T2I-CompBench++، و DPGBench، و GenEval.

مكاسب الأداء:
- في T2I-CompBench++، تفوق OSPO بشكل كبير على النماذج المرجعية (SILMM, SUDER) وحتى نماذج الانتشار المتخصصة (SD-XL, DALL-E 3, FLUX.1) في فئة السمة (على سبيل المثال، سجل Janus-Pro-7B + OSPO درجة 0.8567 مقابل 0.7824 لـ SUDER).
- في GenEval، حقق OSPO ثاني أفضل درجة إجمالية بين نماذج MLLM الموحدة، مما أظهر تعميماً قوياً.
- في DPGBench، حقق نموذج 7B أعلى درجة بين طرق التحسين الذاتي القائمة على Janus-Pro.
التحسينات النوعية: تُظهر الأمثلة البصرية انخفاضًا ملحوظًا في هلوسة الأشياء (مثل التجسيد الصحيح لألوان وأشكال وترتيبات مكانية محددة مثل "دائرة حمراء فوق مربع أزرق").
الكفاءة: يحقق OSPO أداءً أعلى بـ تكلفة حوسبية أقل مقارنة بأطر العمل التي تستخدم GRPO أو نماذج مكافأة متعددة، ويرجع ذلك أساسًا إلى توليد مجموعات مرشحة أصغر ومستهدفة بدلاً من الاعتماد على أخذ عينات ضخم.

5. الأهمية

يعالج هذا العمل عقبة حرجة في الذكاء الاصطناعي التوليدي: عدم قدرة النماذج الموحدة على اتباع التعليمات المعقدة على مستوى الأشياء بدقة. ومن خلال الانتقال من تحسين جودة الصورة العالمية إلى التحسين الذاتي المتمحور حول الأشياء، يوفر OSPO مسارًا قابلاً للتوسع ومنخفض التكلفة لتقليل الهلوسة.

تكمن الأهمية في:

الاستقلالية: يثبت أن نماذج MLLM يمكنها تصحيح عيوبها التوليدية ذاتيًا باستخدام قدراتها الداخلية فقط (الفهم والتوليد) دون الحاجة إلى تسميات بشرية أو أدوات خارجية.
التفصيل (Granularity): يتجاوز السؤال "هل الصورة جيدة؟" إلى "هل الشيء المحدد في المكان الصحيح وباللون الصحيح؟"، مما يضع معيارًا جديدًا لتوليد الصور الدقيق (T2I).
القابلية للتوسع: الطريقة فعالة للغاية، مما يجعل من الممكن تدريب نماذج T2I عالية الجودة بموارد حوسبية محدودة مقارنة بالبدائل التي تتطلب كميات هائلة من البيانات.