MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

إليك ملخص تقني مفصل لورقة البحث بعنوان "MACRO: تعزيز توليد الصور متعددة المراجع باستخدام بيانات سياقية طويلة ومنظمة".

1. بيان المشكلة

تتفوق النماذج الحالية الرائدة في توليد الصور ضمن السياق (مثل Bagel وOmniGen2) في مهام المرجع الواحد أو المراجع القليلة (مثل الحفاظ على الهوية، أو نقل الأسلوب)، لكنها تعاني من تدهور حاد في الأداء عندما يزداد عدد الصور المرجعية المدخلة عن 3 إلى 5 صور.

• السبب الجذري: حدد المؤلفون وجود عنق زجاجة في البيانات. فالقواعد البيانية الحالية تهيمن عليها أزواج المرجع الواحد أو المراجع القليلة، وتفتقر إلى الإشراف السياقي الطويل والمنظم. ونتيجة لذلك، تفشل النماذج في تعلم التبعيات الكثيفة بين المراجع المطلوبة للعمليات المعقدة، مثل الحفاظ على الاتساق المكاني عبر مشاهد متعددة، أو تتبع الديناميكيات الزمنية في تسلسلات الفيديو، أو دمج موضوعات متعددة ومتميزة في مشهد متماسك.
• فجوة التقييم: هناك نقص في المعايير القياسية القادرة على تقييم التماسك التوليدي عبر مقاييس مدخلات متغيرة (من 1 إلى 10 صور) وأبعاد مهام متنوعة (التخصيص، التوضيح، المكاني، والزمني).

2. المنهجية

أ. MacroData: مجموعة بيانات ضخمة ومنظمة

المساهمة الجوهرية هي MacroData، وهي مجموعة بيانات تضم 400,000 عينة عالية الجودة، تحتوي كل عينة منها على ما يصل إلى 10 صور مرجعية. تم تنظيم مجموعة البيانات بشكل منهجي في أربعة أبعاد متكاملة لتغطية الطيف الكامل لتوليد الصور متعددة المراجع:

1. التخصيص (100 ألف عينة): يركز على دمج عدة مراجع (بشر، كائنات، مشاهد، ملابس، أساليب) في مشاهد أصلية متماسكة.
   • خط الإنتاج: يجمع البيانات الوصفية من مصادر متنوعة (OpenSubject، MVImgNet، DL3DV، إلخ). يستخدم نماذج الرؤية واللغة (VLMs) لتصفية تسرب الهوية والجودة الجمالية. يقوم بتخليق الصور المستهدفة باستخدام نماذج مغلقة المصدر، يليه تقييم ثنائي الاتجاه بواسطة VLMs لضمان دقة المدخلات واتساق المطالبات (Prompts).
2. التوضيح (100 ألف عينة): توليد صور مدركة للسياق لتكمل السرديات النصية المتداخلة.
   • خط الإنتاج: يستخرج "الصور المرجعية" (Anchor Images) من مجموعات بيانات ضخمة متداخلة (OmniCorpus). يستخدم نماذج VLMs لإعادة كتابة السياقات السابقة المشوشة إلى سرديات موجزة ومتماسكة، ويقوم بتصفية العينات ذات المحاذاة الدلالية الضعيفة.
3. المكاني (100 ألف عينة): تخليق وجهات نظر جديدة من مشاهد متعددة المدخلات.
   • المهام الفرعية:
     • من الخارج إلى الداخل (Outside-in): رندرة كائنات ثلاثية الأبعاد من زوايا متعددة (Objaverse).
     • من الداخل إلى الخارج (Inside-out): توليد مشاهد بانورامية (DIT360، Pano360).
   • خط الإنتاج: يأخذ عينات من الزوايا القياسية، ويطبق فلاتر تداخل مكاني صارمة لضمان المعقولية الفيزيائية، ويحدد زوايا رؤية مستهدفة محددة للتوليد.
4. الزمني (100 ألف عينة): التنبؤ بالإطارات الرئيسية المستقبلية بناءً على تسلسلات فيديو تاريخية.
   • خط الإنتاج: يستخرج الإطارات الرئيسية من مقاطع الفيديو (OmniCorpus-YT) باستخدام كشف حدود اللقطات وتجميع التسلسلات القائم على DINO. تقوم نماذج VLMs بتوليد مطالبات ملخصة ودرجات جودة لضمان التماسك الزمني.

استراتيجية بناء البيانات: على عكس الأعمال السابقة التي تعتمد على كشط الويب المشوش، تستخدم MacroData خط إنتاج تقطيري (Distillation Pipeline) باستخدام نماذج متقدمة مغلقة المصدر (مثل Nano Banana Pro، Gemini-3-Flash) للتخليق، وعمليات تصفية صارمة قائمة على VLMs لضمان الدقة العالية والاتساق المنطقي.

ب. MacroBench: معيار تقييم قياسي

لمعالجة غياب بروتوكولات التقييم، اقترح المؤلفون MacroBench، الذي يحتوي على 4,000 عينة (1,000 لكل مهمة).

• الهيكل: يقيم الأداء عبر أربعة أبعاد للمهام ومقاييس مدخلات متدرجة (1–3، 4–5، 6–7، 8–10 صور).
• آلية التقييم: يستخدم نموذج LLM-as-Judge (تحديداً Gemini-3-Flash، الذي تم اختياره لتفوق ارتباطه بالتقييم البشري مقارنة بـ GPT-4.1).
• المقاييس: يتم تجميع المقاييس الخاصة بكل مهمة (مثل درجة اتساق الصورة، درجة اتباع المطالبة، درجة تحويل الرؤية) باستخدام المتوسط الهندسي لمعاقبة الإخفاقات الشديدة في أي بُعد واحد.

ج. استراتيجيات التدريب والتحسين

• الضبط الدقيق (Fine-tuning): يقوم المؤلفون بضبط نماذج مفتوحة المصدر (Bagel، OmniGen2، Qwen-Image-Edit) على MacroData.
• اختيار الرموز (Token Selection): للتعامل مع العبء الحسابي للسياقات الطويلة (حتى 10 صور)، استكشفوا استراتيجيات اختيار الرموز. أثبتت استراتيجية الاختيار المتوافق مع النص (تقليم الرموز بناءً على درجات الانتباه بين النص والصورة) والاختيار القائم على الكتل (Block-wise selection) فعاليتها، حيث تفوقت على الاختيار البسيط القائم على الصورة والذي يتسبب في فقدان المعلومات.
• توسع البيانات (Data Scaling): تظهر التجارب أن الأداء يتوسع باستمرار مع حجم البيانات، حيث تحدث أكبر المكاسب بين 1 ألف و10 آلاف عينة.

3. المساهمات الرئيسية

1. MacroData: أول مجموعة بيانات ضخمة مصممة خصيصاً لتوليد الصور متعددة المراجع ذات السياق الطويل، وتتميز بـ 400 ألف عينة تصل إلى 10 مدخلات، تغطي مهام التخصيص، التوضيح، المكاني، والزمني.
2. MacroBench: معيار شامل يسد فجوة التقييم، مما يسمح بالتقييم المنهجي لأداء النماذج عبر مقاييس المدخلات المختلفة وتعقيدات المهام.
3. التحقق التجريبي: أثبتت الدراسة أن الضبط الدقيق على MacroData يقلص بشكل كبير فجوة الأداء بين النماذج مفتوحة المصدر والنماذج الرائدة مغلقة المصدر (مثل Nano Banana Pro، GPT-Image-1.5).
4. رؤى حول تعلم السياق الطويل: حددت الدراسة أن التدريب المشترك عبر المهام (Cross-task co-training) يحقق فوائد تآزرية، وأن استراتيجيات محددة لاختيار الرموز تعد حاسمة لإدارة تعقيد السياق الطويل دون التضحية بجودة التوليد.

4. النتائج التجريبية

• الأداء الكمي:
  • حققت النماذج التي تم ضبطها على MacroData (مثل Bagel + MacroData) متوسط درجة 5.71 على MacroBench، محتلة المركز الثالث إجمالاً خلف النماذج مغلقة المصدر فقط (Nano Banana Pro: 7.12، GPT-Image-1.5: 7.50)، وتفوقت بفارق كبير على النماذج الأساسية مفتوحة المصدر (Bagel: 3.03).
  • المتانة: أظهرت النماذج المدربة على MacroData تدهوراً أقل بكثير في الأداء مع زيادة عدد المدخلات من 1–5 إلى 6–10 صور مقارنة بالنماذج المرجعية.
  • التعميم: حققت النماذج أيضاً نتائج قوية في معيار OmniContext الحالي، متفوقة على مجموعات البيانات المصممة خصيصاً لتلك المهمة (مثل Echo4o).
• النتائج النوعية: تظهر التصورات أن النماذج المدربة على MacroData يمكنها بنجاح دمج ميزات من أكثر من 10 صور، وتخليق رؤى ثلاثية الأبعاد جديدة باتساق هندسي عالٍ، والحفاظ على التماسك الزمني في التنبؤ بالفيديو، بينما تفشل النماذج المرجعية غالباً في الحفاظ على الهوية أو المنطق المكاني مع زيادة عدد المدخلات.
• دراسات الاستئصال (Ablation Studies):
  • التآزر عبر المهام: تفوق التدريب على المجموعة الكاملة من البيانات على التدريب على مجموعات فرعية فردية، مما يشير إلى أن تعلم التبعيات المتنوعة بين المراجع يفيد جميع المهام.
  • نسبة البيانات: المهام التصاعدية (التخصيص) تستفيد من رفع وزن العينات ذات المدخلات العالية (نسبة 2:2:3:3)، بينما تؤدي المهام غير التصاعدية أفضل النتائج مع أخذ عينات موحدة.

5. الأهمية

تعالج هذه الورقة عقبة حرجة في مجال الذكاء الاصطناعي التوليدي: عدم قدرة النماذج الحالية على الاستنتاج عبر سياقات كثيفة متعددة الصور. من خلال توفير مجموعة بيانات منظمة ومعيار صارم، تتيح MacroData وMacroBench:

• تطوير نماذج قادرة على تطبيقات العالم الحقيقي المعقدة مثل تكوين الموضوعات المتعددة، التوضيح السردي، وإعادة البناء ثلاثي الأبعاد.
• وضع معيار جديد لتقييم الاستدلال البصري طويل السياق، متجاوزين مجرد التخصيص بسيط الخطوات (few-shot customization).
• تقديم رؤى قابلة للتطبيق (مثل اختيار الرموز، ونسب توسع البيانات) للباحثين الذين يهدفون إلى بناء نماذج توليدية أكثر قدرة وإدراكاً للسياق.

تشير هذه الدراسة إلى أن الطريق نحو توليد متقدم داخل السياق لا يكمن فقط في بنى هندسية أفضل، بل في بيانات عالية الجودة ومنظمة تعلم النماذج صراحةً فهم العلاقات بين مدخلات بصرية متعددة.