💻 computer science

Semantic Generative Tuning for Unified Multimodal Models

تقدم هذه الورقة البحثية الضبط التوليدي الدلالي (SGT)، وهو نموذج جديد لمرحلة ما بعد التدريب يستفيد من تجزئة الصور كوسيط توليدي لسد الفجوة بين الفهم البصري والتوليد في النماذج متعددة الوسائط الموحدة، مما يعزز بشكل كبير كلاً من الإدراك الاستيعابي والدقة التوليدية.

المؤلفون الأصليون: Songsong Yu, Yuxin Chen, Ying Shan, Yanwei Li

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Songsong Yu, Yuxin Chen, Ying Shan, Yanwei Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يرى العالم ويرسمه في نفس الوقت. هذا هو هدف النماذج متعددة الوسائط الموحدة (UMMs). والمشكلة هي أننا، حتى الآن، كنا نعلم هذه الروبوتات بطريقتين مختلفتين لا تتفقان تمامًا.

المشكلة: فخ "الدقة المتناهية للبكسل"

فكر في عقل الروبوت على أنه يمتلك وظيفتين متميزتين:

الفهم: قراءة صورة ووصفها (مثل أمين المكتبة).
التوليد: رسم صورة بناءً على وصف (مثل الفنان).

سابقًا، حاول الباحثون تعليم الروبوت القيام بكليهما عن طريق جعله يتدرب على إعادة بناء البكسلات بدقة متناهية. تخيل أنك تطلب من الفنان إعادة رسم صورة لقطة، لكن المعلم مهووس بكل شعرة واحدة، والدرجة الدقيقة للون الفراء، وحتى ذرات الغبار الصغيرة على العدسة.

النتيجة: يتشتت انتباه الفنان في نسخ التفاصيل الصغيرة والفوضوية (مثل الغبار والضجيج) لدرجة أنه ينسى "جوهر" القطة. يصبح بارعًا في النسخ، لكنه سيء في فهم ماهية القطة حقًا. يتوقف "أمين المكتبة" و"الفنان" في عقل الروبوت عن التحدث مع بعضهما البعض.

الحل: "الضبط التوليدي الدلالي" (SGT)

يقترح مؤلفو هذه الورقة طريقة تدريب جديدة تسمى الضبط التوليدي الدلالي (SGT). بدلًا من مطالبة الروبوت بنسخ كل بكسل صغير، يطلبون منه القيام بشيء أكثر أهمية: رسم خريطة للأشكال.

التشبيه: المعماري مقابل الرسام

الطريقة القديمة (إعادة بناء البكسلات): مطالبة الروبوت برسم صورة لمنزل، طوبة تلو الأخرى، بما في ذلك الشقوق في الملاط والأوساخ على النوافذ. هذا الأمر مليء بالضجيج والارتباك.
الطريقة الجديدة (SGT): مطالبة الروبوت برسم مخطط تفصيلي ملون للمنزل.
- "هذه المنطقة هي السقف."
- "هذه المنطقة هي الباب."
- "هذه المنطقة هي العشب."

هذا "المخطط" هو ما تسميه الورقة تقسيم الصور (Image Segmentation). فهو يجرد الصورة من الضجيج الفوضوي (الغبار، الملمس) ويركز فقط على البنية والمعنى.

لماذا ينجح هذا (لحظة الإدراك!)

اختبر الباحثون أنواعًا مختلفة من مهام "الرسم" لمعرفة أي منها يساعد الروبوت على الفهم والتوليد بشكل أفضل. وقد وجدوا فائزًا واضحًا:

المهام منخفضة المستوى (الخاسرون): مطالبة الروبوت باكتشاف الحواف أو إزالة الضجيج. هذا يشبه مطالبة الروبوت بعدّ البكسلات؛ حيث يعلق في التفاصيل ويفقد الصورة الكبيرة.
المهام عالية المستوى (الفائزون): مطالبة الروبوت بتقسيم الصورة (فصل السماء عن الأرض، أو السيارة عن الطريق). هذا يجبر الروبوت على فهم ما هي الأشياء وأين تقع بالنسبة لبعضها البعض.

التأثير السحري:
من خلال ممارسة مهمة "رسم الأشكال" هذه، يخضع عقل الروبوت لعملية تحول:

تفكير أوضح: يتعلم الروبوت كيفية فصل الأشياء المختلفة في عقله بشكل أفضل بكثير (مثل التمييز بين البيانو الكبير والبيانو القائم، اللذين يبدوان متشابهين ولكنهما مختلفان).
تركيز أفضل: عندما يقرأ الروبوت أمرًا مثل "سيارة حمراء على اليسار"، فإنه يتوقف عن تجاهل الكلمات "حمراء" و"يسار". إنه يتعلم الانتباه للكلمات المفتاحية المهمة، تمامًا كما يفعل البشر.
العمل الجماعي: أخيرًا، أصبح "أمين المكتبة" (الفهم) و"الفنان" (التوليد) يتحدثان نفس اللغة. كلاهما يركز على معنى الصورة، وليس فقط على الضجيج.

النتائج

تظهر الورقة أنه عندما استخدموا طريقة التدريب القائمة على "رسم الأشكال" هذه:

أصبح الروبوت أفضل بكثير في الإجابة على الأسئلة حول الصور (الفهم).
أصبح الروبوت أفضل بكثير في رسم صور تتبع التعليمات، مثل وضع قطة على اليسار وكلب على اليمين (التوليد).
نجحت الطريقة مع أنواع مختلفة من "أدمغة الروبوتات" (البنيات البرمجية)، مما يثبت أنها حل عالمي وليست مجرد حيلة عابرة.

العقبة (القيود)

يتحلى المؤلفون بالأمانة بشأن الحدود. تدريب "رسم الأشكال" هذا رائع للمشاهد الطبيعية (قطط، سيارات، مناظر طبيعية). ومع ذلك، فهو لا يعلم الروبوت سحرًا العمليات الحسابية المعقدة أو قراءة الرسوم البيانية. إنه يبني الأساس، وليس تعليمًا كاملاً. لكي يصبح الروبوت عبقريًا في كل شيء، لا تزال بحاجة إلى مزج هذه الطة الجديدة مع أنواع أخرى من التعلم (مثل قراءة الكتب وحل الألغاز).

باختاً مختصراً: تجادل الورقة بأنه لكي نصنع ذكاءً اصطناعيًا يمكنه الرؤية والرسم معًا، لا ينبغي لنا تعليمه نسخ كل ذرة غبار صغيرة. بدلاً من ذلك، يجب أن نعلمه رسم "الهيكل العظمي" للعالم. بمجرد أن يفهم الهيكل العظمي، ستأتي بقية التفاصيل (التفاصيل والأوصاف) بشكل طبيعي.

ملخص تقني: الضبط التوليدي الدلالي للنماذج متعددة الوسائط الموحدة

بيان المشكلة

تهدف النماذج متعددة الوسائط الموحدة (UMMs) إلى دمج الفهم البصري والتوليد البصري ضمن بنية واحدة لتسهيل نقل المعرفة ثنائي الاتجاه. ومع ذلك، تعاني نماذج التدريب السائدة من تباعد التحسين (optimization divergence). فمهام الفهم مدفوعة عادةً بإشراف نصي متفرق (مثل VQA)، بينما تعتمد مهام التوليد على أهداف كثيفة على مستوى البكسل (مثل إعادة بناء البكسل). وتؤدي هذه الاستراتيجية المنفصلة إلى عدم محاذاة مساحات التمثيل، مما يعزل القدرتين ويمنع تعزيزهما المتبادل.

وقد ثبت أن المحاولات الأخيرة لسد هذه الفجوة باستخدام إعادة بناء فضاء البكسل كوسيط توليدي هي محاولات دون المستوى الأمثل. وتجادل الورقة بأن التحسين من أجل إعادة بناء مثالية للبكسل يجبر النماذج على التركيز على تفاصيل الملمس منخفضة التردد والضجيج الحبيبي، مما يشتت الانتباه عن المعلومات الدلالية عالية المستوى المطلوبة للفهم والاستدلال البصري القوي. وبناءً على ذلك، غالبًا ما تفشل النماذج متعددة الوسائط الموحدة الحالية في تحقيق تآزر حقيقي، حيث تمتلك بنية مشتركة ولكن عمليات تحسين منفصلة.

المنهجية: الضبط التوليدي الدلالي (SGT)

يقترح المؤلفون الضبط التوليدي الدلالي (SGT)، وهو نموذج جديد لما بعد التدريب يستبدل إعادة بناء البكسل منخفضة المستوى بـ مهام دلالية عالية المستوى كوسيط توليدي.

1. تصنيف المهام البصرية الهرمي

أجرى البحث أولاً تحقيقًا منهجيًا في فعالية المهام البصرية المختلفة كوسيط توليدي. وقد صنفوا المهام إلى ثلاثة مستويات:

منخفض المستوى: كشف الحواف، إزالة الضجيج، وتكبير الدقة (super-resolution).
متوسط المستوى: تقدير العمق، وإكمال الصور (inpainting).
عالي المستوى: تقسيم الصور (segmentation)، وكشف الأشياء (object detection).

ومن خلال التقييم التجريبي على نماذج مثل BAGEL وOmniGen2، لاحظ المؤلفون أن المهام الدلالية عالية المستوى، وخاصة تقسيم الصور، تحقق أكبر مكاسب في الأداء في كل من الفهم والتوليد. وخلافًا للمهام منخفضة المستوى التي تركز بشكل مفرط على الملامس، يوفر التقسيم دلالات هيكلية تتوافق مع متطلبات الاستدلال للفهم البصري.

2. إطار عمل SGT

يعتمد SGT على تقسيم الصور كمهمة توليدية أساسية. يعمل الإطار كما يلي:

المدخلات: صورة RGB وتعليمة نصية موجزة.
العملية: يعالج النموذج الصورة من خلال مشفر رؤية (لاستخراج الرموز الدلالية $z_{vit}$ ) ومشفر VAE (للتفاصيل الهيكلية $z_{vae}$ ).
الهدف: بدلاً من إعادة بناء صورة RGB الخام، يتم تدريب النموذج على توليد خريطة تقسيم (أو تمثيلات دلالية عالية المستوى أخرى) مشروطة بالصورة المدخلة والنص.
التكامل: يتم دمج SGT مع بيانات الضبط الدقيق الخاضع للإشراف (SFT) القياسية (مثل تعليمات VQA). وقد وجد المؤلفون نسبة مثالية داخل الدفعة (intra-batch ratio) تبلغ 1:2 (بيانات VQA إلى بيانات التقسيم) لتحقيق أفضل أداء إجمالي.

3. التحليل الآلي

تقدم الورقة ثلاثة رؤى آلية رئيسية حول سبب نجاح SGT:

القابلية للفصل الخطي للميزات: يحسن SGT بشكل كبير من القابلية للفصل الخطي للتمثيلات البصرية (visual embeddings). تُظهر تصورات t-SNE أن النماذج المدربة باستخدام SGT تنتج مجموعات داخل الفئة أكثر تماسكًا وفصلًا أوضح بين الفئات للأشياء المتشابهة دلاليًا والمختلفة هيكليًا (مثل البيانو القائم مقابل البيانو الكبير).
تخصيص الانتباه: يخفف SGT من اعتماد النموذج المفرط على الأولويات اللغوية. فهو يغير ديناميكيات الانتباه في طبقات الترانسفورمر العميقة للتركيز بشكل أكبر على الرموز البصرية، مما يقلل من الهلوسة.
تضخيم الرموز الحرجة: أثناء التوليد، يعزز SGT انتباه النموذج إلى الرموز الدلالية الحرجة (الأشياء، الألوان، المواقع) مع كبح الإشارات غير ذات الصلة، مما يؤدي إلى التزام أفضل بالقيود المكانية والسمات.

النتائج الرئيسية

أظهرت التقييمات المكثفة عبر بنيات النماذج متعددة الوسائط الموحدة الرئيسية (BAGEL وOmniGen2) والأساليب المتنوعة فعالية SGT:

الفهم البصري: يحسن SGT باستمرار الأداء عبر الإدراك المرتكز على الرؤية، والاستدلال المكاني، ومقاومة الهلوسة.
- في اختبار CV-Bench، حقق SGT-BAGEL زيادة في الأداء بنسبة 6.02% مقارنة بالنموذج الأساسي BAGEL.
- لوحظت تحسينات في الاستدلال المكاني (VSR، SIBench) ومقاومة الهلوسة (POPE، HallusionBench).
التوليد البصري: يحسن هذا النموذج من دقة التخطيط التوليدي (generative layout fidelity).
- حقق SGT-Gen2 درجة 90.0% في GenEval، متفوقًا على النموذج الأساسي.
- يُظهر التحليل النوعي التزامًا فائقًا بالتعليمات المعقدة المتعلقة بالمكان واللون.
دراسات الاستئصال (Ablation Studies):
- تفوقت المهام عالية المستوى (التقسيم) باستمرار على المهام متوسطة المستوى (العمق) ومنخفضة المستوى (الحواف، إعادة البناء).
- يؤدي دمج SGT مع بيانات SFT إلى أفضل النتائج، بينما يؤدي الاعتماد فقط على الضبط التوليدي إلى تدهور طفيف في المهام كثيفة المعرفة (مثل الرياضيات وOCR)، مما يشير إلى أن SGT هو استراتيجية محاذاة تأسيسية وليس مجرد حقن للمعرفة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول تحقيق منهجي في ما بعد التدريب التوليدي للنماذج متعددة الوسائط الموحدة، متجاوزة الاعتماد السائد على إعادة بناء فضاء البكسل.

تحول النموذج: تجادل الورقة بأن محاذاة القدرات متعددة الوسائط عند المستوى الدلالي (عبر التقسيم) تتفوق على المحاذاة عند مستوى البكسل. هذا النهج يفلتر الضجيج منخفض المستوى ويعزز التآزر الحقيقي بين الفهم والتوليد.
القدرة على التعميم: ثبت أن فوائد SGT قوية عبر مختلف بنيات النماذج (Mixture of Transformers مقابل Hybrid Causal-Diffusion) ومقاييس المعلمات.
الدور التأسيسي: يضع المؤلفون SGT ليس كبديل لجميع بيانات التدريب، بل كاستراتيجية محاذاة حاسمة. فعند دمجه مع بيانات الفهم والتوليد القياسية، فإنه يطلق العنان للإمكانات الكاملة للنماذج متعددة الوسائط الموحدة من خلال إنشاء مساحة دلالية مشتركة تلتقط التجريد الهيكلي الضروري للتعلم متعدد الوسائط العام.

تخلص الورقة إلى أنه بينما يعزز SGT بشكل كبير القدرات الإدراكية ودقة التوليد، فإنه لا يقدم بطبيعته مهارات استدلال منطقي أو معرفة جديدة، مما يؤكد الحاجة إلى وصفة تدريب متوازنة تتضمن مصادر بيانات متنوعة.