💻 computer science

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

تُعد FullFlow طريقةً فعالةً من حيث الكفاءة في المعلمات، حيث تعمل على ترقية نماذج توليد الصور من النصوص القائمة على التدفق المستقيمي (rectified-flow) والمُدربة مسبقاً إلى مولدات ثنائية الاتجاه للرؤية واللغة عبر تدريب محولات خفيفة الوزن فقط، محققةً أداءً رائدًا في كل من توليد الصور والنصوص مع تقليل التكاليف الحسابية بشكل كبير مقارنةً بالأساليب الحالية.

المؤلفون الأصليون: Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً ماهراً مشهوراً للغاية بشيء واحد محدد: وهو تحويل وصفة مكتوبة (نص) إلى طبق لذيذ ومثالي (صورة). لقد أمضى هذا الشيف سنوات في تعلم كيف تتحول كلمات مثل "حار"، "ذهبي"، و"مقرمش" إلى نكهات وقوامات.

ومع ذلك، فإن لدى هذا الشيف قيداً واحداً: فهو يعمل في اتجاه واحد فقط. إذا أعطيته صورة لطبق، فلا يمكنه إخبارك بالوصفة. إنه عالق في مسار "النص إلى الصورة".

FullFlow هو طريقة تدريب جديدة وذكية تعلم هذا الشيف نفسه كيف يعمل في الاتجاهين دون طرده أو جعله يبدأ من الصفر. إنها تحوله إلى "ناقد ومبتكر طعام" حقيقي، يستطيع النظر إلى طبق ووصف الوصفة، أو النظر إلى وصفة وطهي الطبق، كل ذلك مع الحفاظ على مهاراته الأصلية في الطهي.

إليك كيف فعلوا ذلك، مقسماً إلى مفاهيم بسيطة:

1. نظام "المسارين"

عادةً، عندما يحاول الذكاء الاصطناعي القيام بكل من النصوص والصور، فإنه يحاول إجبار الاثنين على استخدام نفس "اللغة". الأمر يشبه محاولة تعليم الشيف التحدث بلغة "الصور" ولغة "الكلمات" في آن واحد، مما يربكه غالباً ويفسد مهاراته الأصلية في الطهي.

تتبع FullFlow نهجاً مختلفاً؛ فهي تبقي المسارين منفصلين ولكن متصلين:

مسار الصورة: يحتفظ الشيف بـ "التدفق المستمر" الأصلي عالي الجودة للصور. لا شيء يتغير هنا؛ قدرة الشيف على الطهي تظل مثالية.
مسار النص: بالنسبة للنصوص، أضافوا أداة "إدراج" خفيفة الوزن. بدلاً من تخمين الكلمات من الصفر، يتعلم النموذج كيفية ملء الكلمات المفقودة في جملة، مثل لعبة "Mad Libs" حيث تبدأ بصفحة فارغة وتدرج الكلمات حتى تظهر جملة كاملة.

2. تشبيه "إشارة المرور"

تخيل أن الذكاء الاصطناعي يقود سيارة عبر مدينة حيث يمثل الوقت إشارة مرور.

الطريقة القديمة: كان على السيارة التوقف عند كل إشارة للتبديل بين "وضع الصورة" و"وضع النص".
طريقة FullFlow: أصبح لدى السيارة الآن إشارتان منفصلتان: واحدة للصورة ( $t$ $t$ ) وأخرى للنص ( $\tau$ $τ$ ).
- إذا أردت تحويل النص إلى صورة، تجعل إشارة النص خضراء (منتهية) وتترك إشارة الصورة تتحول من الأحمر إلى الأخضر.
- إذا أردت تحويل الصورة إلى نص، تجعل إشارة الصورة خضراء وتترك إشارة النص تتحول.
- إذا أردت إنشاء كليهما معاً، تترك الإشارتين تتغيران في نفس الوقت.

هذا يمنح الذكاء الاصطناعي الحرية الكاملة لاختيار مساره دون أن يعلق.

3. "الترقية الصغيرة" (LoRA)

أكبر مشكلة في تعليم الذكاء الاصطناعي مهارات جديدة هي أن ذلك يتطلب عادةً عملية إصلاح شاملة وضخمة. الأمر يشبه إعادة بناء المطبخ بالكامل لتعليم الشيف كيفية خبز الخبز.

FullFlow هي "ترقية اقتصادية". بدلاً من إعادة بناء المطبخ، قاموا فقط بإضافة أدوات صغيرة قابلة للفصل (تسمى محولات LoRA) ودفتر ملاحظات جديد للشيف.

قاموا بتدريب حوالي 5% فقط من دماغ النموذج.
تم ترك بقية معرفة الشيف (الأساس المسبق للصور) مجمدة ولم تُلمس.
النتيجة: تعلم الشيف وصف الصور والإجابة على الأسئلة دون أن ينسى كيفية الطهي.

4. خدعة "المعلم"

عندما كان الشيف يتدرب على وصف الصور، كان هناك خطر أن يبدأ في نسيان كيفية الطهي (أي تصبح جودة الصورة ضبابية).

لإصلاح ذلك، استخدم الباحثون خدعة "المعلم". تخيل أن الشيف المتدرب يمارس مهارة جديدة بينما يراقبه شيف ماهر (النسخة الأصلية المجمدة من نفسه). يُقال للشيف المتدرب: "احرص على أن تبدو صورتك تماماً مثل صورة الشيف الماهر، حتى أثناء كتابتك للوصف".
هذا يضمن أن المهارات الجديدة لا تفسد المهارات القديمة.

ماذا يمكنه أن يفعل؟

بفضل هذه الترقية، يمكن للنموذج الآن:

النص $\leftarrow$ الصورة: "ارسم تنيناً داخل كوب". (المهارة الأصلية).
الصورة $\leftarrow$ النص: عرض صورة قطة، وسيكتب: "قطة سوداء تجلس على سجادة".
التوليد المشترك: إنشاء صورة ووصف في نفس الوقت وبدقة متناهية.
الأسئلة والأجوبة البصرية: عرض صورة لطفل يرتدي قبعة والسؤال: "ما لون القبعة؟" يقوم النموذج بملء الإجابة فقط ("أسود") دون إعادة كتابة الجملة بأكملها.

الخلاصة

تظهر الورقة البحثية أنك لست بحاجة لتدريب ذكاء اصطناعي ضخم من الصفر لجعله يفهم الصور والكلمات معاً. يمكنك أخذ صانع صور قوي، وإعطاؤه بعض الأدوات الصغيرة والذكية، ليصبح فوراً شريكاً في محادثة ثنائية الاتجاه.

في اختباراتهم، كانت هذه الطريقة أسرع بـ 8 مرات واستخدمت أقل من نصف ذاكرة الكمبيوتر مقارنة بالطرق السابقة، مع تقديم نتائج أفضل بكثير. لقد أثبتت أن "دماغ الصورة" يعرف بالفعل الكثير عن اللغة والمعنى؛ إنه فقط يحتاج إلى المفتاح الصحيح لفتح تلك القدرات.

ملخص تقني: FullFlow

بيان المشكلة

تمتلك نماذج الانتشار (diffusion) ونماذج التدفق المصحح (rectified-flow) الحديثة لتحويل النص إلى صورة (T2I) مقدمات بصرية غنية وقدرات توليدية قوية، لكنها تعمل بشكل صارم بطريقة أحادية الاتجاه: نص في الداخل، وصورة في الخارج. وبينما توجد نماذج رؤية ولغة موحدة (VLMs)، إلا أنها تُبنى عادةً عن طريق تكييف نموذج لغوي مدرب مسبقاً باستخدام مشفر بصري، أو عبر إجراء تدريب مسبق مشترك ومكلف من الصالب. هذه النهج غالباً ما تتخلص من المقدمات الصورية القوية المشفرة بالفعل في النماذج الأساسية لـ T2I أو تتطلب إعادة تدريب جوهرية تكون مكلفة حوسبياً. السؤال المركزي الذي تعالجه هذه الورقة هو: هل يمكن ترقية نموذج تدفق (flow model) لـ T2I مدرب مسبقاً ليصبح مولداً ثنائي الاتجاه للرؤية واللغة دون الحاجة إلى تدريب مسبق متعدد الوسائط بالكامل أو التضحية بالمقدمة الصورية الأصلية؟

المنهجية

يقترح المؤلفون FullFlow، وهو وصفة فعالة في معالجة المعلمات لترقية نموذج T2I بتدفق مصحح مدرب مسبقاً (تحديداً Stable Diffusion 3 و FLUX.1-dev) إلى مولد ثنائي الاتجاه. يكمن الابتكار الجوهري في التعامل مع الوسيطين بشكل غير متماثل ولكن متوافق ضمن عمود فقري مشترك واحد.

1. التمديد متعدد الوسائط في الفضاء الأصلي

الوسيط الصوري: تظل الصور في فضاء الكامن (latent space) المستمر الأصلي للتدفق المصحح. يحافظ النموذج على عملية الصورة المستمرة المدربة مسبقاً.
الوسيط النصي: يتم التعامل مع النص عبر عملية إدراج منفصلة مبنية على تدفقات التحرير (Edit Flows). بخلاف الانتشار المنفصل القائم على القناع (mask-based discrete diffusion) -والذي يقدم رموزاً خارج المفردات غير متوافقة مع المشفرات المجمدة- يستخدم FullFlow عملية إدماج قائمة على الحذف. يضمن هذا أن تكون حالة النص التالف عند أي مستوى من الضجيج عبارة عن تسلسل فرعي صالح من الرموز يمكن فك تشفيره وإعادة ترميزه للمشفرات المساعدة (مثل CLIP).
البنية الهيكلية: يعالج عمود فقري مشترك واحد (MM-DiT) كلا الوسيطين. يتم تكييف النموذج باستخدام خطي زمن منفصلين: $t$ $t$ لزمن الصورة و $\tau$ $τ$ لزمن النص.
- المكونات المجمدة: تظل أوزان العمود الفقري وجميع المشفرات النصية المساعدة (T5، CLIP) مجمدة.
- المكونات القابلة للتدريب: يتم تدريب محولات LoRA فقط (المطبقة على الطبقات الخطية لـ transformer)، ورؤوس نصية خفيفة الوزن (لأعداد الإدراج وهويات الرموز)، ومسارات تكييف خط الزمن الجديدة. يمثل هذا تدريب حوالي 5% فقط من المعلمات لـ SD3 وحوالي 2.5% لـ FLUX.1.

2. هدف تدريب خط الزمن المزدوج

يتضمن هدف التدريب التنبؤ المشترك بسرعة الصورة وإدراجات النص المفقودة بناءً على زوج خطوط الزمن $(t, \tau)$ .

جدول التلف (Corruption Schedule): قارن المؤلفون بين جدول "النظيف المتبادل" (التدريب فقط على المهام المشروطة بالنهاية) وجدول "التلف المختلط" حيث $(t, \tau) \sim \text{Unif}([0, 1]^2)$ . ووجدوا أن النهج الهجين —الذي يبدأ بالتدريب المسبق باستخدام التلف المختلط لتعلم الارتباط عبر الوسائط، يليه الصقل باستخدام النظيف المتبادل— يعطي أفضل النتائج.
الاستقرار:
- موازنة التدرج التكيفية: لمعالجة عدم التوافق في النطاق بين خسارة MSE للصورة وخسارة الإنتروبيا المتقاطعة/القائمة على العدد، يقوم المؤلفون بتعديل وزن خسارة النص $\lambda_{txt}$ ديناميكياً باستخدام المتوسط المتحرك الأسي (EMA) لنسبة التدرج.
- مطابقة المعلم (Teacher Matching): لمنع تدهور المقدمة الصورية المدربة مسبقاً أثناء الضبط الدقيق على توزيعات بيانات جديدة، يتم استبدال انحدار سرعة الصورة بهدف "مطابقة معلم نفس مستوى الضجيج". المعلم هو نفس العمود الفقري مع تعطيل طبقات LoRA، مما لا يتطلب ذاكرة إضافية.

3. أوضاع الاستدلال

يحول فصل $t$ و $\tau$ الاستدلال إلى اختيار مسار في فضاء توليدي ثنائي الأبعاد:

نص $\to$ صورة: تثبيت $\tau=1$ (نص نظيف)، وتطوير $t$ من 0 إلى 1.
صورة $\to$ نص: تثبيت $t=1$ (صورة نظيفة)، وتطوير $\tau$ من 0 إلى 1.
التوليد المشترك: تطوير كل من $t$ و $\tau$ في آن واحد.
توليد النص الجزئي (VQA): تثبيت الصورة ورموز السؤال، مع قصر عملية الإدراج على نطاق الإجابة. يتيح هذا الإجابة على الأسئلة البصرية (VQA) دون الحاجة إلى وحدة فك تشفير منفصلة.

المساهمات الرئيسية

C1: تحويل نموذج تدفق (rectified-flow) لـ T2I مدرب مسبقاً إلى مولد ثنائي الاتجاه عبر تدريب محولات LoRA ورؤوس نصية خفيفة الوزن فقط، مع النجاح في الحفاظ على المقدمة الصورية المدربة مسبقاً.
C2: تقديم إطار عمل لخط زمن مزدوج حيث تبقى الصور في تدفق مستمر ويستخدم النص عملية إدراج منفصلة، مما يسمح بالتوليد الشرطي والمشترك والنصي الجزئي كمسارات في فضاء موحد $(t, \tau)$ .
C3: إثبات تفوق الأداء على خط أساس Dual Diffusion-LoRA المتماثل في كل من الاحتفاظ بـ "النص إلى صورة" وجودة "الصورة إلى نص" على SD3 و FLUX.1-dev، مع دعم مهام VQA بموارد حوسبية دنيا.

النتائج التجريبية

قيم المؤلفون FullFlow على SD3 و FLUX.1-dev باستخدام عدد معلمات متماثل ورتبة LoRA مقابل خط أساس Dual Diffusion الذي تمت إعادة تنفيذه.

الكفاءة: يتم تدريب FullFlow على جهازي RTX A5000 في أقل من 24 ساعة، مما يقلل ذروة الذاكرة (VRAM) من ~84 جيجابايت (في Dual Diffusion) إلى ~38 جيجابايت ويزيد من معدل الإنتاجية بنحو ~8 أضعاف.
نص $\to$ صورة (SD3): عند تساوي وقت التنفيذ (wall-clock time)، يحسن FullFlow قيمة FID من 62.7 إلى 31.6 (و29.3 عند تساوي عدد الخطوات) وقيمة CMMD من 0.870 إلى 0.121، مما يدل على قوة الاحتفاظ بالمقدمة الصورية.
صورة $\to$ نص (SD3): يحقق FullFlow درجة CIDEr تبلغ 99.4 (مقابل 2.0 لخط الأساس) عند تساوي وقت التنفيذ، و13.4 عند تساوي عدد الخطوات.
المهام اللاحقة: في اختبارات VQA (مثل VQAv2، VizWiz، OKVQA)، يحقق FullFlow (بـ 130 مليون معلمة قابلة للتدريب فقط) دقة تنافسية، ويتفوق بشكل ملحوظ على خط أساس Dual Diffusion في VizWiz (50.7 مقابل 29.9).
القابلية للنقل: نجحت الوصفة في الانتقال إلى FLUX.1-dev، محققةً درجة CIDEr بلغت 73.6 بعد 36 ساعة من التدريب.

الأهمية والادعاءات

تزعم الورقة أن FullFlow يثبت إمكانية استخراج قدرات بصرية-لغوية ثنائية الاتجاه قوية من نماذج تدفق T2I المدربة مسبقاً دون الحاجة إلى تدريب مسبق متعدد الوسائط بالكامل. تشير النتائج إلى أن مقدمات T2I تخزن هياكل دلالية-بصرية أغنى مما كان يُعتقد، وهي قادرة على دعم المهام العكسية (صورة إلى نص) والتوليد المشترك من خلال التكييف الخفيف.

يضع المؤلفون هذا العمل كـ "إثبات مفهوم ممكن حوسبياً" بدلاً من ادعاء الوصول إلى ذروة الأداء النهائي. ويؤكدون أن طريقتهم تجعل نماذج التدفق المصحح ثنائية الاتجاه متاحة لمجتمع البحث الأوسع لأنها تتطلب فقط أجهزة GPU عادية وجزءاً صغيراً من المعلمات التي تتطلبها النماذج الموحدة عادةً. كما يقرون بالقيود، بما في ذلك التركيز الحالي على دقة 256×256 وعدم القدرة على التوسع إلى مجموعات بيانات أكبر أو ضبط التعليمات للحوارات المعقدة، معتبرين هذه التوجهات مسارات مستقبلية.