ملخص تقني: الربط بين الرؤية واللغة في توليد الصور ضمن السياق

بيان المشكلة

تستخدم نماذج توليد الصور الحديثة القائمة على السياق، مثل FLUX.2، بنية متعددة الوسائط موحدة حيث يتم دمج نصوص المطالبات (prompts)، والصور المرجعية، ورموز الضجيج (noise tokens) في تدفق انتباه واحد. وخلافًا لنماذج الانتشار السابقة التي استخدمت قنوات تكييف متميزة (مثل الانتباه المتقاطع للنص، والتكييف الثابت للصور)، تعالج هذه النماذج جميع الوسائط عبر كتل محولات الانتشار (DiT) المشتركة دون طبقات انتباه متقاطع مخصصة للتكييف المرجعي.

يثير هذا التوحيد المعماري سؤالًا جوهريًا حول تدفق المعلومات: ما هو الدور الذي تلعبه رموز النص (text tokens) عند وجود صورة مرجعية؟ هل تظل مجرد حاملات سلبية لتعليمات التعديل، أم أنها تمتص وتنقل المعلومات البصرية بنشاط من الصورة المرجعية إلى المخرج المولد؟ يبحث هذا البحث في كيفية توجيه المعلومات المرجعية بين رموز النص، ورموز الصورة المرجعية، ورموز الصورة المولدة داخل تدفق انتباه واحد.

المنهجية

يستخدم المؤلفون ثلاث تقنيات للتدخل السببي على تدفق الانتباه متعدد الوسائط لنموذج FLUX.2 لتتبع تدفق المعلومات. تعمل هذه الطرق على التنشيطات الوسيطة لطبقات النموذج.

1. عدسة T2I (T2I Lens): تقوم هذه الطريقة بفك تشفير تنشيطات رموز النص الوسيطة من عملية تعديل (Image-to-Image - I2I) مشروطة بمرجع. يتم لصق هذه التنشيطات في تضمينات النص الخام لعملية توليد (Text-to-Image - T2I) غير مشروطة (باستخدام مطالبة فارغة). إذا أظهرت صورة T2I الناتجة خصائص من المرجع الأصلي، فهذا يشير إلى أن رموز النص قد امتصت تلك المعلومات البصرية أثناء المرور الأمامي (forward pass).
2. إسقاط الانتباه (Attention Knockout): تعزل هذه التقنية مسارات انتباه محددة عبر قطع حواف انتباه معينة. يقوم المؤلفون بحظر الانتباه من الرموز المرجعية إلى رموز النص ($KO_{ref \to text}$) أو من الرموز المرجعية إلى رموز الصورة ($KO_{ref \to img}$). ومن خلال مراقبة أي خصائص مرجعية (مثل اللون، الأسلوب، الهوية) تفشل في الظهور في المخرج عند حظر مسار معين، يحدد المؤلفون التوجيه الضروري لكل خاصية.
3. لصق I2I-إلى-I2I (I2I-to-I2I Patching): تختبر هذه الطريقة النقل السببي عن طريق نسخ تنشيطات رموز النص من عملية تعديل I2I "مصدر" (بمرجع محدد) إلى عملية تعديل I2I "هدف" (بمرجع مختلف ولكن بنفس التعليمات). إذا تبنى مخرج الهدف خصائص المرجع المصدر، فإن رموز النص تكون مسؤولة سببيًا عن حمل تلك الخصائص.

يستخدم التقييم نموذج رؤية ولغة (VLM)، وتحديدًا Claude-Opus-4.7، كحكم للتحقق من وجود أو غياب خصائص معينة (اللون، الأسلوب، الهوية، إعداد المشهد) في الصور المولدة عبر 2,875 مهمة تعديل.

النتائج الرئيسية

1. الارتباط الناشئ بين الرؤية واللغة

يكشف البحث عن ارتباط ضمني بين رموز النص والصور المرجعية. رموز النص لا تحمل التعليمات فحسب؛ بل تمتص المحتوى المرجعي البصري أثناء المرور الأمامي وتؤثر تأثيرًا سببيًا على المخرج النهائي. ومع ذلك، فإن هذا الارتباط ليس موحدًا عبر جميع الخصائص البصرية.

2. تقسيم العمل: الخصائص الوصفية مقابل الخصائص الدقيقة للبيكسل

يحدد المؤلفون تقسيمًا واضحًا في كيفية توجيه الخصائص المرجعية المختلفة:

• الخصائص الوصفية (اللون، الأسلوب، إعداد المشهد): تُكتب هذه الخصائص أولاً في رموز النص.
  • الدليل: حظر الانتباه من المرجع إلى النص ($KO_{ref \to text}$) يدمر نقل اللون والأسلوب، بينما حظر المرجع إلى الصورة ($KO_{ref \to img}$) له تأثير ضئيل.
  • الدليل: نجح لصق رموز النص من مصدر إلى هدف في نقل اللون والأسلوب.
  • الدليل: تُظهر مخرجات عدسة T2I الناتجة عن رموز النص الملصقة بوضوح لون وأسلوب المرجع.
• الخصائص الدقيقة للبيكسل (الهوية، حالة محددة): تتجاوز هذه الخخصائص رموز النص تمامًا وتتدفق مباشرة من الصورة المرجعية إلى الصورة المولدة عبر انتباه الصورة-إلى-الصورة.
  • الدليل: حظر الانتباه من المرجع إلى النص له تأثير ضئيل على الحفاظ على الهوية، بينما حظر الانتباه من المرجع إلى الصورة يدمرها.
  • الدليل: لا ينقل لصق رموز النص الهوية البشرية؛ حيث يحتفظ مخرج الهدف بهوية مرجعه الخاص.

3. التمركز في رموز الحشو (Padding Tokens)

يتم تمركز ربط المحتوى المرجعي في رموز الحشو (padding tokens) الخاصة بتسلسل النص، وليس في رموز المحتوى التي تشفر تعليمات التعديل.

• لصق رموز الحشو فقط ينقل اللون والأسلوب بمعدلات مطابقة تقريبًا للصق جميع رموز النص.
• لصق رموز المحتوى فقط (التعليمات) يفشل في نقل الخصائص المرجعية.
• تطبيق عدسة T2I على رموز الحشو فقط ينجح في إعادة بناء إعداد المشهد المرجعي، بينما تعطي عدسة المحتوى فقط نتائج فارغة أو تقتصر على التعليمات.

4. الارتباط المحدد بالطبقات

يحدث امتصاص المحتوى المرجعي في رموز النص في أعماق محددة من الشبكة:

• الأسلوب والمشهد: يتم إنشاء الارتباط حول كتلة التدفق المزدوج الثامنة (8th double-stream block).
• اللون: يتم إنشاء الارتباط حول كتلة التدفق الفردي العاشرة (10th single-stream block).
  تؤكد تجارب إسقاط الرموز المرجعية بعد طبقات الارتباط هذه أن رموز النص يمكنها حمل المعلومات للأمام دون الحاجة لمدخلات مرجعية مباشرة أخرى.

الأهمية والادعاءات

يزعم البحث أنه حتى في النماذج التوليدية متعددة الوسائط ذات الانتباه الموحد، فإن نوع الرمز (token modality) يهيكل كيفية تمثيل وتوجيه معلومات التكييف. إن تدفق الانتباه المشترك لا يمحو الأدوار المتميزة لرموز النص والصورة؛ بل يقوم النموذج طبيعيًا بتقسيم تدفق المعلومات بناءً على طبيعة المحتوى:

• تعمل رموز النص كقناة مهيكلة للسمات عالية المستوى القابلة للوصف لغويًا (اللون، الأسلوب، المشهد).
• يتعامل انتباه الصورة-إلى-الصورة مع السمات منخفضة المستوى والدقيقة للبيكسل (الهوية).

تشير هذه النتائج إلى أن رموز "الحشو" (padding) في تسلسل النص تؤدي دورًا حوسبيًا وظيفيًا كمسجل للربط بين الوسائط، وهي آلية تحاكي تصميمات المشفر المزدوج الصريحة الموجودة في بنيات أخرى (مثل Qwen-Image-Edit)، حيث يتولى مشفر الرؤية-اللغة الجوانب الدلالية ويتولى الـ VAE الجوانب المظهرية. يرى المؤلفون أن هذه النتائج تتحدى النظرة إلى تدفقات الانتباه الموحدة كصناديق سوداء، وتكشف عن ظهور توجيه خاص بالوسائط بشكل ضمني ضمن هدف التدريب.

يوفر هذا العمل أدوات تشخيصية (T2I Lens، Attention Knockout، Patching) قابلة للتطبيق على أي نموذج توليدي متعدد الوسائط يعتمد على السياق ويمزج بين رموز النص والصور، مما يقدم إطارًا لفهم وتحسين كيفية توجيه معلومات التكييف في البنيات التوليدية المستقبلية.