ملخص تقني: UniVL: تمثيل موحد للرؤية واللغة لتوليد الصور السياقية ذات التمركز المكاني

بيان المشكلة

تواجه طرق التحكم في توليد الصور الحالية انفصالاً جوهرياً بين القصد الدلالي والتمركز المكاني. تتفوق نماذج الانتشار من "نص إلى صورة" (Text-to-image) في توليد صور عالية الدقة من اللغة الطبيعية، لكنها تفتقر إلى التحكم المكاني الدقيق، حيث تكون المطالبات النصية عالمية ولا تحدد أين يجب أن تظهر الكائنات. وفي المق المقابل، توفر الضوابط الهيكلية (مثل خرائط العمق، أو صناديق الإحاطة، أو الأقنعة) هندسة دقيقة ولكنها تفتقر إلى المحتوى الدلالي. إن سد هذه الفجوة — أي تحديد "ما الذي يذهب أين" في إشارة موحدة واحدة — لا يزال يمثل تحدياً مفتوحاً. تعتمد النهج الحالية عادةً على مشفرين منفصلين (مشفر رؤية للصورة/القناع ومشفر لغة مثل T5 للمطالبة النصية)، مما يؤدي إلى تعقيد معماري وأعباء حسابية دون توحيد الإشارات المكانية والدلالية بشكل كامل.

المنهجية

تعريف المهمة: توليد الصور السياقية ذات التمركز المكاني

يقترح المؤلفون مهمة جديدة حيث يقدم المستخدم صورة مصدر، ويرسم منطقة أو أكثر من الأقنعة، ويزود كل منطقة بملصق نصي قصير. بد way من معالجة الصورة والنص بشكل منفصل، يقوم خط المعالجة تلقائياً برسم كل ملصق نصي كبكسلات مباشرة داخل منطقة القناع المقابلة لها. هذا ينشئ صورة شرطية سياقية ($C_I$) توحد السياق البصري والتعليمات النصية في مدخل بصري واحد. هدف النموذج هو توليد محتوى يطابق النص المرسوم داخل القناع مع الحفاظ على بقية الصورة.

إطار عمل UNIVL

UNIVL (توليد الصور الموحد للرؤية واللغة) هو إطار عمل مصمم للتعامل مع إشارة التكييف الموحدة هذه دون وجود مشفر نصي مستقل. وهو مبني على نموذج انتشار قادر على "الترميم" (Inpainting) (تحديداً FLUX.1-dev، وهو نموذج يعتمد على DiT)، ويقدم خط تدريب يتكون من مرحلتين.

1. البنية (Architecture)

الابتكار الجوهري هو مشفر UNIVL، المقتبس من بنية DeepSeek-OCR (مشفر رؤية مدرب مسبقاً على التعرف الضوئي على الحروف OCR). ويتكون من:

• مشفر VAE مجمد: يستخرج الميزات البصرية منخفضة المستوى ($f_{VAE}$) من الشرط السياقي.
• عمود فقري CLIP قابل للتدريب: مُهيأ بأوزان مدربة مسبقاً على OCR، ويستخرج الميزات الدلالية عالية المستوى ($f_{CLIP}$) القادرة على "قراءة" بكسلات النص المرسوم.
• دمج مدرك للقناع (Mask-Aware Fusion): يجمع المشفر الميزات باستخدام قناع ثنائي $M$. خارج القناع، تهيمن ميزات VAE للحفاظ على سياق الخلفية؛ وداخل القناع، تهيمن ميزات CLIP لحمل التعليمات الدلالية:
  $$f_{VL} = f_{VAE} \odot (1 - M) + f_{CLIP} \odot M$$
• مهايئ خطي (Linear Adapter): يقوم بخرائط تسلسل الرموز المدمج إلى واجهة التكييف لنموذج محول الانتشار (DiT).

2. خط تدريب من مرحلتين

• المرحلة 1: محاذاة الميزات (Feature Alignment): يتم ضبط مشفر UNIVL بدقة لإنتاج تمثيل $f_{VL}$ يعيد بناء التمثيل الكامن VAE ($z_0$) للصورة المستهدفة. هذا يحاذي الضغط البصري للنص-على-القناع مع الفضاء الكامن البصري، مما يسمح باستخدام وحدة فك ترميز VAE مباشرة.
• المرحلة 2: ضبط الانتشار (Diffusion Fine-Tuning): يتم تكييف نموذج الانتشار بالكامل بناءً على تمثيلات UNIVL ($f_{VL}$) بدلاً من تمثيلات النص. تجمع هدف التدريب بين خسارة إزالة الضجيج القياسية وخسائر مساعدة لمنع الانحراف:
  • خسارة محاذاة الميزات ($L_{align}$): تضمن مطابقة $f_{VL}$ للتمثيل الكامن المستهدف.
  • خسارة CLIP للصورة ($L_{clip-img}$): تفرض أن تتطابق الميزات داخل القناع مع تمثيلات رؤية CLIP للنص المرسوم.
  • خسارة CLIP للنص ($L_{clip-txt}$): تثبت الشرط المقنع المجمع بتمثيل نص CLIP لاسم الفئة.

بناء الاختبار المرجعي (Benchmark)

لدعم التدريب والتقييم، أنشأ المؤلفون UNIVL-ImgGen، وهو اختبار مرجعي يتكون من:

• 477 ألف صورة فريدة و 710 ألف سجل (قناع-نص).
• أربعة فئات مصدرية: فئة "القناع" (تمركز مكاني متعدد الصناديق من LAION-5B) وثلاث فئات تحرير صور (إضافة، استبدال، استخراج) من ImgEdit.
• يتضمن مجموعة البيانات عينات بقناع واحد وأقنعة متعددة (حتى 5 مناطق) لاختبار القدرة على التركيب.

المساهمات الرئيسية

1. مهمة ونموذج جديد: صياغة توليد الصور السياقية ذات التمركز المكاني، والتي تعيد صياغة واجهة التكييف من مجالين منفصلين (الرؤية + اللغة) إلى مدخل بصري موحد واحد حيث يتم رسم النص فوق الأقماعة.
2. إطار عمل UNIVL: بنية مبتكرة تستبدل مشفر النص الثقيل بمشفر رؤية مدرب مسبقاً على OCR. يسم old هذا النموذج على قراءة التخطيط المكاني والدلالات النصية في تمريرة واحدة، مما يلغي الحاجة إلى مشفر نصي منفصل (مثل T5).
3. الكفاءة دون تدهور الجودة: يحقق الأسلوب وفورات حسابية كبيرة عبر إزالة فرع مشفر النص، مما يقلل حجم الرموز بنسبة تصل إلى 98%، وعدد بارامترات المشفر بنسبة 92%، وعمليات حساب النقطة العائمة (TFLOPs) أثناء الاستدلال بنسبة تصل إلى 52%، مع الحفاظ على جودة الصورة أو تجاوز النماذج المرجعية التي تعمل بالمطالبات النصية.
4. اختبار UNIVL-ImgGen المرجعي: مورد واسع النطاق وقابل لإعادة الاستخدام يضم 477 ألف صورة موسومة بالأقنعة، مصمم خصيصاً لتدريب وتقييم التوليد ذي التمركز المكاني.

النتائج التجريبية

الأداء على UNIVL-ImgGen

على الاختبار المرجعي، يتفوق UNIVL (بدون مشفر نص) على النموذج المرجعي المتطور OminiControl (بدون مطالبة نصية) عبر جميع المقاييس:

• جودة الصورة: تحسن FID من 20.50 (OminiControl) إلى 11.13 (UNIVL)؛ وتحسن PSNR من 16.45 إلى 19.61.
• المحاذاة: حقق UNIVL درجات تشابه CLIP أعلى على مستوى المنطقة، مما يثبت الربط الفعال للدلالات بالمواقع المكانية.
• المقارنة مع النماذج المرجعية المعتمدة على المطالبات النصية: يضاهي UNIVL (بدون مشفر نص) أو يتفوق قليلاً على جودة الصور للنماذج المعتمدة على النص (مثل FLUX.1 Fill، وOminiControl مع T5). وبينما تحتفظ الطرق المعتمدة على النص بتفوق طفيف في المحاذاة العالمية بين النص والصورة (بسبب السعة الدلالية الأغنى للجمل الكاملة مقابل الملصقات القصيرة)، إلا أن الفجوة صغيرة (~3% في CLIPtxt العالمي). كما أن التكوين الهجين الاختياري (UNIVL + T5) يغلق هذه الفجوة تماماً.

الكفاءة الحسابية

• تقليل الرموز (Tokens): إزالة مشفر النص يقلل عدد الرموز بنسبة 6-50% وحجم الرموز بنسبة 80-98% (بإزالة تمثيلات T5 ذات الـ 4096 بُعد).
• تقليل البارامترات: انخفضت بارامترات المشفر من 4.92 مليار (T5) إلى 401.6 مليون (مشفر UNIVL)، أي انخفاض بنسبة ~92%.
• وقت التشغيل: انخفض وقت الاستدلال بنسبة تصل إلى 44% عند دقة 256×256 وبنسبة تصل إلى 52% في عمليات TFLOPs. وتظهر مكاسب الكفاءة بشكل أوضح عند الدقات المنخفضة حيث تهيمن تكلفة مشفر النص.

دراسات الاستئصال (Ablation Studies)

• البنية: استبدال مشفر SAM+CLIP بمشفر VAE مجرد أو SigLIP يؤدي إلى انخفاض كبير في الأداء، مما يؤكد ضرورة وجود عمود فقري CLIP مدرب مسبقاً على OCR.
• التدريب المسبق: يؤدي إزالة التدريب المسبق على OCR إلى زيادة كبيرة في FID (+3.2)، مما يسلط الضوء على أهمية قدرة "النص كبكسلات".
• استراتيجية التدريب: تفوق خط التدريب المكون من مرحلتين (المحاذاة متبوعة بضبط الانتشار) على التدريب المشترك من البداية للنهاية، مما يوفر تمثيلاً أكثر استقراراً للتكييف.

الأهمية والادعاءات

يزعم البحث أن UNIVL يثبت أن الضغط البصري للنص إلى بكسلات يمكن أن يعمل كإشارة تكييف موحدة وفعالة لنماذج الانتشار. ومن خلال الاستفادة من مشفرات الرؤية المدربة مسبقاً على OCR، ينجح الأسلوب في جسر الفجوة بين القيود المكانية والقصد الدلالي دون العبء الحسابي لنموذج لغوي منفصل.

يؤكد المؤلفون أن هذا النهج:

• يبسط خط المعالجة: يلغي الحاجة إلى مشفر نص والعبء المرتبط بعمليات الترميز (tokenization/encoding).
• يتيح التركيب متعدد المناطق: يمكن معالجة العديد من الأقنعة الموسومة في تمريرة أمامية واحدة، مما يتجنب تراكم الأخطاء في التحرير المتسلسل.
• يعمم النتائج: يظهر UNIVL قدرة تعميم "صفرية" (zero-shot) على الأقنعة الحرة (غير المستطيلة) ومجموعات البيانات غير المرئية (COCO)، مما يشير إلى أن الربط المكاني-الدلالي هو خاصية للتمثيل الشرطي وليس مجرد نتاج لتوزيع أقنعة التدريب.

يضع هذا العمل حجر أساس نحو توليد فعال ذي تمركز مكاني، مشيراً إلى القيود مثل الاعتماد على العبارات القصيرة (بسبب قيود مساحة القناع) والتدريب الحالي على الأقنعة المستطيلة، مع اقتراح أعمال مستقبلية لتوسيع المفردات وأشكال الأقنعة.