Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

إليك ملخص تقني مفصل لورقة البحث "Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation".

1. بيان المشكلة

تعتمد النماذج الموحدة متعددة الوسائط (UMMs) الحالية عادةً على مشفرات رؤية مدربة مسبقًا (مثل CLIP للفهم، وVQ-VAE للتوليد) لتحويل الصور الخام إلى تمثيلات كامنة. يفرض هذا النهج المجزأ عدة قيود حرجة:

• عدم توافق التمثيلات: يؤدي استخدام مشفرات منفصلة للفهم والتوليد إلى حدوث انفصال بين المهمتين، مما يمنع التحسين الشامل (end-to-end) بشكل كامل.
• التحيزات الاستقرائية: تفرض المشفرات المدربة مسبقًا دقة إدخال ثابتة وتحد من الوصول إلى التفاصيل البصرية الدقيقة ومنخفضة المستوى، مما يعيق الأداء في المهام التي تتطلب إدراكًا دقيقًا.
• تعقيد البنية الهيكلية: إن الاعتماد على مكونات برمجية متعددة (مشفرات، موصلات، فك تشفير) يعقد مسار التدريب ويمنع النموذج من تعلم تمثيل موحد حقًا مباشرة من البكسلات الخام.

يتساءل المؤلفون: هل يمكننا بناء نموذج موحد متعدد الوسائط يقوم بكل من الفهم والتوليد مباشرة من البكسلات الخام، مع التخلص تمامًا من مشفرات الرؤية المدربة مسبقًا؟

2. المنهجية

تقدم الورقة البحثية Tuna-2، وهو نموذج موحد أصيل يعمل بالكامل في فضاء البكسل (pixel space). تم تطوير المنهجية من خلال تبسيط تدريجي للبنيات الحالية:

أ. التطور الهيكلي

يقترح المؤلفون تطورًا ثلاثي المراحل للوصول إلى التصميم النهائي الخالي من المشفرات:

1. Tuna (الأساس): يستخدم تصميمًا معياريًا قياسيًا مع مشفر VAE للتوليد ومشفر تمثيل (مثل SigLIP) للفهم.
2. Tuna-R (المرحلة المتوسطة): يزيل الـ VAE ولكنه يحتفظ بمشفر تمثيل مدرب مسبقًا (SigLable 2). يستخدم طبقة تضمين الرقع (patch embedding layer) لتحويل الصور إلى رموز (tokens) لفك التشفير اللغوي (LLM)، ويقوم بتوليد فضاء البكسل عبر مطابقة التدفق (flow matching).
3. Tuna-2 (المرحلة النهائية): يزيل تمامًا مشفر التمثيل المدرب مسبقًا. يستبدل المشفرات المعقدة بـ طبقات تضمين رقع بسيطة تقوم بتحويل بكسلات الصورة الخام مباشرة إلى رموز. النظام بأكمله عبارة عن فك تشفير Transformer أحادي (monolithic) يعالج الرموز النصية والبصرية بشكل مشترك.

ب. التوليد في فضاء البكسل

بدلاً من الانتشار الكامن (latent diffusion)، يستخدم Tuna-2 مطابقة التدفق المصحح (rectified flow matching) مباشرة في فضاء البكسل:

• الهدف: يتنبأ النموذج بالصورة النظيفة $x_1$ من عينة مشوشة $x_t$ يتم إنشاؤها عبر جدول خطي: $x_t = tx_1 + (1-t)x_0$.
• دالة الخسارة: يقلل من خطأ التنبؤ بالسرعة ($v_\theta$)، حيث $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• الاستدلال: يستخدم حل Euler لإزالة الضجيج من الصور خطوة بخطوة.

ج. التعلم القائم على القناع (Masking-Based Feature Learning)

لمعالجة صعوبة تعلم تمثيلات قوية في فضاء بكسل عالي الأبعاد (عرضة للاختصارات السطحية)، قدم المؤلفون مخطط القناع:

• الآلية: أثناء التدريب، يتم حجب رقع صور عشوائية واستبدالها برمز قناع قابل للتعلم.
• الدور المزدوج:
  • للتوليد: يجبر النموذج على إعادة بناء رقع نظيفة من مدخلات مشوشة وجزئية، مما يخلق مهمة إزالة ضجيج أكثر صعوبة.
  • للفهم: يعمل كمنظم (regularizer)، مما يجبر النموذج على إجراء الاستنتاج تحت ملاحظة بصرية جزئية، مما يمنع الاعتماد المفرط على سمات بصرية محددة.

د. مسار التدريب

يتم تدريب النموذج بالكامل من البداية إلى النهاية (end-to-end) في مرحلتين:

1. المرحلة 1 (التدريب المسبق): تدريب مشترك على وصف الصور وتوليد الصور من النصوص (70% بيانات فهم، 30% بيانات توليد) باستخدام خلفية Qwen2.5-7B-Instruct بـ 7 مليارات معلمة.
2. المرحلة 2 (الضبط الدقيق الموجه - SFT): ضبط دقيق موجه على اتباع التعليمات الصورية، والتحرير، ومجموعات بيانات التوليد عالية الجودة.

3. المساهمات الرئيسية

1. بنية Tuna-2: أول نموذج موحد متعدد الوسائط أصيل يحقق أداءً رائدًا (SOTA) في كل من الفهم والتوليد من خلال التخلص تمامًا من مشفرات الرؤية المدربة مسبقًا، والاعتماد فقط على تضمينات البكسل.
2. التحقق التجريبي من التصميم الخالي من المشفرات: يثبت أنه بينما تساعد المشفرات المدربة مسبقًا في التقارب المبكر، فإن البنية الأحادية الخالية من المشفرات تتفوق عليها في الفهم متعدد الوسائط، خاصة في المهام الدقيقة، بعد التدريب الكافي.
3. قابلية التوسع في فضاء البكسل: يثبت أن مطابقة تدفق فضاء البكسل يمكن توسيعها لتشمل نماذج موحدة كبيرة، لتنافس أساليب الفضاء الكامن في توليد وتحرير الصور عالي الدقة.
4. استراتيجية القناع: تقدم مخطط تعلم قائم على القناع يعمل على استقرار التدريب في فضاء بكسل عالي الأبعاد ويعزز قوة التمثيل.

4. النتائج التجريبية

قيم المؤلفون Tuna-2 مقابل نماذج أساسية مختلفة (بما في ذلك Tuna وTuna-R وShow-o2 وBAGEL ونماذج التوليد فقط مثل FLUX.1).

• الفهم متعدد الوسائط (الجدول 1):
  • يحقق Tuna-2 أداءً رائدًا (SOTA) بين النماذج الموحدة ذات مقياس 7B عبر الاختبارات العامة (GQA, MMVet, MMMU) والاختبارات المركزة على البكسل (V*, CountBench, VisuLogic).
  • يتفوق بشكل كبير على Tuna-R في مهام الإدراك الدقيقة، مما يشير إلى أن إزالة التحيز الاستقرائي للمشفر يسمح بتعلم أفضل للتفاصيل البصرية منخفضة المستوى.
• توليد الصور (الجدول 2 و3):
  • ينافس Tuna-2 النماذج الموحدة الرائدة في GenEval وDPG-Bench.
  • بينما يتفوق Tuna-R (مع المشفر) قليلاً في مقاييس التوليد في البداية، إلا أن Tuna-2 يلحق به بعد مرحلة SFT.
  • التنوع: يولد Tuna-2 صورًا أكثر تنوعًا بكثير من Tuna-R وTuna، كما تم تقييمه بواسطة النماذج اللغوية الكبيرة (GPT-5.4, Claude Opus).
• تحرير الصور وإعادة البناء (الجدول 4 و5):
  • يؤدي Tuna-2 بشكل قوي في تحرير الصور (ImgEdit)، متفوقًا على العديد من النماذج الموحدة الأساسية.
  • في مهام إعادة بناء الصور، يحقق Tuna-2 جودة إعادة بناء (PSNR/SSIM) تضاهي نماذج VAE المتخصصة مثل FLUX.1، مما يثبت أن تمثيلات فضاء البكسل يمكنها ترميز المعلومات البصرية بأمانة.
• تحليل الانتباه (الشكل 7):
  • تظهر عمليات التصور أن Tuna-2 يمتلك خرائط انتباه أكثر دقة واستقرارًا، حيث يركز بشكل صحيح على المناطق البصرية ذات الصلة حتى عندما تكون الأولويات اللغوية مضللة (مثل تحديد كوب زجاجي في سياق كرة القدم)، بينما تعتمد النماذج القائمة على المشفرات غالبًا على الأولويات النصية أو المشتتات البارزة.

5. الأهمية والخاتمة

تتحدى هذه الورقة البحثية بشكل جذري النموذج السائد الذي يفترض أن مشفرات الرؤية المدربة مسبقًا ضرورية لأداء عالٍ في الذكاء الاصطعي متعدد الوسائط.

• تحول في النموذج: تثبت أن "التعلم المباشر في فضاء البكسل من البداية إلى النهاية" هو مسار قابل للتطبيق ومتفوق لتطوير تمثيلات بصرية أقوى، خاصة للمهام التي تتطلب إدراكًا دقيقًا.
• البساطة: من خلال تجريد البنية من المشفرات المعيارية المعقدة، يبسط Tuna-2 البنية إلى Transformer واحد، مما يقلل من الأعباء الهندسية ويسمح بتحسين مشترك حقيقي.
• الاتجاه المستقبلي: تشير النتائج إلى أن النماذج المستقبلية الموحدة متعددة الوسائط يجب أن تعطي الأولوية لنمذجة البكسل المباشرة بدلاً من ضغط الفضاء الكامن، حيث قد يؤدي الأخير إلى خلق اختناقات معلوماتية تحد من قدرة النموذج على إدراك وتوليد تفاصيل بصرية عالية الدقة.

باختًا، يثبت Tuna-2 أن بنية بسيطة خالية من المشفرات وتتدرب مباشرة على البكسلات الخام يمكنها التفوق على الأنظمة المعقدة القائمة على المشفرات في الفهم، مع الحفاظ على قدرات توليد تنافسية، مما يقدم مخططًا قابلًا للتوسع للجيل القادم من النماذج متعددة الوسائط.