InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان: "InfoTok: تنظيم معلوماتي نظري للسعة المحدودة في التوكنات البصرية المشتركة في النماذج اللغوية الكبيرة متعددة الوسائط الموحدة."

1. بيان المشكلة

تهدف النماذج اللغوية الكبيرة متعددة الوسائط الموحدة (MLLMs) إلى دمج فهم الصور (الإدراك) وتوليد الصور (التركيب) ضمن إطار عمل واحد باستخدام توكنات بصرية مشتركة (shared visual tokenizer). ومع ذلك، يوجد توتر جوهري:

• الفهم (Understanding) يتطلب تجريداً دلالياً (مفاهيم عالية المستوى).
• التوليد (Generation) يتطلب تفاصيل إدراكية دقيقة (الأنسجة، الألوان، والتخطيطات الدقيقة).

تعتمد نهج التوكنات المشتركة الحالية بشكل كبير على التصميم المعماري (architecture-driven)، حيث تعتمد على خسائر المهام من النهاية إلى النهاية دون معيار صريح لما يجب الحفاظ عليه. ونتيجة لذلك، غالباً ما تعمل التوكنات المشتركة كـ "متعلم محدود الحوسبة" ذي ميزانية تمثيلية محدودة، مما يؤدي دون قصد إلى إضاعة السعة على التباينات البصرية عالية الإنتروبيا والصعبة الاستغلال (الزيادة/التكرار - redundancy) بدلاً من إعطاء الأولوية للهياكل القابلة لإعادة الاستخدام (الكيانات الدلالية والإشارات التركيبية). يؤدي هذا إلى أداء دون المستوى في كلتا المهمتين.

2. المنهجية: InfoTek

يقترح المؤلفون InfoTok، وهو إطار عمل قائم على مبدأ عنق زجاجة المعلومات (Information Bottleneck - IB) لتنظيم تدفق المعلومات من الصور إلى التوكنات المشتركة، وصولاً إلى المخرجات متعددة الوسائط.

المفهوم الجوهري: منظور السعة المحدودة

ينظر InfoTok إلى التوكنات المشتركة كمتعلم يجب عليه ضغط الصور عالية الأبعاد إلى ميزانية توكنات محدودة. وهو يفرض مقايضة بين الضغط (compression) (إزالة الزيادة/التكرار) والصلة بالمهمة (task relevance) (الحفاظ على المعلومات الضرورية للمهام النهائية).

هدف التنظيم المعلوماتي

يوسع هذا الأسلوب مبدأ IB الكلاسيكي للتعامل مع الأهداف المزدوجة: الفهم ($u$) والتوليد ($g$). دالة الهدف ($\mathcal{L}_{InfoTok}$) تقلل من "لاغرانج" (Lagrangian) يتكون من ثلاثة حدود لكل فرع مهمة:

1. الإيجاز (Compactness - $I(\tilde{Z}; I)$): يعاقب المعلومات المدخلة الزائدة. وهو يشجع التوكنات على التخلص من التباينات عالية الإنتروبيا والاحتفاظ بالمحتوى البصري الأساسي فقط.
2. الكفاية (Sufficiency - $I(\tilde{Z}; Y^{GT})$): يعظم المعلومات المتبادلة بين التوكنات والأهداف الحقيقية (النص للفهم، والصورة للتوليد). وهذا يضمن احتفاظ التوكنات بالدلالات والمؤشرات الإدراكية الحرجة للمهمة.
3. المحاذاة (Alignment - $I(\tilde{Z}; T)$): يعظم المعلومات المتبادلة بين التوكنات البصرية وتمثيلات النصوص لفرض الاتساق عبر الوسائط ضمن خط أنابيب التنبؤ بالتوكن التالي الموحد.

الإجمالي هو:
$$\mathcal{L}_{InfoTok} = \mathcal{L}^{(u)}_{IB} + \mathcal{L}^{(g)}_{IB} + \mathcal{L}_{distill}$$

التنفيذ العملي

بما أن المعلومات المتبادلة (MI) غير قابلة للحساب المباشر للبيانات البصرية المستمرة عالية الأبعاد، يستخدم InfoTok مقدرين قابلين للاشتقاق:

• عنق زجاجة المعلومات المتغير (Variational Information Bottleneck - VIB): يستخدم توزيعاً خلفياً متغيراً (غاوسي) وتباعد KL لتحديد حدود MI.
• معيار هيلبرت-شميت للاستقلال (Hilbert Schmidt Independence Criterion - HSIC): مقياس اعتماد قائم على النواة (kernel-based) يتجنب نمذجة الكثافة الصريحة.

بالإضافة إلى ذلك، يتم إدخال قيد التقطير (Distillation Constraint) لضمان انتقال التنظيم المعلوماتي المطبق على الإسقاطات الخاصة بالمهمة ($\tilde{Z}$) إلى توكنات المشفر المشترك ($Z$)، مما يعزز استقرار المشفر البصري المشترك ($V_{enc}$).

3. المساهمات الرئيسية

1. منظور السعة المحدودة: تقدم الورقة وجهة نظر نظرية جديدة مفادها أن التوكنات المشتركة في النماذج الموحدة هي متعلمون محدودو الحوسبة. وتجادل بأن هناك حاجة لمعايير صريحة لتخصيص ميزانيات التمثيل نحو الهياكل القابلة لإعادة الاستخدام بدلاً من الضوضاء البصرية الخام.
2. الصياغة المعلوماتية النظرية: تقوم بصياغة تعلم التوكنات المشتركة باستخدام مبدأ IB، مما يخلق هدف تنظيم صريح يوازن بين الضغط، والكفاية، والمحاذاة عبر الوسائط.
3. التنفيذ القابل للتطبيق: اشتق المؤلفون نماذج عملية قابلة للاشتقاق باستخدام VIB وHSIC، مما يجعل النظرية قابلة للتطبيق في الشبكات العصبية العميقة دون الحاجة إلى معرفة بتوزيعات مغلقة.
4. إطار عمل "Plug-and-Play": صُمم InfoTek ليكون وحدة تنظيم يمكن دمجها في النماذج الموحدة الموجودة دون تغييرات هيكلية أو بيانات تدريب إضافية.

4. النتائج التجريبية

قيم المؤلفون InfoTok على ثلاثة نماذج موحدة ممثلة: Harmon، وOpenUni، وShow-o2.

• تحسين الأداء:
  • الفهم: تحسينات مستمرة عبر اختبارات مثل MME، وPOPE، وSEED، وGQA، وMMMU. على سبيل المثال، ارتفعت درجة Harmon في MME من 1411 إلى 1565 (+154).
  • التوليد: تحسينات كبيرة في Geneval، وGeneval++، وWISE. تحسنت درجة Show-o2 في Geneval من 0.60 إلى 0.75.
  • النوعية: أظهرت الصور المولدة اتباعاً أفضل للتعليمات (مثل ربط السمات الصحيح، والعلاقات المكانية) واتساقاً دلالياً أعلى.
• دراسات الاستئصال (Ablation Studies):
  • المكونات: قادت حدود IB الأساسية (الإيجاز + الكفاية) معظم المكاسب. وفرت المحاذاة والتقطير الاستقرار وزيادات إضافية.
  • المقدرات: حققت كل من متغيرات VIB وHSIC تحسينات متسقة، مما يثبت قوة النموذج تجاه المقدر المحدد لـ MI المستخدم.
  • كفاءة البيانات: حقق InfoTok ذروة الأداء مع 1.5 مليون عينة؛ والوصول إلى 2 مليون أدى إلى عوائد متناقصة، مما يشير إلى أنه لا يعتمد على مجموعات بيانات ضخمة لإعادة الضبط (fine-tuning).
  • المقارنة: تفوق InfoTok على الضبط الدقيق القياسي، وتنظيم الإنتروبيا، وإسقاط التوكن (token dropout)، والتي غالباً ما أدت إلى تدهور الأداء أو فشلت في تقديم مكاسب متسقة.
• تحليل التردد: كشف تحليل CKA أن InfoTok ينقل تمثيلات التوكنات نحو المكونات منخفضة التردد (الهيكل/التخطيط) وبعيداً عن المكونات عالية التردد (الضوضاء/النسيج)، مما يؤكد فرضية "ضغط الزيادة".

5. الأهمية

• تحول في النموذج (Paradigm Shift): تنقل الورقة المجال من "التوكنات المدفوعة بالهندسة المعمارية" (مثل أكواد أكبر، أو مشفرات منفصلة) إلى "التوكنات المدفوعة بالمبادئ". وهي تشير إلى أن التحكم في ما يتم الحفاظ عليه من معلومات أكثر أهمية من مجرد زيادة حجم النموذج.
• التمثيل الموحد: توفر الورقة دليلاً نظرياً وتجريبياً على أن مساحة توكن واحدة منظمة معلوماتياً يمكن أن تدعم بفعالية كلاً من التجريد الدلالي والتركيب الإدراكي، مما يتحدى فكرة أن هذه المهام تتطلب تمثيلات منفصلة جوهرياً.
• الفائدة العملية: بما أن InfoTok لا يتطلب بيانات جديدة ويعمل كمنظم للضبط الدقيق، فإنه يقدم طريقة منخفضة التكلفة وعالية التأثير لتحسين النماذج الموحدة الحالية، مما يجعله قابلاً للتطبيق بشكل كبير في تطوير النماذج المستقبلية.

في الختام، يثبت InfoTok أن تنظيم تدفق المعلومات صراحةً عبر قيود نظرية المعلومات يخلق مساحة توكن مشتركة أكثر مثالية، مما يؤدي إلى أداء رائد في التعلم متعدد الوسائط الموحد دون تضخم في البنية المعمارية.