Structured State-Space Regularization for Compact and Generation-Friendly Image Tokenization

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التنظيم عبر فضاءات الحالة الهيكلية لترميز الرموز الصورية المدمج والصديق للتوليد."

1. بيان المشكلة

تعتمد نماذج الرؤية التوليدية الحديثة (مثل نماذج الانتشار - Diffusion models، ونماذج العالم - World models) بشكل متزايد على مُرمِّزات الصور (image tokenizers) لتحويل بيانات البكسل عالية الأبعاد إلى فضاء كامن (latent space) منخفض الأبعاد. يجب أن يحقق الفضاء الكامن المثالي هدفين متضاربين في كثير من الأحيان:

1. الاندماج (Compactness): يجب أن يكون التمثيل حافظاً للمعلومات وفعالاً في آن واحد، بحيث يضغط المحتوى الجوهري مع التخلص من التفاصيل الزائدة.
2. الصداقة للتوليد (Generation-Friendliness): يجب أن يكون الفضاء الكامن سهلاً في النمذجة بواسطة أطر العمل التوليدية. تشير الدراسات الحديثة إلى أن الفضاءات الكامنة التي تدعم "قابلية الانتشار" (التدرج السلس من الضجيج إلى البيانات) تؤدي أداءً أفضل.

التحدي الجوهري: غالباً ما تعاني المُرمِّزات الحالية من صعوبة في الموازنة بين هذين الهدفين. فالدقة العالية في إعادة البناء (التقاط كل تفصيل من تفاصيل البكسل) قد تؤدي إلى فضاءات كامنة يصعب على نماذج الانتشار تخليقها، بينما يؤدي التحسين من أجل التوليد فقط إلى تدهور جودة إعادة البناء. وتفترض الورقة أن غياب الوعي بالتردد (frequency awareness) في المُرمِّزات القياسية هو عائق رئيسي.

2. المنهجية: التنظيم عبر فضاءات الحالة الهيكلية (Structured State-Space Regularization)

يقترح المؤلفون تقنية تنظيم مبتكرة تعمل على مواءمة ديناميكيات مُرمِّزات الصور مع نماذج فضاء الحالة (State-Space Models - SSMs)، وتحديداً من خلال الاستفاء من "الوعي بالتردد" المتأصل في هذه النماذج.

أ. الأساس النظري: نماذج فضاء الحالة المعممة (Generalized SSMs)

تعيد الورقة صياغة نماذج فضاء الحالة ليس فقط كنماذج تسلسلية، بل كمزيج من مكونين:

1. إسقاط القاعدة (Basis Projection - $c(\cdot)$): ضغط الإشارة المدخلة إلى معاملات باستخدام دوال أساس متعامدة (مثل فوريه، أو كثيرات الحدود).
2. تحويل المدخلات ($\theta(\cdot)$): تحويل يُطبق على المدخلات عبر الزمن (مثل دمج الرموز في نماذج SSM أحادية البعد).

يجادل المؤلفون بأن نماذج فضاء الحالة تحقق الوعي بالتردد لأن حالاتها الخفية تحاكي ديناميكيات معاملات القاعدة تحت تحويلات محددة.

ب. الإطار المقترح

لنقل هذه الخاصية إلى مُرمِّزات الصور ثنائية الأبعاد، يعرّف المؤلفون زوجاً جديداً من $(c, \theta)$:

• إسقاط القاعدة ($c$): الإسقاط على دوال أساس ثنائية الأبعاد متعامدة (مثل قواعد فوريه ثنائية الأبعاد). هذا يقوم بتفكيك الصورة إلى مكونات ترددية.
• تحويل المدخلات ($\theta$): عملية تغبيش غاوسي تدريجي (progressive Gaussian blurring). يعمل التغبيش طبيعياً على إزالة المكونات عالية التردد، مما يخلق مساراً سلساً من الصور الحادة إلى الصور المغبشة.

اشتقاق الديناميكيات:
من خلال تحليل معادلة الحرارة (التي تحكم التغبيش الغاوسي)، يشتق المؤلفون معادلة تفاضلية تصف كيفية تطور معاملات القاعدة مع تغبيش الصورة. ينتج عن ذلك مصفوفة انتقال الحالة $\mathbf{A}$ بحيث أن:
$$\frac{d}{d\tau} c(I_\tau) = \mathbf{A} c(I_\tau)$$
حيث أن $I_\tau$ هي الصورة عند مستوى التغبيش $\tau$.

ج. خسارة التنظيم (Regularization Loss)

يتم تنظيم مُشفر المُرمِّز $\mathcal{E}$ ليحاكي ديناميكيات هذه المعاملات.

1. العملية: بالنظر إلى صورة مدخلة $I$، يتم أخذ نسختين عند مستويات تغبيش مختلفة ($I_{\tau_1}$ و $I_{\tau_2}$).
2. تحديث الكمون: يتم تحديث التمثيل الكامن للصورة الأكثر حدة، $z_1 = \mathcal{E}(I_{\tau_1})$، عبر مصفوفة الانتقال المتعلمة: $\hat{z}_2 = \bar{\mathbf{A}} z_1$.
3. الهدف: يقلل النموذج المسافة بين الكمون المتوقع $\hat{z}_2$ والكمون الفعلي المشفّر $z_2 = \mathcal{E}(I_{\tau_2})$.
4. الاستقرار: لمنع انكماش معايير (norms) الكمون إلى الصفر (مع زيادة التغبيش)، يطبق المؤلفون مركزية المتوسط المكاني (spatial mean-centering) على سمات الكمون قبل عملية التنظيم.

تتضمن الخسارة الإجمالية خسارة إعادة البناء القياسية بالإضافة إلى خسارة التنظيم عبر فضاء الحالة الهيكلي (SSR):
$$\mathcal{L} = \lambda_z d_z(z_2, \hat{z}_2) + \lambda_I d_I(I_{\tau_2}, \mathcal{D}(\hat{z}_2)) + \mathcal{L}_{recon}$$

3. المساهمات الرئيسية

1. منظم مبتكر: تقديم منظم مؤسس نظرياً يجبر المُرمِّزات على تعلم فضاءات كامنة ذات ديناميكيات واضحة واعية بالتردد.
2. الجسر بين SSM وتمرين الرموز الصورية: أول إطار عمل يمد مبادئ نماذج فضاء الحالة (تحديداً إسقاط القاعدة وتحويل المدخلات) من التسلسلات أحادية البعد إلى ترميز الصور ثنائية الأبعاد.
3. تنفيذ فعال: تستخدم الطريقة مصفوفات انتقال محسوبة مسبقاً أو قابلة للتعلم (مثل مصفوفات فوريه القائمة على $\mathbf{A}$) وهي مصفوفات متفرقة وفعالة، تتطلب حداً أدنى من العبء الحسابي أثناء التدريب.
4. التحقق التجريبي: إثبات الفعالية على مُرمِّزات Flux وCosmos المستخدمة على نطاق واسع دون التضحភាព بجودة إعادة البناء.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات ImageNet-1K باستخدام مُرمِّزات Flux (8x downsampling) و Cosmos (16x downsampling)، متبوعة بتدريب نموذج Latent Diffusion Transformer (DiT-B/2).

• جودة التوليد: تفوقت الطريقة المقترحة بشكل كبير على النماذج المرجعية (EQVAE, FT-SE) في مقاييس التوليد.
  • Flux + Ours: حسنت قيمة gFID من 16.08 (النموذج المرجعي) إلى 13.33 وقيمة IS من 89.32 إلى 106.61.
  • Cosmos + Ours: حسنت قيمة gFID من 13.25 إلى 11.20 وقيمة IS من 112.48 إلى 128.91.
• دقة إعادة البناء: حافظت الطريقة على جودة إعادة بناء تنافسية (PSNR, LPIPS, SSIM)، حيث أظهرت تدهوراً طفيفاً فقط مقارنة بالنموذج المرجعي، وفي بعض الحالات (Cosmos)، حتى حسنت مقاييس إعادة البناء.
• دراسات الاستئصال (Ablation Studies):
  • اختيار القاعدة: حققت قواعد فوريه أفضل النتائج مقارنة بقواعد تشيبيشيف، وليجاندر، وهيرميت.
  • قوة التنظيم: تم العثور على قوة مثلى ($\alpha=0.25$)؛ حيث أدت القوة العالية جداً إلى تدهور إعادة البناء، بينما فشلت القوة المنخفضة جداً في تحسين التوليد.
  • مركزية المتوسط: أدى إزالة دالة مركزية المتوسط المكاني إلى تضخم معيار الكمون وانهيار في أداء التوليد (ارتفاع gFID من 13.33 إلى 17.23).

النتائج النوعية:

• ديناميكيات الكمون: أظهرت عمليات التصور أن قنوات الكمون المنظمة تتطور بسلاسة وأسياً مع تغبيش الصورة، مما يحاكي السلوك النظري لمعاملات فوريه.
• ترتيب التردد: تنظمت القنوات طبيعياً حسب التردد. أتاح كشف القنوات من التردد المنخفض إلى العالي للمُفكك (decoder) إعادة بناء الصور تدريجياً من الأشكال الخشنة إلى الأنسجة الدقيقة، وهي خاصية غائبة في المُرمِّزات غير المنظمة.

5. الأهمية

يقدم هذا العمل نموذجاً جديداً لتصميم مُرمِّزات الصور. من خلال فرض انحيازات استقرائية واعية بالتردد بشكل صريح من خلال عدسة نماذج فضاء الحالة، يوضح المؤلفون أنه من الممكن إنشاء فضاءات كامنة تكون مدمجة (تشفير البنية بكفاءة) وصديقة للتوليد (تتماشى مع طبيعة التركيب الطيفي لنماذج الانتشار) في آن واحد.

تجسّر هذه الطريقة الفجوة بين نظرية التحكم/نماذج فضاء الحالة وبين الرؤية الحاسوبية، مما يشير إلى أن الخصائص الرياضية لنماذج فضاء الحالة (تحديداً قدرتها على التعامل مع الاعتمادات طويلة المدى وتفكيك التردد) مفيدة جداً لتعلم التمثيل البصري. وهذا يفتح آفاقاً واعدة لأنظمة الذكاء الاصطناዊ التوليدي المستقبلية، مما قد يقلل من الحاجة إلى تغييرات معمارية معقدة من خلال مجرد تحسين هندسة الفضاء الكامن.