ملخص تقني: GraphScan لنماذج فضاء الحالة الرؤية (Vision State Space Models)

1. بيان المشكلة

تقدم نماذج فضاء الحالة للرؤية (Vision SSMs)، ولا سيما تلك القائمة على بنية Mamba، نمذجة فعالة بعيدة المدى ذات تعقيد خطي. ومع ذلك، يعتمد أداؤها بشكل حاسم على كيفية تحويل خرائط الميزات المرئية ثنائية الأبعاد إلى تسلسلات رموز (tokens) أحادية الأبعاد للمعالجة.

تندرج عمليات المسح (scanning operators) الموجودة في نماذج Vision SSMs عمومًا تحت فئتين:

1. التمريرات الهندسية الثابتة: مسارات محددة مسبقًا (مثل المسح المتتالي Raster، أو المسح ثنائي الاتجاه، أو المسح الكسري Fractal) التي تحول الشبكة ثنائية الأبعاد إلى تسلسل أحادي البعد. هذه الطرق تعرض النموذج لترتيبات ثابتة قد لا تتوافق مع المحتوى الدلالي (semantic content).
2. المسحات الديناميكية القائمة على الإحداثيات: طرق تتنبأ بالإزاحات أو مواقع أخذ العينات عبر الاستيفاء (interpolation) (مثل الاستيفاء الثنائي الخطي). ورغم كونها تكيفية، إلا أنها تعمل أساسًا على تعديل أين يتم أخذ العينات بناءً على الهندسة، بدلاً من نمذجة أي القطع المحلية (patches) يجب أن تتبادل المعلومات صراحةً بناءً على الصلة الدلالية قبل عملية الخلط العالمي (global mixing).

حدد المؤلفون فجوة: الآليات الحالية تكيف المسارات أو إحداثيات أخذ العينات، لكنها لا تقوم صراحةً بنمذجة الجوارات الدلالية المحلية لتهيئة الرموز (tokens) قبل دخولها إلى ممتز فضاء الحالة الانتقائي (selective state-space mixer). السؤال المركزي المطروح هو: هل يمكن للمسح القائم على الرسوم البيانية (graph-based routing) أن يساعد نماذج Vision SSMs على "الرؤية بشكل أفضل" عبر إنشاء اتصالات دلالية قبل الانتشار العالمي؟

2. المنهجية: GraphScan

يقدم البحث GraphScan، وهو عامل مسح ديناميكي مستحث بالرسوم البيانية مصمم ليكون سابقًا لنموذج SSM الانتقائي. وخلافًا للطرق التي تستبدل SSM بشبكة عصبية رسومية (GNN)، يعمل GraphScan كمُهيئ (preconditioner) خفيف الوزن ومتكيف مع المدخلات لإثراء الرموز بالسياق الدلالي المحلي.

الآلية الجوهرية

لكل رمز $x_i$ في خريطة الميزات:

1. بناء الرسم البياني المحلي: يتم تحديد مجموعة مرشحة محلية محدودة مكانيًا $S_r(i)$ حول إحداثيات الشبكة الخاصة بالرمز، بنصف قطر ثابت $r$.
2. التقاربات المشروطة بالميزات: بدلًا من الاستيفاء الهندسي، يحسب GraphScan تقاربات تشبه الانتباه (attention-like affinities) بين الرمز الاستعلامي وجيرانه بناءً على تشابه الميزات والانحياز الموضعي النسبي.
   • يتم حساب إسقاطات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value): $q_i, k_j, v_j$.
   • تُحسب درجات التقارب $s_{ij}$ باستخدام الضرب النقطي وانحياز موضعي نسبي قابل للتعلم $b_{rel}(g_j - g_i)$.
   • ينتج عن التقييس بـ Softmax الأوزان $\alpha_{ij}$.
3. تمرير الرسائل في خطوة واحدة: يتم توليد الرمز الناتج $x'_i$ عن طريق تجميع ميزات القيمة من الجوار الدلالي وإضافة اتصال متبقٍ (residual connection):
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   هذا يستبدل تمثيل القطعة المعزولة بمزيج دلالي من الأدلة المرئية القريبة.

التكامل في العمود الفقري (Backbone)

يتم دمج GraphScan في عمود فقري هرمي لـ Vision Mamba (يسمى GraphScan-Mamba) كـ طبقة توجيه سابقة لـ SSM (pre-SSM routing layer).

• البنية: يتبع العمود الفقري تصميمًا رباعي المراحل قياسيًا مع سيقان تلافيفية متداخلة (overlapping convolutional stems) وتقليل عينات لكل مرحلة.
• الموضع: داخل كل كتلة، يتدفق المسار كالتالي: تلافيف عميق (ثابت محليًا) $\leftarrow$ GraphScan (محلي متعلم) $\leftarrow$ SSM انتقائي (عالمي).
• التكيفية: يزدัง نصف قطر الرسم البياني $r$ مع عمق المرحلة (على سبيل المثال، $r=1$ في المراحل المبكرة، و$r=3$ في المراحل اللاحقة)، مما يسمح بتوسع المجال الاستقبالي من محلي إلى عالمي فعليًا مع الحفاظ على التدرج الخطي.

الآثار النظرية

يحلل المؤلفون GraphScan كمهيئ متناثر ومتكيف مع المدخلات. من خلال تعديل تسلسل الرموز $X$ إلى $X'$ قبل الـ SSM، يؤثر GraphScan على SSM بطريقتين:

1. حقن القيم: يقوم بتغيير القيم المكتوبة في الحالة المتكررة (recurrent state).
2. تعديل المعاملات: بما أن نماذج Mamba-style تولد معاملات التكرار ($\Delta, B, C$) من الرمز الحالي، فإن تغيير الرمز يغير أيضًا المعاملات الانتقائية التي تحكم انتشار الحالة والقراءة.
   يخلق هذا "نواة محلية-عالمية" حيث تؤثر القطعة المصدرية على المخرج من خلال تقارب دلالي محلي $\alpha_{ij}$ وعامل انتشار عالمي انتقائي $K'_{t,i}$.

3. المساهمات الرئيسية

1. عامل GraphScan: آلية مسح مبتكرة تعامل المسح كـ "توجيه دلالي محلي متعلم" بدلاً من التسلسل الهندسي أو اختيار الإحداثيات. يحافظ على عدد الرموز والتدرج الخطي مع إدخال الوعي الدلالي.
2. عمود فقري GraphScan-Mamba: تنفيذ هرمي لـ GraphScan يحقق أداءً رائدًا (SOTA) بين نماذج Vision SSM عبر مهام متعددة دون تغيير منطق التكرار الأساسي لـ SSM.
3. التعامد (Orthogonality): ثبت أن الطريقة متعامدة مع التحسينات في جانب التكرار (مثل SSD، أو الصيغ غير السببية)، مما يوفر رافعة تصميم تكميلية.
4. القابلية للتفسير: تستحث الطريقة مجالات إزاحة (displacement fields) قابلة للتفسير فوق شبكة الرموز، مما يوضح كيفية توجيه النموذج للمعلومات بناءً على المحتوى الدلالي بدلاً من الهندسة الثابتة.

4. النتائج التجريبية

قيم المؤلفون GraphScan-Mamba على ثلاث معايير قياسية، مقارنةً بـ ConvNets وTransformers ونماذج Vision SSM الحالية (مثل VMamba وDAMamba وSpatial-Mamba) عند ميزانيات مماثلة من المعاملات والعمليات الحسابية (FLOPs).

• تصنيف ImageNet-1K:
  • حقق GraphScan-Mamba-B دقة 86.5% (top-1)، متفوقًا على أقوى نموذج أساسي لـ Vision SSM (وهو Spatial-Mamba-B بنسبة 85.3%) بمقدار +1.2% وVMamba-B بمقدار +2.6%.
  • كما تفوق على نماذج ConvNet وTransformer القوية (مثل ConvNeXt-B وSwin-B) عند نفس المقاييس.
• كشف الأشياء وتقسيم الصور في COCO (Mask R-CNN):
  • تحت جدول 1x، وصل GraphScan-Mamba-B إلى 51.9 box mAP و46.0 mask mAP، متصدرًا جميع نماذج Vision SSM الأساسية.
  • تنتقل المكاسب بفعالية إلى مهام التنبؤ الكثيف، مما يشير إلى أن الرموز المتعلمة قوية تجاه الهياكل المكانية بمقاييس الكشف.
• التقسيم الدلالي لـ ADE20K (UperNet):
  • حقق GraphScan-Mamba-B نسبة 53.2% mIoU (أحادية المقياس)، متفوقًا على أفضل نموذج أساسي لـ Vision SSM (وهو DAMamba-B بنسبة 51.9%) بمقدار +1.3%.
  • تظهر نتائج تعدد المقاييس تحسينات متسقة (53.6% مقابل 52.3%).

دراسات الاستئصال (Ablation Studies):

• الموضع: وضع ما قبل الـ SSM أمر بالغ الأهمية؛ حيث أدى نقل GraphScan إلى ما بعد الـ SSM إلى انخفاض في الدقة بنسبة 0.7%.
• جدول نصف القطر (Radius Schedule): يوفر جدول نصف القطر المتزايد $(1, 1, 2, 3)$ أفضل توازن (Pareto front) بين الحوسبة والدقة.
• الانحياز الموضعي النسبي: يوفر تضمين انحياز موضعي نسبي قابل للتعلم مكسبًا ثابتًا، وإن كان صغيرًا.

5. الأهمية والادعاءات

تخلص الورقة إلى أن الرسوم البيانية تساعد نماذج Vision SSMs على الرؤية بشكل أفضل. تكمن أهمية هذا العمل في تغيير نموذج التصميم لـ Vision SSMs:

• من الهندسة إلى الدلالة: لا ينبغي التعامل مع المسح مجرد تسلسل هندسي (اختيار مسار أو إحداثي) بل كـ توجيه دلالي محلي متعلم قبل نمذجة فضاء الحالة العالمية.
• مكمل لجانب المدخلات: يوفر GraphScan حلاً لجانب المدخلات يكمل التقدم في جانب التكرار. يضمن أن الرموز التي تدخل إلى الممتز الانتقائي هي بالفعل متجذرة محليًا وواعية دلاليًا، مما يحسن تهيئة التسلسل العالمي دون تغيير الديناميكيات الداخلية لـ SSM.
• التعميم: الطريقة متعامدة مع جوهر الـ SSM المحدد (مثل Mamba-1/S6)، مما يشير إلى إمكانية تطبيقها على متغيرات SSM المستقبلية.

يدعي المؤلفون بتواضع أنه بينما يحسن GraphScan الأداء والقابلية للتفسير، فإنه لا يضمن التعميم من منظور نظرية التحكم (control-theoretic) دون افتراضات إضافية، ولكنه يوفر آلية هيكلية لمدخلات دلالية محلية أغنى.