Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification

إليك ملخص تقني مفصل لورقة البحث بعنوان "Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification" (GCN-HViT).

1. بيان المشكلة

تحدد الورقة ثلاث عيوب حرجة في نماذج "Vision Transformer" (ViT) و"Graph Convolutional Network" (GCN) الحالية المستخدمة في تصنيف الصور:

• معضلة حجم الرقعة (Patch Size Dilemma) في ViT: اختيار حجم الرقعة يمثل عملية موازنة؛ فالرقع الصغيرة تلتقط الميزات المحلية ولكنها تفتقر إلى السياق العالمي وتزيد من التكلفة الحسابية، بينما الرقع الكبيرة تلتقط السياق العالمي ولكنها تمحو الأنسجة المحلية وتقلل الحساسية للتفاصيل الدقيقة. تعاني نماذج ViT الحالية في الجمع بينهما بشكل شامل.
• التمثيلات الموضعية غير الكافية (Inadequate Positional Embeddings): تستخدم نماذج ViT القياسية تمثيلات موضعية (Position Embeddings) قابلة للتعلم أحادية البعد (1D). وبما أن الصور هي هياكل مكانية ثنائية الأبعاد بطبيعتها، فإن التمثيلات أحادية البعد تفشل في التقاط العلاقات المكانية والمعلومات الهيكلية بدقة بين الرقع في شبكة ثنائية الأبعاد.
• محدودية انفصال GCN و ViT:
  • GCN: ممتاز في التقاط الاتصال المحلي بين العقد ولكنه يفتقر إلى القدرة على نمذجة المعلومات الهيكلية العالمية للرسم البياني (Graph).
  • ViT: ممتاز في نمذجة العلاقات العالمية عبر آلية الانتباه الذاتي (Self-attention) ولكنه يفشل في نمذجة الهياكل المحلية للصورة بفعالية.

2. المنهجية: GCN-HViT

يقترح المؤلفون GCN-HViT، وهو بنية هجينة تدمج "Hierarchical Vision Transformer" مع "Graph Convolutional Network". يعمل الإطار عبر مرحلتين رئيسيتين:

أ. المحول الرؤيوي الهرمي (H-ViT)

يعالج هذا المكون معضلة حجم الرقعة من خلال نمذجة تسلسل هرمي متعدد المستويات:

• المستوى 1 (الرقع الصغيرة): يتم تقسيم الصورة المدخلة إلى رقع صغيرة (على سبيل المثال، 16 رقعة). يتم تضمين هذه الرقع عبر شبكة CNN ومعالجتها بواسطة مشفر Transformer، حيث يلتقط هذا المستوى الميزات المحلية دقيقة التفاصيل.
• المستوى 2 (الرقع الكبيرة): يتم إعادة تشكيل خرائط الميزات الناتجة من المستوى 1 وتجميعها في رقع أكبر (على سبيل المثال، 4 رقع). يتم تضمين هذه الرقع ومعالجتها بواسطة مشفر Transformer ثانٍ.
• الآلية: تسمح هذه البنية للنموذج بنمذجة التفاعلات بين الرقع على نطاق عالمي داخل كل مستوى، والعلاقات الهرمية بين الرقع الصغيرة والكبيرة عبر المستويات، مما يحاكي تطور النظام البصري البشري من الرؤية المحلية إلى الرؤية الكلية.

ب. الشبكة التلافيفية الرسومية (GCN) كتمثيل موضعي ثنائي الأبعاد

يحل هذا المكون محل التمثيلات الموضعية أحادية البعد القياسية لمعالجة قيود الهيكل المكاني:

• بناء الرسم البياني (Graph Construction): تُعامل رقع الصورة في الفضاء ثنائي الأبعاد كعقد في رسم بياني. يتم بناء مصفوفات التجاور ($A$) لتمثيل العلاقات المكانية بين الرقع المتجاورة (مثل الجيران في اليمين والأسفل).
• استخراج الميزات المحلية: تأخذ الـ GCN تضمينات الرقع ومصفوفات التجاور كمدخلات، وتقوم بإجراء متوسط مرجح لمعلومات العقد لالتقاط علاقات الاتصال المحلية.
• التمثيل الموضعي ثنائي الأبعاد: يعمل مخرج الـ GCN كـ تمثيل موضعي ثنائي الأبعاد ($E_{Pos}$). يتم إضافة هذا التمثيل إلى تضمينات الرقع قبل تغذيتها في مشفرات الـ Transformer.
  • المعادلة: $E_{Pos} = \text{GCN}(\text{PatchEmbeddings}, \text{AdjacencyMatrix})$
• الفائدة المزدوجة: لا توفر الـ GCN بيانات موضعية واعية مكانياً فحسب، بل تعمل أيضاً كمستخرج للميزات المحلية، مما يعزز التمثيل المحلي لكل رقعة.

3. المساهمات الرئيسية

1. النمذجة الهرمية: تصميم HViT الذي ينمذج بفعالية التفاعلات ضمن مقياس واحد (عالمي) وعبر المقاييس (من الرقع الصغيرة إلى الكبيرة)، مما يحل مشكلة اختيار حجم الرقعة.
2. تمثيل موضعي مبتكر: تقديم طريقة قائمة على GCN لتوليد تمثيلات موضعية ثنائية الأبعاد. هذا يستبدل التمثيلات أحادية البعد، وينجح في التقاط الهيكل المكاني لرقع الصور ويعمل كمستخرج للميزات المحلية.
3. البنية المتكاملة: إنشاء GCN-HViT، وهو نموذج موجز يجمع بين قدرة ViT على النمذجة العالمية (الانتباه الذاتي) وقدرة GCN على نمذجة الهيكل المحلي.
4. التحقق التجريبي: إجراء تجارب واسعة أظهرت أداءً رائدًا (SOTA) على مجموعات بيانات متعددة.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث مجموعات بيانات من العالم الحقيقي: MNIST، وFashion-MNIST، وQuick Draw.

• النماذج المرجعية (Baselines): تمت المقارنة مع ViT القياسي (بـ 4 و16 رقعة)، وHViT، ومتغيرات من GCN-HViT.
• الأداء:
  • حقق GCN-HViT-1 (باستخدام مصفوفة تجاور أحادية الاتجاه) أعلى دقة عبر جميع مجموعات البيانات:
    • MNIST: %98.80
    • Fashion-MNIST: %90.26
    • Quick Draw: %86.55
  • المقارنة: تفوق GCN-HViT-1 على HViT، والذي تفوق بدوره على ViT-16 وViT-4 القياسيين.
• نتائج دراسة الاستئصال (Ablation Findings):
  • الهرمية: تفوق HViT على ViT القياسي، مما يؤكد قيمة تجميع الرقع متعدد المستويات.
  • تكامل GCN: أدى إضافة GCN إلى HViT إلى تحسين الأداء بشكل أكبر، مما أثبت فائدة GCN لاستخراج الميزات المحلية والتحديد الموضي ثنائي الأبعاد.
  • اتجاه التجاور: من المثير للاهتمام أن مصفوفة التجاح أحادية الاتجاه (GCN-HViT-1) تفوقت على النسخة ثنائية الاتجاه (GCN-HViT-2)، مما يشير إلى أن النهج ثنائي الاتجاه قد يدخل ضجيجاً أو معلومات أقل فعالية لهذه المهمة المحددة.

5. الأهمية والعمل المستقبلي

• الأهمية: نجحت الورقة في سد الفجوة بين آليات الانتباه العالمية ونمذجة الهيكل المحلي القائمة على الرسوم البيانية. إنها توفر حلاً قوياً لتحديات "حجم الرقعة" و"التمثيل الموضعي" في نماذج ViT دون الاعتماد على التدريب المسبق.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع الإطار ليشمل:
  1. مجموعات صور عالية الدقة.
  2. أطر عمل هرمية متعددة المستويات (أكثر من المستويين الحاليين).
  3. مهام رؤية حاسوبية أخرى مثل التجزئة الدلالية (Semantic Segmentation) وتوليد الصور.

في الختام، يثبت GCN-HViT أن دمج التعلم الهيكلي المحلي القائم على الرسم البياني في بنيات المحولات الهرمية يعزز بشكل كبير أداء تصنيف الصور من خلال التقاط كل من الأنسجة المحلية والعلاقات المكانية العالمية بشكل أفضل.