💻 computer science

Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

تقدم هذه الورقة البحثية Fibottention، وهي آلية انتباه ذاتي متفرقة ومبتكرة تستفيد من أنماط التفرع الهيكلية المستمدة من مصفوفة ويثوف (Wythoff array) لتحقيق تعقيد حسابي بمقدار $\mathcal{O}(N \log N)$ وتمثيلات استهلالية متنوعة، مما يمكّن نماذج المحولات الرؤية (Vision Transformers) من مضاهاة أو تجاوز أداء النماذج الكثيفة مع استخدام جزء ضئيل فقط من التفاعلات الثنائية.

المؤلفون الأصليون: Ali K. Rahimian, Manish K. Govind, Subhajit Maity, Dominick Reilly, Christian Kümmerle, Srijan Das, Aritra Dutta

نُشر 2026-02-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ali K. Rahimian, Manish K. Govind, Subhajit Maity, Dominick Reilly, Christian Kümmerle, Srijan Das, Aritra Dutta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير لمبنى مكاتب ضخم وعالي التقنية (المحول الرؤيوي - Vision Transformer) حيث يحتاج آلاف الموظفين (الرموز أو قطع الصور - tokens/image patches) إلى التحدث مع بعضهم البعض لحل مشكلة ما، مثل تحديد قطة في صورة.

في المكتب التقليدي، يحاول كل موظف إجراء محادثة مع كل موظف آخر في وقت واحد. وهذا ما يسمى الانتباه الكثيف (Dense Attention).

المشكلة: إذا كان لديك 1,000 موظف، فهذا يعني حدوث 1,000,000 محادثة في آن واحد! إنه أمر فوضوي، ومكلف للغاية (من حيث قدرة الكمبيوتر)، ويستغرق وقتاً طويلاً جداً! بالإضافة إلى ذلك، فإن معظم هذه المحادثات عديمة الفائدة (مثل التحدث مع شخص يبعد عنك ثلاث مكاتب حول بكسل لا يهم الأمر).

تقدم الورقة البحثية أسلوب إدارة جديداً يسمى Fibottention. وإليك كيف يعمل، مشروحاً ببساطة:

1. استراتيجية "فيبوناتشي": جدول زمني ذكي

بدلاً من ترك الجميع يتحدثون مع الجميع، يعطي Fibottention لكل موظف جدولاً زمنياً محدداً ومكتوباً مسبقاً لمن يُسمح له بالتحدث إليهم.

لكن المفاجأة هي أن الجدول ليس عشوائياً، وليس مجرد "تحدث مع جيرانك". بل يعتمد على نمط رياضي شهير يسمى متتالية فيبوناتشي (Fibonacci sequence) (0، 1، 1، 2، 3، 5، 8، 13...).

كيف يعمل: تخيل أن الموظفين مرتبون في خط مستقيم.
- الموظف رقم 1 يتحدث مع جاره المباشر (المسافة 1).
- الموظف رقم 2 يتحدث مع الجار الذي يبعد مسافة 1، ثم الجار الذي يبعد مسافة 2.
- الموظف رقم 3 يتحدث مع جيران يبعدون مسافات 2، 3، و5.
- الموظف رقم 4 يتحدث مع جيران يبعدون مسافات 3، 5، و8.

كلما تقدمت في الخط، تزداد "مسافة المحادثة" بسرعة أكبر وأسرع (مثل 5، 8، 13، 21...). وهذا يعني:

محلياً: أنت تتحدث مع جيرانك المباشرين كثيراً (لالتقاط التفاصيل الدقيقة).
عالمياً: أنت تتحدث أحياناً مع أشخاص بعيدين (لالتقاط الصورة الكبيرة)، لكنك تتخطى المنطقة الوسطى المملة.

2. "الفرق المتخصصة" (تنوع الرؤوس - Head Diversity)

في المكتب العادي، يتبع الجميع نفس كتاب القواعد تماماً. أما في Fibottention، فيتم تقسيم المكتب إلى فرق مختلفة (تسمى "رؤوس الانتباه" - Attention Heads).

الفريق (أ) يتبع جدول فيبوناتشي يبدأ بالأرقام 1 و2.
الفريق (ب) يتبع جدولاً يبدأ بالأرقام 2 و3.
الفريق (ج) يتبع جدولاً يبدأ بالأرقام 3 و5.

ولأنهم يبدأون بأرقام مختلفة، فإن جداولهم الخاصة بـ "مع من يتحدثون" مختلفة تماماً ولا تتداخل كثيراً.

التشبيه: فكر في الأمر كأنها مجموعة من المحققين يحلون جريمة. بدلاً من أن يقوم 10 محققين جميعاً باستجواب نفس الـ 100 شاهد (مما يهدر الوقت)، ينقسمون. المحقق (أ) يستجوب الجيران، والمحقق (ب) يستجوب الأشخاص في الطرف الآخر من المدينة، والمحقق (ج) يستجوب الأشخاص في المنتصف.
النتيجة: إنهم يغطون المدينة بأكملها (الصورة بأكملها) دون أن يعيقوا بعضهم البعض. هذا يخلق فهماً أغنى وأكثر تنوعاً للمشكلة.

3. لماذا يعد هذا أمراً مهماً؟

تظهر الورقة البحثية أن هذه الطريقة هي "خدعة سحرية" للحواسيب:

السرعة: بدلاً من الحاجة لحساب 1,000,000 محادثة، يحتاج الكمبيوتر فقط لحساب حوالي 10,000 إلى 20,000. إنه يشبه الانتقال من طريق سريع مزدحم إلى مسار سريع فارح وسلس. التعقيد الرياضي ينخفض من "تربيعي" (مكلف) إلى "لوغاريتمي" (رخيص).
تعلم أذكى: لأن الفرق مُجبرة على النظر إلى أجزاء مختلفة من الصورة، فإنهم يتعلمون سمات أفضل. إنه يشبه امتلاك فريق فيه شخص خبير في العيون، وآخر في الفراء، وثالث في الآذان، بدلاً من أن يحاول الجميع أن يكونوا خبراء في كل شيء.
بيانات أقل مطلوبة: عادةً، يحتاج الذكاء الاصطناٍعي إلى ملايين الصور للتعلم. ولأن Fibottention فعال ومنظم للغاية، يمكنه التعلم بنفس الكفاءة (أو بشكل أفضل) باستخدام عدد أقل من الصور. وهذا أمر رائع للروبوتات أو التصوير الطبي حيث لا تتوفر بيانات لا حصر لها.

4. نتائج من العالم الحقيقي

اختبر المؤلفون هذا "المكتب الفيبوناتشي" في ثلاث مهام مختلفة:

تحديد الأشياء: حقق درجات أفضل في التعرف على القطط والكلاب والسيارات في مجموعات البيانات الصغيرة مقارنة بالطرق القديمة.
فهم الفيديو: كان رائعاً في فهم ما يحدث في مقطع فيديو (مثل شخص يرفع صندوقاً)، لأنه يستطيع تتبع الحركة عبر الزمن بكفاءة.
تعلم الروبوتات: ساعد الروبوتات على تعلم أداء المهام (مثل دفع مكعب) بشكل أسرع وأكثر دقة.

الخلاصة

Fibottention يشبه ترقية مكتب صاخب وفوضوي إلى فريق متخصص ومنظم للغاية. من خلال استخدام نمط رياضي ذكي (فيبوناتشي) لتحديد من يتحدث مع من، ومنح كل فريق جدولاً زمنياً فريداً، يمكن للكمبيوتر أن "يرى" العالم بنفس كفاءة الطرق السابقة، ولكن باستخدام جزء بسيط من الطاقة والوقت. إنها طريقة أذكى لتركيز الانتباه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Fibottention: التعلم التمثيلي البصري الاستهلالي عبر تنوع الانتباه بين الرؤوس".

1. بيان المشكلة

حققت نماذج المحولات البصرية (ViTs) ومتغيراتها أداءً فائقاً في المهام البصرية، لكنها تواجه عقبتين حرجتين:

التعقيد الحسابي التربيعي: آلية الانتباه الذاتي متعدد الرؤوس (MHSA) القياسية تحسب التفاعلات بمقدار $O(N^2)$ بين $N$ من الرموز (tokens)، مما يجعلها مكلفة حسابياً للصور عالية الدقة أو تسلسلات الفيديو الطويلة.
كفاءة البيانات: تتطلب نماذج ViT عادةً كميات هائلة من بيانات التدريب لتعمل بشكل جيد، وغالباً ما يكون أداؤها أقل من الشبكات العصبية الالتفافية (CNNs) في ظروف البيانات المنخفضة.

تحاول آليات الانتباه المتفرقة الموجودة حالياً (مثل النوافذ المنزلقة، أو الانتباه العشوائي، أو Top-k) تقليل التعقيد إلى $O(N)$ أو $O(N \log N)$ ، ولكنها غالباً ما تؤدي إلى تدهور أداء النموذج. فهي تعتمد بشكل متكرر على أنماط تفرع موحدة عبر جميع رؤوس الانتباه أو تفشل في التقاط السياق العالمي الضروري، مما يؤدي إلى مقايضة حيث تأتي مكاسب الكفاءة على حساب الدقة.

2. المنهجية: Fibottention

يقترح المؤلفون Fibottention، وهو آلية انتباه متفرقة جديدة، حتمية وغير تكيفية، مصممة لاستبدال MHSA القياسي. يكمن ابتكارها الجوهري في استخدام أنماط تفرع هيكلية مشتقة من مصفوفة Wythoff وتسلسلات فيبوناتشي لإنشاء خرائط انتباه متنوعة ومتكاملة عبر الرؤوس المختلفة.

المكونات التقنية الرئيسية:

مصفوفة Wythoff وتسلسلات فيبوناتشي المعممة:
- بدلاً من استخدام أقنعة ثابتة أو عشوائية، يخصص Fibottention تسلسل فيبوناتشي معمماً فريداً لكل رأس انتباه $i$ .
- هذه التسلسلات مشتقة من مصفوفة Wythoff، وهي بنية رياضية يظهر فيها كل عدد صحيح في صف واحد بالضبط. يضمن هذا أن أنماط "التمدد" (المسافة بين الرموز التي يتم الانتباه إليها) عبر الرؤوس غير متداخلة وتغطي الفضاء الصحيح بكفاءة.
- بالنسبة للرأس $i$ ، تتكون مجموعة الدعم $\Omega_i$ من أزواج الرموز $(j, k)$ حيث تنتمي المسافة $|j-k|$ إلى تسلسل فيبوناتشي رقم $i$ ، بحد أقصى لحجم النافذة $w_i$ .
التنوع الاستهلالي (التكامل بين الرؤوس):
- استلهاماً من وحدات "Inception" في الشبكات الالتفافية (CNN)، يفرض Fibottention تنوعاً عبر الرؤوس. يركز كل رأس على مقاييس مختلفة من التفاعلات (محلي مقابل عالمي) بناءً على تسلسل فيبوناتشي الخاص به.
- يتم استكمال حجم النافذة $w_i$ لكل رأس عبر الاستكمال الخطي بين حد أدنى ( $w_{min}$ ) وحد أقصى ( $w_{max}$ )، مما يزيد من تنوع مجالات الاستقبال.
متغير Wythoff المعدل:
- للمهام التي تتطلب تفاعلات محلية أقوى (مثل الروبوتات أو الفيديو)، تم تقديم متغير "Wythemann Wythoff المعدل". يتضمن هذا المتغير السلفين المباشرين في تكرار فيبوناتشي، مما يزيد قليلاً من الاتصال المحلي مع الحفاظ على الهيكل المتفرق العام.
تقليل التعقيد:
- من خلال قصر الانتباه على هذه الإزاحات القطرية المحددة، يتم تقليل التعقيد الحسابي من $O(N^2)$ إلى $O(N \log N)$ .
- الطريقة غير تكيفية، مما يعني أن نمط التفرع ثابت ولا يتطلب تعلم قناع، مما يلغي العبء المرتبط بطرق الانتباه المتفرقة التكيفية.

3. المساهمات الرئيسية

آلية متفرقة مبتكرة: تقديم Fibottention، وهي أول آلية انتباه متفرقة تستخدم بشكل منهجي تسلسلات فيبوناتشي المشتقة من مصفوفة Wythoff لإنشاء أنماط تفرع متنوعة ومتكاملة عبر رؤوس الانتباه.
ضمانات نظرية: إثبات أن الآلية تحقق تعقيداً زمنياً قدره $O(N \log N)$ مع ضمان أن اتحاد مجموعات دعم الرؤوس يغطي أكبر عدد ممكن من تفاعلات الرموز ذات الصلة مع حد أدنى من التداخل.
التحيز الاستقرائي للبيانات البصرية: التصميم يعزز بطبيعته تجميع الميزات متعدد المقاييس. ومن خلال إزالة القطر الرئيسي (الانتباه الذاتي) في كثير من الحالات والتركيز على الإزاحات الهيكلية، فإنه يقلل من التكرار ويجبر النموذج على تعلم تمثيلات أكثر فصلاً.
بديل جاهز للاستبدال: صُمم Fibottention ليكون بديلاً مباشراً لطبقات MHSA القياسية في بنيات Transformer الحالية (مثل ViT، وSwin، وConViT، إلخ) دون الحاجة إلى إعادة تصميم البنية.

4. النتائج التجريبية

قيم المؤلفون Fibottention عبر مهام تصنيف الصور، وفهم الفيديو، وتعلم الروبوتات.

تصنيف الصور (CIFAR-10/100، Tiny-ImageNet، ImageNet-1K):
- مجموعات البيانات الصغيرة/المتوسطة: يتفوق Fibottention بشكل كبير على نماذج ViT الكثيفة والطرق المتفرقة الأخرى (BigBird، Longformer، Top-k) في CIFAR-10/100 وTiny-ImageNet. على سبيل المثال، في CIFAR-10، حقق دقة 91.8% مقابل 84.2% لنموذج ViT-B القياسي، بينما استخدم حوالي 2% فقط من التفاعلات الزوجية.
- مجموعات البيانات الكبيرة: في ImageNet-1K، يحقق أداءً مساوياً لنموذج ViT-B الكثيف (75.5% مقابل 75.9%) مع تقليل التكلفة الحسابية بنسبة ~98%.
فهم الفيديو (TimeSformer):
- في مجموعات بيانات Toyota Smarthome وNUCLA، حسن Fibottention (نسخة Modified Wythoff variant) دقة Top-1 مقارنة بـ TimeSformer وBigBird القيسيين، مما أظهر قدرته على التقاط التبعيات الزمانية المكانية بكفاءة.
تعلم الروبوتات (التعلم السلوكي):
- في مهام التحكم بالروبوت (Lift, Can, PushT)، حقق Fibottention أعلى معدلات متوسط لإتمام المهام، متفوقاً على كل من نماذج ViT الكثيفة ونماذج BigBird المرجعية.
الكفاءة:
- عبر جميع التجارب، استخدم Fibottention ما بين 2% إلى 6% فقط من تفاعلات الرموز المطلوبة بواسطة MHSA الكثيف، مما أدى إلى توفير كبير في عمليات الـ FLOPs (انخفاض يصل إلى 48% في إجمالي عمليات الاستدلال لمدخلات عالية الدقة).
تحليل المتانة والتنوع:
- تنوع الرؤوس: أظهرت المقاييس أن رؤوس Fibottention تمتلك تنوعاً في الميزات أعلى بكثير (مسافة Frobenius) مقارنة بالطرق المتفرقة الأخرى، مما يؤكد التصميم "الاستهلالي" (Inceptive).
- المتانة: أظهرت النماذج المدربة باستخدام Fibottention متانة فائقة ضد تشوهات الصور (الضوضاء، الضبابية، الطقس) مقارنة بنظيراتها الكثيفة.

5. الأهمية

سد الفجوة بين الكفاءة والدقة: يتحدى Fibottention الاعتقاد السائد بأن الانتباه المتفرق يجب أن يضحي بالدقة من أجل السرعة. فهو يثبت أن التفرع الهيكلي والمتنوع يمكن أن يعزز فعلياً تعلم التمثيل، خاصة في الأنظمة محدودة البيانات.
القابلية للتوسع: تجعل التعقيد من نوع $O(N \log N)$ من هذه الآلية مرشحاً مثالياً للجيل القادم من المحولات (Transformers) التي تعالج مليارات الرموز (مثل الفيديو عالي الدقة، أو الاستدلال طويل السياق) حيث يكون $O(N^2)$ غير ممكن.
التحيز الاستقرائي: يسلط العمل الضوء على أهمية تصميم آليات انتباه ذات تحيزات استقرائية محددة (متعددة المقاييس، غير مكررة) بدلاً من الاعتماد فقط على التعلم القائم على البيانات لاكتشاف أنماط التفرع.
القدرة على التعميم: يشير نجاح الطريقة عبر مجالات متنوعة (الصور الثابتة، الفيديو، الروبوتات) إلى أنها تحسين جوهري لبنية الـ Transformer وليست مجرد تعديل خاص بمجال معين.

في الختام، يقدم Fibottention بديلاً فعالاً وعالي الأداء للانتباه الذاتي الكثيف، مستفيداً من نظرية الأعداد (Wythoff/Fibonacci) لتحسين المقايضة بين التكلفة الحسابية والقدرة التمثيلية.