🤖 AI

Block-Recurrent Dynamics in Vision Transformers

تقدم هذه الورقة "فرضية التكرار الكتلي" (Block-Recurrent Hypothesis) وإطار عمل "رابتور" (Raptor) لإثبات أن نماذج "ترانسفورمر الرؤية" (Vision Transformers) المدربة تمتلك بنية تكرارية كتلية ضمنية، مما يتيح تقريبها بدقة باستخدام عدد أقل بكثير من الكتل المتميزة مع الكشف عن جاذبات ديناميكية منخفضة التعقيد وسلوكيات خاصة بالرموز (tokens) قابلة للتحليل المنهجي للأنظمة.

المؤلفون الأصليون: Mozes Jacobs, Thomas Fel, Richard Hakim, Alessandra Brondetta, Demba Ba, T. Andy Keller

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mozes Jacobs, Thomas Fel, Richard Hakim, Alessandra Brondetta, Demba Ba, T. Andy Keller

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: نظرية "الفصول المتكررة"

تخيل أنك تقرأ رواية ضخمة مكونة من 100 صفحة (نموذج "Vision Transformer" أو ViT). عادةً، نفترض أن كل صفحة مكتوبة بواسطة مؤلف مختلف، بأسلوب فريد ونقطة حبكة جديدة تماماً. إنه كتاب ضخم، ونعتقد أنه يحتاج إلى 100 صفحة فريدة لسرد القصة.

اكتشف مؤلفو هذه الورقة البحثية شيئاً مفاجئاً: الكتاب ليس في الواقع 100 صفحة فريدة. بدلاً من ذلك، يتم كتابته باستخدام 3 أو 4 فصول متميزة فقط يتم تكرارها مراراً وتكراراً.

يطلقون على هذا اسم "فرضية التكرار الكتلي" (Block-Recurrent Hypothesis). لقد وجدوا أنه في أعماق هذه النماذج المعقدة للذكاء الاصطناعي، فإن "الطبقات" (صفحات الكتاب) ليست جميعها مختلفة. بل تنقسم إلى مجموعات. بمجرد أن يتجاوز الذكاء الاصطناعي الصفحات القليلة الأولى، يبدأ ببساطة في إعادة استخدام نفس "الكتل" البرمجية القليلة، ويطبقها مراراً وتكراراً لإنهاء المهمة.

العمل الاستقصائي: العثور على النمط

كيف اكتشفوا ذلك؟

"خريطة التشابه": تخيل التقاط صورة لكل صفحة في الكتاب ومقارنتها بكل صفحة أخرى. إذا نظرت إلى كتاب عادي، فإن الصفحة 1 لا تشبه الصفحة 99 على الإطلاق. لكن عندما قام الباحثون بهذا مع نماذج الذكاء الاصطناعي، رأوا نمطاً غريباً: الصفحة 10 تشبه كثيراً الصفحة 11، والتي تشبه بدورها الصفحة 12. لكن الصفحة 13 كانت مختلفة تماماً.
- التشبيه: الأمر يشبه أغنية يكون فيها المقطع الأول فريداً، ثم تتكرر "اللازمة" (القرار) ثلاث مرات، ثم مقطع جسري، ثم تتكرر "اللازمة" مرة أخرى. أظهرت "خريطة التشابه" هذه الكتل المتكررة بوضوح.
"اختبار النسخ واللصق" (Raptor): مجرد كون الصفحات متشابهة لا يعني أنها تقوم بنفس الشيء. ربما الصفحة 10 و11 تبدوان متشابهتين لكنهما تحكيان أجزاء مختلفة من القصة.
- لإثبات أنها كانت متطابقة وظيفياً، بنى الباحثون نموذج ذكاء اصطناعي جديد وصغير يسمى Raptor.
- أخذوا النموذج الضخم الأصلي وقالوا: "سنقوم باستبدال طبقاته الـ 12 بـ طبقتين أو 3 طبقات خاصة سنقوم بتكرارها".
- النتيجة: استطاع نموذج Raptor الصغير، باستخدام كتلتين متكررتين فقط، القيام بـ 96% من عمل النموذج الضخم المكون من 12 طبقة. لم يكتفِ فقط بتخمين الإجابة النهائية، بل أعاد محاكاة عملية التفكير الكاملة للنموذج الضخم، خطوة بخطوة.

لماذا يحدث هذا؟ (سر "العمق العشوائي")

سأل الباحثون: لماذا يتعلم الذكاء الاصطناعي تكرار نفسه؟

وجدوا أن تقنية تدريب تسمى "العمق العشوائي" (Stochastic Depth) (وهي تشبه تخطي صفحات عشوائية أثناء تعلم الذكاء الاصطناعي) تجبر الذك_اء الاصطناعي على أن يصبح أكثر كفاءة.

التشبيه: تخيل طالباً يدرس للاختبار. إذا قلت له: "قد أحذف صفحة من كتابك المدرسي عشوائياً غداً"، فسيتوقف عن محاولة حفظ كل حقيقة فريدة. بدلاً من ذلك، سيتعلم المبادئ الأساسية التي تنطبق على العديد من الصفحات. سيتعلم "استراتيجية قابلة لإعادة الاستخدام".
كلما تم تدريب الذكاء الاصطناعي باستخدام هذا "التخطي العشوائي"، زاد تنظيمه لنفسه بشكل طبيعي في هذه الكتل المتكررة.

ماذا يخبرنا هذا عن كيفية تفكير الذكاء الاصطناعي؟

بمجرد إثبات أن الذكاء الاصطناعي يستخدم كتلًا متكررة، استخدموا ذلك لفهم كيف يفكر الذكاء الاصطناعي، مثل عالم فيزياء يراقب تدفق المياه. وجدوا ثلاثة أشياء رائعة:

تأثير "المغناطيس": بينما تتحرك الصورة عبر الطبقات، يتم سحب التمثيل الداخلي للذكاء الاصطناعي (أو "فكره") نحو اتجاه معين، مثل إبرة البوصلة التي تشير إلى الشمال. وبمجرد اقترابه من "الاتجاه" الصحيح (مثل: "هذه قطة")، يتوقف عن التخبط ويثبت في مكانه.
"قائد الفريق" مقابل "الحشد":
- يبقى رمز CLS (رمز الملخص الخاص بالذكاء الاصطناعي أو قائد الفريق) هادئاً لفترة، ثم يدور فجأة في النهاية لاتخاذ قرار حاسم.
- تتحرك رموز الرقع (Patch tokens) (أجزاء الصورة) معاً في موجة متزامنة، مثل سرب من الأسماك، لتتفق جميعها في النهاية على نفس الاتجاه.
"انهيار الرتبة المنخفضة": في الطبقات الأخيرة، يتوقف الذكاء الاصطناعي عن القيام بعمليات رياضية معقدة وعالية الأبعاد. إنه يختزل تفكيره في مساحة بسيطة جداً ومنخفضة الأبعاد. الأمر يشبه أوركسترا معقدة تعزف فجأة نوتة واحدة بسيطة لإنهاء الأغنية.

لماذا يجب أن نهتم؟

البساة: هذه النماذج الضخمة والمخيفة للذكاء الاصطناعي ليست بالتعقيد الذي تبدو عليه. إنها في الواقع تعمل بناءً على حلقة تكرارية بسيطة. وهذا يجعل فهمها ودراستها أسهل.
الكفاءة: إذا كنا نعلم أن الذكاء الاصطناعي يحتاج فقط إلى 3 كتل متكررة، فربما يمكننا بناء نماذج ذكاء اصطناعي أصغر وأسرع وأرخص تقوم بنفس المهمة تماماً دون الحاجة إلى آلاف الطبقات الفريدة.
الأمان: إذا استطعنا رؤية "تدفق" أفكار الذكاء الاصطناعي كنمط بسيط وقابل للتنبؤ، فمن الأسهل التحقق مما إذا كان الذك-اء الاصطناعي يتصرف بأمان أو إذا كان بدأ يخرج عن المسار.

الخلاصة

تجادل الورقة بأن نماذج "Vision Transformers" ليست فوضى عارمة من 100 طبقة مختلفة. بل هي آلات أنيقة وفعالة تكتشف إيقاعاً بسيطاً ومتكرراً لحل المشكلات. ومن خلال العثور على هذا الإيقاع، يمكننا بناء ذكاء اصطناعي أفضل وفهم كيفية "تفكيره" أخيراً.

في جملة واحدة: وجد المؤلفون أن نماذج الصور الضخمة للذكاء الاصطناعي هي في الواقع مجرد حلقات صغيرة متكررة متنكرة، ومن خلال فهم هذه الحلقة، يمكننا جعلها أبسط، وأسرع، وأكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ديناميكيات التكرار الكتلي في نماذج ViT" (Raptor).

1. بيان المشكلة

أصبحت نماذج Vision Transformers (ViTs) هي المعيار الأساسي للمهام البصرية، ومع ذلك، لا تزال آليات الحوسبة الداخلية الخاصة بها غامضة إلى حد كبير. وبينما تشير اتصالات المتبقي (residual connections) إلى وجود صلة بأنظمة الديناميكيات، إلا أنه لا يوجد إطار عمل راسخ لتفسير عمق الـ ViT كتدفق مهيكل.

الفجوة: تُظهر الملاحظات السابقة أن مصفوفات التشابه التمثيلي من طبقة إلى أخرى تظهر هياكل "قطرية كتلية" (الطبقات المتجاورة ذات تشابه عالٍ). ومع ذلك، فإن التشابه التمثيلي لا يضمن التكافؤ الوظيفي. فقد تبدو الطبقات متشابهة ولكنها تحسب بشكل مختلف، أو تحسب بشكل متشابه ولكنها تبدو مختلفة بسبب التحويلات الخطية.
السؤال الجوهري: هل يعكس الهيكل الكتلي الملحوظ في نماذج ViT المدربة تكراراً وظيفياً حقيقياً، حيث يتم إعادة استخدام مجموعة صغيرة من الكتل الحسابية المتميزة عبر العديد من الطبقات لأداء العمليات نفسها؟

2. المنهجية

يقترح المؤلفون ويتحققون من فرضية التكرار الكتلي (BRH) من خلال نهج بنائي يتضمن ثلاث مراحل رئيسية:

أ. فرضية التكرار الكتلي (BRH)

تفترض الفرضية أن نموذج ViT مدرب بـ $L$ من الطبقات يمكن إعادة كتابته بدقة باستخدام $k \ll L$ من الكتل المتميزة والمترابطة بالمعلمات ( $B_1, \dots, B_k$ ) التي تُطبق بشكل متكرر.

التعريف الرسمي: يمكن تقريب الدالة الأصلية $f_\ell$ (حتى الطبقة $\ell$ ) من خلال تركيب $k$ من الكتل، حيث يتم تطبيق كل كتلة $B_j$ عدد $n_j$ من المرات ( $\sum n_j = \ell$ )، بحيث يكون الخطأ $\epsilon$ بين المسار الأصلي والتقريب المتكرر في أدنى مستوياته.
القيد: يجب أن يطابق التقريب المسار الداخلي بأكمله (التنشيطات الوسيطة)، وليس فقط المخرج النهائي، لاستبعاد الحلول البديهية.

ب. التشغيل الإجرائي: إطار عمل Raptor

لاختبار فرضية BRH، قدم المؤلفون Raptor (التقريبات المتكررة لـ Transformers ذات الطور المتغير):

اكتشاف الطور: استخدموا خوارزمية Max-Cut على مصفوفات التشابه بين الطبقات لتحديد "أطوار" متجاورة تلقائياً (الحدود حيث يجب أن تكون حدود الكتل).
البنية المعمارية: تتكون نماذج Raptor من $k$ من الكتل المرتبطة بالمعلمات. كل كتلة مسؤولة عن جزء محدد من عمق الـ ViT الأصلي.
استراتيجية التدريب (الهجين): يُعرف تدريب النماذج المتكررة بعدم الاستقرار بسبب تراكم الخطأ. لذا استخدم المؤلفون عملية تدريب من مرحلتين:
- المرحلة 1 (فرض المعلم - Teacher Forcing): يتم تدريب الكتل بشكل مستقل للتنبؤ بتنشيط الطبقة التالية بناءً على التنشيط "الحقيقي" من الـ ViT المعلم. هذا يضمن الاستقرار.
- المرحلة 2 (التوليد الذاتي - Autoregressive): يتم ربط الكتل، وتدريب النموذج من البداية إلى النهاية باستخدام تنبؤاته السابقة كمدخلات. هذا يجبر النموذج على تعلم ديناميكيات ذاتية الاتساق ومغلقة الحلقة.
دالة الخسارة: يقلل النموذج من معيار Frobenius بين التنشيطات الوسيطة للطالب وتنشيطات المعلم عبر جميع الطبقات.

ج. التفسير الديناميكي

بمجرد التحقق من الهيكل المتكرر، يعامل المؤلفون عمق الـ ViT كنظام ديناميكي ذي زمن منفصل لتحليل:

التقارب الاتجاهي: تحليل مسارات الرموز (tokens) على الكرة الوحدة.
ً* ديناميكيات خاصة بالرموز: مقارنة سلوك رموز cls و register و patch.
انهيار الرتبة المنخفضة: فحص رتبة مصفوفات التحديث من طبقة إلى أخرى.

3. المساهمات الرئيسية

دليل تجريبي على BRH: أثبتوا عبر نماذج ViTs متنوعة (بما في ذلك النماذج التأسيسية مثل DINOv2) أن مصفوفات التشابه بين الطبقات تظهر أطواراً متجاورة متميزة.
التحقق البنائي (Raptor): نجحوا في تدريب نماذج Raptor التي تعيد بناء المسار الداخلي بأكمله لنماذج ViTs الضخمة.
- النتيجة الرئيسية: نموذج Raptor بـ كتلتين متكررتين فقط يستعيد 96% من دقة الاختبار الخطي لنموذج DINOv2 على ImageNet-1k. ومع 3 كتل، يصل إلى 98%، وهو ما يطابق أداء نموذج ViT-B الأكبر حجماً وغير المرتبط بالمعلمات.
رؤى ميكانيكية:
- العمق العشوائي (Stochastic Depth): أظهروا أن زيادة العمق العشوائي أثناء التدريب تعزز الهيكل المتكرر الكتلي (تشابه أعلى بين الطبقات وإعادة بناء أفضل لـ Raptor).
- التفرد الوظيفي: تبديل الطبقات داخل الكتلة يحافظ على الدقة، بينما تبديل الطبقات بين الكتل يؤدي إلى انهيار النموذج، مما يثبت التمايز الوظيفي للأطوار.
إطار التفسير الديناميكي:
- الجواذب الزاوية: تتقارب اتجاهات الرموز نحو أحواض زاوية تعتمد على الفئة مع مسارات ذات تصحيح ذاتي.
- تخصص الرموز: تنفذ رموز cls عمليات إعادة توجيه حادة في وقت متأخر من الشبكة، بينما تظهر رموز patch تماسكاً قوياً (تأثير المجال المتوسط) وتتقارب بسرعة.
- ديناميكيات الرتبة المنخفضة: تنهار تحديثات الطبقات المتأخرة إلى فضاءات فرعية ذات رتبة منخفضة، مما يشير إلى التقارب نحو جواذب منخفضة الأبعاد.

4. النتائج

الأداء على النماذج التأسيسية:
- ImageNet-1k: يحقق Raptor (بـ $k=3$ ) دقة Top-1 بنسبة 83.0% (أي 98% من DINOv2 ViT-B).
- التنبؤ الكثيف: يؤدي Raptor أداءً تنافسياً في التجزئة الدلالية (ADE20k) وتقدير العمق (NYUv2)، مما يؤكد أن الفرضية صالحة للمهام بخلاف التصنيف.
دراسات الاستئصال (Ablation Studies):
- التدريب باستخدام "فرض المعلم" فقط (المرحلة 1) يؤدي إلى الانهيار (~3% دقة)، مما يثبت أن التدريب التوليدي الذاتي (المرحلة 2) ضروري للتكرار الوظيفي.
- إزالة اتصالات المتبقي (skip connections) في الشبكات غير المدربة يقلل قليلاً من إعادة البناء، مما يشير إلى أن بنية المتبقي تساعد ولكنها ليست السبب الوحيد في التكرار.
تحليل التعقيد:
- يجادل المؤلفون بأن BRH تعني تعقيد ليفين (Levin Complexity) منخفض. فبينما تمتلك البنية الاسمية $L$ من المعلمات المتميزة، فإن طول الوصف الخوارزمي الفعال أقصر بكثير ( $k$ من الكتل) دون زيادة التكلفة الحسابية (وقت التشغيل)، حيث يتم تكرار نفس الكتلة.

5. الأهمية

فهم مبدئي: ينتقل هذا العمل إلى ما وراء التحسين التجريبي ليوفر تفسيراً ميكانيكياً لعمق الـ ViT، مما يشير إلى أن نماذج الرؤية الناجحة تكتشف "حلاً معيارياً منخفض التعقيد" يعتمد على التكرار.
التفسير: من خلال اختزال نماذج ViT إلى عدد صغير من الكتل المتكررة، تفتح الورقة مساراً جديداً لـ التفسير الديناميكي. يمكن للباحثين الآن دراسة نماذج ViT باستخدام أدوات نظرية الأنظمة الديناميكية (الجواذب، الاستقرار، انهيار الرتبة) بدلاً من معاملتها كصناديق سوداء غامضة.
الكفاءة والضغط: تشير النتائج إلى أن النماذج التأسيسية الحالية "مفرطة في التخصيص" (over-parameterized) من حيث الأوزان المتميزة، ولكنها "ناقصة التخصيص" (under-parameterized) من حيث العناصر الحسابية الفريدة. وهذا يعني إمكانية تصميم نماذج أكثر كفاءة تستفيد صراحة من التكرار دون التضحية بالأداء.
السلامة: إن فهم التدفق الداخلي والاستقرار (التصحيح الذاتي) لهذه النماذج أمر بالغ الأهمية للنشر في البيئات الحساسة للسلامة، مما يوفر مساراً للتحقق من سلوك النموذج وتشخيصه.

باختصار، تثبت الورقة أن نماذج Vision Transformers هي في الواقع أنظمة متكررة في ثوب آخر، حيث يمثل العمق تدفقاً لعدد قليل من الأطوار الحسابية القابلة لإعادة الاستخدام. هذا الاكتشاف يجسّر الفجوة بين البنية الساكنة ونظرية الأنظمة الديناميكية، ويقدم عدسة جديدة قوية لتحليل وتحسين نماذج التعلم العميق.