🤖 machine learning

Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

تُثبت هذه الورقة أن طريقة التصفية بالصفر (zero-ablation) المستخدمة على نطاق واسع تبالغ بشكل كبير في تقدير الاعتماد الوظيفي لنماذج "Vision Transformers" على المحتوى الدقيق للسجلات، حيث إن الاضطرابات البديلة مثل الضجيج أو إعادة الخلط تحافظ على الأداء بينما يؤدي التصفير إلى تعطيل التمثيلات الداخلية بشكل غير متناسب.

المؤلفون الأصليون: Felipe Parodi, Jordan Matelsky, Melanie Segado

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Felipe Parodi, Jordan Matelsky, Melanie Segado

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: خطأ "الصفر"

تخيل أنك تحاول فهم كيفية عمل محرك سيارة. قررت اختبار جزء معين، لنقل حاقن الوقود، عن طريق إزالته واستبداله بـ طوبة (قالب بناء).

تتوقف السيارة فوراً. فتستنتج: "آها! حاقن الوقود ضروري للغاية! بدونه، السيارة ميتة".

لكن هنا تكمن الخدعة: أنت لم تكتفِ بإزالة حاقن الوقود فحسب؛ بل حشرت طوبة ثقيلة وغير وظيفية في مساحة مصممة لجزء دقيق ومتحرك. بالطبع تعطل المحرك! لم يكن ذلك بسبب غياب الحاقن فحسب، بل لأنك أدخلت شيئاً لا ينتمي إلى ذلك المكان على الإطلاق.

تجادل هذه الورقة البحثية بأن الباحثين في مجال الذكاء الاصطناعي قد وقعوا في هذا الخطأ ذاته.

لفترة طويلة، كان العلماء الذين يدرسون نماذج "Vision Transformers" (نوع من الذكاء الاصطناعي الذي "يرى" الصور) يختبرون "رموز السجل" (Register Tokens) -وهي رموز مساعدة خاصة في عقل الذكاء الاصطناعي- عن طريق استبدالها بـ أصفار (متجهات فارغة أو صامتة). وعندما فعلوا ذلك، انهار أداء الذكاء الاصطناعي. فاستنتجوا أن هذه الرموز هي مكونات سحرية ولا غنى عنها تحمل سر ذكاء الآلة.

يقول مؤلفو هذه الورقة: "توقفوا! أنتم تختبرون باستخدام طوبة، وليس بقطعة غيار".

التجربة: استبدال الطوبة بـ "مكان محجوز"

لإثبات وجهة نظرهم، لم يقم الباحثون بمجرد حذف "رموز السجل"، بل جربوا ثلاث طرق مختلفة وأكثر واقعية لاستبدالها:

استبدال "المتوسط": استبدلوا الرمز بـ المتوسط لسلوك ذلك الرمز عبر آلاف الصور.
استبدال "الضجيج الساكن": استبدلوه بضجيج عشوائي (مثل تشويش التلفاز) يتناسب مع "حجم" الإشارة الأصلية.
استبدال "المستعار": أخذوا رمز سجل من صورة قطة ووضعوه في عقل الذكاء الاصطناعي بينما كان ينظر إلى صورة كلب.

النتيجة؟
عندما استخدموا هذه البدائل الأكثر واقعية، استمر الذكاء الاصطناعي في العمل بشكل مثالي! ظل بإمكانه تصنيف الصور، وإيجاد الأجزاء المتطابقة بين الصور، وتحديد الأشياء (segmentation)، بنفس الكفاءة السابقة.

الاستنتاج:
رموز السجل ليست حاملات لـ "محتوى" سحري. إنها أشبه بـ أماكن محجوزة هيكلية. يحتاج الذكاق الاصطناعي إلى وجود شيء ما يجلس في ذلك المقعد ليبقى المحرك يعمل بسلاسة، لكنه لا يهتم بماهية الشيء الجالس هناك، طالما أنه يبدو كجزء طبيعي من المحرك.

السبب في أن عملية "التصفير" (طريقة الطوبة) أدت إلى تعطل الذكاء الاصطناعي هو أنها خلقت "صدمة" هائلة للنظام. لقد أجبرت الذكاء الاصطناعي على معالجة إشارة لا تحدث أبداً في العالم الحقيقي، مما تسبب في سلسلة من ردود الفعل المربكة التي أفسدت النتائج.

الوظيفة الحقيقية للرموز: "العازل" و"الضاغط"

إذا كان الذكاء الاصطناعي لا يحتاج إلى المحتوى المحدد لهذه الرموز، فما الذي تفعله حقاً؟ وجدت الورقة وظيفتين رائعتين تؤديهما:

1. الجدار العازل للصوت (Buffering)
في نماذج الذكاء الاصطنا هذه، يوجد رمز "المدير العام" (يسمى [CLS]) يحاول تلخيص الصورة بأكملة. أحياناً، يصبح هذا المدير صاخباً جداً ويحاول التدخل في التفاصيل الدقيقة (رموز القطع/patches)، مما يفسد قدرة الذكاء الاصطناعي على رؤية التفاصيل الدقيقة.
تعمل رموز السجل كـ جدار عازل للصوت أو منطقة عازلة. فهي تقف بين "المدير الصاخب" وبين "عمال التفاصيل"، حيث تمتص الضجيج لكي يتمكن عمال التفاصيل من أداء عملهم دون تشتت. إذا أزلت الجدار (حتى مع وجود بديل واقعي)، سيتسرب الضجيج. ولكن إذا استبدلت الجدار بنوع آخر من الجدران، فسيظل الضجيج محجوباً.

2. خزانة الملفات (Compression)
وجدت الورقة أيضاً أن هذه الرموز تساعد في تنظيم "خزانة الملفات" الداخلية للذكاء الاصطناعي. بدونها، تكون بيانات الذكاء الاصطناعي فوضوية ومنتشرة (رتبة فعالة عالية). ومع وجودها، يقوم الذكاء الاصطناعي بضغط البيانات، مما يجعلها أكثر كفاءة وتنظيماً. الأمر يشبه وجود أمين مكتبة لا يكتب الكتب بنفسه، ولكنه ينظم الرفوف لكي تجد الأشياء بشكل أسرع.

لماذا هذا مهم؟

هذه الورقة هي تحذير للمجتمع العلمي حول كيفية اختبار الذكاء الاصطناعي.

الدرس المستفاد: مجرد أن الذكاء الاصطناعي يتعطل عندما تحطم جزءاً منه بمطرقة (الاستبعاد بالصفر/zero-ablation)، لا يعني أن هذا الجزء هو الشيء الوحيد الذي يبقيه على قيد الحياة. قد يعني ذلك فقط أنك كسرت الآلة بكونك عنيفاً جداً.
الخلاصة: لفهم كيفية عمل الذكاء الاصطناعي حقاً، نحتاج إلى اختباره عبر استبدال الأجزاء ببدائل واقعية، وليس بحذفها تماماً.

باخت-اختصار: "رموز السجل" في نماذج الرؤية من نوع DINO هي مثل المقاعد في المسرح. إذا أزلت المقاعد واستبدلتها بكتل خرسانية (أصفار)، سيتوقف العرض. ولكن إذا استبدلت المقاعد بكراسي فارغة أو كراسي ملونة أخرى (بدائل واقعية)، فسيستمر العرض. المقاعد ضرورية هيكلياً لإيواء الجمهور، لكن الجمهور لا يهتم بـ أي مقعد يجلسون عليه، طالما أن هناك مقعداً هناك.

ملخص تقني لورقة البحث: "الاستئصال الصفري يبالغ في تقدير اعتماد محتوى السجلات في نماذج DINO للرؤية الحاسوبية"

1. بيان المشكلة

تستخدم نماذج المحولات الرؤية (ViTs)، ولا سيية النماذج ذات التعلم الذاتي مثل عائلة DINO (مثل DINOv2 وDINOv3)، "رموز السجلات" (register tokens) — وهي رموز قابلة للتعلم ليس لها معنى مكاني — لامتصاص آثار الحوسبة العالمية التي قد تؤدي بخلاف ذلك إلى إفساد ميزات الرقع (patches) الكثيفة. وبينما يعد "الاستئصال الصفري" (zero-ablation) (استبدال تنشيطات الرموز بمتجهات صفرية) طريقة قياسية لاستقصاء وظيفة الرمز، إلا أنه يعاني من خلل جوهري: المتجهات الصفرية هي خارج التوزيع (OOD) بالنسبة لفضاء التنشيط الذي تعلمه النموذج.

تجادل الورقة بأن الاستئصال الصفري يخلق "إزاحة في التوزيع" تتوالى عبر الطبقات اللاحقة، مما يسبب انخفاضات في الأداء يُساء تفسيرها على أنها دليل على اعتماد النموذج على المحتوى المحدد للسجلات. وتفترض المؤلفة أن الاستئصال الصفري يبالغ في تقدير الضرورة الوظيفية لمحتوى السجل، مما قد يخلط بين ضرورة وجود تنشيطات معقولة وبين ضرورة وجود معلومات خاصة بالصورة.

2. المنهجية

تقترح المؤلفة إطاراً تجريبياً صارماً للتمييز بين الاعتماد على المحتوى والوجود الهيكلي باستخدام ثلاثة ضوابط استبدال محددة إلى جانب الاستئصال الصفري القياسي:

النماذج: أُجريت التجارب على DINOv2 وDINOv2+registers وDINOv3 على مقياسين: ViT-S (21 مليون معلمة) وViT-B (86 مليون معلمة).
إطار التدخل: باستخدام خطافات التمرير الأمامي (forward hooks) في PyTorch، تدخلت المؤلفة في كل مخرج لكتلة المحول (بدءاً من الكتلة الأولى) لاستبدال تنشيطات رموز محددة.
أنواع التدخل:
1. الاستئصال الصفري (Zero-Ablation): يستبدل التنشيطات بمتجه صفر $0 \in \mathbb{R}^d$ .
2. الاستبدال بالمتوسط (Mean-Substitution): يستبدل التنشيطات بمتوسط مجموعة البيانات لكل طبقة (تمت معايرته على 5,000 صورة من ImageNet).
3. الاستبدال بالضجيج (Noise-Substitution): يستبدل التنشيطات بضجيج غاوسي متوافق مع متوسط وتباين الطبقة.
4. التبديل عبر الصور (Cross-Image Shuffling): يقوم بتبديل تنشيطات السجلات عبر صور مختلفة داخل الدفعة (batch)، مما يكسر المحتوى الخاص بالصورة مع الحفاظ على البنية الإحصائية للتنشيطات الحقيقية.
مهام التقييم: تم تقييم النماذج في أربع مهام تابعة باستخدام الميزات المجمدة (linear probes):
- عالمية (Global): تصنيف الصور (ImageNet)، والاسترجاع (kNN).
- كثيفة (Dense): التطابق الدلالي (SPair-71k، وأزواج اصطناعية)، والتقطيع الدلالي (Semantic Segmentation) لـ Pascal VOC.
المقاييس: تغيرات الأداء ( $\Delta$ pp)، تشابه جيب التمام لكل رقعة (لقياس اضطراب التمثيل الداخلي)، وتباعد جينسن-شانون (JS divergence) لأنماط الانتباه.

3. المساهمات الرئيسية

إثبات عيوب الاستئصال الصفري: تثبت الورقة أن الاستئصال الصفري يحقن متجهات خارج التوزيع (OOD) تسبب اضطرابات متتالية غير متناسبة (تباعد JS مرتفع) مقارم بالبدائل المعقولة.
إيجاد "الاستبدال المعقول": تُظهر المؤلفة أن الاستبدال بالمتوسط، والاستبدال بالضجيج، والتبديل عبر الصور تحافظ على الأداء عبر جميع المهام (ضمن نطاق ~1 نقطة مئوية من الخط المرجعي). يشير هذا إلى أنه بالنسبة لمهام الميزات المجمدة، يعتمد النموذج على وجود تنشيطات معقولة تشبه السجلات، وليس على المحتوى المحدد للصورة المخزن في السجلات.
الدور الهيكلي للسجلات: تؤكد الدراسة أن السجلات تعمل كـ "قنوات سياقية" (context channels) تعمل كمصدات لميزات الرقع من الحوسبة العالمية لرمز [CLS]. إن إزالة البنية (التصفير) يؤدي إلى انهيار فضاء الميزات، لكن استبدال المحتوى ببدائل معقولة لا يؤدي لذلك.
تحليل المقياس والهندسة: تكررت النتائج في مقياس ViT-B. كما تحدد الورقة أن السجلات تضغط هندسة الرقع (تقليل الرتبة الفعالة)، حيث أظهر DINOv3 أكبر قدر من الضغط.

4. النتائج الرئيسية

أ. الاستئصال الصفري مقابل ضوابط الاستبدال

الاستئصال الصفري: في DINOv3، تسبب تصفير السجلات في انخفاضات هائلة في الأداء: -36.6 نقطة مئوية في التصنيف و -30.9 نقطة مئوية في التقطيع.
ضوابط الاستبدال: أدت جميع الضوابث الثلاثة (المتوسط، الضجيج، التبديل) إلى تغييرات طفيفة في الأداء ( $\le 1$ $\leq 1$ نقطة مئوية) عبر جميع المهام والنماذج.
- مثال (DINOv3 ViT-S): الدقة الكاملة = 62.0% (CLS). تصفير السجلات = 25.4%. الاستبدال بالمتوسط = 62.1%.
الاضطراب الداخلي: بينما حافظت الاستبدالات على أداء المهمة، إلا أنها غيرت التمثيلات الداخلية (تشابه جيب التمام مع الحالة الكاملة كان 0.95–0.999). ومع ذلك، تسبب الاستئصال الصفري في اضطراب أكبر بكثير (جيب التمام $\approx 0.58$ )، مما يؤكد أن تدهور المهمة كان بسبب شدة الإزاحة في التوزيع، وليس بسبب فقدان معلومات محددة.

ب. عدم التماثل بين [CLS] والسجلات

بدون سجلات: تدمير [CLS] يدمر المهام الكثيفة (على سبيل المثال، ينخفض التقطيع بنحو 37 نقطة مئوية)، مما يشير إلى أن الرقع تعتمد على [CLS].
مع سجلات: تصفير [CLS] له تأثير ضئيل على المهام الكثيفة (على سبيل المثال، ينخفض التقطيع < 1 نقطة مئوية)، مما يثبت أن السجلات تعمل كمصدات للرقع.
خصوصية المحتوى: تصفير [CLS] مع الاستبدال بالمتوسط يدمر الأداء أيضاً (دقة 0.1%)، مما يثبت أن [CLS] يحمل محتوى فريداً خاصاً بالصورة. وعلى العكس من ذلك، لا تتطلب السجلات محتوى محدداً.

ج. التأثيرات الهيكلية والهندسية

ضغط الرقع: وجود السجلات يقلل من الرتبة الفعالة لمصفوفة جرام (Gram matrix) الخاصة بالرقع.
- DINOv2: الرتبة الفعالة $\approx 13.5$ .
- DINOv2+Reg: $\approx 8.7$ .
- DINOv3: $\approx 4.0$ (أقل بنسبة 54% من DINOv2+Reg).
تدفق الانتباه: يبنى الانتباه من [CLS] إلى السجلات تدريجياً من الطبقات المتوسطة، ومع ذلك، يظهر الاعتماد في التصنيف على السجلات بشكل مفاجئ فقط في الطبقات النهائية (10–11)، مما يشير إلى انفصال بين التوجيه الهيكلي والاعتماد الوظيفي.

5. الأهمية والآثار المترتبة

تصحيح منهجي: تتحدى الورقة الممارسة القياسية لاستخدام الاستئصال الصفري لاستنتاج الضرورة الوظيفية في نماذج المحولات الرؤية. وتدعو إلى استخدام ضوابط داخل التوزيع (مثل الاستبدال بالمتوسط أو التبديل) لتجنب النتائج الإيجابية الكاذبة المتعلقة باعتماد المحتوى.
فهم بنية DINO: توضح النتائج أن السجلات في DINOv3 ليست "فتحات ذاكرة" (memory slots) تخزن تفاصيل محددة للصورة للمهام اللاحقة، بل هي مثبتات هيكلية تحافظ على هندسة فضاء الميزات.
التوازي مع علم الأعصاب: ترسم المؤلفة مقارنة مباشرة مع دراسات الآفات في علم الأعصاب، مشيرة إلى أن إتلاف مكون بمدخلات "غير معقولة" (مثل الصفر) يمكن أن يسبب فشلاً متتالياً في الشبكة بأكملها، مما يبالغ في تقدير الوظيفة الموضعية لذلك المكون.
الاتجاهات المستقبلية: تقترح المؤلفة أنه بينما تعد السجلات حيوية هيكلياً للميزات المجمدة، فإن دورها في مهام الضبط الدقيق (fine-tuning) أو المهام التوليدية (حيث قد يكون المحتوى المحدد مطلوباً) يظل سؤالاً مفتوحاً.

في الختام، تثبت الورقة أن السجلات ضرورية وظيفياً للحفاظ على هندسة الميزات، ولكن محتواها المحدد المرتبط بالصورة ليس مطلوباً للمهام اللاحقة القياسية. إن الانخفاضات الحادة في الأداء التي لوحظت في دراسات الاستئصال الصفري هي نتاج إزاحة في التوزيع، وليست دليلاً على تخزين محتوى فريد.