🤖 machine learning

Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection

تقترح الورقة البحثية "إزاحة التنشيط المرتب" (Ranked Activation Shift - RAS)، وهي طريقة لاحقة (post-hoc) خالية من المعلمات الفائقة، تعمل على تحسين اتساق الكشف عن البيانات خارج التوزيع عبر نماذج وبيانات متنوعة من خلال استبدال قيم التنشيط المرتبة بملف مرجعي ثابت للبيانات داخل التوزيع، مما يتغلب على عدم الاستقرار في النهج القائمة على القياس الموجودة حالياً.

المؤلفون الأصليون: Gianluca Guglielmo, Marc Masana

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gianluca Guglielmo, Marc Masana

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك حارس أمن ذكي جداً (نموذج ذكاء اصطناعي) قضى سنوات في تعلم التعرف على وجوه محددة: أصدقائك، وعائلتك، وزملائك في العمل. هذا الحارس بارع في قول: "نعم، هذا بوب!" أو "لا، هذه أليس!".

ولكن ماذا يحدث عندما يقترب غريب، أو والأسوأ من ذلك، شخص يرتدي قناعاً، أو تمثالاً (مانيكان)؟ قد يصاب الحارس بالارتباك ويقول بثقة: "هذا بالتأكيد بوب!" رغم أنه ليس كذلك بوضوح. هذه هي مشكلة الكشف عن البيانات الخارجة عن التوزيع (Out-of-Distribution - OoD): وهي تعليم الذكاء الاصطناعي كيف يقول "أنا لا أعرف ما هذا" بدلاً من التخمين الخاطئ.

يقدم هذا البحث خدعة ذكية جديدة تسمى RAS (إزاحة التنشيط المرتب - Ranked Activation Shift) لحل هذه المشكلة دون الحاجة إلى إعادة تدريب الحارس أو استئجار واحد جديد.

المشكلة في الحيل القديمة

سابقاً، حاول الباحثون إصلاح ذلك من خلال النظر إلى "الأفكار الداخلية" للذكاء الاصطناعي (التي تسمى التنشيطات - activations) مباشرة قبل اتخاذ القرار.

نهج "مقبض الصوت": حاولت بعض الطرق رفع مستوى الإشارات القوية وخفض الإشارات الضعيفة. تخيل أنك تحاول سماع همس في غرفة صاخبة عن طريق رفع صوت الراديو فقط. أحياناً ينجح الأمر، ولكن إذا كانت الغرفة صاخبة جداً أو كان الراديو معطلاً، فسيؤدي ذلك فقط إلى جعل كل شيء أعلى وأكثر إرباكاً.
نهج "القص واللصق": حاولت طرق أخرى قص الأرقام "الغريبة" من دماغ الذكال الاصطناعي. لكن هذا كان يشبه محاولة إصلاح ساعة مكسورة عن طريق قص العقارب التي تبدو خاطئة فقط. نجح هذا مع بعض الساعات، لكنه أفسد ساعات أخرى، خاصة إذا لم يكن لدى الساعة نقطة "صفر" (مفهوم يسمى التصحيح - rectification).

وجد المؤلفون أن هذه الطرق القديمة كانت غير مستقرة. فقد كانت تعمل بشكل رائع على بعض النماذج وتفشل فشلاً ذريعاً في نماذج أخرى، كما كانت تتطلب الكثير من "الضبط" (مثل ضبط قرص الراديو) لضبطها بشكل صحيح.

الحل الجديد: RAS (استراتيجية "النمط الموحد")

أدرك المؤلفان، جيانلوكا غوليلمو ومارك ماسانا، أنه بدلاً من محاولة تخمين أي الأرقام "جيدة" أو "سيئة"، يجب عليهم ببساطة إجبار الأفكار الداخلية للذكاء الاصطناعي على أن تبدو مثل قالب قياسي.

إليك التشبيه:

تخيل أن دماغ الذكاء الاصطناعي عبارة عن جوقة غنائية (كورال). عندما تغني الجوقة أغنية عن "القطط" (داخل التوزيع - In-Distribution)، ينظم المغنون أنفسهم حسب الطول في نمط محدد ومتوقع للغاية. المغنون الأطول على اليمين، والأقصر على اليسار.

عندما يدخل غريب (خارج التوزيع - OoD)، تصبح الجوقة فوضوية. ربما يصبح المغنون القصار فجأة على اليمين، أو يبدأ الجميع بالصراخ في وقت واحد.

الطرق القديمة حاولت الصراخ في مغنين محددين لإسكاتهم أو إخبارهم بالغناء بصوت أعلى. كان هذا أمراً فوضوياً ويعتمد على الجوقة المحددة.

RAS (إزاحة التنشيط المرتب) يفعل شيئاً أبسط:

ورقة المرجع: أولاً، يأخذ النظام صورة لترتيب الجوقة "المثالي" (متوسط النمط لجميع أغاني "القطط" التي غنوها من قبل). لنسمِّ هذا الملف التعريفي المثالي (Ideal Profile).
الإزاحة: عندما تأتي أغنية جديدة، لا يهتم نظام RAS بماذا يغني المغنون، بل ينظر فقط إلى ترتيب أصواتهم.
التبديل: يأخذ الجوقة الفوضوية، ويرتبهم حسب الطول، ثم يجبرهم على الوقوف في نفس مواضع الملف التعريفي المثالي.
- إذا كان خامس أطول مغنٍ في المجموعة الفوضوية يقف حالياً في المركز الأول، فإن RAS ينقله إلى المركز الخامس ويخبره: "يجب أن تبدو الآن تماماً مثل المغني الخامس في ملفنا التعريفي المثالي".

من خلال القيام بذلك، يتم إجبار "أفكار" الذكاء الاصطناعي الداخلية على أن تبدو تماماً كما يتوقع رؤيتها لصورة عادية. إذا كان المدخل "غريباً" أو "فوضوياً"، فإن هذا المحاذاة القسرية ستخلق عدم تطابق غريب في الحساب النهائي، مما يجعل الذكاء الاصطناعي يدرك: "مهلاً، هذا لا يتناسب مع النمط!"

لماذا يعد هذا أمراً كبيراً؟

لا يتطلب ضبطاً: لا تحتاج إلى العبث بالمقابض أو الأقراص. "الملف التعريفي المثالي" هو مجرد متوسط بسيط لبيانات التدريب. إنه يعمل مباشرة دون أي تعديل.
يعمل على كل شيء: سواء كان دماغ الذكاء الاصطناعي "تلافيفياً" (Convolutional) كلاسيكياً أو "ترانسفورمر" (Transformer) حديثاً (مثل تلك التي تشغل ChatGPT أو مولدات الصور)، فإن RAS يعمل. فهو لا يهتم إذا كانت الأرقام الداخلية موجبة أو سالبة؛ هو يهتم فقط بـ الترتيب.
لا يفسد عمل الحارس: أحياناً، عندما تحاول إصلاح ذكاء اصطناعي، قد تجعله أسوأ في مهمته الأساسية (التعرف على القطط) عن غير قصد. نظام RAS لطيف جداً لدرجة أنه يترك قدرة الذكاء الاصطناعي على التعرف على الأشياء العادية سليمة تماماً تقريباً.
طريق ذو اتجاهين: اكتشف المؤلفون أنه لا يهم ما إذا كان دماغ الذكاء الاصطناعي "صاخباً جداً" أو "هادئاً جداً". يقوم RAS بإصلاح كليهما ببساطة عن طريق إعادة النمط إلى المعيار. إنه مثل محول عالمي يعمل سواء كان القابس كبيراً جداً أو صغيراً جداً.

الخلاصة

فكر في RAS كأنه مترجم عالمي لثقة الذكاء الاصطناعي. بدلاً من محاولة تخمين سبب ارتباك الذكاء الاصطناعي، فإنه يقول ببساطة: "دعونا نتظاهر بأن دماغكم مرتب تماماً كما كان عندما كنتم سعداء وواثقين". إذا كان المدخل غريباً، فإن هذا التظاهر سيفشل، وسيعلن الذكاء الاصطناعي بشكل صحيح أنه "خارج التوزيع".

إنه طريقة بسيطة، أنيقة، وقوية لجعل الذكاء الاصطناعي أكثر أماناً وموثوقية، دون الحاجة إلى إعادة بناء النظام بأكمله.

إليك ملخص تقني مفصل لورقة البحث "Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection" من إعداد Guglielmo و Masana.

1. بيان المشكلة

يعد اكتشاف البيانات خارج التوزيع (OoD detection) أمراً بالغ الأهمية لنشر أنظمة الذكاء الاصطناዊ الآمنة، حيث يجب على النماذج تحديد المدخلات التي تختلف عن بيانات التدريب الخاصة بها. وبينما تحظى الطرق "بعد التدريب" (post-hoc) —التي تعدل النماذج الموجودة بالفعل دون إعادة تدريبها— بشعبية كبيرة نظراً لتكلفتها الحسابية المنخفضة، إلا أن الأساليب الحالية المتطورة تعاني من عدم الاستقرار وعدم الاتساق.

تحديداً، تحدد الورقة مشكلتين رئيسيتين في أساليب تعزيز الدرجات (مثل ASH و SCALE):

الأداء غير المتسق: تؤدي هذه الأساليب أداءً جيداً في بعض مجموعات البيانات/البنيات المعمارية، لكنها تفشل في أخرى.
نمط الفشل مع التنشيطات غير المصححة (Unrectified Activations): تستخدم العديد من البنيات الحديثة (مثل Vision Transformers و ConvNeXt) دوال تنشيط مثل GELU أو SiLU التي تسمح بوجود قيم سالبة في الطبقة قبل الأخيرة. وتعتمد أساليب القياس الحالية (مثل SCALE) على افتراضات تنهار عندما لا تكون التنشيطات غير سالبة بشكل صارم (غير مصححة)، مما يؤدي إلى تدهور الأداء.

2. المنهجية: إزاحة التنشيط المرتب (Ranked Activation Shift - RAS)

يقترح المؤلفون طريقة RAS، وهي طريقة "بعد التدريب" خالية من المعلمات الفائقة (hyperparameter-free)، تقوم بإزاحة تنشيطات الطبقة قبل الأخيرة لتتطابق مع ملف تعريف مرجعي ثابت للبيانات داخل التوزيع (ID).

الآلية الجوهرية

بدلاً من الاعتماد على قيم التنشيط أو العتبات، تعمل RAS على الترتيب الرتبي لقيم التنشيط:

الإعداد خارج الإنترنت (الملف المرجعي - Offline Setup):
- يقوم النموذج بمعالجة مجموعة فرعية من بيانات التدريب داخل التوزيع (ID).
- لكل عينة، يتم فرز (ranking) متجه تنشيط الطبقة قبل الأخيرة حسب المقدار.
- يتم حساب متوسط هذه المتجهات المرتبة عبر مجموعة الـ ID لإنشاء متجه ملف تعريف مرجعي $\mu \in \mathbb{R}^d$ .
- ملاحظة: هذا لا يتطلب أي بيانات خارج التوزيع (OoD) ولا يتطلب ضبط المعلمات الفائقة.
الاستبدال أثناء الاستنتاج (Inference-Time Substitution):
- لمدخل جديد (سواء كان ID أو OoD)، يتم استخراج تنشيطات الطبقة قبل الأخيرة $a$ .
- يتم تغيير ترتيب مؤشرات $a$ (بواسطة $\pi$ ) لفرز القيم ترتيباً تصاعدياً.
- يتم استبدال القيم المرتبة للمدخل بالقيم من الملف المرجعي $\mu$ .
- ثم تُعاد القيم إلى مواقعها الأصلية باستخدام الترتيب العكسي.
- رياضياً: $\bar{a}_{\pi(j)} = \mu_j$ .

التمييز الرئيسي

تقوم RAS بعملية مطابقة المدرج التكراري (histogram matching). فهي تجبر توزيع التنشيط لأي مدخل على مطابقة شكل (التوزيع المرتب) لبيانات الـ ID مع الحفاظ على التوجه المكاني (أي أي عصبون قد اشتغل بالنسبة للآخرين). هذا يعمل فعلياً على "تطبيع" (normalize) ملف التنشيط دون افتراض إشارة التنشيط أو توزيعه المحدد.

3. المساهمات الرئيسية

تحليل أنماط الفشل: يوضح المؤلفون أن أساليب القياس (ASH-S, SCALE) تعتمد على افتراض أن تنشيطات الـ ID هي تنشيطات مصححة (غير سالبة) وأن نسبة المتوسط إلى الانحراف المعياري ( $\mu/\sigma$ ) تتبع شروطاً محددة. ويظهرون أن هذه الشروط تُنتهك بشكل متكرر في البنيات الحديثة (ViT, ConvNeXt)، مما يسبب فشل هذه الأساليب.
تصميم خالٍ من المعلمات الفائقة: لا تتطلب RAS أي ضبط للعتبات (على عكس ReAct أو ASH أو SCALE التي تتطلب مئوية $p$ أو عتبة $b$ ). هي تتطلب فقط تنشيطات ID غير مصنفة لحساب الملف المرجعي $\mu$ .
الاستقلالية عن البنية المعمارية: من خلال العمل على الترتيب الرتبي بدلاً من المقدار المطلق، تعمل RAS بسلاسة مع البنيات التي تحتوي على تنشيطات سالبة (GELU, SiLU، إلخ)، مما يجعلها قابلة للتطبيق على نماذج Transformers و CNNs الحديثة حيث فشلت الأساليب السابقة.
التحسين ثنائي الاتجاه: من خلال دراسات الاستئصال (ablation studies)، تكشف الورقة أن كلاً من تثبيط (خفض) التنشيطات العالية وإثارة (رفع) التنشيطات المنخفضة يساهمان بشكل مستقل في تحسين الفصل بين التوزيعات (OoD separation). تلتقط RAS كلا التأثيرين في آن واحد.
الحفاظ على دقة الـ ID: على عكس بعض أساليب التعزيز التي تضعف دقة التصنيف داخل التوزيع (ID)، تحافظ RAS عليها من خلال التصميم.

4. النتائج التجريبية

قيم المؤلفون طريقة RAS على معيار OpenOOD عبر أربع مجموعات بيانات (CIFAR-10, CIFAR-100, ImageNet-200, ImageNet) وعدة بنيات معمارية (ResNet, EfficientNet, ConvNeXt, ViT, Swin).

الأداء: تتفوق RAS باستمرار أو تضاهي الأساليب المتطورة لتعزيز الدرجات (EBO, ReAct, DICE, ASH, SCALE) عبر جميع مجموعات البيانات.
- حققت أفضل أو ثاني أفضل النتيات في معظم السيناريوهات.
- والأهم من ذلك، أنها الطريقة الوحيدة التي تعمل بقوة على البنيات ذات التنشيطات غير المصححة (مثل ViT-B/16 و ConvNeXt)، حيث غالباً ما تفشل أو تؤدي ASH و SCALE أداءً ضعيفاً.
المتانة: حققت RAS هذه النتائج دون أي تحسين للمعلمات الفائقة. تم اختبار الأساليب المنافسة عند إعداداتها المثلى (التي تتطلب الوصول إلى مجموعة تحقق OoD)، ومع ذلك، نجحت RAS في مضاهاة أو تجاوزها.
التوافق: تعمل RAS كإضافة برمجية (plug-in) نمطية. فعند دمجها مع وظائف تسجيل مختلفة (EBO, ViM, GEN)، فإنها تحسن أداءها باستمرار.
الكفاءة: التكلفة الحسابية ضئيلة ( $O(D \log D)$ بسبب عملية الفرز)، حيث تضيف حوالي 6% فقط من وقت الاستنتاج مقارنة بـ EBO القياسي.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في اكتشاف الـ OoD: وهي نقص المتانة عبر بنيات الشبكات العصبية المختلفة.

الرؤية النظرية: تتحدى الافتراض السائد بأن مقدار التنشيط هو الإشارة الأساسية لاكتشاف الـ OoD، وتظهر بدلاً من ذلك أن شكل التوزيع (الملف الرتبي) هو مؤشر أكثر استقراراً وعالمية.
الفائدة العملية: توفر RAS حلاً "جاهزاً للاستخدام" (plug-and-play) للتطبيقات الحرجة للسلامة. يمكن للمهندسين نشرها على أي نموذج مدرب مسبقاً (بما في ذلك نماذج Transformers الحديثة) دون الحاجة لإعادة تدريب النموذج، أو ضبط المعلمات الفائقة، أو الوصول إلى بيانات OoD للمعايرة.
الاتجاه المستقبلي: يشير اكتشاف أن كل من الإزاحة للأعلى وللأسفل يحسن الاكتشاف إلى أن أساليب الـ OoD المستقبلية يجب أن تركز على محاذاة توزيعات التنشيط بدلاً من مجرد كبح القيم الشاذة.

باختصار، تقدم RAS طريقة بسيطة، قائمة على أسس نظرية، وقابلة للتطبيق عالمياً لاكتشاف الـ OoD بعد التدريب، مما يحل مشكلات عدم الاستقرار في الأساليب الحالية القائمة على القياس.