🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

تقترح هذه الورقة إطار عمل ASAT، وهو إطار عمل يعتمد على وجود العنصر البشري في الحلقة (human-in-the-loop) يعمل على تكييف دوال التقييم والعتبات ديناميكيًا باستخدام ملاحظات واقعية خارج نطاق التوزيع (out-of-distribution) لتعظيم معدلات الإيجاب الحقيقي مع التحكم الصارم في معدلات الإيجاب الكاذب، مما يؤدي إلى التفوق على الأساليب الحالية في الكشف القوي عن البيانات خارج نطاق التوزيع.

المؤلفون الأصليون: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

نُشر 2026-08-07

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قبطان سفينة فضائية تبحر عبر حقل كويكبات كثيف وضبابي. حاسوب سفينتك ذكي للغاية، لكنه لم يُدرب إلا على التعرف على الأشكال المحددة للكويكبات التي رآها أثناء معسكر تدريبه. الآن، بينما تغوص في أعماق الفضاء، بدأت تواجه أجسامًا غريبة وجديدة: مكعبات ثلج عائمة، وقناديل بحر متوهجة، وسحب معدنية. هذه هي المدخلات "خارج التوزيع" (OOD) — أشياء لم يرها الحاسوب من قبل. إذا أخطأ الحاسوب واعتبر جسمًا خطيرًا وغير معروف كويكبات آمنة، فقد تصطدم السفينة وتتحطم. هذه هي المشكلة الجوهرية لـ كشف البيانات خارج التوزيع (OOD detection): تعليم الذكاء الاصطناعي كيف يقول: "أنا لا أعرف ما هذا"، بدلًا من التخمين الذي قد يؤدي إلى خطأ قاتل.

لحل هذه المشكلة، يقوم العلماء عادةً ببناء نظام "بطاقة تسجيل". يعطي الحاسوب كل جسم درجة: الدرجات العالية تعني "أنا متأكد أن هذا كويكب طبيعي"، والدرجات المنخفضة تعني "هذا يبدو غريبًا". ثم يرسمون خطًا، يسمى العتبة (threshold)، لتقرير متى يطلق الإنذار. إذا كانت الدرجة تحت الخط، يتوقف النظام ويطلب المساعدة من خبير بشري. الجزء الصعب هو تحديد هذا الخط. إذا وضعته مرتفعًا جدًا، فقد تفوتك أجسام خطيرة (سالب كاذب/False Negative). وإذا وضعته منخفضًا جدًا، فقد توقف السفينة لأجل كل حصاة صغيرة، مما يهدر الوقت والوقود (موجب كاذب/False Positive). في الوظائف الحساسة للسلامة مثل التشخيص الطبي أو السيارات ذاتية القيادة، يمكن أن يكون "الموجب الكاذب" سيئًا بقدر "السالب الكاذب"؛ فأنت لا تريد للطبيب أن يخبر مريضًا سليمًا بأن لديه سرطانًا، ولا تريد للسيارة أن تتجاهل عائقًا حقيقيًا.

هذه الورقة البحثية، بعنوان ASAT، تتناول مشكلة كيفية إبقاء بطاقة التسجيل وخط الإنذار مثاليين، حتى عندما يتغير الكون من حول السفينة. اقترح المؤلفون، دايسكي يامادا، وهاريت فيشواكارما، وراميا كورلاكاي فينايك، نظامًا جديدًا لا يكتفي بوضع قاعدة ثم ينساها، بل هو نظام "بشري في الحلقة" (human-in-the-loop) يتعلم أثناء العمل. لقد وجدوا أن الأساليب القديمة، التي تعتمد على بطاقة تسجيل ثابتة وخط ثابت، غالبًا ما تفشل عندما تتغير الأجسام "الغريبة" بمرور الوقت. نهجهم الجديد، ASAT، يقوم بتحديث كل من بطاقة التسجيل وخط الإنذار باستمرار بناءً على التغذية الراجعة في الوقت الفعلي من الخبراء البشريين، مما يضمن بقاء النظام آمنًا مع ازدياد ذكائه.

المشكلة مع مبدأ "اضبطه وانسه"

تخيل أنك حارس أمن في متحف. تم إعطاؤك قائمة باللوحات الشهيرة (البيانات داخل التوزيع أو ID) وطُلب منك إيقاف أي شخص يحمل لوحة مزيفة. ستضع قاعدة: "إذا بدت اللوحة تشبه الحقيقية بنسبة أكثر من 95%، دعهم يمرون". هكذا تعمل معظم أنظمة الذكاء الاصطناعي الحالية؛ فهي تتدرب على بيانات معروفة، وتضع عتبة للإمساك بـ 95% من الأشياء الحقيقية.

لكن إليك الخدعة: تشير الورقة البحثية إلى أن هذه الطريقة تترك ثغرة كبيرة في أمنك. فبينما تنشغل بالإمساك بـ 95% من اللوحات الحقيقية، قد تسمح بالخطأ بمرور 90% من التزييف لأن قاعدتك كانت فضفاضة جدًا من الجانب "الغريب". في عالم الذكاء الاصطناعي، يسمى هذا معدل موجب كاذب (FPR) مرتفعًا. وفي السياق الطبي، يعني هذا أن الذكاء الاصطناعي قد يخبر شخصًا سليمًا بأن لديه ورمًا، مما يسبب ذعرًا غير ضروري وفحوصات باهظة الثمن. تجادل الورقة بأن مجرد السعي وراء "معدل موجب حقيقي" (الإمساك بالأشياء الجيدة) دون التحكم الصارم في "معدل الموجب الكاذب" (عدم إطلاق إنذارات خاطئة) هو أمر خطير.

علاوة على ذلك، فإن الطريقة القديمة جامدة. تخيل أن المتحف بدأ يستقبل نوعًا جديدًا من التزييف: الهولوغرام (الصور المجسمة). قاعدتك القديمة، المصممة للتزوير الورقي، قد لا تعمل على الهولوغرام على الإطلاق. النظام سيعلق، غير قادر على التكيف لأنه لم يُعلّم أبدًا تغيير قواعده بمجرد فتح الأبواب.

دخول ASAT: حارس الأمن المتكيف

يقترح المؤلفون ASAT (التسجيل والعتبة المتكيفة مع التغذية الراجعة البشرية). فكر في ASAT ليس كروبوت بقاعدة ثابتة، بل كمحقق يتعلم من كل قضية.

إليك كيف يحدث السحر:

بطاقة التسجيل (دالة التسجيل): بدلًا من استخدام صيغة ثابتة للحكم على مدى "غرابة" جسم ما، يمكن لـ ASAT إعادة كتابة صيغتها الخاصة. إذا استمر في تحديد نوع معين من الأجسام الغريبة بشكل خاطئ، فإنه يسأل خبيرًا بشريًا: "مهلًا، هل هذا تزييف؟". إذا قال الإنسان: "نعم، هذا هولوغرام"، يقوم ASAT بتحديث بطاقة تسجيله الداخلية للتعرف على الهولوغرام بشكل أفضل في المرة القادمة.
خط الإنذار (العتبة): الخط الذي يقرر متى يتم إيقاف السفينة ليس ثابتًا أيضًا. يقوم AS-AT بتحريك هذا الخط للأعلى أو للأسفل لضمان أنه لن يسمح بأكثر من نسبة ضئيلة وآمنة من التزييف بالمرور (التحكم الصارم في FPR).
الحلقة البشرية: النظام ذكي بما يكفي ليعرف متى يكون غير متأكد. إذا كان الجسم على حافة خط الإنذار، يتوقف ASAT ويسأل بشرًا عن التصنيف الحقيقي. هذه التغذية الراجعة البشرية هي الوقود الذي يشغل التحديثات.

توضح الورقة أن ASAT هو إطار عمل "بشري في الحلقة". إنه لا يخمن فحسب، بل يتعلم. عندما يظهر نوع جديد من البيانات خارج التوزيع (مثل الهولوغرام)، يقوم ASAT بتكييف دالة التسجيل والعتبة في آن واحد.

ماذا وجدوا: أذكى وأكثر أمانًا

اختبر الباحثون ASAT على معيار شهير يسمى OpenOOD، باستخدام مجموعات بيانات مثل CIFAR-10 (التي تعمل كبيانات "طبيعية") ومجموعات بيانات أخرى متنوعة كبيانات "غريبة". وقارنوا ASAT بطريقتين أخريين:

FSFT: بطاقة تسجيل ثابتة وعتبة ثابتة (الطريقة القديمة الجامدة).
FSAT: بطاقة تسجيل ثابتة ولكن عتبة متكيفة (حل وسط).

في تجاربهم، كانت النتائج واضحة. الطرق الثابتة القديمة (FSFT) غالبًا ما سجلت معدلات موجبة كاذبة عالية جدًا، حيث سمحت أحيانًا بمرور ما بين 32% و91% من البيانات "الغريبة" وكأنها طبيعية. وهذا كارثي بالنسبة للسلامة. طريقة FSAT كانت أفضل في التحكم في الإنذارات الكاذبة، ولكن نظرًا لأنها لم تستطع تغيير بطاقة التسجيل الخاصة بها، فقد فاتها الإمساك بالعديد من الأجسام "الغريبة" التي كان بإمكان نظام أذكى تحديدها.

أما ASAT، فقد نجح في القيام بالاثنين معًا. حافظ على معدل الموجب الكاذب أقل بصرامة من الهدف المحدد وهو 5% (حد السلامة) مع تحسين "معدل الموجب الحقيقي" بشكل كبير. في بعض الاختبارات، حسن ASAT القدرة على الإمساك بالأجسام "الغريبة" بنسبة تزيد عن 40% مقارنة بأفضل الطرق الثابتة.

نظرت الورقة أيضًا فيما يحدث عندما تتغير الأجسام "الغريبة" فجأة (في حالة غير مستقرة). تخيل أن المتحف انتقل من تزوير الورق إلى الهولوغرام بين عشية وضحاها. الأنظمة القديمة ترتبك وتبدأ في السماح بمرور التزييف. أما ASAT، فيدرك بسرعة أن النمط قد تغير. يستخدم التغذية الراجعة البشرية الجديدة لتحديث بطاقة تسجيله وعتبته، ليعود إلى حالة آمنة مع حدوث ارتفاع مؤقت وقصير في الأخطاء قبل أن يتكيف.

شبكة الأمان: كيف يعرفون أنه يعمل

قد تتساءل: "إذا كان النظام يغير قواعده الخاصة، فكيف نعرف أنه لن ينكسر؟". لم يكتفِ المؤلفون بإجراء محاكاة والأمل في الأفضل، بل بنوا شبكة أمان رياضية. لقد أثبتوا نظريًا أنه طالما ظلت الأجسام "الغريبة" ثابتة لفترة من الزمن (الظروف المستقرة)، فإن ASAT يضمن بقاء معدل الموجب الكاذب تحت حد المستخدم (مثلاً 5%) في جميع الأوقات.

استخدموا أداة إحصائية ذكية تسمى "متوالية الثقة الموحدة زمنيًا" (time-uniform confidence sequence). تخيل شبكة أمان تتمدد وتتقلص بينما تسير على حبل مشدود. حتى مع تعلم النظام وتغيره، تضمن هذه الشبكة الرياضية أن احتمال السقوط (ارتكاب خطأ) لا يتجاوز الحد الآمن أبدًا. لقد أظهروا أنه على الرغم من أن النظام يتعلم من بيانات تعتمد على قراراته السابقة (وهو موقف معقد رياضيًا)، فإن ضمان السلامة يظل قائمًا.

الخلاصة

تخلص الورقة إلى أن ASAT يمثل خطوة قوية للأمام في سلامة الذكاء الاصطناعي. فهو يحل أكبر مشكلتين في كشف البيانات خارج التوزيع الحالية: الميل لامتلاك الكثير من الإنذارات الكاذبة، وعدم القدرة على التعلم من التهديدات الجديدة وغير المرئية. من خلال السماح للنظام بتكييف "بطاقة تسجيله" و"خط الإنذار" بمساعدة الخبراء البشريين، يخلق ASAT نظامًا ليس أكثر أمانًا فحسب، بل وأكثر كفاءة أيضًا، حيث يحتاج إلى تدخل بشري أقل بمرور الوقت لأنه يصبح أفضل في أداء مهمته.

بينما يشير المؤلفون إلى أن ضماناتهم الحالية تعتمد على بقاء البيانات "الغريبة" متسقة نوعًا ما، وأن التغذية الراجعة البشرية المشوشة قد تشكل تحديًا، إلا أنهم وضعوا حجر الأساس لمستقبل يمكن فيه لأنظمة الذكاء الاصطناعي التنقل بأمان في المجهول، والتعلم والتكيف في الوقت الفعلي دون فقدان حواجز السلامة الخاصة بها.

ملخص تقني: ASAT – التقييم والتحويل التكيفي مع التغذية الراجعة البشرية للكشف القوي عن البيانات خارج التوزيع

بيان المشكلة

تُدرب نماذج تعلم الآلة عادةً تحت فرضية "العالم المغلق"، حيث تتبع بيانات الاختبار نفس توزيع بيانات التدريب (البيانات داخل التوزيع، أو ID). ومع ذلك، في عمليات النشر ذات الأهمية القصوى للسلامة، تواجه النماذج تكراراً لمدخلات "خارج التوزيع" (OOD)—وهي نقاط بيانات لا تنتمي إلى أي فئة من فئات التدريب. إن الفشل في اكتشاف هذه المدخلات يمكن أن يؤدي إلى أخطاء كارثية (مثل التشخيص الخاطئ لمريض).

تعاني طرق اكتشاف OOD الحالية من قصورين رئيسيين:

معدلات الإيجاب الكاذب (FPR) غير المنضبطة: تصمم النهج القياسية دوال التقييم وتضع العتبات بناءً على بيانات ID فقط لتحقيق معدل حقيقي إيجابي (TPR) مستهدف. وغالباً ما يترك هذا معدل الإيجاب الكاذب (تصنيف OOD كأنه ID) غير منضبط، مما يؤدي إلى معدلات عالية من الإنذارات الكاذبة في التطبيقات الحرجة للسلامة.
الافتقار إلى التكيف: المدخلات الواقعية لـ OOD متنوعة وتتطور بمرور الوقت. لذا، فإن دوال التقييم والعتبات الثابتة، التي تم تحسينها فقط على بيانات ID الأولية، غالباً ما تفشل في التعميم على توزيعات OOD الجديدة وغير المرئية التي يتم مواجهتها أثناء النشر، مما يؤدي إلى معدل حقيقي إيجابي (TPR) دون المستوى الأمثل.

الهدف هو تطوير نظام يتحكم بصرامة في معدل الإيجاب الكباذب (FPR) مع تعظيم معدل الحقيقي الإيجابي (TPR) بشكل تكيفي عبر الاستفادة من التغذية الراجعة البشرية على مدخلات OOD الواقعية.

المنهجية: إطار عمل ASAT

يقترح المؤلفون ASAT (التقييم التكيفي والعتبة التكيفية)، وهو إطار عمل يعتمد على وجود الإنسان في الحلقة (human-in-the-loop) يقوم بتحديث دالة التقييم وعتبة القرار ديناميكياً أثناء النشر.

سير العمل

التقييم وأخذ العينات: عند كل خطوة زمنية $t$ $t$ ، يقوم النظام بتقييم المدخل $x_t$ $x_{t}$ باستخدام دالة التقييم الحالية $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ والعتبة $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- إذا كان التقييم أقل من العتبة، يتم وسم المدخل كـ OOD.
- إذا كان التقييم أعلى من العتبة، يتم وسم المدخل كـ ID.
- أخذ العينات بالأهمية (Importance Sampling): لتقدير FPR دون تحيز، يطلب النظام تسمية بشرية للمدخلات المصنفة كـ OOD باحتمالية 1، وللمدخلات المصنفة كـ ID باحتمالية صغيرة $p$ .
التعلم (التحديثات الدورية): لا يقوم ASAT بالتحديث عند كل خطوة لتجنب العبء الحسابي. تحدث التحديثات فقط عند جمع عدد كافٍ من عينات OOD الجديدة ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ).
- الهدف: يحل النظام مسألة تحسين مقيدة لإيجاد دالة تقييم $g$ وعتبة $\lambda$ جديدة تزيد من TPR مع مراعاة قيد FPR (أقل من أو يساوي $\alpha$ ).
- الاسترخاء (Relaxation): بما أن التوزيعات الحقيقية غير معروفة، يستخدم النظام تقديرات تجريبية لـ TPR و FPR المستمدة من عينات ID و OOD التي تم جمعها. يتم استخدام بدائل "سيجمويد" (sigmoid surrogates) للدوال غير القابلة للاشتقاق لتسهيل التحسين القائم على التدرج.
- اختيار النموذج: لا يتم نشر دالة تقييم جديدة إلا إذا أظهرت تحسناً ذا دلالة إحصائية في TPR مقارنة بالنموذج السابق، مما يضمن أن التحديثات لا تؤدي إلى تدهور الأداء.
تقدير العتبة (ضمان السلامة): حتى بعد تحسين دالة التقييم، قد يؤدي الحل غير المقيد إلى انتهاك حد FPR. لضمان التحكم الصارم في FPR، يستخدم ASAT خطوة تقدير العتبة (بناءً على طريقة FSAT). حيث يحسب عتبة آمنة $\hat{\lambda}_t$ عن طريق إنشاء حد علوي للثقة (UCB) صالح موحداً لتقدير FPR. وهذا يضمن، باحتمالية عالية، أن FPR الحقيقي يظل تحت مستوى التسامح $\alpha$ المحدد من قبل المستخدم.

الضمانات النظرية

يقدم البحث ضمانات نظرية للتحكم في FPR تحت الظروف الثابتة (حيث يكون توزيع $D_0$ لـ OOD ثابتاً).

الثقة الموحدة زمنياً: اشتق المؤلفون تسلسلاً للثقة الموحدة زمنياً باستخدام امتدادات "قانون لوغاريتم المتكرر" (LIL) القائمة على "المارتينجال" (martingale). وهذا يأخذ في الاعتبار التبعيات الناتجة عن أخذ العينات بالأهمية ودوال التقييم المتغيرة زمنياً.
النتيجة: باحتمالية لا تقل عن $1-\delta$ ، يظل معدل الإيجاب الكاذب (FPR) لنظام ASAT تحت العتبة المحددة $\alpha$ في جميع الأوقات $t$ ، حتى مع تطور دالة التقييم.

المساهمات الرئيسية

تصميم الإطار: تقديم ASAT، وهو إطار عمل يربط بين تعديل دوال التقييم والعتبات باستخدام التغذية الراجعة البشرية، على عكس نماذج FSFT و FSAT المرجعية.
السلامة النظرية: توفير ضمانات نظرية رسمية تضمن التحكم في FPR في جميع الأوقات تحت الظروف الثابتة، رغم الطبيعة الديناميكية لدالة التقييم.
التحقق التجريبي: تقييمات واسعة النطاق على معايير OpenOOD تُظهر تفوق ASAT على الطرق الحالية من خلال تحقيق معدلات TPR أعلى مع الحفاظ على تحكم صارم في FPR.

النتائج التجريبية

قام المؤلفون بتقييم ASAT على معايير OpenOOD باستخدام CIFAR-10 كبيانات ID ومجموعات بيانات OOD مختلفة (مثل CIFAR-100، وPlaces365، إل_خ).

الإعدادات الثابتة (Stationary Settings)

التحكم في FPR: على عكس FSFT، الذي أظهر معدلات FPR عالية (غالباً ما بين 32%–91%) عند استهداف TPR مرتفع، حافظ كل من FSAT و ASAT على معدلات FPR أقل باستمرار من الهدف (5%).
أداء TPR: بينما تأخر ASAT في البداية عن FSAT بسبب حدود الثقة الواسعة المطلوبة للتقييم التكيفي، إلا أنه تفوق عليه في النهاية. حقق ASAT معدلات TPR أعلى بكثير من FSAT (على سبيل المثال، تحسن نسبي يتجاوز 40% في بعض الإعدادات) من خلال تعلم دوال تقييم تتوافق بشكل أفضل مع بيانات OOD المحددة التي تمت مواجهتها.
التقارب: تقارب TPR التجريبي لـ ASAT نحو الـ TPR الأمثل الذي يمكن تحقيقه بواسطة دالة تقييم مدربة على كل من ID و OOD.

الإعدادات غير الثابتة (Non-Stationary Settings)

التكيف مع التحولات: عندما حدث تحول في توزيع OOD (مثلاً، من "Far-OOD" إلى "Near-OOD")، أظهر ASAT قدرة على التكيف.
الانتهاكات العابرة: في السيناريوهات التي كان فيها الـ OOD الجديد أصعب في التمييز عن الـ ID، شهد ASAT انتهاكات عابرة في FPR. ومع ذلك، فقد تكيف بسرعة في دالة التقييم والعتبة لتقليل FPR تحت الحد، محققاً باستمرار TPR أعلى من FSAT قبل وبعد التحول.
النافذة الزمنية (Windowing): سمح استخدام نافذة منزلقة لعينات OOD لـ ASAT بالتكيف بشكل أسرع مع تحولات التوزيع، مضحياً ببعض المثالية مقابل سرعة الاستجابة.

الأهمية والادعاءات

يدعي البحث أن ASAT يعالج الفجوة الحرجة في اكتشاف OOD حيث يكون الجمع بين السلامة (التحكم في FPR) والتكيف (تعظيم TPR لبيانات OOD المتطورة) أمراً صعباً في الطرق الحالية.

السلامة: من خلال فصل تحسين دالة التقييم عن فحص عتبة السلامة، يضمن ASAT أن النظام لا يساوم أبداً على قيد FPR، وهو مطلب حيوي للمجالات الحرجة للسلامة.
التكيف: من خلال الاستفادة من التغذية الراجعة البشرية لتحديث دالة التقييم نفسها، يتغلب ASAT على قيود النماذج الثابتة، مما يسمح للنظام بتحسين قدرات الكشف الخاصة به مع مواجهة أنواع جديدة من بيانات OOD.
العملية: تم تصميم الإطار للنشر عبر الإنترنت، مع موازنة الكفاءة الحسابية (التحديثات الدورية) مع الضمانات الإحصائية الصارمة.

يضع المؤلفون ASAT كخطوة نحو أنظمة تعلم آلي قوية وذاتية التحسين يمكنها العمل بأمان في بيئات العالم المفتوح حيث لا تكون توزيعات البيانات ثابتة.