An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection
تقترح هذه الورقة إطار عمل جديداً قائماً على نظرية المعلومات لبناء سمات الكشف عن البيانات خارج التوزيع عبر تحسين دالة خسارة تجمع بين تباعد كولباك - ليبلر (KL divergence) لفصل التوزيعات ومبدأ عنق الزجاجة المعلوماتي (Information Bottleneck) للضغط، مما ينتج عنه دالة تشكيل جديدة ومتفوقة تتجاوز الأساليب الحالية عبر مختلف الاختبارات المعيارية.
تخيل أنك تعلم روبوتاً التعرف على أنواع مختلفة من الحيوانات. تعرض عليه آلاف الصور لقطط وكلاب وطيور، فيتعلم أن يقول بثقة تامة: "هذه قطة!". ولكن ماذا يحدث إذا عرضت على الروبوت فجأة صورة لمحمص خبز أو سحابة؟ بما أن الروبوت لم يرَ هذه الأشياء من قبل، فقد يظل يصرخ بثقة: "هذه قطة!" لأنه يحاول فرض الصورة الجديدة ضمن فئة يعرفها بالفعل. هذه مشكلة كبيرة في سلامة الذكاء الاصطناعي. نحن بحاجة إلى طريقة تجعل الروبوت يقول: "انتظر، أنا لا أعرف ما هذا"، بدلاً من التخمين الخاطئ. هذا هو تحدي اكتشاف "البيانات الخارجة عن التوزيع" (OOD): أي معرفة متى تكون البيانات جديدة ومختلفة تماماً عما تدرب عليه الذكاء الاصطناعي.
لحل هذه المشكلة، غالباً ما ينظر العلماء إلى "الميزات" التي يستخدمها الذكاء الاصطناعي لاتخاذ القرارات. فكر في هذه الميزات كأنها ملاحظات أو رسومات تخطيطية داخلية يدونها الروبوت للصورة قبل إعطاء الإجابة. لقد حاول بعض الباحثين تعديل هذه الملاحظات باستخدام قواعد ثابتة، مثل "إذا كان الرقم كبيراً جداً، فقم بتقليله". لكن هذه القواعد ليست سوى تخمينات بناءً على ما نجح في اختبارات محددة، وقد تفشل عندما يرى الروبوت شيئاً غريباً حقاً. السؤال الكبير هو: هل يمكننا إيجال قاعدة رياضية تخبرنا بالضبط كيف نعدل هذه الملاحظات لأي نوع من البيانات الجديدة، وليس فقط للأمثلة المحددة التي رأيناها من قبل؟
تقدم هذه الورقة البحثية طريقة جديدة للتفكير في تلك المشكلة باستخدام مزيج من الرياضيات ونظرية المعلومات. يقترح المؤلفون نظرية تعامل تعديل هذه الملاحظات الداخلية ليس كقاعدة ثابتة، بل كعملية عشوائية مرنة. إنهم يستخدمون "دالة خسارة" رياضية (وهي بمثابة بطاقة تقييم لمدى جودة أداء الذكاء الاصطناعي) تحاول القيام بشيئين في آن واحد: أولاً، تدفع الملاحظات الخاصة بالبيانات الجديدة والغريبة بعيداً قدر الإمكان عن ملاحظات البيانات المألوفة؛ وثانياً، تستخدم مفهوم "عنق زجاجة المعلومات" (Information Bottleneck) للتأكد من أن الملاحظات لا تصبح فوضوية للغاية أو تفقد التفاصيل المهمة اللازمة لرصد الأشياء الغريبة.
من خلال إجراء عمليات محاكاة بافتراضات مختلفة حول شكل البيانات "الغريبة" (مثل افتراض أنها تتبع منحنى الجرس أو لها ذيول ثقيلة)، وجد المؤلفون أن أفضل طريقة لتعديل الملاحظات تتغير اعتماداً على نوع "الغرابة". على سبيل المثال، إذا كانت البيانات الغريبة مليئة بالضجيج، فإن أفضل تعديل يبدو مثل "القص" (أي قطع القيم المتطرفة)، وهذا يفسر سبب نجاح بعض الطرق الحالية. أما إذا كانت البيانات الغريبة عبارة عن قيم متطرفة نادرة، فإن أفضل تعديل يبدو مثل "تصفير" القيم الصغيرة.
بناءً على هذه النتائج، يقترح المؤلفون أداة جديدة مرنة تسمى "الدالة الخطية المجزأة" (Piecewise Linear Function - PLF). يمكنك التفكير في هذه الأداة كمرشح ذكي وقابل للتعديل يمكنه ثني وتشكيل الملاحظات الداخلية للذكاء الاصطناعي بالطريقة الصحيحة تماماً لرصد البيانات الجديدة، بغض النظر عن نوع هذه البيانات. وعندما اختبروا هذا المرشح الجديد على مجموعة واسعة من الاختبارات القياسية، بما في ذلك تشوهات الصور المعقدة وفئات جديدة تماماً، أظهر أداءً أفضل من معظم الطرق المتاحة حالياً. في الواقع، في مقارنة ضخمة شملت 21 طريقة اكتشاف مختلفة، جاء نهجهم في المرتبة الثلاث الأولى عبر جميع الاختبارات المختلفة، مما يشير إلى أنه حل أكثر موثوقية وعمومية لإبقاء الذكاء الاصطناعي صادقاً عندما يواجه المجهول.
ملخص تقني: إطار عمل معلوماتي لبناء الميزات في الكشف عن البيانات خارج التوزيع
بيان المشكلة غالبًا ما تفشل أنظمة تعلم الآلة عند مواجهة بيانات خارج التوزيع (OOD)، مما يؤدي إلى تنبؤات خاطئة ذات ثقة عالية. وبينما توجد العديد من طرق الكشف عن البيانات خارج التوزيع التي تُطبق بعد التدريب (post-hoc)، إلا أنها تعتمد بشكل كبير على نهج تجريبي قائم على القواعد (مثل ReAct، وFS-OPT، وVRA، وASH) وتفتقر إلى أساس نظري موحد. وبناءً على ذلك، غالبًا ما تواجه هذه الطرق صعوبة في التعميم عبر مجموعات البيانات المختلفة وأنواع الإزاحات التوزيعية (الدلالية والتباينية). هناك حاجة إلى إطار عمل نظري يمكنه اشتقاق ميزات الكشف عن البيانات خارج التوزيع بناءً على افتراضات إحصائية أساسية، وتفسير خصائص الطرق الموجودة، وتوليد ميزات جديدة أكثر قوة بشكل منهجي.
المنهجية يقترح المؤلفون إطار عمل جديد يعتمد على نظرية المعلومات، يصيغ بناء ميزات البيانات خارج التوزيع كمسألة تحسين تبايني.
صياغة الميزات العشوائية: على عكس دوال تشكيل الميزات الحتمية الموجودة، يصيغ المؤلفون الميزات خارج التوزيع (Z~) كمتغيرات عشوائية مشتقة من ميزات الشبكة (Z) عبر توزيع شرطي p(z~∣z). ويمثل متوسط هذا التوزيع دوال التشكيل الحتمية الموجودة في الأدبيات.
الدالة الوظيفية للخسارة: يسعى التحسين إلى إيجاد توزيع شرطي يقلل من دالة خسارة مركبة L:
حد تباعد KL: يعمل على تعظيم الفصل بين توزيعات الميزات للبيانات داخل التوزيع (ID) والبيانات خارج التوزيع (OOD) باستخدام تباعد كولباك-ليبلر (KL) المتماثل.
تنظيم عنق الزجاجة المعلوماتي (IB): يقلل من المعلومات المتبادلة بين ميزة المدخلات Z والميزة خارج التوزيع Z~ بينما يعظم المعلومات المتبادلة بين Z~ والوسم خارج التوزيع Y. يضمن ذلك أن تكون الميزة مضغوطة ولكنها تحتفظ بالمعلومات ذات الصلة تحديدًا بالكشف عن البيانات خارج التوزيع، مع تصفية الاختلافات غير الضرورية.
التحسين: بما أن المسألة معرفة فوق فضاء لانهائي الأبعاد من مقاييس الاحتمال، يستخدم المؤلفون حساب التباين لاشتقاق التدرجات. يفترضون الاستقلال العنصري والتوزيع الطبيعي للتوزيع الشرطي p(z~∣z)∼N(μ(z),σc(z))، مما يسمح بخوارزمية انحدار تدريجي قابلة للتنفيذ حسابيًا لإيجاد المتوسط الأمثل μ(z) والانحراف المعياري الأمثل σc(z).
التحليل التوزيعي: يحلل إطار العمل الميزات المثلى تحت مختلف الافتراضات التوزيعية المفترضة (التوزيع الطبيعي، وتوزيع لابلاس، ونموذج مقترح من نوع التوزيع الطبيعي العكسي). وتكشف الدراسة أن الافتراضات التوزيعية المختلفة تؤدي إلى سلوكيات تشكيل متميزة:
البيانات خارج التوزيع ذات التوزيع الطبيعي: تنتج ميزات ذات منحدرات موجبة للقيم الصغيرة ومنحدرات سالبة (أو قص/clipping) للقيم الكبيرة، اعتمادًا على وزن تنظيم عنق الزجاجة المعلوماتي (IB).
البيانات خارج التوزيع ذات الذيول الثقيلة (لابلاس/التوزيع الطبيعي العكسي): تنتج ميزات تعمل على كبح القيم الصغيرة (تصفيرها) وقص القيم الكبيرة، مع مناطق خطية للقيم المتوسطة.
دالة التشكيل المقترحة (PLF): بدافع من ملاحظة أن الأشكال المثلى عبر التوزيعات المختلفة يمكن تقريبها بواسطة دوال خطية مجزأة، قدم المؤلفون دالة خطية مجزأة (PLF). هذه الدالة تتكون من 7 معاملات، ويتم تحديد معاملاتها باستخدام الربيعات (quantiles) لمقادير الميزات داخل التوزيع لضمان القدرة على التكيف عبر البنى البرمجية ومجموعات البيانات.
المساهمات الرئيسية
إطار عمل نظري: تقديم دالة خسارة معلوماتية تباينية تشتق ميزات البيانات خارج التوزيع كمتغيرات عشوائية، مما يوحد الفصل بين التوزيعات مع ضغط المعلومات.
التفسير النظري للطرق الموجودة: يوضح إطار العمل أن الطرق القائمة على القواعد الموجودة في أحدث التقنيات (مثل ReAct، وVRA، وASH) تتوافق ضمنيًا مع افتراضات توزيعية محددة وقوة تنظيم معينة. على سبيل المثال، يرتبط "القص" (clipping) بتنظيم عالٍ لعنق الزجاجة المعلوماتي، بينما يرتبط كبح القيم الصغيرة بافتراضات التوزيع ذي الذيول الث heavy-tailed.
دالة التشكيل الجديدة (PLF): اشتقاق دالة تشكيل خطية مجزأة جديدة مدفوعة نظريًا، تعمم خصائص الطرق الموجودة دون الالتزام بافتراض توزيعي واحد مسبقًا.
التعريف بالربيعات (Quantile-Based Parameterization): صياغة مبتكرة لنقاط التوقف في دالة PLF باستخدام الربيعات التجريبية، مما يسمح للدالة بالتعميم عبر نطاقات الميزات المختلفة دون زيادة عدد المعاملات.
النتائج يتحقق المؤلفون من صحة طريقة PLF مقابل أحدث طرق الكشف عن البيانات خارج التوزيع (post-hoc OOD detectors) على اختبارات شاملة:
الإزاحات الدلالية: في اختبار OpenOOD (الذي يغطي CIFAR-10، وCIFAR-100، وImageNet-200، وImageNet-1K)، تحتل PLF مرتبة ضمن أفضل ثلاث الطرق من بين 21 طريقة تم تقييمها عبر جميع مجموعات البيانات والبنى البرمجية. وقد حققت أفضل تصنيف إجمالي في اختبار ImageNet-1K الصعب، وتتفوق باستمرار على طرق تشكيل الميزات الأخرى (Energy، وReAct، وVRA-P، وFS-OPT).
التباينات التباينية (Covariate Shifts): في مجموعة بيانات BROAD واختبارات التباين التبايني في OpenOOD (بما في ذلك ImageNet-C، وImageNet-R، وImageNet-V2، والهجمات العدائية مثل AutoAttack وPGD)، تحقق PLF أعلى متوسط لـ AUROC بين طرق تشكيل الميزات وتحتل المرتبة الثانية إجمالًا بين جميع الطرق الـ 21. كما أظهرت متانة عبر إزاحات متنوعة حيث تتخصص الطرق الأخرى غالبًا في مجموعة فرعية فقط. ومن الجدير بالذكر أن هذا العمل يقدم أول اختبار شامل لمكتشفات البيانات خارج التوزيع (post-hoc) على الإزاحات التباينية تحديدًا ضمن إطار عمل OpenOOD.
الكفاءة: تكلفة الاستدلال مقاربة للطرق الخطية المجزأة الموجودة (ميكروثانية لكل صورة على وحدة معالجة رسومية من نوع A100).
الأهمية يزعم البحث أنه يقدم أول إطار عمل نظري عام لبناء ميزات البيانات خارج التوزيع بناءً على التوزيعات الإحصائية. وتكم تكمن أهميته في الانتقال من النهج التجريبي القائم على القواعد (Heuristics) إلى نهج مبني على أسس توضح لماذا تعمل الطرق الموجودة وكيف يمكن بناء طرق أفضل. ومن خلال إثبات أن دالة واحدة مشتقة نظريًا (PLF) يمكنها التفوق على الطرق المتخصصة عبر كل من الإزاحات الدلالية والتباينية، يشير هذا العمل إلى إمكانية تحقيق استراتيجية تشكيل ميزات موحدة وغير منحازة للتوزيع. ويشير المؤلفون إلى أن هذا هو أول اختبار شامل لمكتشفات البيانات خارج التوزيع (post-hoc) على الإزاحات التباينية ضمن إطار عمل OpenOOD، مما يسلط الضوء على قدرات التعميم الواسعة للطريقة. وقد تم تحديد العمل المستقبلي في استكشاف التوزيع الكامل للميزات العشوائية (ليس فقط المتوسط)، ودمج دوال الدرجة (score functions) في النظرية، وتوسيع نطاقها لتشمل دوال تشكيل المتجهات العامة.