H2EDL: Hyper Evidential Deep Learning for Hierarchical Classification
تقدم الورقة البحثية H2EDL، وهو إطار عمل للتعلم العميق فوق-الأدلي (hyper-evidential) مبتكر يستفيد من تصنيف التسميات كعائلة بؤرية لنمذجة عدم اليقين الهرمي بكفاءة وتحسين المعايرة في مهام التصنيف دقيق التفاصيل.
في عالم الذكاء الاصطناعي، غالبًا ما يُعامل تعليم الكمبيوتر التعرف على الأشياء كأنه مجرد لعبة مطابقة بسيطة: اعرض على الآلة صورة، واطلب منها اختيار الاسم الصحيح من قائمة. لكن العالم الحقيقي نادرًا ما يكون بهذا التسطيح. فالطائر ليس مجرد "طائر"؛ بل هو نوع محدد من طيور "الواربلر"، والذي ينتمي إلى فصيلة، والتي تنتمي بدورها إلى رتبة. عندما ينظر الذكاء الاصطناعي إلى صورة، قد يكون متأكدًا تمامًا من أنه ينظر إلى طائر واربلر، لكنه غير متأكد تمامًا مما إذا كان واربلر أبيض وأسود أم واربلر أصفر المنقار. هذه مشكلة تتعلق بالتسلسل الهرمي. تعاني نماذج الذكاء الاصطناعي التقليدية هنا لأنها تميل إلى معاملة كل إجابة محتملة كخيار منفصل وغير مرتبط، أو أنها تفرض رقمًا واحدًا لتمثيل مدى تأكدها من القائمة بأكملة. هذا النهج يغفل عن التفاصيل الدقيقة لمكان وجود عدم اليقين؛ فهو يفشل في استيع্বاب الفرق بين عدم التأكد من التفاصيل الدقيقة وعدم التأكد من الفئة العامة نفسها.
لقد طور باحثون في جامعة فودان نهجًا جديدًا يسمى H2EDL لحل هذه المشكلة المحددة. فبدلاً من إجبار الذكاء الاصطناعي على تقديم تخمين واحد ضخم لقائمة معقدة من الخيارات، بنوا نظامًا يحاكي هيكل المعرفة نفسها. تخيل شجرة عائلة حيث تمثل الفروع العلوية فئات عريضة مثل "طائرات" أو "حالات جلدية"، وتتفرع الفروع السفلية إلى أنواع أكثر تحديدًا مثل "بوينج 737" أو "ميلانوما". يضع النموذج الجديد وحدة صغيرة لاتخاذ القرار عند كل تقاطع في هذه الشجرة. وبينما ينظر الذكاء الاصطناعي إلى صورة، فإنه ينتقل عبر الشجرة، متخذًا سلسلة من القرارات المحلية. في الأعلى، قد يقول بثقة: "هذه طائرة بوينج". ومع انتقاله للأسفل نحو الطراز المحدد، قد يقول: "أنا متأكد إلى حد ما أنها 737، لكني لست متأكدًا ما إذا كانت نسخة -800 أم -900". ومن خلال تقسيم المشكلة إلى هذه الخطوات الأصغر، يمكن للنموذج أن يحدد بدقة أين يتوقف يقينه وأين يبدأ عدم اليقين لديه، بدلاً من تقديم تخمين واحد غامض للصورة بأكملها.
يكمن الابتكار الجوهري في كيفية تعامل النموذج مع "عدم اليقين". غالبًا ما تخصص الأساليب القديمة درجة واحدة لتمثيل مدى "عدم معرفة" النموذج بمجموعة الاحتمالات بأكملها؛ فإذا كان النموذج مرتبكًا، ترتفع هذه الدرجة لكل شيء. أما الطريقة الجديدة، فتسمح للنموذج بأن يكون له رأي واضح بشأن الفئة العريضة مع الاعتراف بالارتباك بشأن التفاصيل المحددة. يفعل ذلك من خلال معاملة هيكل الشجرة ليس فقط كقائمة تسميات، بل كخريطة للأدلة. فعندما يصل النموذج إلى نقطة تكون فيها الأدلة قوية بما يكفي لتأكيد فئة عريضة ولكنها ليست قوية بما يكفي لاختيار ورقة (نوع) محددة، فإنه يتوقف عند ذلك الحد. إنه يقول فعليًا: "أنا أعلم أن هذه طائرة بوينج، لكن ليس لدي معلومات كافية لتحديد أي طراز من طرازات 737 هي". وهذا يخلق تقريرًا أكثر صدقًا وفائدة لما يعرفه الذكاء الاصطناعي وما لا يعرفه.
لاختبار هذه الفكرة، درب الباحثون النموذج على نوعين مختلفين تمامًا من البيانات: مجموعة من صور الطائرات دقيقة التفاصيل، وقاعدة بيانات للحالات الجلدية. وفي كلتا الحالتين، قارنوا نظامهم الجديد بالنماذج القياسية للذكاء الاصطناعي التي لا تستخدم هذا النهج القائم على الشجرة. وأظهرت النتةائج أنه بينما لم يصبح النموذج الجديد بالضرورة أفضل في اختيار الورقة (النوع) الصحيحة في كل حالة، إلا أنه أصبح أفضل بكثير في فهم هيكل أخطائه. فعندما يخطئ النموذج في تحديد النوع المحدد، فإنه يكون أكثر عرضة لأن يكون قد أصاب في تحديد الفئة العريضة. على سبيل المثال، في مجموعة بيانات الحالات الجلدية، حافظ النموذج الجديد على الفئة العريضة الصحيحة بنسبة 19 بالمائة أكثر من النماذج القياسية عندما ارتكب خطأً محددًا. وهذا يعني أنه حتى عندما يكون الذكاء الاصطناعي غير متأكد، فإنه أقل عرضة للضياع في جزء غير مرتبط تمامًا من الشجرة، مثل الخلط بين حالة جلدية ونوع آخر من الأمراض تمامًا.
كما كشفت الدراسة أن النموذج الجديد أفضل بكثير في معرفة متى يكون في حالة تخمين. ففي التجارب، غالبًا ما كانت النماذج القياسية تبالغ في الثقة، حيث تمنح درجات يقين عالية حتى عندما تكون مخطئة. في المقابل، حافظ النظام الجديد على مستويات ثقته تحت السيطرة، خاصة مع انتقاله إلى أعماق التفاصيل المحددة في الشجرة. وعندما ضاعف الباحثون كمية بيانات التدريب، أصبحت النماذج القياسية أكثر مبالغة في الثقة دون أن تصبح أكثر دقة، بينما حافظ النموذج الجديد على مستوى ثابت وموثوق من عدم اليقين. يشير هذا إلى أن النهج الجديد ليس مجرد طريقة لمجموعة بيانات محددة، بل هو وسيلة أكثر قوة للتعامل مع المعلومات المعقدة والمتعددة الطبقات. فهو يسمح للذكاء الاصطناعي بأن يكون مفيدًا حتى عندما لا يكون مثاليًا، حيث يقدم إشارة واضحة حول أين تنتهي معرفته وحيث قد يلزم تدخل بشري لسد الفجوة.
في النهاية، يوضح هذا العمل أن الطريقة التي نهيكل بها المعرفة داخل الذكاء الاصطناعي لا تقل أهمية عن البيانات التي نغذيها به. فمن خلال احترام التسلسل الهرمي الطبيعي للعالم — حيث تحتوي المفاهيم العريضة على تفاصيل محددة — يتعلم النموذج التفكير بطريقة تشبه البشر. فهو لا يخرج مجرد تسمية، بل يخرج قصة لكيفية وصوله إلى تلك التسمية، كاملة بنقاط تردده. هذا النوع من الشفافية أمر بالغ الأهمية للتطبيقات التي يمكن أن تكون فيها الأخطاء مكلفة، مثل التشخيص الطبي أو سلامة الطيران. وجد الباحثون أن طريقتهم قللت من الخطأ في كيفية إبلاغ النموذج عن ثقته بنحو النصف مقارنة بالتقنيات السابقة. والأهم من ذلك، أنها ضمنت أنه عندما يخطئ النموذج، فإنه يخطئ بطريقة تظل قريبة من الحقيقة، مع الحفاظ على السياق العام سليمًا حتى لو فُقدت التفاصيل الدقيقة. وهذه خطوة نحو بناء أنظمة ذكاء اصطناعي ليست ذكية فحسب، بل واعية أيضًا بحدود قدراتها.
غالبًا ما تعمل عملية التعرف الدقيق ضمن مساحات تسمية هرمية حيث قد يمتلك النموذج ثقة عالية في مفهوم دلالي عام (مثل الشركة المصنعة) بينما يظل غير متيقن بين الفئات المنحدرة منها (مثل الطرازات المحددة). تفشل النهج الحالية في التقاط هذا الغموض المهيكل بفعالية:
التعلم العميق للأدلة المسطح (EDL): يحدد كمية الجهل الإجمالي باستخدام قياس "فراغ" (vacuity) عددي واحد على مستوى الأوراق. هذا المقياس العالمي لا يمكنه التمييز بين عدم اليقين المحصور في شجرة فرعية معينة مقابل عدم اليقين المنتشر عبر فروع غير مرتبطة.
المصنفات الهرمية القياسية: تدمج أشجار التسمية في التنبؤات ولكنها تعتمد عادةً على احتمالات نقطية مع تطبيع "softmax" محلي. وهي تفتقر إلى مفهوم رسمي للدليل أو انتشار عدم اليقين.
الشبكات فائقة الأدلة الموجودة: بينما تهدف إلى توحيد هذه المفاهيم عبر "الآراء الفائقة" (hyper-opinions) (تخصيص كتلة للمجموعات الجزئية المركبة)، إلا أنها تواجه قصورين رئيسيين: (1) تتطلب تسميات مركبة محددة يدويًا في بيانات التدريب، أو (2) تشتق المركبات من أنماط أوزان غير مهيكلة دون آلية مبدئية لتحديد أي المركبات تستحق الكتلة. علاوة على ذلك، فإن الشكل العام للآراء الفائقة يكون أسيًا في عدد التسميات (2L−1)، مما يجعلها غير قابلة للتطبيق حسابيًا في التصنيفات الضخمة.
المنهجية: H2EDL
يقترح المؤلفون H2EDL (التعلم العميق الشامل للأدلة الفائقة)، وهو نموذج يستفيد من التصنيف نفسه كالمجال الفائق المفقود. تكمن الرؤية الجوهرية في أن الأشجار الفرعية والوحدات المفردة للأوراق المحددة بواسطة هيكل الشجرة تشكل عائلة بؤرية ذات حجم خطي (∣L∣+∣B∣، حيث L هي الأوراق و B هي عقد التفرع)، مما يتجنب التعقيد الأسي للآراء الفائقة العامة.
1. البنية والتمثيل المعلمي
الآراء الديريكليه المحلية (Local Dirichlet Opinions): بدلاً من توزيع ديريكليه واحد على جميع الأوراق، يربط H2EDL رأس أدلة خفيف الوزن بكل عقدة تفرع في التصنيف.
التفكيك الشرطي: تنتج كل عقدة رأيًا محليًا فوق أبنائها، يتم تمثيله بمعلمات الدليل ev والوزن القبلي W. يحسب النموذج الاحتمال الشرطي P(child∣node,x) باستخدام متوسط توزيع ديريكليه.
تركيب المسار: يتم حساب احتمالات الأوراق عن طريق ضرب المتوسطات الشرطية على طول المسار من الجذر إلى الورقة. ويتم استرداد احتمالات العقد الداخلية بدقة عبر عمليات الضرب الجزئي المتسلسلة، مما يضمن التماسك الهرمي دون الحاجة لرؤوس منفصلة للمستويات الخشنة.
متغير معدل الأساس (Base-Rate Variant): للتعامل مع عدم توازن الأبناء، يدعم النموذج معدل أساس عكسي مُلطف، مما يسمح للأبناء الأقل شيوعًا بالبدء من مستوى إيمان أساسي أعلى.
2. التفسير المزدوج تدعم نفس مجموعة المعلمات قراءتين متكاملتين:
المصنف التشغيلي: متنبئ متسق هرميًا حيث تُشتق التنبؤات عند أي مستوى خشن مباشرة من توزيع الأوراق.
الرأي الفائق المهيكل كشجرة: هو رأي فائق منطقي ذاتي (Subjective Logic) صالح، حيث تمثل الكتلة المخصصة لعقدة v الإيمان الذي يصل إلى v ولكنه يفتقر إلى دليل كافٍ للتخصص أكثر في أحفاده.
الصلاحية: أثبت المؤلفون أن تخصيص الكتلة المستحث غير سالب ومجموعه يساوي 1.
الاحتواء الائتماني (Credal Containment): يقع التوزيع التنبؤي ضمن حدود الإيمان-الاستمرارية للرأي الفائق المستحث لكل مجموعة فرعية من الأوراق.
تفكيك العمق: يمكن تفكيك الكتلة غير المحددة (عدم اليقين) بدقة حسب العمق، مما يوفر ملفًا لـ "مدى النزول في الشجرة" الذي يحمله الدليل.
3. هدف التدريب
خسارة الأدلة الهرمية: يتم الإشراف على النموذج فقط على مسار القرارات الحقيقي. لكل عقدة تفرع على المسار، يتم تطبيق خسارة EDL القائمة على مخاطر بايز.
التنظيم (Regularization): يعمل حد KL الملطف على كبح الدليل في الأبناء غير المستهدفين عن طريق سحب توزيعات ديريكليه البعيدة نحو التوزيع القبلي.
NLL للأوراق: يتم إضافة حد احتمالية سالمة (Negative Log-Likelihood) على حاصل ضرب المسار لتحسين دقة الأوراق، والذي يتفكك إلى خسائر لوغاريتمية لكل عقدة، مما لا يضيف أي تفاعل بين الرؤوس بخلاف العمود الفقري المشترك.
الإشراف الجزئي: تتعامل الصيغة طبيعيًا مع التسميات الخشنة (التسميات التي تتوقف عند عقدة داخلية) عن طريق تقصير مجموع الإشراف، دون الحاجة لتغييرات في البنية أو اختلاق أهداف للأحفاد غير الملاحظين.
المساهمات الرئيسية
صيغة فائقة الأدلة قابلة للتطبيق: يوفر التصنيف عائلة بؤرية ذات حجم خطي حيث يتم استحثاث الإيمان المركب بدلاً من التنبؤ به، مما يلغي الحاجة لتسميات مركبة محددة يدويًا.
مصنف تشغيلي متماسك: يتميز النموذج بكونه متسقًا هرميًا بالبناء، ويكشف عن "فراغ" (عدم يقين) محدد عند كل نقطة قرار فردية، وليس عالميًا فقط.
الربط النظري: أثبتت الورقة وجود روابط نظرية تربط المتنبئ التشغيلي بالرأي الفائق المستحث، بما في ذلك الصلاحية، والاحتواء الائتماني، والتفكيك الدقيق لعمق الكتلة غير المحددة.
تقييم مطابق للمشكلة: أوضح المؤلفون أن دقة الأوراق القياسية غالبًا ما تحجب المكاسب الهرمية لأنها تهيمن عليها عملية قرار خشنة واحدة. لذا اقترحوا تقييم كل مستوى للكشف عن الأداء الهرمي الحقيقي.
النتائج التجريبية
تم تقييم النموذج على مجموعتي بيانات FGVC-Aircraft (3 مستويات، 100 طراز) و DERM12345 (4 مستويات، 40 ورقة جلدية).
دقة مستوى الورقة: في كلا مجموعتي البيانات، حققت متغيرات H2EDL نتائج دقة متوازنة (bAcc) للمركز الثاني، حيث طابقت أو تجاوزت قليلاً النماذج المسطحة. ومع ذلك، يشير المؤلفون إلى أن دقة الورقة هي في الغالب وسيط لقرار التوجيه الخشن الأولي، وهو أمر يصعب تحسينه.
المستويات المتوسطة: في DERM12345، تفوق كل متغير من H2EDL على جميع النماذج المرجعية الخمسة (بما في ذلك Flat-CE، وFlat-EDL، وHier-CE، وHENN، وI-EDL) عند كل المستويات المتوسطة (Main-1 و Main-2)، بفوارق ذات دلالة إحصائية.
المعايرة (Calibration): قلل H2EDL بشكل كبير من خطأ المعايرة (ECE) مقارنة بنماذج الإنتروبي المتقاطعة (Cross-Entropy).
في FGVC-Aircraft، خفض H2EDL قيمة ECE بنسبة تقارب النصف (8.8% مقابل 19.5% لـ Flat-CE).
الأهم من ذلك، أن فجوة المعايرة اتسعت مع زيادة ميزانيات التدريب ومستويات الهرم الأعمق، بينما أصبحت النماذج المسطحة أكثر ثقة مفرطة مع زيادة البيانات.
حقق H2EDL أفضل قيمة NLL في كلتا مجموعتي البيانات، متفوقًا على النماذج المتساوية الأدلة المسطحة مثل HENN وFlat-EDL.
شدة الخطأ: عندما كانت التنبؤات خاطئة، كانت أخطاء H2EDH "أقل شدة". في FGVC-Aircraft، احتفظت 46.2% من أخطاء H2EDL بالشركة المصنعة الصحيحة (مقابل 38.9% لـ Flat-CE)، وهو تحسن نسبي بنسبة 19% في القدرة على الاسترداد.
الإشراف الجزئي: عندما تم تخشين 75% من التسميات إلى مستوى الفئة العليا، حافظ H2EDL على دقة عالية للفئة العليا (87.0%) وحسن بشكل جذري معايرة الأوراق (انخفض ECE إلى 7.2%)، بينما عانت النماذج المسطحة إما من فقدان العينات أو تدهور كبير في كل من الدقة والمعايرة.
الأهمية والادعاءات
تدعي الورقة أن H2EDL نجح في جعل عدم اليقين الفائق للأدلة قابلاً للتطبيق حسابيًا في مساحات التسمية المهيكلة كأشجار عبر استخدام التصنيف كمجال فائق طبيعي.
الميزة الهيكلية: المساهمة الأساسية ليست بالضرورة قفزة هائلة في دقة مستوى الورقة (والتي يعزوها المؤلفون إلى صعوبة البيانات وهيمنة القرارات الخشنة)، بل هي القدرة على توفير عدم يقين مهيكل. يحدد النموذج أين يصبح الدليل غير كافٍ على طول مسار التنبؤ.
المتانة: إن ملف عدم اليقين الخاص بالعمق والقدرة على التعامل مع الإشراف الجزئي دون تغييرات في البنية يثبت أن نهج التفكيك متين وقابل للتكيف.
ادعاءات متواضعة: ذكر المؤلفون صراحة أن تساوي دقة الورقة عبر الطرق المختلفة يعكس طبيعة الاختبارات (حيث يحدد قرار خشن واحد معظم الأخطاء) وليس فشلًا للنموذج. القيمة الحقيقية لـ H2EDL تكمن في عدم اليقين المعاير والمحلل حسب العمق، وقدرته على الحفاظ على الصحة الخشنة حتى عند حدوث أخطاء دقيقة.
لا عبء إضافي: لا تتطلب الطريقة شبكة ثانية، ولا بناء تسميات مركبة، ولا معايرة لاحقة، مما يجعلها بديلاً عمليًا يمكن استبدال المصنفات الهرمية القياسية به.