🤖 AI

D3O: Dynamic Distribution Distillation for Ordinal Regression

تقترح هذه الورقة البحثية إطار عمل D3O، وهو إطار لتقطير التوزيع الديناميكي يعالج ضجيج التوسيم والغموض في الانحدار الرتبي من خلال استبدال الإشراف الساكن بتطور لتوزيع الملصقات مدفوع بالتقطير الذاتي، والمعزز بمحاذاة الرؤية واللغة وآليات التفاعل عبر الطبقات لتحقيق أداء قوي في ظل الظروف الضوضائية وغير المتوازنة.

المؤلفون الأصليون: Chunlai Dong, Yaojun Hu, Yuyang Xu, Haochao Ying, Jian Wu

نُشر 2026-07-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Chunlai Dong, Yaojun Hu, Yuyang Xu, Haochao Ying, Jian Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فهم العالم، ولكن بدلاً من مجرد الطلب منه تحديد الأشياء مثل "قطة" أو "كلب"، تريد منه فهم "درجات" الأشياء. هذا هو عالم الارتباط الرتبي (Ordinal Regression). فكر في الأمر كفرق بين فرز مجموعة من أوراق اللعب إلى مجموعات (تصنيف) وبين ترتيبها من الآس إلى الملك (ترتيب رتبي). في الحياة الواقعية، الكثير من الأشياء ليست مجرد "هذا" أو "ذاك"، بل هي "قليلاً من هذا" أو "أكثر بكثير من ذاك". نحن نرى ذلك في كل مكان: تقييم صورة من "قبيحة" إلى "تحفة فنية"، أو تخمين عمر شخص ما، أو تقدير مدى شدة مرض مريض. الجزء الصعب هو أن البشر سيئون للغاية في الدقة المطلقة لهذه التصنيفات. إذا سألت عشرة أشخاص لتقييم صورة، فقد يقول أحدهم إنها "3" وقد يقول آخر إنها "4"، رغم أنهم ينظرون إلى نفس الصورة. هذا الارتباك يسمى "الضجيج" (Noise)، وهو يحدث لأن العالم الحقيقي عبارة عن منحدر سلس ومستمر، لكننا نجبره على الدخول في صناديق صلبة ومتدرجة.

لفترة طويلة، علم علماء الكمبيوتر نماذجهم أن تعامل هذه التخمينات البشرية كحقائق مطلقة وغير قابية للتغيير. كان الأمر يشبه إخبار طالب: "لقد حصلت على تقدير B، وهذه هي الحقيقة النهائية، مهما حدث". ولكن ماذا لو كان المعلم يخمّن فقط؟ ماذا لو كان الـ "B" في الواقع "A-" مهزوزة أو "C+" واضحة؟ الورقة البحثية التي ستطالعها الآن، بعنوان "D3O: التقطير التوزيعي الديناميكي للارتباط الرتبي" (D3O: Dynamic Distribution Distillation for Ordinal Regression)، تطرح سؤالاً بسيطاً ولكنه ثوري: ماذا لو توقفنا عن معاملة تلك التصنيفات كحقائق ثابتة وبدأنا في السماح للنموذج بالتعلم من عدم اليقين نفسه؟ يقترح المؤلفون، وهم فريق من جامعة تشجيانغ، طريقة جديدة لتدريب الذكاء الاصطناعي لا تكتفي بحفظ التصنيف فحسب، بل تفهم "الضبابية" المحيطة به، مما يجعل الذكاء الاصطناعي أكثر ذكاءً عندما تكون البيانات فوضوية أو التصنيفات خاطئة.

المشكلة: المعلم "العالق"

تخيل أنك تتعلم الرسم. يمنحك معلمك صورة ويقول لك: "هذا غروب شمس من المستوى 3". في تدريب الذكاء الاصطناعي التقليدي، يُجبر الكمبيوتر على تصديق أن هذا التصنيف صحيح بنسبة 100%، حتى لو كانت الصورة تبدو أقرب إلى "المستوى 2.8" أو "المستوى 3.2". إذا أخطأ المعلم (وهو أمر يحدث كثيراً في الحياة الواقعية)، فسيصاب الكمبيوتر بالارتباك ويستمر في ممارسة الشيء الخطأ. تجادل الورقة بأن هذا النهج "الاستاتيكي" (الثابت) معطل لأنه يفترض أن كل تصنيف مثالي، متجاهلاً حقيقة أن الحكم البشري غالباً ما يكون ذاتياً ومليئاً بالضجيج. إنه يشبه محاولة تعلم أغنية من خلال الاستماع فقط إلى تسجيل يتخطى ويتعثر، لكنك ترفض الاعتراف بأن التسجيل سيء.

الحل: الموجه "المتطور"

يقدم المؤلفون إطار عمل جديد يسمى D3O (التقطير التوزيعي الديناميكي). بدلاً من معلم لا يغير رأيه أبداً، يستخدم D3O استراتيجية "التقطير الذاتي". فكر في الأمر كطالب يعمل أيضاً كمعلم لنفسه.

إليك كيف يعمل ذلك بلغة بسيطة:

التحول الديناميكي: في بداية التدريب، قد يكون النموذج مرتبكاً. ينظر إلى صورة ويفكر: "ممم، قد تكون 3، ولكن ربما 4؟". بدلاً من إجباره على اختيار رقم واحد فقط، يسمح D3O للنموذج بإنشاء "خريطة احتمالات". فهو يقول: "هناك احتمال بنسبة 60% أن تكون 3، و40% أن تكون 4".
خدعة الرؤية واللغة: لجعل هذه الخرائط أكثر ذكاءً، يستخدم النموذج أداة خاصة (تعتمد على تقنية تسمى CLIP) تربط الصور بالكلمات. إنه ينظر إلى الأوصاف النصية للتصنيفات (مثل "متوسط" أو "شديد") ويستخدمها لفهم معنى الترتيب. إنه يشبه امتلاك قاموس يساعد النموذج على فهم أن "شديد" هو بالتأكيد أسوأ من "خفيف"، حتى لو كانت الصورة ضبابية.
التصحيح الذاتي: بينما يتعلم النموذج، فإنه يقوم بتحديث نسخة "المعلم" الخاصة به. إذا بدأ النموذج يدرك: "مهلاً، لقد كنت مخطئاً بشأن كون هذا التصنيف 3، إنه في الواقع أقرب إلى 4"، فإنه يغير هدفه بلطف. هو لا يحفظ التصنيف الأصلي فحسب؛ بل يقوم بتحسينه. بمرور الوقت، يعلم النموذج نفسه تجاهل التصنيفات الخاطئة والضوضاء والتركيز على النمط الحقيقي الكامن تحتها.

السر الخفي: السلم "التراكمي"

تقدم الورقة أيضاً خدعة ذكية تسمى التفاعل عبر الطبقات القائم على دالة التوزيع التراكمي (CDF). تخيل سلماً حيث يمثل كل درجات مستوى من الشدة. الطرق التقليدية قد تتحقق فقط مما إذا كنت تقف على الدرجة الصحيحة. أما D3O، فيتحقق مما إذا كنت تفهم السلّم بأكمله. فهو يضمن أنك إذا كنت تعرف أنك فوق "المستوى 2"، فأنت تعرف تلقائياً أنك أيضاً فوق "المستوى 1". ومن خلال تمرير هذه المعرفة "التراكمية" عبر الطبقات المختلفة لعقل الذكاء الاصطناعي (من الطبقات العميقة والمعقدة إلى الطبقات الضحلة والبسيطة)، يبني النموذج فهماً أكثر اتساقاً للترتيب. إنه يشبه التأكد من أن كل جزء من عقل الطالب يتفق على قواعد اللعبة، وليس فقط الجزء الذي يكتب الإجابة النهائية.

ما وجدوه

اختبر الفريق نموذج D3O في أربعة تحديات مختلفة تماماً من واقع الحياة:

تقييم الصور: الحكم على مدى "جمالية" أو روعة صورة ما (من 1 إلى 5 نجوم).
تخمين العمر: تقدير عمر شخص من وجهه.
تأريخ الصور القديمة: معرفة أي عقد تم التقاط الصورة التاريخية فيه (الثلاثينيات، الأربعينيات، إلخ).
التشخيص الطبي: تصنيف شدة اعتلال الشبكية السكري (مرض في العين) من "لا يوجد مرض" إلى "شديد".

في جميع هذه الاختبارات، تفوق D3O على أفضل الأساليب الموجودة. لكن السحر الحقيقي حدث عندما كانت البيانات فوضوية.

اختبار الضجيج: قام الباحثون بتخريب بيانات التدريب عمداً عن طريق تبديل بعض التصنيفات مع جيرانها (على سبيل المثال، تغيير "3" إلى "4" بشكل عشوائي). عندما ارتفع مستوى الضجيج (وصلت نسبة التصنيفات الخاطئة إلى 50%)، انهارت الأساليب الأخرى وفشلت. أما D3O، فقد ظل قوياً. ولأنه تدرب على توقع عدم اليقين، لم يرتبك بسبب الأخطاء؛ بل استمر في تعلم النمط الصحيح.
الفوز الطبي: في اختبار اعتلال الشبكية السكري، كانت البيانات غير متوازنة بشدة (معظم الناس ليس لديهم مرض، وقليل جداً منهم لديهم حالات شديدة). عانت الأساليب الأخرى في تعلم الحالات النادرة والشديدة. أما D3O، فقد تمكن من تعلمها بشكل أفضل بكثير، محققاً دقة بلغت 83.9% ومعدل خطأ أقل (0.23) من أي طريقة سابقة.

الخلاصة

تشير الورقة إلى أن مستقبل تعليم الذكاء الاصطناعي حول الأشياء المرتبة لا يتعلق بإيجاد تصنيفات أفضل أو مجموعات بيانات أكبر، بل يتعلق بتغيير كيفية تعليمها. من خلال الابتعاد عن التصنيفات الجامدة والثابتة وتبني فهم ديناميكي ومتطور لعدم اليقين، يمكننا بناء ذكاء اصطناعي أكثر قوة، وأكثر دقة، وأقل عرضة للخداع من قبل الأخطاء البشرية. يظهر المؤلفون أنه عندما نسمح للنموذج بتحسين فهمه للحواف "الضبابية" بين الفئات، فإنه لا يتعلم بشكل أفضل فحسب، بل يتعلم التعامل مع العالم الحقيقي تماماً مثل البشر — بمرونة ودقة.

ملخص تقني: D3O - التقطير الديناميكي للتوزيع من أجل الانحدار الترتيبي

1. تعريف المشكلة والدوافع

يعالج الانحدار الترتيبي (Ordinal Regression) مهام التنبؤ حيث تكون الملصقات (labels) منفصلة ولكنها مرتبة بطبيعتها (مثل تقدير العمر أو درجات شدة المرض). وخلافًا للتصنيف القياسي، فإن الترتيب النسبي للفئات يحمل معنى دلاليًا؛ وخلافًا للانحدار، فإن الفضاء المستهدف هو فضاء فئوي.

تحدد الورقة البحثية قصورًا جوهريًا في أساليب الانحدار الترتيبي الحالية: الإشراف الساكن (Static Supervision). تعتمد الأساليب الحالية على ملصقات محددة مسبقًا وثابتة (غالبًا ما تكون مشفرة بنظام One-hot أو توزيعات ناعمة ثابتة) طوال عملية التدريب. ويرى المؤلفون أن هذا النموذج غير مناسب للسيناريوهات الواقعية لأن:

الغموض والضجيج: غالبًا ما تُشتق الملصقات الترتيبية من خلال تحويل المعاني المستمرة الكامنة إلى فئات منفصلة عبر أحكام بشرية ذاتية. وتخلق هذه العملية حدودًا فئوية غامضة (مثل التمييز بين مراحل المرض "المتوسطة" و"الشديدة") وتدخل ضجيجًا في التوسيم (annotation noise).
القيود الجامدة: يفرض الإشراف الساكن قيودًا ترتيبية صلبة عالميًا. إذا كان الملصق مشوبًا بالضجيج أو الغموض، يُجبر النموذج على معاملته كحقيقة حتمية، مما قد يعزز الافتراضات الخاطئة ويعيق استعادة البنية الترتيبية المستمرة الحقيقية.
الافتقار إلى القدرة على التكيف: تفتقر الأساليب الحالية إلى آليات للتكيف مع الغموض المعتمد على العينة أو لتنقية إشارات الإشراف مع تطور التمثيلات الداخلية للنموذج أثناء التدريب.

2. المنهجية: إطار عمل D3O

لمعالجة هذه القيود، يقترح المؤلفون D3O (التقطير الديناميكي للتوزيع)، وهو إطار عمل ينقل المهمة من مطابقة الهدف الساكن إلى تطور الإشراف التكيفي عبر التقطير الذاتي. الفكرة الجوهرية هي التعامل مع توزيع الملصق ليس كحقيقة أرضية ثابتة، بل كإشارة ديناميكية تتطور جنبًا إلى جنب مع تعلم النموذج.

2.1 إطار التقطير الذاتي العام

بدلاً من التحسين فقط مقابل ملصق حقيقة أرضية ثابت $y_i$ ، يقوم D3O ببناء توزيع معلم متطور $q_t(y|x)$ مستمد من المعتقدات الداخلية الحالية للنموذك. يعمل هذا التوزيع كهدف إشراف ناعم وديناميكي لنموذج الطالب. يتم تحديث بارامترات المعلم عبر المتوسط المتحرك الأسي (EMA) لبارامترات الطالب. يقلل هدف التدريب من التباين بين تنبؤ الطالب $p_\theta(y|x)$ وتوزيع المعلم الديناميكي هذا.

2.2 تعزيز الملصقات الترتيبية التبايني (COLE)

لتوليد توزيع المعلم عالي الجودة، قدم المؤلفون وحدة COLE، التي تستفيد من المحاذاة بين الرؤية واللغة لاستعادة توزيعات الملصقات الخاصة بكل حالة:

تعلم التمثيل التبايني: يقوم النموذج بمحاذاة تضمينات الصور مع تضمينات النصوص للملصقات الترتيبية (المستمدة من مشفر نصي CLIP مدرب مسبقًا) باستخدام فقدان تبايني. يضمن هذا التقاط الترتيب النسبي للملصقات في فضاء التضمين.
استعادة التوزيع القائم على الانتباه: تستخدم آلية الانتباه (Scaled Dot-Product Attention) تضمين الصورة كاستعلام (Query) وتضمينات الملصقات الترتيبية كمفاتيح (Keys) وقيم (Values). تقوم هذه الآلية بتجميع معلومات الملصق لإنتاج لوجيتات (logits) خاصة بالحالة.
التعلم المنظم ترتيبيًا: لضمان احترام التوزيع المستعاد للهندسة الترتيبية، يتم تطبيق قيد ترتيب وزني يعتمد على المسافة. يقوم هذا القيد بمعاقبة أخطاء الترتيب بشكل يتناسب مع المسافة الترتيبية من الحقيقة الأرضية، مما يشجع على إنتاج توزيع أحادي المنوال (unimodal) ممركز حول الرتبة الحقيقية مع السماح بعدم اليقين في الفئات المجاورة.

2.3 تقطير التفاعل عبر الطبقات القائم على دالة التوزيع التراكمي (CDF)

إدراكًا بأن المعاني الترتيبية قد تظهر في أعماق مختلفة من الشبكة، يقترح المؤلفون آلية لنشر البنية الترتبية التراكمية عبر الطبقات:

صياغة دالة التوزيع التراكمي (CDF): بدلاً من محاذاة احتمالات الفئات الخام، تقوم الطريقة بتحويل التوزيعات التنبؤية من الطبقات المتوسطة وتوزيع المعلم إلى دوال توزيع تراكمي (الاحتمالات التراكمية $P(y \le k)$ ).
الاتساق عبر الطبقات: يفرض فقدان التقطير الاتساق بين دوال CDF للطبقات المتوسطة للطالب و CDF لتوزيع المعلم الديناميكي. يضمن ذلك أن الطبقات الضحلة ترث معلومات ترتيبية متماسكة هيكليًا، مما يحافظ على اتساق الرتبة العالمية عبر التسلسل الهرمي للشبكة.

2.4 الهدف الإجمالي

يجمع إجمالي خسارة التدريب بين ثلاثة حدود:

الإشراف الترتيبي الساكن ( $L_{CE}$ ): خسارة الإنتروبيا المتقاطعة القياسية مقابل الحقيقة الأرضية للحفاظ على الاستقرار.
خسارة COLE ( $L_{COLE}$ ): مزيج من الفقد التبايني وفقد الترتحيب لتنقية توزيع المعلم.
خسارة التقطير الذاتي ( $L_{SD}$ ):): تتضمن تباعد KL بين الطالب والمعلم عند الطبقة النهائية، بالإضافة إلى فقد التفاعل عبر الطبقات القائم على CDF.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

إعادة النظر في تصميم الإشراف: حدد المؤلفون التوتر بين الإشراف الثابت عالميًا والملصقات الترتيبية الغامضة، بحجة أن معاملة العلاقات الترتيبية كحدود حتمية يقلل من المتانة. واقترحوا التحول نحو تطور الإشراف التكيفي.
التقطير الديناميكي للتوزيع: صمموا تطورًا مدفوعًا بالتدريب لتوزيعات الملصقات عبر التقطير الذاتي. يتضمن ذلك وحدة COLE لاستعادة التوزيعات المدركة للغموض وآلية قائمة على CDF للاتساق الهرمي.
التحقق التجريبي: أظهرت التجاروات المكثفة أن D3O يتفوق باستمرار على الأساليب الحالية، لا سيما في البيئات الصعبة التي تتميز بالملصقات المشوبة بالضجيج وعدم توازن الفئات.

4. النتائج التجريبية

قيم المؤلفون D3O في أربع مهام تمثيلية للانحدار الترتيبي: تقييم جماليات الصور، تقدير عمر الوجه (MORPH II, Adience)، تأريخ الصور التاريخية، وتصنيف اعتلال الشبكية السكري (DR).

الأداء: حقق D3O نتائج رائدة (SOTA) عبر جميع مجموعات البيانات.
- في جماليات الصور، حقق أدنى متوسط خطأ مطلق (MAE) قدره 0.227 وأعلى دقة (77.5%).
- في تقدير عمر الوجه (MORPH II)، خفض MAE إلى 2.03، متفوقًا على أفضل نتيجة سابقة (2.08).
- في تأريخ الصور التاريخية، حسّن الدقة إلى 71.7%.
- في تصنيف اعتلال الشبكية (DR)، وهي مهمة تعاني من عدم توازن شديد في الفئات وضجيج ذاتي، حقق D3O دقة 83.9% و0.23 MAE، متفوقًا بشكل كبير على الأساليب التي تعتمد على الملصقات الناعمة الساكنة (مثل SORD، الذي سجل MAE قدره 0.73).
المتانة تجاه الضجيج: في التجارب التي استخدمت ملصقات مشوهة اصطناعيًا (بنسبة ضجيج تصل إلى 50%)، أظهر D3O تدهورًا أبطأ بكثير في الأداء مقارنة بالنماذج المرجعية مثل CoOp وNumCLIP، مما يؤكد قدرته على التعامل مع ضجيج التوسيم.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من المكونات الثلاثة الأساسية (التقطير الذاتي، COLE، أو تقطير CDF) إلى انخفاض في الأداء، مما أكد أن كل وحدة توفر فوائد تكميلية.
التصور (Visualization): أظهرت تصورات توزيعات الملصقات المستعادة أن النموذج يقوم بتنقية إشارات الإشراف الخاصة به تدريجيًا، من الانتقال من التوزيعات غير المستقرة والمنتشرة في بداية التدريب إلى التوزيعات المتوافقة مع البنية الترتيبية الأساسية في المراحل اللاحقة.

5. الأهمية والادعاءات

تدعي الورقة أن الأهمية الأساسية لـ D3O تكمن في نقل مجال الانحدار الترتبي من مطابقة الملصقات الساكنة إلى تطور الإشراف التكيفي.

التعامل مع عدم اليقين: يرى المؤلفون أن الأهداف الساكنة تفشل في التقاط عدم اليقين والغموض المتأصل في بيانات الملصقات الترتيبية البشرية. ومن خلال تنقية إشارات الإشراف ديناميكيًا، يسمح D3O للنموذج بتعلم تمثيلات أكثر متانة وأقل حساسية للملصقات المشوبة بالضجيج أو الانحياز.
الاتساق الهرمي: تعالج عملية التقطير عبر الطبقات القائمة على CDF مشكلة فقدان المعاني الترتيبية في الطبقات الضحلة، مما يضمن أن يحافظ التسلسل الهرمي للشبكة بأكمله على استدلال ترتيبي متسق.
القدرة على التعميم: ثبت أن الطريقة فعالة ليس فقط في الاختبارات القياسية، بل أيضًا في السيناريوهات الواقعية الصعبة التي تتضمن التصوير الطبي (تصنيف DR) حيث يسود عدم توازن الفئات والتشخيص الذاتي.

يخلص المؤلفون إلى أن تعلم التمثيل الترتيبي المتين يتطلب الابتعاد عن افتراض أن الملصقات موثوقة تمامًا، وبدلاً من ذلك، تبني إطار عمل يتطور فيه الإشراف ليعكس بشكل أفضل المعاني المستمرة الكامنة في البيانات.