💻 computer science

Information Maximization for Long-Tailed Semi-Supervised Domain Generalization

تقترح هذه الورقة IMaX، وهو هدف بسيط وفعال يعتمد على مبدأ InfoMax الذي يعمل على تعظيم المعلومات المتبادلة بين الميزات المتعلمة والسمات الكامنة مع التخفيف من تحيز توازن الفئات من خلال حد $\alpha$ -entropic، مما يؤدي إلى تحسين أداء أساليب تعميم النطاق شبه المشرف المتطورة بشكل كبير في سيناريوهات توزيع التوزيع الطويل.

المؤلفون الأصليون: Leo Fillioux, Omprakash Chakraborty, Quentin Gopée, Pierre Marza, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Ismail Ben Ayed, Jose Dolz

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Leo Fillioux, Omprakash Chakraborty, Quentin Gopée, Pierre Marza, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Ismail Ben Ayed, Jose Dolz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب فريق من الأطباء لتشخيص الأمراض. في عالم مثالي، ستعطيهم كتباً مدرسية تحتوي على آلاف الأمثلة لكل مرض على حدة، وسيتعلمون التعرف عليها جميعاً بشكل مثالي.

لكن في العالم الحقيقي، يقع أمران خاطئان:

مشكلة "المستشفى الجديد": أنت تدربهم في المستشفى (أ)، لكن يتعين عليهم العمل في المستشفى (ب)، حيث الإضاءة مختلفة، والكاميرات مختلفة، والمرضى يبدون مختلفين قليلاً. وهذا ما يسمى التعميم النطاقي (Domain Generalization).
مشكلة "المرض النادر": ليس لديك الوقت أو المال الكافي لتسمية كل سجل مريض. لذا، لديك بعض الأمثلة المصنفة وقدر هائل من البيانات غير المصنفة. والأسوأ من ذلك، أن بعض الأمراض شائعة جداً (مثل الإنفلونزا)، بينما البعض الآخر نادر للغاية (مثل طفرة جينية معينة). وهذا ما يسمى التوزيع طويل الذيل (Long-Tailed Distribution).

معظم أساليب الذكاء الاصطناعي الحالية تشبه الطلاب الذين يدرسون فقط لاختبار تظهر فيه كل الأسئلة بنفس العدد من المرات. إذا تغير الاختبار فجأة ليحتوي على 100 سؤال عن الإنفلونزا وسؤال واحد فقط عن المرض النادر، فإن هؤلاء الطلاب يصابون بالارتباك ويفشلون. إنهم يفترضون أن الاختبار سيكون "عادلاً" (متوازناً)، لكن الحياة ليست عادلة.

الحل: IMaX (مُعظم المعلومات)

ابتكر مؤلفو هذه الورقة البحثية، ليو فيليو وفريقه، طريقة تدريب جديدة تسمى IMaX. وإليك كيف تعمل باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: "أمين المكتبة الصارم"

تخيل أمين مكتبة صارماً (الذكاء الاصطناعي القديم) يقول للطالب: "يجب عليك قراءة 10 كتب بالضبط عن الإنفلونزا، و10 عن السرطان، و10 عن أمراض القلب. إذا قرأت المزيد من كتب الإنفلونزا، فأنت تفعل الشيء الخاطئ".

هذا يعمل بشكل رائع إذا كان لديك أعداد متساوية من الكتب. لكن في العالم الحقيقي، قد يكون لديك 1,000 كتاب عن الإنفلونزا و5 كتب فقط عن مرض نادر. أمين المكتبة الصارم يجبر الطالب على تجاهل الـ 1,000 كتاب عن الإنفلونزا لمحاولة العثات على الـ 5 كتب النادرة، أو يصابون بالارتباك الشديد بسبب عدم التوازن لدرجة أنهم يتوقفون عن التعلم تماماً. إنهم ينكسرون عندما تكون البيانات "طويلة الذيل" (غير متوازنة).

2. الطريقة الجديدة: "المحقق الفضولي" (IMaX)

IMaX يشبه المحقق الفضولي الذي يستخدم استراتيجية مختلفة. بدلاً من إجبار الطالب على عد الكتب، يقول المحقق: "هدفك هو تعلم أكبر قدر ممكن من كل شيء تراه، سواء كان إنفلونزا شائعة أو مرضاً نادراً. لا تقلق بشأن الأرقام؛ فقط تأكد من استخراج أقصى قدر من المعلومات المفيدة من كل دليل".

يعتمد هذا على مفهوم يسمى InfoMax (تعظيم المعلومات). وهو يخبر الذكاء الاصطناعي: "عظّم الارتباط بين ما تراه (الصورة) وما تعرفه (التسمية/المرض)".

3. السر الخفي: "المسطرة المرنة"

السحر الحقيقي لـ IMaX يكم يتمثل في كيفية تعامله مع عدم التوازن.

الطريقة القديمة: تستخدم مسطرة صلبة تتطلب خطاً مستقيماً تماماً (توزيع متساوٍ). إذا كانت البيانات ملتوية، تنكسر المسطرة.
طريقة IMaX: تستخدم مسطرة مرنة وقابلة للتمدد (تعتمد على ما يسمى تباعد تساليس - Tsallis divergence).

إذا كانت البيانات منحرفة بشدة (100 حالة إنفلونزا، وحالة واحدة نادرة)، فإن المسطرة المرنة تتمدد لتناسب شكل البيانات. وتقول: "حسناً، لدينا الكثير من حالات الإنفلونزا. لا بأس. سنتعلم من جميعها دون إجبار الحالة النادرة على أن تكون بشهرة حالة الإنفلونزا".

لماذا يهم هذا؟

اختبرت الورقة البحثية هذا الأسلوب في مهمتين طبيتين مختلفتين تماماً:

فحص العين (الشبكية): تشخيص اعتلال الشبكية السكري.
عينات الأنسجة (علم الأنسجة): تحديد أنواع مختلفة من الخلا السرطانية.

النتائج:

عندما كانت البيانات متوازنة، عمل IMaX بنفس كفاءة أفضل الأساليب الموجودة.
عندما كانت البيانات غير متوازنة (سيناريو "الذيل الطويل")، انهارت الأساليب القديمة. انخفضت دقتها بشكل كبير.
ظل IMaX قوياً. فقد حسّن الدقة بنسبة تصل إلى 7.3% في السيناريوهات الصعبة.

الخلاصة

اعتبر IMaX بمثابة محول عالمي (Universal Adapter). يمكنك توصيله بأي نظام تدريب ذكاء اصطناعي موجود (مثل ملحق ألعاب الفيديو "وصل وشغل - Plug-and-Play"). هو لا يهتم إذا كانت البيانات عادلة أم غير عادلة، شائعة أم نادرة. إنه ببساً يتكيف مع واقع الموقف، مما يضمن تعلم الذكاء الاصطناعي بفعالية حتى عندما يكون العالم فوضوياً، وغير متوازن، ومليئاً بالمفاجآت النادرة.

باختاً: الذكاء الاصطناعي القديم يحاول إجبار العالم على أن يكون عادلاً. أما IMaX فيتعلم كيف يزدهر في عالم غير عادل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعظيم المعلومات للتعميم النطاقي شبه الموجه طويل الذيل" (Information Maximization for Long-Tailed Semi-Supervised Domain Generalization).

1. تعريف المشكلة

تتناول الورقة فجوة حرجة في التعميم النطاقي شبه الموجه (SSDG).

السياق: يهدف الـ SSDG إلى تدريب نماذج يمكنها التعميم على نطاقات مستهدفة غير مرئية باستخدام عدة نطاقات مصدرية، حيث يكون جزء صغير فقط من البيانات مصنفاً (Labeled)، بينما تتوفر كمية كبيرة من البيانات غير المصنفة (Unlabeled).
القصور: تفترض الأساليب الحالية الرائدة (SoTA) في مجال الـ SSDG (مثل FBCSA و DGWM) وجود توزيعات فئات منتظمة عبر النطاقات المصدرية.
التحدي: في السيناريوهات الواقعية (خاصة في الرعاية الصحية)، غالباً ما تكون البيانات طويلة الذيل (Long-tailed) (أي غير متوازنة للغاية)، حيث تكون بعض الفئات (مثل الأمراض النادرة) ممثلة بشكل ناقص جداً. وقد أظهر المؤلفون أن أساليب الـ SoTA الحالية تعاني من تدهور حاد في الأداء عند مواجهة هذه التوزيعات غير المتوازنة.
الهدف: تطوير طريقة تحسن أداء الـ SSDG في ظل توزيعات فئات طويلة الذيل دون الاعتماد على افتراضات غير واقعية حول توازن الفئات.

2. المنهجية: IMaX

يقترح المؤلفون IMaX (تعظيم المعلومات)، وهو دالة هدف "قابلة للتركيب والتشغيل" (Plug-and-play) تعتمد على مبدأ تعظيم المعلومات (InfoMax) (تعظيم المعلومات المتبادلة بين المدخلات والمخرجات)، والمكيف ليتناسب مع الإعدادات شبه الموجهة وغير المتوازنة.

أ. صياغة المعلومات المتبادلة شبه الموجهة

تُعرف المعلومات المتبادلة (MI) القياسية بين التسميات $Y$ والمدخلات $X$ بالمعادلة $I(Y;X) = H(Y) - H(Y|X)$ .

دمج القيود: على عكس تعظيم المعلومات غير الموجه، يدمج IMaX قيود الإشراف الصريحة للبيانات المصنفة ( $y_i = p_i$ ).
التفكيك: يتم تفكيك الهدف إلى ثلاثة حدود:
1. الاعتلاج الهامشي (Marginal Entropy - $H(Y)$ ): يشجع النموذج على استخدام جميع الفئات (لمنع الانهيار إلى فئة واحدة).
2. الاعتلاج الشرطي للبيانات المصنفة ( $H(Y|X_L)$ ): الاعتلاج المتقاطع القياسي الذي يضمن مطابقة التنبؤات للحقيقة الأرضية للعينات المصنفة.
3. الاعتلاج المتقاطع الزائف للبيانات غير المصنفة ( $H(\hat{Y}|X_U)$ ): يستخدم تنظيم الاتساق (التعزيزات الضعيفة مقابل القوية) والتسميات الزائفة لتوجيه العينات غير المصنفة.

ب. معالجة عدم توازن الفئات (هدف $\alpha$ -الاعتلاج)

الابتكار الجوهري يكمن في تعديل حد الاعتلاج الهامشي ( $H(Y)$ ).

المشكلة في الاعتلاج القياسي: يفترض اعتلاج شانون القياسي ( $H(Y)$ ) ضمنياً توزيعاً منتظماً. لذا فإن تعظيمه يجبر النموذج على التنبؤ بالفئات بالتساوي، وهو أمر ضار في سيناريوهات "طويلة الذيل" حيث يكون التوزيع الحقيقي منحرفاً.
الحل (تباعد تساليس - Tsallis Divergence): استبدل المؤلفون الاعتلاج الهامشي القياسي بهدف $\alpha$ -الاعتلاج المستمد من تباعدات تساليس.
- الآلية: من خلال ضبط المعامل $\alpha$ $α$ ، يمكن للنموذج تحمل الانحرافات عن التوزيع المنتظم.
  - عندما تكون $\alpha = 1$ ، فإنه يؤول إلى اعتلاج شانون القياسي (تحيز نحو الانتظام).
  - عندما تكون $\alpha > 1$ ، فإنه يخفف من قيد الانتظام، مما يسمما للنموذج على التكيف مع توزيعات الفئات غير المتوازنة دون الانهيار.

ج. دالة الهدف النهائية

دالة الخسارة النهائية المراد تقليلها هي:
$\min_\theta \left[ -H_\alpha(Y) + H(Y|X_L) + H(\hat{Y}|X_U) \right]$
حيث أن:

$-H_\alpha(Y)$ : ينظم التوزيع الهامشي للتسميات ليكون مرناً (ليس منتظماً بشكل صارم).
$H(Y|X_L)$ : الاعتلاج المتقاطع القياسي للبيانات المصنفة.
$H(\hat{Y}|X_U)$ : الاعتلاج المتقاطع الزائف للبيانات غير المصنفة (باستخدام عتبات الثقة).

3. المساهمات الرئيسية

سيناريو SSDG واقعي: تحددت الورقة وصاغت رسمياً سيناريو SSDG طويل الذيل، موضحة أن الأساليب الحالية تفشل عندما تكون توزيعات الفئات غير متوازنة، وهو أمر شائع في الواقع.
إطار عمل IMaX: قدمت إطار عمل لتعظيم المعلومات يدمج التعلم شبه الموجه مع تعظيم المعلومات المتبادلة.
تنظيم $\alpha$ -الاعتلاج: اقترحت استبدال تحيز الانتظام الصارم للاعتلاج القياسي باصطلاح اعتلاج يعتمد على "تساليس" ( $H_\alpha$ )، مما يتيح للنموذج التعامل مع توزيعات الفئات التعسفية بفعالية.
استقلالية النموذج: تم تصميم IMaX ليكون وحدة "قابلة للتركيب والتشغيل" يمكن دمجها بسلاسة في أطر عمل SSDG القائمة على التعلم شبه الموجه (مثل FixMatch، FreeMatch، StyleMatch، FBCSA، DGWM).

4. النتائج التجريبية

قيم المؤلفون IMaX على مجموعتي بيانات للتصوير الطبي:

ESCA: تصنيف رقع الأنسجة المرضية (11 فئة، 4 نطاقات مستشفيات).
Retina: تصنيف درجات اعتلال الشبكية السكري (5 فئات، 4 مجموعات بيانات).

النتائج الرئيسية:

تحسن مستمر: تفوق IMaX باستمرار على الأساليب المرجعية (FBCSA و DGWM، وتطبيق SSL المباشر) في جميع الإعدادات تقريباً.
نظام قلة البيانات: كانت التحسينات أكثر أهمية عندما كانت البيانات المصنفة شحيحة ( $m_L=5$ لكل فئة). على سبيل المثال، في مجموعة بيانات ESCA مع FBCSA، حسن IMaX الدقة بنسبة +7.3% (من 61.0% إلى 68.3%) عندما توفرت 5 عينات مصنفة فقط لكل فئة.
المتانة تجاه عدم التوازن: مع زيادة عامل عدم التوازن ( $\gamma$ )، تدهورت الأساليب القياسية بسرعة. حافظ IMaX على دقة أعلى بكثير، مما أظهر متانة فائقة تجاه التوزيعات طويلة الذيل.
دراسات الاستئصال (Ablation Studies):
- إضافة حد المعلومات المتبادلة شبه الموجه القياسي (المعادلة 6) حسّن الأساليب المرجعية بنسبة ~3-5%.
- استبدال الاعتلاج القياسي بحد $\alpha$ -الاعتلاج (المعادلة 8) قدم مكاسب إضافية، مما أكد ضرورة تخفيف فرضية الانتظام.
- أظهر المعامل $\alpha$ (الذي تم اختباره عند 1.5 لـ ESCA و 2.0 لـ Retina) اتجاهات مستقرة بين مجموعات التحقق والاختبار، مما سمح بضبط موثوق.

5. الأهمية

الربط بين النظرية والتطبيق: ينقل هذا العمل أبحاث الـ SSDG من الافتراضات المثالية والمتوازنة إلى السيناريوهات غير المتوازنة الواقعية المنتشرة في مجالات مثل التصوير الطبي.
الكفاءة: يثبت أنه يمكن الاستفادة من البيانات غير المصنفة عبر تعظيم المعلومات لتقليل عبء التوسيم بشكل كبير مع الحفاظ على المتانة ضد انزياح النطاق وعدم توازن الفئات.
قابلية التطبيق العام: طبيعة IMaX كونه "قابلاً للتركيب والتشغيل" تعني أنه يمكن تبنيه من قبل الباحثين والممارسين لترقية خطوط إنتاج الـ SSDG القائمة على التعلم شبه الموجه دون الحاجة لإعادة تصميم البنية الكاملة.