📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

تقترح هذه الورقة نموذجاً توليدياً عميقاً متعدد الأنماط للتعلم شبه الموجه تحت ظروف عدم توازن الفئات، والذي يستفيد من المتغيرات الكامنة المشتركة، وتوزيعات "ت" لستودنت (Student's t-distributions) لالتقاط خصائص البيانات ذات الذيول الثقيلة، ومعيار تباعد قوة "غاما" ( $\gamma$ -power divergence) للتفوق على الطرق الحالية في مجموعات البيانات متعددة الأنماط، غير متوازنة الفئات، والموسومة جزئياً.

المؤلفون الأصليون: Heegeon Yoon, Heeyoung Kim

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Heegeon Yoon, Heeyoung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التعرف على أنواع مختلفة من الفاكهة. لديك كومة ضخمة من الصور، ولكن هناك مشكلة: لديك آلاف الصور للتفاح، ولكن لديك فقط حفنة قليلة من صور التوت النادر والغريب.

إذا عرضت على الروبوت الكومة بأكملة فقط، فسوف يصبح بارعاً جداً في رصد التفاح، ولكنه سيظن على الأرجب أن كل حبة توت نادرة هي مجرد تفاحة غريبة الشكل. هذه هي مشكلة عدم توازن الفئات (class imbalance).

الآن، تخيل أن الروبوت لا يرى الصور فحسب؛ بل يسمع أيضاً أوصاف الفاكهة ويشعر بملمسها (إذا كان لديه مستشعرات). هذه هي البيانات متعددة الوسائط (multimodal data) (استخدام أنواع مختلفة من المعلومات في وقت واحد).

أخيراً، تخيل أن لديك فقط تسميات (أسماء) للتفاح، بينما التوت النادر غير مسمى بالكامل. عليك أن تخمن ماهية التوت بناءً على القليل من التفاح الذي تعرفه. هذا هو التعلم شبه المشرف (semi-supervised learning).

تقدم هذه الورقة البحثية نموذج ذكاء اصطناعي جديد يسمى SSMVAE-CI مصمم لحل هذه المشكلات الثلاث في آن واحد: التعامل مع مشكلة "الفاكهة النادرة"، واستخدام حواس متعددة (الرؤية، الصوت، النص)، والتعلم من البيانات غير المصنفة في الغالب.

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. نهج "فريق المتخصصين" (المشفرات متعددة الوسائط - Multimodal Encoders)

تحاول معظم نماذج الذكاء الاصطناعي دمج جميع البيانات (الصور، النصوص، الصوت) في خلاط واحد ضخم في البداية. يقول المؤلفون: "لا، دعونا نبقي المتخصصين منفصلين".

التشبيه: تخيل فريق محققين. أحد المحققين خبير في الصور، وآخر في الصوت، وثالث في النصوص. هم لا يخلطون أدلتهم فوراً. بدلاً من ذلك، يكتب كل منهم تقريراً عما يراه، ثم يجتمعون في "غرفة مركزية" (الفضاء الكامن - latent space) لمقارنة الملاحظات.
الفائدة: يتيح هذا للنموذج فهم أن صورة التوت ووصف التوت النصي مرتبطان ببعضهما، حتى لو بدا شكلهما مختلفاً تماماً. يستخدم النموذج طريقة "حاصل ضرب الخبراء" (Product-of-Experts)، وهي تشبه جعل الفريق يصوت على الاستنتاج النهائي بناءً على تقاريرهم الفردية، بدلاً من إجبارهم على الاتفاق قبل حتى أن ينظروا إلى البيانات.

2. شبكة الأمان "ذات الذيول الثقيلة" (توزيع ستودنت t - Student's t-Distribution)

تفترض نماذج الذكاء الاصطناعي القياسية عادةً أن البيانات تتوزع مثل منحنى جرس مثالي (التوزيع الطبيعي/Gaussian). في منحنى الجرس، تكون الأشياء "النادرة" (الأذيال) رقيقة جداً لدرجة أن النموذج غالباً ما يتجاهلها أو يحاول إجبارها لتبدو مثل الأشياء الشائعة.

التشبيه: تخيل أن منحنى الجرس يشبه حبل مشدود. إذا كنت حبة توت نادرة، فأنت بعيد جداً عن الحبل في العشب العميق. النموذج القياسي يحاول سحبك للعودة إلى الحبل المشدود، مما يجعلك تبدو كتفاحة.
الحل: يستبدل هذا البحث الحبل بشبكة تشبه الترامبولين واسعة (توزيع ستودنت t). هذه الشبكة لها "ذيول ثقيلة"، مما يعني أن بها مساحة كافية في العشب العميق. إنها تسمح للتوت النادر بالبقاء حيث ينتمي طبيعياً دون إجباره ليكون تفاحاً. هذا يمنع النموذج من "الإفراط في التنظيم" (الفرض القسري) للبيانات النادرة لتشبه الأنماط الشائعة.

3. لعبة "التخمين الذكي" (تباعد قوة غاما - Gamma-Power Divergence)

يحتاج النموذج للتعلم من كل من التفاح المصنف والتوت غير المصنف. وللقيام بذلك، يستخدم أداة رياضية خاصة تسمى $\gamma$ -power divergence.

التشبيه: فكر في هذا كمسطرة مرنة. المسطرة القياسية (مثل تباعد KL) صلبة؛ إذا لم تتطابق البيانات تماماً، فإنها تنكسر أو ترتبك. أما مسطرة $\gamma$ -power فهي مرنة ومتسامحة. فهي تسمح للنموذل أن يقول: "أعلم أن حبة التوت النادرة هذه لا تبدو تماماً مثل التفاح الذي رأيته، لكنها قريبة بما يكفي لتكون توتاً، ولن أعاقبها بقسوة لكونها مختلفة".
النتيجة: يساعد هذا النموذج على التعلم بفعالية حتى عندما تكون البيانات فوضوية، أو غير متوازنة، أو ناقصة الأجزاء.

4. ماذا يحدث عندما تكون البيانات مفقودة؟

في العالم الحقيقي، أحياناً تمتلك صورة ولكن لا يوجد صوت، أو نص ولكن لا توجد صورة.

التشبيه: إذا فقد فريق المحققين أحد أعضائه (على سبيل المثال، خبير الصوت مريض)، فقد يتوقف الفريق الجامد عن العمل. ولكن لأن هذا النموذج يستخدم "الشبكة الواسعة" (توزيع t) ونهج "المتخصصين"، فإنه لا يزال بإمكانه تقديم تخمين جيد باستخدام الصورة والنص فقط. إنه يعامل البيانات المفقودة كإشارة "ناعمة" بدلاً من كونها توقفاً حاداً، مما يسمح له بالتعلم من العينات غير المكتملة دون التخلص منها.

النتائج

اختبر المؤلفون هذا النموذج في سيناريوهات من الواقع:

الأرقام المكتوبة بخط اليد مقابل أرقام المنازل: مزيج من نوعين من الصور.
صور الطعام والوصفات: مزيج من الصور والنصوص.
الفيديو، والصوت، والنص: مزيج من ثلاثة أنواع من البيانات من أشخاص يتحدثون.

في كل اختبار، وخاصة عندما كانت الفئات "النادرة" شحيحة جداً وكانت البيانات تفتقر إلى التسميات، تفوق هذا النموذج الجديد على الطرق الموجودة. لقد كان بارعاً بشكل خاص في تحديد "الفاكهة النادرة" (الفئات الأقلية) التي استمرت النماذج الأخرى في تحديدها بشكل خاطئ على أنها "تفاح" (الفئات الأكثرية).

باختصار: قامت هذه الورقة البحثية ببناء ذكاء اصطناعي أكثر ذكاءً ومرونة، يستخدم فريقاً من المتخصصين، وشبكة أمان واسعة للبيانات النادرة، ومسطرة متسامحة للتعلم من المعلومات الفوضوية وغير المكتملة وغير المتوازنة بشكل أفضل من الطرق السابقة.

ملخص تقني: نموذج توليدي عميق متعدد الوسائط للتعلم شبه الموجه تحت ظروف عدم توازن الفئات

بيان المشكلة
غالبًا ما تعاني الشبكات العصبية العميقة (DNNs) مع البيانات غير المتوازنة للفئات، حيث تظهر انحيازًا نحو الفئات الأكثر انتشارًا وأداءً ضعيفًا في التعميم على الفئات الأقل انتشارًا. وتتفاقم هذه المشكلة في إعدادات التعلم شبه الموجه (SSL) حيث يتم إنشاء تسميات وهمية (pseudo-labels) للبيانات غير المصنفة بناءً على مجموعات مصنفة غير متوازنة، مما يؤدي إلى نشر وتعزيز الانحياز. علاوة على ذلك، فإن البيانات في العالم الحقيقي غالبًا ما تكون متعددة الوسائط (تجمع بين مصادر متنوعة مثل الصور والنصوص)، ومع ذلك، فإن الحلول الحالية تعالج عادةً عدم توازن الفئات، أو تعدد الوسائط، أو الإشراف الجزئي بشكل منفصل. وقليل من الطرق تعالج تقاطع هذه التحديات الثلاثة معًا، وتعتمد تلك التي تفعل ذلك غالبًا على نماذج تأسيسية (foundation models) ذات قدرة صفرية (zero-shot) تفتقر إلى التخصص في المجال أو تتطلب موارد حوسبة هائلة. المشكلة الجوهرية التي يعالجها البحث هي غياب إطار عمل موحد قادر على التدريب بمتانة على بيانات متعددة الوسائط، جزئية التصنيف، وذات توزيعات فئات غير متوازنة.

المنهجية: SSMVAE-CI
يقترح المؤلفون نموذج SSMVAE-CI (المشفر التلقائي التبايني متعدد الوسائط شبه الموجه لتعلم الفئات غير المتوازنة). وهو إطار توليدي موحد يدمج ثلاثة مكونات تقنية رئيسية:

بنية متعددة الوسائط مع نموذج "حاصل ضرب الخبراء" (PoE):
يوسع النموذج إطار عمل المشفر التلقائي شبه الموجه للتعامل مع $M$ من الوسائط ( $x_1, ..., x_M$ ). ويستخدم شبكات ترميز خاصة بكل وسيط تشترك في مساحة كامنة مشتربة تحتوي على متغير كامن مستمر $z$ ومتغير فئة منفصل $y$ . ولإدارة تعقيد استدلال التوزيع اللاحق المشترك $p(y, z | x_1, ..., x_M)$ دون الحاجة إلى عدد أسي من شبكات الاستدلال، يستخدم النموذج إطار عمل حاصل ضرب الخبراء (PoE). يقوم هذا الإطار بتقريب التوزيع اللاحق المشترك كحاصل ضرب التوزيعات اللاحقة الفردية لكل وسيط مشروطًا بخبير سابق، ويُصاغ رياضيًا كالتالي:
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
ويسمح هذا بالاستدلال القابل للتوسع عبر وسائط متعددة.
التوزيعات ذات الذيول الثقيلة (توزيع ستودنت t):
لمعالجة عدم توازن الفئات، يستبدل النموذج توزيعات غاوس القياسية المستخدمة في النماذج التلقائية التقليدية بـ توزيعات ستودنت t (Student's t-distributions) للنماذج السابقة، والمشفر، وفك التشفيد. وتسمح الطبيعة ذات الذيول الثقيلة لتوزيع t بالحفاظ على كثافة احتمالية غير مهملة في المناطق الشحيحة من المساحة الكامنة حيث توجد عينات الفئات الأقل انتشارًا. وهذا يمنع الإفراط في التنظيم (over-regularization) لعينات الفئات الأقل انتشارًا، وهو ما يحدث غالبًا مع نماذج غاوس، مما يحافظ على الأنماط ذات المعنى الدلالي ولكنها غير ممثلة كفاية.
هدف تباعد $\gamma$ -القوة ( $\gamma$ -Power Divergence):
يشتق المؤلفون دالة هدف جديدة تعتمد على تباعد $\gamma$ -القوة لتدريب النموذج على كل من البيانات المصنفة وغير المصنفة.

بالنسبة للبيانات المصنفة، توسع الدالة الهدف $\gamma$ -loss (المستخدمة في t3VAE) لتشمل متغير الفئة المرصود $y$ .
بالنسبة للبيانات غير المصنفة، يُعامل متغير الفئة $y$ كمتغير كامن. وتقوم الدالة بهامش $y$ عبر تباعد $\gamma$ ، مما يشتق حدًا أدنى قابلًا للحساب يشبه حد الأدنى للتحقق (ELBO).
تجمع الدالة الهدف الإجمالية بين خسارة التوليد وخسارة التصنيف التمييزية الموزونة بمعامل $\alpha$ ، مما يوازن بين التمثيل الكامن المتماسك وأداء التصنيف.

المساهمات الرئيسية
يدعي البحث خمس مساهمات أساسية:

إطار عمل موحد: هو أول نموذج توليدي يعالج بشكل مشترك التعلم شبه الموجه، وتعدد الوسائط، وعدم توازن الفئات ضمن إطار احتمالي واحد، مما يوحد متطلبات النمذجة المختلفة لهذه التحديات.
آلية استدلال PoE: طور آلية استدلال PoE تدعم المتغيرات الكامنة المستمرة والمنفصلة عبر وسائط متعددة، مما يتيح نمذجة مرنة وقابلة للتوسع.
نمذجة معممة للذيول الثقيلة: يعمم استخدام توزيعات ستودنت t للتعامل مع الإعدادات متعددة الوسائط وشبه الموجهة، مما يعزز المتانة تجاه عدم توازن الفئات من خلال تقريبات التوزيع اللاحق ذات الذيول الثقيلة.
دالة هدف مبتكرة: يشتق دالة تدريب جديدة تعتمد على تباعد $\gamma$ -القوة، مما يضمن تعلمًا مستقرًا ومعبرًا من البيانات المصنفة وغير المصنفة تحت التوزيعات غير المتوازنة.
التحقق التجريبي: تُظهر التجارب المكثفة تفوقًا مستمرًا على النماذج المرجعية في الإعدادات شبه الموجهة، ومتعددة الوسائط، وغير متوازنة الفئات.

النتائج التجريبية
تم تقييم النموذج على ثلاثة مجموعات بيانات:

MNIST-SVGN: مجموعة بيانات متعددة الوسائط اصطناعية تجمع بين الأرقام المكتوبة بخط اليد وأرقام المنازل.
UPMC Food-101: مجموعة بيانات واقعية تحتوي على صور طعام وأوصاف نصية.
CMU-MOSEI: مجموعة بيانات معقدة لوسائط الفيديو والصوت والنص لتحليل المشاعر.

أبرز النتائج:

دقة متفوقة: تفوق SSMVAE-CI باستمرار على النماذج المرجعية (بما في ذلك الطرق المركبة التي تجمع بين SSL، ومعالجة عدم التوازن، واستراتيجيات الدمج مثل CReST وAdsh وLDAM) في كل من الدقة الإجمالية ودقة الفئات الأقل انتشارًا.
المتانة تجاه عدم التوازن: كانت مكاسب الأداء أكثر وضوحًا عند نسب عدم توازن عالية ( $r=100$ ) ونسب ضئيلة من البيانات المصنفة ( $\beta=10\%$ ). على سبيل المثال، في MNIST-SVGN مع $r=100$ و $\beta=10\%$ ، حقق النموذج دقة إجمالية بنسبة 74.79% ودقة فئة أقل بنسبة 59.07%، متفوقًا بشكل كبير على أفضل نموذج مرجعي تالٍ.
التعامل مع الوسائط المفقودة: في التجارماث التي فُقد فيها أحد الوسائط لنصف بيانات التدريب، أظهر SSMVAE-CI (المدرب على المجموعة الكاملة بما في ذلك العينات غير المكتملة) أصغر انخفاض في الأداء (2.08% في الدقة الإجمالية) مقارنة بالنماذج المرجعية أو النماذج المدربة فقط على البيانات المكتملة. وهذا يثبت قدرة النموذج على استخدام العينات غير المكتملة كإشارات تدريب.
دراسات الاستئصال (Ablation Studies): أدى إزالة توزيع ستودنت t (بالعودة إلى توزيع غاوس) أو إزالة هيكل PoE (بالعودة إلى الدمج البسيط) إلى تدهور كبير في الأداء، مما يؤكد ضرورة كلا المكونين للتعامل مع عدم توازن الفئات والارتباطات متعددة الوسائط.

الأهمية والادعاءات
يفترض البحث أن SSMVAE-CI يقدم نهجًا مهيكلًا وفعالًا من حيث البيانات للمجالات التي تكون فيها البيانات بطبيعتها متعددة الوسائط، وجزئية التصنيف، وغير متوازنة. يسلط المؤلفون الضوء على التطبيقات المحتملة في التشخيص الطبي (مثل الجمع بين الأشعة السينية وتاريخ المريض حيث تكون حالات المرض نادرة) وتقي مخاطر التمويل (مثل اكتشاف الاحتيال في بيانات المعاملات متعددة الوسائط).

يتبنى المؤلفون موقفًا نظريًا متواضعًا، حيث يقرون بأنه بينما يوفر النموذج تحققًا تجريبيًا واسع النطاق، إلا أنه لم يتم اشتقاق ضمانات تقارب أو تعميم رسمية بسبب عدم تجانس المكونات الاحتمالية. ومع ذلك، يؤكدون أن الصيغة الاحتمالية الموحدة تضمن الاتساق النظري للتعلم متعدد الوسائط شبه الموجه مع الحفاظ على المتانة تجاه عدم توازن الفئات، مما يعالج الفجوة التي لم يستطع أي من MVAE أو t3VAE ملؤها بمفرده. كما تم اقتراح عمل مستقبلي لمعالجة عدم تطابق التوزيع بين المجموعات المصنفة وغير المصنفة.

1. نهج "فريق المتخصصين" (المشفرات متعددة الوسائط - Multimodal Encoders)

2. شبكة الأمان "ذات الذيول الثقيلة" (توزيع ستودنت t - Student's t-Distribution)

3. لعبة "التخمين الذكي" (تباعد قوة غاما - Gamma-Power Divergence)

4. ماذا يحدث عندما تكون البيانات مفقودة؟

النتائج

أبحاث مشابهة