📊 statistics

Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data

تقترح هذه الورقة إطار عمل جديداً متعدد الوسائط للتعرف على التوزيعات ذات الذيول الطويلة، يقوم بدمج مصادر البيانات غير المتجانسة ديناميكياً باستخدام أوزان موجهة بالثقة للتغلب على عدم توازن الفئات والتفوق على الأساليب الحالية أحادية الوسائط.

المؤلفون الأصليون: Heegeon Yoon, Heeyoung Kim

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Heegeon Yoon, Heeyoung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير برنامج مواهب ضخمًا حيث يتعين عليك اختيار أفضل المؤدين من بين آلاف المتقدمين. ومع ذلك، هناك عقبة: 99% من المتقدمين هم مغنون "متوسطون"، بينما توجد حفنة صغيرة جدًا فقط من مغني الأوبرا "العباقرة". إذا قمت بتدريب حكامك (نموذج الذكاء الاصطناعي الخاص بك) على هذا الجمهور فقط، فسيصبحون خبراء في رصد المغنين المتوسطين، لكنهم سيفقدون العباقريين تمامًا لأنهم لم يروهم بما يكفي. هذه هي مشكلة التعرف على التوزيع ذو الذيل الطويل (Long-tailed Recognition): حيث ينحاز الذكاء الاصطناعي نحو الأشياء الشائعة ويتجاهل الأشياء النادرة والمهمة.

الآن، تخيل أن هؤلاء المتقدمين لا يغنون فحسب؛ بل يقدمون أيضًا سيرة ذاتية، وفيديو، وتسجيلًا صوتيًا. هذه هي البيانات متعددة الوسائط (Multi-modal Data) (أنواع مختلفة من المعلومات). عادةً ما يعاني الذكاء الاصطناعي في الجمع بين هذه المصادر المختلفة، خاصة عندما يكون مغنو "العباقرة" نادرين جدًا.

تقدم هذه الورقة نظامًا جديدًا لحل كلتا المشكلتين في آن واحد. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "لجنة الحكام المتخصصة" (إطار العمل متعدد الخبراء)

بدلاً من وجود حكم واحد كبير يحاول تعلم كل شيء، وضع المؤلفون لجنة من ثلاثة حكام متخصصين، لكل منهم شخصية مختلفة:

الحكم (أ) (خبير الذيل الطويل): تم تدريبه على حب الأشياء النادرة. إنه شديد الوعي بالمغنين "العباقرة".
الحكم (ب) (الخبير المتوازن): تم تدريبه على معاملة الجميع بالتساوي، بغض النظر عن مدى شيوعهم.
الحكم (ج) (الخبير العكسي): تم تدريبه للتركيز بشدة على الأشياء الشائعة، فقط ليرى كيف يتفاعل معها.

في الأنظمة السابقة، كان هؤلاء الحكام ينظرون إلى شيء واحد فقط (مثل الفيديو فقط). هذا النظام الجديد يعلم الحكام الثلاثة النظر إلى كل شيء (الفيديو + السيرة الذاتية + الصوت) في نفس الوقت.

2. "مقياس الثقة" (الدمج المدرك للوسائط)

أحيانًا، قد ينظر الحكم إلى سيرة ذاتية ويفكر: "هذا يبدو رائعًا"، بينما ينظر إلى الفيديو ويفكر: "هذا يبدو ضبابيًا وغير مفيد".

أضافت الورقة "مقياس ثقة" خاصًا (يسمى الوزن الموجه بالثقة) إلى النظام.

إذا كان "الفيديو" واضحًا ومفيدًا، يقول مقياس الثقة: "استمع إلى الفيديو!"
إذا كانت "السيرة الذاتية" غير مرتبة أو مربكة، يقول مقياس الثقة: "تجاهل السيرة الذاتية لهذا الشخص تحديدًا".

هذا يحدث بشكل ديناميكي. بالنسبة لمتقدم ما، قد يكون الفيديو هو أهم دليل. وبالنسبة لآخر، قد تكون السيرة الذاتية هي المفتاح. يقرر النظام تلقائيًا أي قطعة من المعلومات يجب الوثوق بها أكثر لكل حالة فردية.

3. خدعة "التدريب مقابل الاختبار"

هنا اضطر المؤلفون إلى الإبداع بسبب نوع البيانات التي استخدموها.

بالنسبة لبيانات الصور (الصور الفوتوغرافية): في الماضي، لجعل الحكام أكثر ذكاءً أثناء العرض النهائي، كان النظام يأخذ صورة، ويصنع نسخة ضبابية قليلاً منها، ونسخة أكثر سطوعًا قليلاً، ثم يسأل الحكام عن الاتفاق على الإجابة. هذه الخدعة "ذاتية الإشراف" ساعدتهم على ضبط أوزانهم في الوقت الفعلي.
بالنسبة للبيانات الجدولية (الجداول والبيانات النصية/السير الذاتية): لا يمكنك حقًا صنع نسخة "ضبابية" من جدول بيانات أو نسخة "أكثر سطوعًا" من قائمة أعمار دون إفساد البيانات.

الحل: قام المؤلفون بتغيير القواعد لبيانات الجداول. بدلاً من محاولة ضبط أوزان الحكام أثناء العرض النهائي (وهو أمر مستحيل مع الجداول)، علموا النظام كيفية تحديد الأوزان المثالية خلال مرحلة التدريب باستخدام الإجابات المعروفة. بمجرد انتهاء التدريب، يتم تثبيت الأوزان. الأمر يشبه تدريب الحكام حتى يعرفوا تمامًا مقدار الثقة في السيرة الذاتية مقابل الفيديو، حتى لا يحتاجوا للتخمين أثناء العرض المباشر.

النتائج

اختبر المؤلفون هذا النظام على شيئين:

البيانات الاصطناعية: خلط مجموعتين من مجموعات بيانات الصور الشهيرة (MNIST و SVTN) لإنشاء مشكلة ذيل طويل وهمية.
البيانات الطبية الحقيقية: مجموعة بيانات حقيقية للكشف عن الميلانوما (سرطان الجلد) من الصور والبيانات الوصفية للمرضى (العمر، الجنس، الموقع).

النتيجة:

كان النظام الجديد أفضل بكثير في العثور على الحالات "النادرة" (فئات الأقلية) مقارنة بالطرق السابقة.
لم يكتفِ النظام بالتخمين؛ بل تعلم كيف يثق في مصدر المعلومات الصحيح للشخص المناسب.
في مجموعة البيانات الطبية، حسن النظام بشكل كبير القدرة على اكتشاف الحالات الخبيثة (السرطانية) النادرة مقارنة بالطرق الأخرى، دون فقدان الدقة في الحالات الحميدة الشائعة.

باخت ملخص

تبني هذه الورقة فريق ذكاء اصطناعي أكثر ذكاءً يقوم بـ:

استخدام خبراء متخصصين للتعامل مع البيانات النادرة والشائعة على حد سواء.
استخدام مقياس ثقة ديناميكي لتحديد أي نوع من البيانات (صورة أم نص) هو الأكثر أهمية لكل حالة محددة.
تكييف استراتيجية التدريب الخاصة به بحيث يعمل بشكل مثالي حتى عندما تتعامل مع جداول بيانات فوضوية لا يمكن "تعديلها" مثل الصور.

النتيجة هي نظام أفضل بكثير في رصد "الإبرة في كومة القش" عندما تأتي تلك الإبرة مع مزيج من الأدلة المختلفة.

ملخص تقني: التعرف المتزامن على التوزيعات طويلة الذيل والدمج متعدد الوسائط للبيانات متعددة الوسائط شديدة عدم التوازن

بيان المشكلة

غالبًا ما تعاني الشبكات العصبية العميقة (DNNs) من تدهور الأداء عند تدريبها على بيانات غير متوازنة الفئات، حيث تظهر انحيازًا نحو الفئات الأكثر شيوعًا وتفشل في تعلم تمثيلات فعالة للفئات الأقل شيوعًا. وبينما عالجت التطورات الأخيرة مشكلات التعرف على التوزيعات طويلة الذيل (long-tailed recognition)، إلا أنها تقتصر بشكل أساسုပ် على المدخلات أحادية الوسائط. ومن ناحية أخرى، تستغل أساليب التعلم متعدد الوسائط المعلومات المتكاملة من مصادر متباينة (مثل الصور والبيانات الجدولية) بفعالية، لكنها نادرًا ما تأخذ في الاعتبار عدم توازن الفئات.

في التطبيقات الواقعية، مثل التشخيص الطبي، تكون مجموعات البيانات غالبًا متعددة الوسائط وطويلة الذيل في آن واحد. على سبيل المثال، قد تحتوي السجلات الطبية على بيانات تصويرية إلى جانب التاريخ الديموغرافي والسريري، ومع ذلك فإن عينات حالات معينة (الفئات الأقل شيوعًا) تكون أقل عددًا بكثير من الحالات السليمة. تفشل الأطر الحالية في معالجة هذه التحديات في وقت واحد: فالنماذج متعددة الخبراء مثل "تجميع الخبراء المتنوعة ذاتي الإشراف" (SADE) محدودة بالمدخلات أحادية الوسائط، بينما أساليب الدمج متعدد الوسائط مثل "الديناميكيات متعددة الوسائط" (MMD) لا تبالي بتوزيعات الذيل الطويل. تقترح هذه الورقة إطار عمل موحد لسد هذه الفجوة، مما يتيح التعرف القوي في السيناريوهات التي تكون فيها البيانات متعددة الوسائط وشديدة عدم التوازن.

المنهجية

يدمج إطار العمل المقترح بين التعلم متعدد الخبراء المتخصص في التوزيع ودمج الوعي بالوسائط. تتكون البنية من ثلاثة مكونات رئيسية:

1. العمود الفقري متعدد الخبراء المدرك للوسائط

بناءً على بنية SADE، تستخدم الطريقة ثلاث شبكات خبيرة مستقلة ( $E_1, E_2, E_3$ )، كل منها متخصص لتوزيع فئات متميز:

$E_1$ (الأمامي - Forward): مدرب باستخدام خسارة "softmax cross-entropy" القياسية ( $L_{ce}$ ) للتعامل مع التوزيعات طويلة الذيل.
$E_2$ (الموحد - Uniform): مدرب باستخدام خسارة "balanced softmax" ( $L_{bal}$ ) للتعامل مع التوزيعات الموحدة.
$E_3$ (الخلفي - Backward): مدرب باستخدام خسارة "inverse softmax" ( $L_{inv}$ ) للتعامل مع التوزيعات طويلة الذيل عكسيًا.

على عكس SADE الأصلي، الذي يعالج مدخلات أحادية الوسائط، تم إعادة تصميم كل خبير في هذا الإطار ليقبل مدخلات متعددة الوسائط. يتم معالجة المدخلات من الوسائط المتباينة (مثل الصور والبيانات الجدولية) من خلال شبكات فرعية خاصة بكل وسيط، ثم تُدمج في تمثيل كامن موحد داخل كل خبير.

2. وحدة تقييم ووزن الوسائط

لدمج البيانات المتباينة بفعالية، يتضمن إطار العمل وحدة تصنيف مستوحاة من MMD. تتضمن هذه الوحدة شبكات خاصة بكل وسيط لتقدير احتمال الفئة الحقيقي (TCP) لكل وسيط.

تقرب شبكة الثقة ( $g_m$ ) احتمال الفئة الحقيقي (TCP) لكل وسيط $m$ ، وتخرج درجة ثقة.
تعمل هذه الدرجات كأوزان ديناميكية، حيث تنظم مساهمة التمثيل الميزاتي لكل وسيط قبل عملية الدمج.
تضمن هذه الآلية أن الوسائط الأكثر إخبارًا تساهم بقوة أكبر في القرار النهائي، بناءً على كل عينة ومدى توزيع الفئات.

3. إجراءات التدريب والاختبار

تختلف استراتيجيات التدريب والاختبار بناءً على طبيعة الوسائط لمعالجة جدوى تعزيز البيانات (data augmentation):

الحالة 1: الوسائط القائمة بالكامل على الصور: تتبع الطريقة استراتيجية تدريب وقت الاختبار (test-time training) مشابهة لـ SADE. يتم إنشاء تعزيزين عشوائيين لكل عينة اختبار. ويتم تحسين أوزان التجميع ( $w_1, w_2, w_3$ ) لدمج الخبراء الثلاثة بطريقة ذاتية الإشراف من خلال تعظيم استقرار التنبؤ بين المنظرين المعززين.
الحالة 2: الوسائط المختلطة (صور وجدولية): نظرًا لأن إنشاء تعزيزات عشوائية قابلة للمقارنة للبيانات الجدولية غالبًا ما يكون غير ممكن أو قد يؤدي إلى تدهور الأداء، فقد تم استبدال استراتيجية تدريب وقت الاختبار. بدلاً من ذلك، يتم تحسين أوزان التجميع حصريًا خلال مرحلة التدريب باستخدام تسميات الحقيقة الأرضية (ground-truth labels) وخسارة "softmax cross-entropy" القياسية. يفترض هذا أن مجموعات بيانات التدريب والاختبار تشترك في نفس التوزيع، وهو افتراض معقول للبيانات التي تُجمع من نفس البيئة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

إطار عمل موحد: إطار عمل جديد للتعرف على التوزيعات طويلة الذيل يعالج في وقت واحد المدخلات متعددة الوسائط وعدم توازن الفئات، من خلال دمج التعلم متعدد الخبراء مع التجميع المدرك للوسائط.
إجراءات متخصصة: تصميم استراتيجيات تدريب واختبار مخصصة تستوعب المجموعات المختلفة من وسائط المدخلات، وتتصدى تحديدًا للقيود المتعلقة بتطبيق تعزيز وقت الاختبار على البيانات غير الصورية.
التحقق التجريبي: تقييمات واسعة النطاق على مجموعات بيانات مرجعية (MNIST, SVHN) ومجموعة بيانات طبية واقعية (تحدي تصنيف الميلانوما SIIM-ISIC) لإثبات فعالية النهج.

النتائج التجريبية

تم تقييم الطريقة المقترحة مقابل عدة نماذج مرجعية، بما في ذلك MMD وSADE وMMD-LA وSADE-LMF وM2LC-Net.

MNIST وSVHN (وسيطان صوريان): تفوقت الطريقة المقترحة باستمرار على النماذج المرجعية من حيث مقياس F1، لا سيما في ظل توزيعات الاختبار طويلة الذيل عكسيًا مع نسب عدم توازن عالية. على سبيل المثال، مع نسبة عدم توازن تدريب قدرها 50 وتوزيع اختبار طويل الذيل عكسيًا، حسنت الطريقة المقترحة مقياس F1 بمقدار 0.43 عن MMD-LA وبمقدار 0.51 عن M2LC-Net. كما أظهرت قدرة فائقة على التعميم، حيث حافظت على دقة تنافسية مع تعزيز الأداء بشكل كبير في الفئات الأقل شيوعًا.
مجموعة بيانات SIIM-ISIC للميلانوما (وسائط صور وجدولية): في هذا السياق الطبي الواقعي مع نسبة عدم توازن تبلغ حوالي 55.72، حققت الطريقة المقترحة أعلى مقياس F1 (0.6012) بين جميع الطرق المقارنة، متفوقة على أفضل نموذج مرجعي تالٍ (SADE-LMF، بنسبة 0.5629) بمقدار 0.04. وبينما ظلت دقة التصنيف قابلة للمقارنة مع النماذج الرائدة الأخرى، فإن الزيادة الكبيرة في مقياس F1 تسلط الض الضوء على قدرة النموذج على تحديد الفئة الأقل شيوعًا (الآفات الخبيثة) بشكل أفضل.
أوزان التجميع: أكد تحليل أوزان التجميع المتعلمة أن الطريقة المقترحة تخصص أوزانًا متسقة منطقيًا مع توزيع بيانات الاختبار (على سبيل المثال، وزن أعلى للخبير الأمامي للاختبارات طويلة الذيل)، بينما كانت النماذج المرجعية مثل SADE-LMF تخصص أحيانًا أوزانًا غير بديهية.

الأهمية والادعاءات

تدعي الورقة أن النهج المقترح يعالج بفعالية التحديات المزدوجة المتمثلة في عدم توازن الفئات والدمج متعدد الوسائط، والتي عولجت في الغالب كمشكلتين منفصلتين. ومن خلال توسيع إطار العمل متعدد الخبراء ليشمل الإعدادات متعددة الوسائط وإدخال آلية وزن موجهة بالثقة، يحقق النهج المتانة عبر توزيعات وقت الاختبار المتغيرة.

يؤكد المؤلفون أن الطريقة المقترحة لا تضحي بدقة التصنيف مقابل أداء الفئة الأقل شيوعًا؛ بل تعزز القدرة على التعميم في توزيعات البيانات غير المنتظمة وغير المرئية. إن القدرة على التعامل مع الوسائط المختلطة (الصور والبيانات الجدولية) دون الاعتماد على تعزيزات وقت الاختبار غير الممكنة تُقدم كتقدم حاسم للتطبيقات الواقعية حيث يتواجد عدم التباين وتعدد الوسائط معًا. ويختتم العمل بالإشارة إلى أن الجهود المستقبلية ستستهدف توسيع هذا الإطار إلى الإعدادات شبه المشرفة لمعالجة السيناريوهات ذات البيانات المحدودة التسمية بشكل أكبر.