🤖 machine learning

GAUGE: Granularity-Adaptive Counterfactual Gating of Evidence for Incomplete Multimodal Classification

تقترح الورقة البحثية إطار عمل GAUGE، وهو إطار بوابي مضاد للواقع خفيف الوزن يعزز التصنيف متعدد الوسائط غير المكتمل عبر استكمال البيانات المفقودة وتطبيق تعديل للأدلة دقيق ومدرك للتنبؤ عبر تسجيل قائم على متسلسلة تايلور للاحتفاظ بالمكونات الموثوقة بشكل انتقائي مع كبح المكونات المضللة دون تغيير بنية النموذج الأساسي.

المؤلفون الأصليون: Yunping Shi, En Yu, Kairui Guo, Jie Lu

نُشر 2026-08-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yunping Shi, En Yu, Kairui Guo, Jie Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ما، لكن فريق التحقيق الخاص بك يفتقد بعض الأعضاء. ربما نسي المصور كاميرته، أو نفدت بطاريات جهاز تسجيل الصوت. في عالم الذكاء الاصطناائي، هذه مشكلة شائعة تسمى "التعلم متعدد الوسائط غير المكتمل". عادة ما تحب نماذج الذكاء الاصطناعي أن تعمل جميع حواسها معاً — البصر، والصوت، والنص، والبيانات — لاتخاذ قرار ما. ولكن في العالم الحقيقي، تتعطل المستشعرات، أو تُفقد البيانات، أو تخفي قواعد الخصوصية بعض التفاصيل. عندما يحاول الذكاء الاصطناعي تخمين ما هو مفقود، يكون الأمر أشبه بمحاولة حل لغز كلمات متقاطعة باستخدام ممحاة ضبابية؛ أحياناً يكون التخمين مفيداً، ولكن في كثير من الأحيان يكون مجرد تخمين مليء بالضجيج الذي يربك الإجابة النهائية.

ولإصلاح ذلك، جرب العلماء حيلتين رئيسيتين. الحيلة الأولى هي تجاهل الأجزاء المفقودة تماماً، وهو أمر آمن ولكنه يهدر الأدلة. أما الحيلة الثانية فهي "الاستدلال" أو تخمين البيانات المفقودة باستخدام أداة مساعدة. تكمن المشكلة في الحيلة الثانية في أن الأداة المساعدة قد تقدم تخميناً سيئاً. إذا عامل الذكاء الاصطناعي القسم "المُخمّن" بأكمله ككتلة واحدة كبيرة، فقد يثق بالخطأ في تخمين سيئ بقدر ثقته في تخمين جيد، مما يؤدي إلى استنتاج خاطئ. السؤال الكبير هو: كيف يمكن للذكاء الاصطناعي أن ينظر إلى بياناته "المُخمّنة" الخاصة، ويكتشف الأجزاء السيئة، ويتجاهلها دون التخلص من القسم بأكمله؟

هنا يأتي دور طريقة جديدة تسمى GAUGE. فكر في GAUGE كأنه محرر فائق الذكاء لأفكار الذكاء الاصطناعي. بدلاً من معاملة صورة أو نص "مُخمّن" كامل كواحدة ثابتة لا تتغير، يقوم GAUGE بتفكيك كل شيء إلى قطع صغيرة من الأدلة الفردية — مثل بكسلات فردية في صورة أو كلمات مفردة في جملة. ثم يطرح سؤالاً ذكياً لكل قطعة صغيرة: "إذا استبدلنا هذه القطعة المحددة بلوحة بيضاء فارغة، هل ستتغير إجابتنا النهائية؟"

إذا أدى استبدال قطعة ما إلى انخفاض ثقة الذكاء الاصطناعي، فهذه القطعة مهمة، ويمنحها GAUGE درجة عالية. أما إذا لم يغير استبدالها أي شيء، فهذه القطعة من المرجح أنها مجرد ضجيج أو تخمين سيئ، فيمنحها GAUGE درجة منخفضة. السحر يكمن في سرعة القيام بذلك. عادةً، يتطلب فحص كل قطعة على حدة أن يقوم الذكاء الاصطناعي بتشغيل عقله آلاف المرات، وهو أمر بطيء جداً. يستخدم GAUGE اختصاراً رياضياً (يعتمد على مفهوم "توسيع تايلور") لحساب أهمية كل قطعة في تمريرة واحدة سريعة. ثم يستخدم هذه الدرجات لـ "خفض مستوى صوت" الأجزاء الصاخبة وغير الموثوقة من البيانات بلطف، مع إبقاء الأجزاء الواضلة والمفيدة واضحة وعالية.

اختبر الباحثون GAUGE في ستة تحديات مختلفة، تراوحت بين التعرف على الأرقام المكتوبة بخط اليد وتشخيص أمراض القلب باستخدام الصور الطبية وسجلات المرضى. ووجدوا أن GAUGE يتفوق باستمرار على الطرق الأخرى، خاصة عندما تكون البيانات مفقودة بشكل كبير. على سبيل المثال، في مجموعة بيانات أمراض القلب حيث كانت جميع البيانات الجدولية مفقودة، حسّن GAUGE الدقة بنحو 6 نقاط مئوية مقارنة بالطريقة التالية له في الأفضلية. تشير الورقة البحثية إلى أن هذا التحكم الدقيق أمر بالغ الأهمية لأنه يسمح للذكاء الاصطناعي بأن يكون مرناً: يمكنه الوثوق بجزء جيد من صورة "مُخمّنة" بينما يتجاهل جزءاً سيئاً من نفس الصورة، وهو أمر لم تستطع الطرق القديمة القيام به.

تحقق المؤلفون أيضاً من سرعة هذا الإجراء. فبينما استغرقت طريقة تقليدية تفحص كل قطعة واحدة تلو الأخرى حوالي 96 ميلي ثانية لحالة طبية معقدة واحدة، قام GAUGE بنفس المهمة في 3 ميلي ثانية فقط، أي بسرعة تزيد عن 30 ضعفاً. وهذا يعني أن الطريقة ليست ذكية فحسب، بل هي عملية بما يكفي لاستخدامها في الأنظمة التي تعمل في الوقت الفعلي. وتخلص الورقة البحثية إلى أنه من خلال معاملة كل قطعة صغيرة من الأدلة بشكل فردي واستخدام هذه الدرجات الرياضية السريعة، يمكن للذكاء الاصطناعي أن يصبح أكثر موثوقية عند مواجهة البيانات الفوضوية وغير المكتملة في العالم الحقيقي.

ملخص تقني: GAUGE

بيان المشكلة

تفترض نماذج التصنيف متعددة الوسائط عادةً توافر جميع الوسائط المطلوبة (مثل الصور، النصوص، بيانات المستشعرات). ومع ذلك، تتضمن السيناريوهات الواقعية مدخلات غير مكتملة بشكل متكرر بسبب فشل المستشعرات، أو قيود الخصوصية، أو أخطاء النقل. تندرج النهج الحالية للتعامل مع عدم الاكتمال هذا عموماً ضمن فئتين:

أساليب خالية من الاسترداد (Recovery-free): تتنبأ مباشرة من الوسائط المتاحة، مما يتجنب أخطاء الإسناد (imputation)، ولكنها تهدر الإشارات المتقاطعة التي يمكن استردادها.
أساليب قائمة على الاسترداد (Recovery-based): تقوم صراحةً بإسناد الوسائط المفقودة لاستعادة الإشارات المتكاملة. ومع ذلك، فإن المحتوى المعاد بناؤه غالباً ما يحتوي على أدلة منخفضة الدقة، أو مشوشة، أو غير متسقة دلالياً.

تعمل آليات الدمج الديناميكي والمتانة الحالية عند مستوى الوسيط الخشن (coarse modality level)، حيث تطبق قرار تحكم واحداً (مثل وزن أو بوابة) على المخرج الكامل لمشفر الوسيط. يفشل هذا النهج في معالجة عدم التجانس داخل الوسيط الواحد (within-modality heterogeneity)، حيث يمكن أن توجد إشارات معلوماتية ومضللة معاً داخل نفس الوسيط المسترد. وبناءً على ذلك، لا تستطيع الأساليب الحالية كبح المكونات غير الموثوقة بشكل انتقائي مع الاحتفاظ بالمكونات الموثوقة داخل وسيط مسترد واحد، مما يضعف موثوقية التنبؤ.

المنهجية: GAUGE

يقترح المؤلفون GAUGE (التحكم في الأدلة عبر البوابات المضادة للواقع المتكيفة مع التدرج - Granularity-Adaptive coUnterfactual Gating of Evidence)، وهو إطار عمل خفيف الوزن مصمم لإجراء تحكم دقيق في الأدلة لتصنيف الوسائط المتعددة غير المكتملة. يعمل GAUGE عبر ثلاث مراحل:

1. الإكمال والترميز (Complete & Encode)

الإسناد (Imputation): يقوم مُسند مسبق التدريب ومجمد ( $\Gamma$ ) بإعادة بناء الوسائط المفقودة.
الترميز المتكيف مع التدرج (Granularity-Adaptive Encoding): يتم ترميز كل من المدخلات المرصودة والمستردة إلى وحدات أدلة دقيقة التدرج. تتوافق هذه الوحدات مع التدرج الأصلي للمشفرات (مثل رقع الصور، أو رموز النصوص، أو تضمينات ميزات الجداول). إذا كان المشفر يخرج تضميناً عالمياً واحداً، فإن الوحدة تقابل مستوى الوسيط؛ وإلا، فهي تقابل مكونات الوسيط الفرعية.
تكوين التسلسل (Sequence Formation): يتم دمج جميع وحدات الأدلة مع رمز [CLS] قابل للتعلم لتشكيل تسلسل متعدد الوسائط $\tilde{T}_i$ .

2. التقييم والبوابة (Score & Gate - العزو المضاد للواقع)

بدلاً من التدخل صراحة في كل وحدة (ما يتطلب $N$ من عمليات التمرير الأمامي الإضافية)، يقدر GAUGE الأثر المضاد للواقع (counterfactual effect) لاستبدال كل وحدة دليل بتمثيل مرجعي (يتم ضبطه على الصفر) باستخدام تقريب تايلور من الدرجة الأولى.

البروز المدرك للتنبؤ (Prediction-Aware Saliency): تحدد عملية تمرير أمامي غير محكومة (ungated) الفئة المتوقعة $\hat{y}_i$ . يتم تعريف هدف البروز كالسالب للوغاريتم اللوغاريتمي لهذه الفئة ( $L_{sal} = -z_{i, \hat{y}_i}$ ).
تسجيل أدلة تايلور (Taylor Evidence Scoring): تقوم عملية تمرير خلفي واحدة بحساب تدرج هدف البروز بالنسبة لكل وحدة دليل. يتم حساب درجة دليل تايلور ( $TE_{i,j}$ ) كمعيار $\ell_1$ للمنتجات عبر القنوات بين التدرج واتجاه الاستبدال ( $d_{i,j} = 0 - e_{i,j}$ ). يقوم هذا بتجميع المساهمات المطلقة لمنع إلغاء الإشارات.
الكفاءة: تولد هذه العملية درجات لجميع الوحدات $N$ في تمرير أمامي-خلفي واحد، مما يتجنب التكلفة الباهظة للتقييم المضاد للواقع الدقيق.
التطبيع والبوابة (Normalization & Gating): يتم تطبيع الدرجات باستخدام قاعدة متكيفة مع N (z-score لـ $N$ الكبيرة، والدرجات الخام لـ $N$ الصغيرة) وتعيينها لبوابات مستمرة ( $g_{i,j} \in (0,1)$ ) عبر دالة سيجمويد مع عتبة ( $\tau$ ) ودرجة حرارة ( $\rho$ ) قابلة للتعلم.

3. التنبؤ والتحديث (Predict & Update)

حقن انحياز الانتباه (Attention Bias Injection): يتم تحويل البوابات المستمرة إلى انحيازات لوغاريتمية إضافية للـ attention ( $B_i$ ) تُحقن في مواضع المفتاح (Key) في كل كتلة من كتل الـ Transformer. تحديداً، يطبق $B_i$ انحيازاً لوغاريتمياً قدره $\log(\max\{g_{i,r}, \epsilon\})$ على لوغاريتمات الانتباه للمفتاح $r$ .
الأثر: تؤدي البوابات المنخفضة إلى انحيازات سلبية أقوى، مما يقلل من وزن وحدات الأدلة ذات الدرجات المنخفضة دون تغيير بنية العمود الفقري (backbone) أو طول التسلسل.
التدريب: يتم تدريب النموذج عن طريق تقليل خسارة الإنتروبي المتقاطع على التنبؤ المحكوم. يتم فصل (detach) درجات تايلور، مما يمنع تدفق التدرجات عبر آلية التسجيل، ويضمن بقاء المُسند مجمداً وتظل العملية فعالة.

المساهمات الرئيسية

نموذج متكيف مع التدرج (Granularity-Adaptive Paradigm): يصيغ البحث نموذج تحكم يتعامل مع كل من الوسائط المرصودة والمستردة كمجموعات من وحدات أدلة صادرة عن المشفر. يتيح هذا التحكم الدقيق في التعديل عند أدق مستوى تمثيل متاح مع الحفاظ على التوافق مع إعدادات مستوى الوسيط.
إطار عمل GAUGE: آلية بوابة تعتمد على العزو المضاد للواقع وخفيفة الوزن، تستمد درجات الأدلة المدركة للتنبؤ عبر صيغة تايلور من الدرجة الأولى. وهي تحصل على درجات جميع الوحدات في تمرير أمامي-خلفي واحد، متجاوزة الحاجة إلى تدخلات صريحة لكل وحدة.
التحليل النظري: يقدم المؤلفون تحليلاً لباقي تايلور (Taylor remainder analysis) يميز خطأ تقريب الدرجة الأولى بالنسبة للأثر المضاد للواقع الدقيق. لقد وضعوا حداً أعلى يربط درجة دليل تايلور بحجم الأثر المضاد للواقع الدقيق، مما يؤكد الطبيعة المنهجية للطريقة.
الأداء التجريبي: أظهرت التجارب المكثفة عبر ستة معايير (بما في ذلك PolyMNIST، MST، CelebA، DVM، CAD، و Infarction) أن GAUGE يتفوق على الأساليب المرجعية القوية (الخالية من الاسترداد، والقائمة على الاسترداد، وطرق الاسترداد الديناميكية) في مختلف إعدادات المدخلات غير المكتملة، خاصة تحت ظروف الفقدان الشديد.

النتائج

الأداء: حقق GAUGE أفضل أداء أو تساوى في الأفضل في 9 من أصل 12 إعداداً للمدخلات غير المكتملة تم تسجيلها.
المقارنة مع DyMoc: عند مقارنته بـ DyMoc (وهو نموذج مرجعي للاسترداد الديناميكي يستخدم نفس العمود الفقري ومسار الإسناد ولكنه يعمل على مستوى الوسيط)، تفوق GAUGE عليه في 10 من أصل 12 إعداداً.
- في مجموعة بيانات CelebA مع فقدان وسيط النص تماماً، حسّن GAUGE الدقة بمقدار 5.90 نقطة مئوية عن DyMoc.
- في المعايير السريرية (CAD و Infarction)، أظهر GAUE مكاسب ثابتة، حيث أصبحت التحسينات أكثر وضوحاً مع زيادة معدل الفقدان.
الكفاءة: من حيث وقت التسجيل، قلل GAUGE وقت التسجيل لكل عينة من 96.43 مللي ثانية (التسجيل المضاد للواقع الدقيق) إلى 3.11 مللي ثانية عند $N=91$ ، محققاً تسريعاً بمقدار 31.01 ضعفاً.
التحليل النوعي: تظهر عمليات التصوير البياني أن GAUGE يخصص بوابات غير موحدة داخل نفس الوسيط المسترد (مثل الميزات الجدولية المسندة)، حيث يقلل من وزن مكونات محددة ذات درجات منخفضة مع الاحتفاظ بالمكونات ذات الدرجات العالية. وهذا يتناقض مع بوابات مستوى الوسيط، التي ستكبح الوسيط بالكامل بشكل موحد.

الأهمية والادعاءات

يدعي البحث أن GAUGE يؤسس إطار عمل منهجياً وقابلاً للتوسع للتحكم الدقيق في الأدلة تحت ظروف عدم اكتمال الوسائط. ومن خلال نقل تعديل الأدلة متعددة الوسائط من التجميع الخشن على مستوى الوسيط إلى أدق تدرج تكشفه مشفرات Transformer، يقلل GAUE بفعالية من المقايضة بين التخلص من الوسائط المفقودة ودمج الإسنادات المشوشة.

يؤكد المؤلفون أن نهجهم كفء في عدد عمليات التمرير (pass-efficient)، حيث يتطلب عملية تسجيل واحدة فقط بغض النظر عن عدد وحدات الأدلة، مما يجعله مناسباً للتطبيقات القابلة للتوسع. يوفر التحليل النظري حداً لخطأ التقريب، مما يرسخ الطريقة في نظرية الاستدلال المضاد للواقع.

القيود والعمل المستقبلي:
يقر البحث بأن GAUGE يعتمد حالياً على أعمدة فقارية (backbones) ومسندات مجمدة مستمدة من النماذج المرجعية الحالية. ويُقترح كعمل مستقبلي استكشاف توسيع نموذج بوابة العزو المضاد للواقع الكفء في عمليات الاستدلال والتوليد متعددة الوسائط الأوسع نطاقاً. لا يدعي المؤلفون أن GAUGE يحل جميع تحديات الوسائط المتعددة، بل يضعونه كخطوة مهمة نحو التنبؤ الموثوق في التطبيقات عالية المخاطر مثل التشخيص الطبي والقيادة الذاتية حيث تكون المدخلات غالباً غير مكتملة.