🤖 machine learning

Missing-by-Design: Certifiable Modality Deletion for Revocable Multimodal Sentiment Analysis

تقدم الورقة البحثية إطار عمل "المفقود بالتصميم" (Missing-by-Design - MBD)، وهو إطار موحد لتحليل المشاعر متعدد الوسائط القابل للإلغاء، يجمع بين تعلم التمثيل الهيكلي ومسار تعديل المعلمات القابل للتحقق لتمكين الحذف الذي يمكن التحقق منه آلياً لوسائط بيانات محددة مع الحفاظ على الأداء التنبؤي والامتثال للخصوصية.

المؤلفون الأصليون: Rong Fu, Ziming Wang, Chunlei Meng, Jiaxuan Lu, Jiekai Wu, Kangan Qian, Hao Zhang, Simon Fong

نُشر 2026-03-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rong Fu, Ziming Wang, Chunlei Meng, Jiaxuan Lu, Jiekai Wu, Kangan Qian, Hao Zhang, Simon Fong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً، كلي المعرفة، يساعدك في تحليل مشاعر الناس بناءً على ثلاثة أشياء يقولونها: ما يكتبونه (النص)، وكيف يبدو صوتهم (الصوت)، وكيف تبدو ملامح وجوههم (الفيديو). هذا المساعد بارع في تخمين العواطف، لكن لديه مشكلة: فهو يحفظ كل شيء، بما في ذلك التفاصيل الخاصة التي قد لا ترغب في الاحتفاظ بها للأبد.

ماذا لو أردت أن تقول: "مهلاً، من فضلك انسَ كل ما تعلمته من صوتي، ولكن احتفظ ببقية معرفتك عن نصي ووجهي"؟ عادةً، سيتعين عليك طرد المساعد وتعيين فريق كامل جديد لتدريبه من الصفر. وهذا أمر مكلف، بطيء، ومبذر للموارد.

يقدم هذا البحث نظاماً جديداً يسمى "المفقود بالتصميم" (Missing-by-Design - MBD). فكر فيه كأنه "ممحاة جراحية" يمكنها مسح ذكريات محددة من مساعد الذكاء الاصطناعي الخاص بك دون الحاجة لطرد الفريق بأكمله.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "المترجم العالمي" مقابل "المتخصص"

تقوم معظم نماذج الذكاء الاصطناعي بخلط جميع معلوماتها معاً في خلاط كبير. إذا أردت إزالة نكهة "الصوت"، فقد تفسد نكهة "النص" بالخطأ أيضاً.

السر الخفي لـ MBD: إنه يفصل المعلومات إلى وعاءين:

وعاء "الخاص بالعينة": هذا يحمل التفاصيل الفريدة لهذه الجملة المحددة (مثل: "أنا غاضب الآن").
وعاء "الخاص بالسمات": هذا يحمل القواعد العامة لكيفية عمل هذا النوع من البيانات (مثل: "كيف تعبر الأصوات البشرية عموماً عن الحزن").

من خلال إبقاء هذه الأجزاء منفصلة، يمكن للذكاء الاصطناعي أن يقول: "أنا أعرف كيف أفهم الأصوات بشكل عام (السمة)، ولكنني سأنسى أنماط الصوت الخاصة بهذا المستخدم تحديداً".

2. "المعيد السحري للبناء"

ماذا يحدث إذا نسي الذكاء الاصطناعي الصوت؟ ألن يصاب بالارتباك؟
يحتوي MBD على "معيد بناء سحري" مدمج. تخيل رساماً شاهد آلاف الوجوه؛ إذا غطيت العينين في صورة ما، يمكن للرسام أن يخمن كيف كان من المفترض أن تبدو العينان بناءً على بقية الوجه.

إذا كان الصوت مفقوداً، يستخدم الذكاء الاصطناعي النص والفيديو لـ "تخيل" (إعادة بناء) كيف كان من المفترض أن يكون الصوت.
هذا يضمن بقاء الذكاء الاصطناعي ذكياً ودقيقاً حتى عندما تكون أجزاء من البيانات مفقودة أو محذوفة.

3. "المشرط الجراحي" (الحذف)

عندما تطلب حذف الصوت، لا يقوم MBD بتحطيم جزء الصوت في الدماغ فحسب، بل يجري عملية جراحية:

تحديد الجناة: يبحث في الشبكة العصبية ويجد "الأسلاك" (المعلمات/Parameters) المحددة المسؤولة عن تذكر الصوت.
القطع: يقوم بقص أو إضعاف تلك الأسلاك المحددة بعناية.
حقن الضجيج: لضمان أن الذكاء الاصطناعي قد "نسي" حقاً وليس مجرد تظاهر بالنسيان، فإنه يضيف كمية صغيرة ومتحكم بها من التشويش (الضجيج) إلى تلك الأسلاك. هذا يشبه تشويه صفحة معينة في كتاب بحيث تختفي القصة، بينما يظل بقية الكتاب قابلاً للقراءة.

4. "شهادة الحذف" (الإيصال)

هذا هو الجزء الأروع. في العالم الحقيقي، إذا طلبت من شركة حذف بياناتك، كيف ستعرف أنهم فعلو ذلك حقاً؟ قد يكتفون بالقول "حسناً" ويحتفظون بها.

يقوم MBD بإنشاء "شهادة حذف النمط" (Modality Deletion Certificate - MDC).

فكر في هذا كأنه إيصال رقمي أو سند موثق.
إنه وثيقة قابلة للقراءة آلياً تثبت، رياضياً، أنه تم حذف بيانات الصوت المحددة.
تسرد الشهادة بالضبط أي أسلاك تم قطعها، وكمية الضجيج التي تمت إضافتها، وتوفر "ضماناً رياضياً" بأن الذكاء الاصطناعي لم يعد قادراً على تمييز صوتك المحدد عن الضجيج العشوائي. يمكنك التحقق من هذه الشهادة بنفسك!

لماذا يعد هذا أمراً هاماً؟

الخصوصية: يمكنك الآن المطالبة بأن ينسى الذكاء الاصطناعي صوتك أو وجهك دون أن تفقد قدرته على فهم نصوصك.
الكفاءة: بدلاً من إعادة تدريب الذكاء الاصطناعي بالكامل (والذي يستغرق أياماً ويكلف ثروة)، فإن هذه "الجراحة" تستغرق ثوانٍ.
الثقة: تمنحك الشهادة دليلاً، وليس مجرد وعد.

باخت-القول: MBD يشبه وجود أمين مكتبة يمكنه أخذ كتاب محدد من المكتبة، وتمزيق الصفحات التي لا تريدها، ثم منحك إيصالاً موثقاً يثبت أن الصفحات قد اختفت، كل ذلك مع الحفاظ على بقية المكتبة منظمة تماماً ومفتوحة للعمل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "المفقود بالتصميم: حذف الوسائط القابل للتحقق من أجل تحليل المشاعر متعدد الوسائط القابل للإلغاء."

1. بيان المشكلة

تواجه أنظمة تحليل المشاعر متعدد الوسائط (MSA)، التي تدمج البيانات النصية والصوتية والبصرية لاستنتاج العاطفة البشرية، تحديين حرجين:

القدرة على الصمود أمام الوسائط المفقودة: في السيناريوهات الواقعية، غالبًا ما تكون الوسائط مفقودة بسبب خيارات الخصوصية، أو فشل المستشعرات، أو قيود الجمع. النماذج المدربة على بيانات كاملة غالبًا ما تفشل عندما تكون المدخلات غير مكتملة.
إلغاء الوسائط القابل للتحقق: مع تزايد لوائح الخصوصية (مثل الحق في النسيان بموجب GDPR)، قد يطلب المستخدمون إزالة بيانات وسيطة محددة (مثل الصوت) من نموذج مدرب. تواجه طرق "إلغاء التعلم" (Machine Unlearning) الحالية صعوبة في توفير ضمانات قابلة للتحقق بأن معلومات وسيطة محددة قد تمت إزالتها دون الحاجة إلى إعادة تدريب النموذج بالكامل، وهو أمر مكلف حوسبيًا.

تعالج الورقة الحاجة المزدوجة لنموذج يتميز بالمتانة تجاه المدخلات المفقودة و القدرة على إجراء حذف قابل للتحقق لوسائط محددة مع الحفاظ على فائدة المهمة النهائية.

2. المنهجية: المفقود بالتصميم (MBD)

إن MBD هو إطار عمل موحد يجمع بين تعلم التمثيل المهيكل ومسار تعديل المعلمات القابل للتحقق. وهو يعمل في مرحلتين رئيسيتين:

أ. مرحلة التدريب: التمثيل الواعي بالخصائص وإعادة البناء

الهدف هو تعلم التضمينات (embeddings) التي تفصل خصائص الوسائط الثابتة بالنسبة للعينة عن الإشارات الخاصة بالعينة، مما يسمح بدمج قوي وإعادة بناء دقيقة.

تضمينات الخصائص ( $P^m$ ): يتعلم النموذج تضمينًا للخصائص لكل وسيط يلتقط الأولويات الثابتة بالنسبة للعينة.
التفكيك (Decomposition): يتم تفكيك تضمينات المدخلات إلى مكون خاص بالعينة ( $\Sigma^m_i$ ) ومكون ثابت بالنسبة للعينة ( $\mu^m_i$ ). تضمن خسائر التعامد والثبات أن يكون هذان المكونان متمايزين.
إعادة البناء التوليدي (Generative Reconstruction): تستخدم شبكات توليد مخصصة ( $G_m$ ) الوسائط المتاحة وتضمينات الخصائص لإعادة بناء القنوات المفقودة. يضمن هذا قدرة النموذج على العمل حتى عند غياب أحد الوسائط.
الترجمة العكسية التباينية (Contrastive Back-Translation): تقوم شبكة ترجمة عكسية ( $B_m$ ) برسم التضمين المدمج عائدًا إلى فضاء الوسائط، باستخدام تقدير التباين الضوضائي (NCE) لمحاذاة الميزات المعاد بناؤها مع التوزيع الأصلي.
دالة الخسارة (Loss Function): تجمع الخسارة الإجمالية بين خسارة المهمة الخاضعة للإشراف، وخسارة إعادة البناء، وخسارة محاذاة الخصائص، والتنظيم التبايني.

ب. مرحلة الحذف: الجراحة المعتمدة على الأوزان

عندما يطلب مستخدم حذف وسيط معين $m^*$ ، يقوم MBD بإجراء تحديث "جراحي" بدلاً من إعادة التدريب.

البروز والأهمية التقريبية (Saliency & Importance Proxy):
- بروز الوسيط ( $s^{(m^*)}_q$ ): يتم حسابه عن طريق تجميع تدرجات خسارة إعادة البناء للوسيط $m^*$ عبر دفعة معايرة. يشير البروز العالي إلى أن المعلمة حاسمة لهذا الوسيط.
- وكيل الأهمية ( $L_q$ ): مقياس مستوحى من SwiftPrune يقرب الزيادة المتوقعة في الخسارة إذا تمت إزالة معلمة ما، لتجنب حسابات مصفوفة هسيان (Hessian) المكلفة.
اختيار المرشحين: يتم اختيار المعلمات لتعديلها إذا كانت تمتلك بروزًا عاليًا للوسيط (لضمان النسيان) ولكن أهمية عامة منخفضة (للحفاظ على الفائدة).
آلية غاوس وعدم التمييز (Gaussian Mechanism & Indistinguishability):
- يتم تعديل المعلمات المختارة إما عن طريق تصفيرها (حتمي) أو إضافة ضوضاء غاوسية.
- يتم معايرة مقياس الضوضاء $\sigma$ بناءً على حساسية $\ell_2$ لعملية الجراحة لتحقيق ضمان عدم تمييز مشابه للخصوصية التفاضلية (DP).
- الهدف: ضمان أن النموذج المعدل $W'$ لا يمكن تمييزه إحصائيًا عن نموذج افتراضي $W_{-m^*}$ لم يتم تدريبه أبدًا على الوسيط $m^*$ .
شهادة حذف الوسيط (MDC): تنتج العملية وثيقة قابلة للتحقق آليًا تحتوي على الوسيط المحذوف، والمؤشرات المعدلة، ومعلمات الضوضاء، وهاش تشفيري للأوزان الجديدة، مما يسمح لأطراف ثالثة بالتحقق من عملية الحذف.

3. المساهمات الرئيسية

إطار عمل موحد (MBD): أول إطار عمل يعالج في آن واحد المتانة تجاه الوسائط المفقودة والحذف القابل للتحقق على مستوى الوسائط في تحليل المشاعر.
التفكيك الواعي بالخصائص: آلية مبتكرة لفصل أولويات الوسائط الثابتة عن الإشارات الخاصة بالعينة، مما يتيح إعادة بناء عالية الدقة للقنوات المفقودة ودمجًا مستقرًا.
مسار الجراحة القابل للتحقق: نهج مستقر عددياً يستخدم اختيار البروز والمعايرة الغاوسية لإنتاج شهادة حذف الوسيط (MDC)، مما يوفر ضمانات رياضية للحذف دون الحاجة لإعادة تدريب كاملة.
التحقق التجريبي: أثبتت النتائج على معايير قياسية (CMU-MOSI, CMU-MOSEI, IEMOCAP) أن MBD يحقق أداءً يتفوق على الحالات المرجعية الحالية تحت أنظمة البيانات المفقودة ويقدم مقايضة قابلة للضبط بين الخصوصية والفائدة.

4. النتائج التجريبية

الأداء مع الوسائط الكاملة: يتفوق MBD على النماذج المرجعية الحالية (مثل HyCon, UniMSE, ConFEDE) في جميع الاختبارات الثلاثة، محققًا تحسينات كبيرة في الدقة (Acc7, Acc2)، وF1، والارتباط.
المتانة تجاه الوسائط المفقودة: في ظل أنماط فقدان ثابتة ومعدلات فقدان عالمية متفاوتة، يتفوق MBD باستمرار على المنافسين. على سبيل المثال، في CMU-MOSI مع توفر النص فقط، حقق MBD نسبة 88.9% في Acc2 مقارنة بـ 86.2% لأفضل طريقة تالية.
فعالية الحذف المعتمد:
- الخصوصية: بعد حذف الوسيط الصوتي مع ميزانية خصوصية محافظة ( $\epsilon_{mod} \le 1$ )، انخفض معدل نجاح الهجوم (ASR) للمهاجمين ذوي الصندوق الأبيض والأسود إلى مستويات قريبة من مستوى الصدفة (~50%).
- الفائدة: رغم الحذف، احتفظ النموذج بدقة عالية في تحليل المشاعر (على سبيل المثال، انخفضت Acc2 بنسبة ~1.0–1.5% فقط مقارنة بالنموذج الكامل).
- الكفاءة: استغرقت عملية الحذف الجراحي 39 ثانية على بطاقة RTX-3090، مقارنة بـ 2.9 ساعة كانت مطلوبة لإعادة التدريب الكامل من الصفر (تسريع بنحو 270 ضعفًا).
دراسات الاستئصال (Ablation Studies): أكدت أن مسار تضمين الخصائص ووحدة إعادة البناء هما المحركان الرئيسيان للمتانة، بينما توازن وحدة إلغاء التعلم بفعالية بين الخصوصية والفائدة.

5. الأهمية والأثر

الامتثال للخصوصية: يوفر MBD حلاً عمليًا وقابلاً للتدقيق لطلبات "الحق في النسيان" في الذكاء الاصطناعي متعدد الوسائط، متجاوزًا المفاهيم النظرية إلى مسار قابل للتطبيق مع شهادات قابلة للتحقق آليًا.
الكفاءة التشغيلية: من خلال تجنب إعادة التدريب الكاملة، يجعل MBD عملية إلغاء الوسائط ممكنة للأنظمة واسعة النطاق حيث تكون إعادة التدريب مكلفة للغاية.
الذكاء الاصطناعي المتين: يعزز الإطار بطبيعته متانة النموذج ضد البيانات المفقودة أو التالفة، مما يجعله مناسبًا للنشر في العالم الحقيقي حيث تكون جودة البيانات متغيرة.
الضمان النظري: يوفر استخدام حدود عدم التمييز المستوحاة من الخصوصية التفاضلية (DP) أساسًا رياضيًا صارمًا للادعاء بأنه قد تم حذف معلومات وسيطة محددة، مما يعالج فجوة كبيرة في أدبيات إلغاء التعلم الحالية.

باختصار، يمثل المفقود بالتصميم (Missing-by-Design) تقدمًا كبيرًا في التعلم متعدد الوسائط الحافظ للخصوصية، حيث يقدم نهجًا "جراحيًا" لإلغاء التعلم يتسم بالكفاءة الحوسبية والقابلية للتحقق الرياضي.