Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity
تقترح هذه الورقة FedMPO، وهو إطار عمل قوي للتعلم الرسومي متعدد الوسائط في بيئة التعلم الاتحادي، يعالج عدم تجانس الوسائط وعزل البيانات من خلال التوليد عبر الوسائط المدرك للطوبولوجيا، وتوجيه الخبراء المدرك للبيانات المفقودة، والتجميع المدرك للموثوقية للتفوق على الأساليب الحالية في حالات فقدان البيانات العالية وعدم استقلال وتوزيع البيانات (non-IID).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مجموعة من الأصدقاء يحاولون حل لغز ضخم ومعقد معاً. كل صديق لديه قطعة من اللغز، ولكن هناك مشكلتان كبيرتان:
- الخصوصية: لا يمكنهم إظهار قطع اللغز الفعلية لبعضهم البعض (بسبب قواعد الخصوصية).
- القطع المفقودة: بعض الأصدقاء يفتقدون أقساماً كاملة من لغزهم. ربما فقدوا صورة السماء، أو جزء الأشجار.
هذا هو بالضبط ما يحاول بحث FEDMPO حله. الأمر يتعلق بتعليم الحواسيب (تحديداً "تعلم الرسوم البيانية متعدد الوسائط الاتحادي") كيف تعمل معاً على هذه الألغاز دون مشاركة البيانات الخام، حتى عندما تكون بعض البيانات مفقودة.
إليك شرح مبسط لكيفية قيامهم بذلك، باستخدام تشبيهات من الحياة اليومية.
المشكلة: معضلة "اللغز المكسور"
في العالم الحقيقي، تأتي البيانات غالباً في أشكال مختلفة (وسائط متعددة)، مثل النصوص، الصور، والأرقام. أحياناً، تمتلك شركة أو شخص ما الصورة ولكن ليس النص، أو العكس.
- الطريقة القديمة 1 (المركزية): تخيل أن الجميع يرسلون قطع لغزهم عبر البريد إلى طاولة واحدة كبيرة لحلها. هذا يعمل بشكل رائع، ولكن في العالم الحقيقي، لا يمكنك إرسال صورك أو بياناتك الخاصة عبر البريد إلى خادم مركزي.
- الطريقة القديمة 2 (اتحادية ولكن بسيطة): تخيل أن الجميع يحتفظون بقطعهم في منازلهم ويرسلون فقط "ملخصاً" لتقدمهم إلى قائد. يقوم القائد بمتوسط هذه الملخصات. ولكن إذا كان أحد الأصدقاء يفتقد نصف لغزه، فإن ملخصه سيكون مجرد تخمين. وإذا قام القائد بمتوسط هذه التخمينات بشكل أعمى، فإن الصورة النهائية ستصبح ضبابية وخاطئة.
أدرك المؤلفون أن الطرق الموجودة إما تجاهلت قواعد الخصوصية أو لم تعرف كيف تتعامل مع "القطع المفقودة" بفعالية عند العمل في مجموعة.
الحل: FEDMPO (القائد الذكي للفريق)
ابتكر المؤلفون نظاماً جديداً يسمى FEDMPO. فكر فيه كقائد فريق ذكي يعرف كيف يساعد الأصدقاء في ملء قطع اللغز المفقودة لديهم باستخدام أدلة من جيرانهم، دون رؤية القطع المفقودة الفعلية أبداً.
إليك كيف يعمل FEDMPO في أربع خطوات:
1. "كشاف الحي" (التوليد المدرك للبنية الطوبولوجية)
عادةً، إذا كنت تفتقد قطعة من اللغز، فقد تخمن شكلها بناءً على القطع الموجودة بجانبها مباشرة.
- الابتكار: لا ينظر FEDMPO فقط إلى القطع المجاورة لك مباشرة، بل ينظر إلى "الحي" بأكم له. إذا كان صديقك يفتقد صورة "شجرة"، ولكن جاره لديه صورة "غابة" والصديق الذي يليه لديه صورة "سماء"، فإن FEDMPO يستخدم تلك الأدلة المحيطة لتخمين كيف يجب أن تبدو الشجرة المفقودة.
- لماذا هذا مهم: إنه يستخدم هيكل الشبكة (من متصل بمن) لتقديم تخمينات أفضل مما لو نظر إلى بياناتك الخاصة فقط.
2. "فلتر الثقة" (توجيه الخبراء المدرك للنقص)
الآن، تخيل أن صديقك وضع تخميناً حول القطعة المفقودة. هل هذا التخمين جيد؟ ربد أنه يمتلك الكثير من الأدلة، لذا فهو تخمين رائع. أو ربما لديه أدلة قليلة جداً، لذا فهو تخمين عشوائي وسيء.
- الابتكار: يحتوي FEDMPO على "فلتر ثقة". فهو يتحقق من مدى ثقة التخمين.
- إذا كان التخمين عالي الثقة، فإنه يمزجه مع القطع الحقيقية.
- إذا كان التخمين منخفض الثقة (مشوش)، فإن الفلتر يقول: "تمهل، قد يكون هذا خطأ"، ويعطيه وزناً أقل.
- إذا كان التخمين سيئاً للغاية، يتجاهله النظام ويعتمد فقط على بنية اللغز نفسه (الروابط) بدلاً من التخمين السيئ.
- لماذا هذا مهم: إنه يمنع التخمينات السيئة من إفساد الصورة النهائية.
3. "التصويت العادل" (التجميع المدرك للموثوقية)
أخيراً، يرسل الجميع تقرير تقدمهم إلى القائد.
- المشكلة: في الأنظمة القديمة، كان القائد يكتفي بعدّ عدد القطع التي يمتلكها كل شخص. إذا كان لدى شخص ما 1,000 قطعة ولكن 900 منها كانت تخمينات سيئة، فإن أفكاره السيئة ستسيطر على الصورة النهائية للمجموعة.
- الابتكار: ينظر قائد FEDMPO إلى جودة التقرير، وليس فقط حجمه.
- "لديك العديد من القطع، ولكن 'فلتر الثقة' الخاص بك قال إنها تخمينات مهتزة. لذا، صوتك يقل تأثيره."
- "لديك قطع أقل، ولكن تخميناتك كانت موثوقة جداً. لذا، صوتك أكثر تأثيراً."
- لماذا هذا مهم: إنه يمنع المجموعة من الانجرار وراء البيانات غير الموثوقة.
النتائج: صورة أكثر وضوحاً
اختبر المؤلفون هذا النظام على ستة "ألغاز" مختلفة (مجموعات بيانات) تتضمن أشياء مثل سلع التسوق، فيديوهات الرقص، ومنشورات وسائل التواصل الاجتماعي. لقد قاموا بمحاكاة مواقف كانت فيها البيانات مفقودة وكانت بيانات الجميع مختلفة جداً عن بعضها البعض.
- النتيجة: حل FEDMPO الألغاز بشكل أفضل من أي طريقة سابقة.
- المكاسب: في أصعب السيناريوهات (حيث كانت البيانات مفقودة جداً ومختلفة جداً)، حسن FEDMPO الدقة بنسبة تصل إلى 5.65%. قد يبدو هذا الرقم صغيراً، ولكن في عالم الذكاء الاصطناعي، هذه قفزة هائلة للأمام.
ملخص
فكر في FEDMPO كفريق ذكي من المحققين يحل لغزاً غامضاً.
- لا يمكنهم مشاركة دفاتر ملاحظاتهم الخاصة (الخصوصية).
- بعض المحققين لديهم صفحات ممزقة (البيانات المفقودة).
- بدلاً من التخمين الأعمى، يستخدمون الأدلة من جيرانهم لملء الفجوات (المدرك للبنية).
- يتحققون مما إذا كانت الأدلة موثوقة قبل استخدامها (فلتر الثقة).
- يزن قائد الفريق تقارير المحققين بناءً على مدى موثوقيتها، وليس فقط بناءً على عدد الكلمات التي كتبوها (التصويت العادل).
النتيجة هي حل أكثر قوة ودقة وموثوقية من الطرق السابقة، حتى عندما تكون البيانات فوضوية وغير مكتملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.