🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

يعالج FedTopo تحدي عدم توافق فضاءات التمثيل في التعلم الاتحادي غير المتجانس من خلال ترميز المعرفة العالمية كطوبولوجيا فئوية على مستوى العلاقات بدلاً من الميزات المطلقة، مما يتيح نقلاً موثوقاً للمعرفة وتحسينات متسقة في الأداء عبر بنيات العملاء المتنوعة دون عبء إضافي عند الاستدلال.

المؤلفون الأصليون: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه لكل هاتف ذكي، وساعة ذكية، وروبوت منزلي أن يتعلموا معاً ليصبحوا أكثر ذكاءً، ولكن دون مشاركة صورك أو رسائلك الخاصة أبداً. هذا هو حلم التعلم الاتحادي (Federated Learning). فبدلاً من جمع كل بياناتك في قاعدة بيانات واحدة ضخمة وعرضة للاختراق، يحدث التعلم مباشرة على جهازك. ترسل الأجهزة فقط "تحديثات" صغيرة عما تعلمته إلى خادم مركزي، والذي يقوم بخلطها معاً لإنشاء عقل عالمي أكثر ذكاءً.

ومع ذلك، هناك عقبة: ليس الجميع يمتلك نفس العتاد. فبعض الأجهزة عبارة عن حواسيب فائقة القوة، بينما البعض الآخر عبارة عن رقائق صغيرة موفرة للطاقة. في الأيام الخوالي لتعلم الآلة، كان على الجميع استخدام نفس "بنية الدماغ" تماماً ليتعلموا معاً. إذا كان لهاتفك "دماغ" مختلف عن دماغ جارك، فلن يتمكنا من فهم تحديثات بعضهما البعض. الأمر يشبه محاولة ترجمة كتاب مكتوب بالإنجليزية إلى لغة تستخدم حروفاً وقواعد لغوية مختلفة تماماً؛ حيث يضيع المعنى في الترجمة. تتناول هذه الورقة البحثية الواقع الفوضوي لهذه الأجهزة المتباينة التي تحاول التعاون.

المشكلة: محاولة دمج التفاح بالبرتقال

لاحظ مؤلفو هذه الورقة، FedTopo، أن الطرق الحالية لمساعدة هذه الأجهزة المتباينة على التعلم معاً كانت تحاول وضع وتد مربع في ثقب مستدير. تحاول معظم الطرق الحالية مشاركة "النماذج الأولية" (Prototypes). تخيل أن كل جهاز يأخذ لقطة لما يبدو عليه "القط" في مساحة الميزات الخاصة به ويرسل تلك اللقطة إلى الخادم. ثم يحاول الخادم دمج كل هذه اللقطات لإيجاد "القط المثالي".

لكن تكمن المشكلة هنا: نظرًا لأن كل جهاز لديه بنية مختلفة (دماغ مختلف)، فقد تبدو كلمة "قط" ككتلة ضبابية على أحد الهواتف وكشكل هندسي حاد على هاتف آخر. عندما تحاول دمج كتلة ضبابية مع شكل حاد، فإنك لا تحصل على قط أفضل، بل تحصل على فوضى مربكة تضلل الجميع. تجادل الورقة بأن محاولة محاذاة هذه الإحداثيات المطلقة (الموقع الدقيق لـ "القط" في مساحة رياضية) هي معركة خاسرة عندما تكون الأجهزة مختلفة جداً.

الحل: مشاركة الخريطة، لا الإحداثيات

بدلاً من محاولة الاتفاق على أين يقع "القط" في الكون، يقترح FedTopo أن نشارك فقط كيف ترتبط الأشياء ببعضها البعض. فكر في الأمر كالتالي:

تخيل أنك وصديقك تحاولان التنقل في مدينة ما، ولكن لديكما خرائط مختلفة. خريطتك تقول إن المكتبة تقع "شمال المتنزه"، بينما تقول خريطة صديقك إنها "فوق التلة". لا يمكنك دمج هاتين الخريطتين بسهولة لأن "الشمال" و"فوق" يعنيان أشياء مختلفة لكل منكما.

ومع ذلك، يمكنكما الاتفاق على العلاقات. يمكنكما الاتفاق على أن "المكتبة أقرب إلى المتنزه منها إلى المطار". هذه علاقة، وليست إحداثياً.

يعمل FedTopo من خلال جعل كل جهاز يبني "خريطة علاقات" (طوبولوجيا) لفئاته. هو لا يقول: "الفئة أ تقع عند الإحداثي (5، 10)". بدلاً من ذلك، يقول: "الفئة أ تشبه الفئة ب كثيراً، لكنها تختلف كثيراً عن الفئة ج". إنه يحسب مدى تشابه "القط" مع "الكلب" مقابل "الشاحنة" داخل دماغه المحلي.

كيف يعمل: الرسول الموثوق

العملية تشبه إلى حد ما مجموعة من المحققين الذين يحلون لغزاً باستخدام دفاتر ملاحظات مختلفة:

عمل المحقق المحلي: ينظر كل جهاز إلى بياناته الخاصة ويكتشف كيف ترتبط فئاته ببعضها. "مهلاً، 'القطط' و'الالكلاب' لدي تبدو متشابهة نوعاً ما، لكن 'القطط' و'الشاحنات' لدي مختلفة تماماً". يرسل هذا الجهاز خريطة العلاقات هذه إلى الخادم.
فلتر الثقة: يعرف الخادم أن بعض الأجهزة قد تمتلك صوراً قليلة جداً لـ "الشاحنات"، لذا فإن رأيها في كيفية ارتباط "الشاحنات" بـ "القطط" قد يكون مهزوزاً. يستخدم FedTopo "درجة موثوقية" خاصة لوزن الرسائل. إذا كان لدى الجهاز الكثير من البيانات، فإن خريطة علاقاته لها وزن أكبر. وإذا كان لديه القليل جداً، يتجاهل الخادم تخميناته المهزوزة.
الخريطة العالمية: يقوم الخادم بدمج خرائط العلاقات الموزونة هذه في "خريطة علاقات عالمية" واحدة فائقة الموثوقية.
الدرس: تُرسل هذه الخريطة العالمية مرة أخرى إلى الأجهزة. الآن، عندما يتعلم الجهاز، فإنه لا ينظر فقط إلى الصورة التي يحملها؛ بل ينظر إلى الخريطة العالمية ليرى أي الفئات الأخرى "متشابهة بشكل مربك". بعد ذلك، يتدرب بجدية أكبر على تلك الأزواج المربكة تحديداً لصقل مهاراته.

ماذا وجدوا؟

اختبر المؤلفون هذه الفكرة على ثلاث مجموعات بيانات مختلفة (CIFAR-10، CIFAR-100، وTiny-ImageNet) باستخدام ثمانية أنواع مختلفة تماماً من بنيات الشبكات العصبية (تتراوح من شبكات CNN البسيطة إلى شبكات ResNets المعقدة). لقد قاموا بمحاكاة عالم فوضوي حيث كانت البيانات موزعة بشكل غير متساوٍ (بعض الأجهزة كانت تمتلك قططاً فقط، وأخرى كانت تمتلك شاحنات فقط).

كانت النتائج واضحة: تفوق FedTopo باستمرار على جميع الطرق الأخرى.

في مجموعة بيانات CIFAR-10، وصل إلى دقة قدرها 87.38% في الإعداد غير المتوازن القياسي، متفوقاً على أفضل طريقة تالية بفارق ملموس.
في الإعداد الأكثر صعوبة "المرضي" (حيث تمتلك الأجهزة فئات قليلة جداً)، حقق 86.26%، متصدراً المجموعة أيضاً.
عمل بنفس الكفاءة على مجموعات البيانات الأكبر والأصعب مثل CIFAR-100 وTiny-ImageNet.

والأهم من ذلك، تظهر الورقة أن هذه الطريقة فعالة للغاية. فهي لا تتطلب إرسال ملفات نماذج ضخمة ذهاباً وإياباً. فهي ترسل فقط جداول علاقات صغيرة (فقط 110 بارامترات للرفع و200 للتنزيل لمشكلة مكونة من 10 فئات). بالإضافة إلى ذلك، فإنها لا تضيف أي تكلفة إضافية عند استخدام الجهاز فعلياً (الاستدلال)، لأن خريطة العلاقات تُستخدم فقط أثناء مرحلة التدريب للمساعدة في تعلم الجهاز بشكل أسرع.

الخلاصة

يثبت FedTopo أنه عندما تكون الأجهزة مختلفة جداً بحيث لا يمكنها الاتفاق على "إحداثيات" المعرفة الدقيقة، فإنها لا تزال قادرة على التعلم معاً من خلال الاتفاق على "العلاقات" بين الأفكار. ومن خلال التركيز على كيفية ارتباط الفئات ببعضها البعض بدلاً من مكان وجودها في فراغ رياضي، ومن خلال تصفية التخمينات غير الموثوقة، تسمح هذه الطريقة لمجموعة متنوعة من الأجهزة ببناء ذكاء جماعي أكثر ذكاءً وقوة دون الحاجة إلى مركزية بياناتها الخاصة. إنها طريقة أذكى للتعلم معاً، حتى عندما يتحدث الجميع لغات مختلفة قليلاً.

ملخص تقني: FedTopo

بيان المشكلة

يتيح التعلم الاتحادي (Federated Learning - FL) التدريب التعاوني عبر صوامع بيانات لامركزية دون مركزية البيانات الخام. ومع ذلك، يفترض التعلم الاتحادي القياسي وجود بنيات عميل متطابقة، وهو أمر غير عملي غالباً بسبب تباين الموارد الحسابية وقيود النشر. يعالج التعلم الاتحادي متباين النماذج (Model-heterogeneous FL) هذه المشكلة من خلال السماح للعملاء باستخدام بنيات أساسية (backbone architectures) مختلفة.

يتمثل التحدي الجوهري في التعلم الاتحادي متباين النماذج في نقل المعرفة العالمية عبر فضاءات تمثيل غير متوافقة. تتبادل النماذج الحالية المعرفة عبر:

المشاركة الجزئية للمعلمات (Partial Parameter Sharing): تتطلب فضاءات معلمات متوافقة وبنيات متوافقة.
تقطير المعرفة (Knowledge Distillation): يتطلب فضاء مخرجات مشتركاً أو بيانات عامة مساعدة لمحاذاة التنبؤات.
مشاركة النماذج الأولية (Prototype Sharing): تبادل النماذج الأولية لكل فئة (إحداثيات الميزات).

تشفّر جميع هذه النماذج الثلاثة المعرفة في فضاء مطلق (الأوزان، أو الـ logits، أو إحداثيات الميزات) الذي يجب محاذاته عبر العملاء. وتحت بنيات متباينة، قد تشفر نفس أبعاد الميزة عوامل دلالية مختلفة عبر العملاء. وبناءً على ذلك، فإن المتوسط المباشر للنماذج الأولية أو المعلمات يؤدي إلى معرفة عالمية غير موثوقة ويوجه التدريب المحلي بشكل خاطئ.

المنهجية: FedTopo

يقترح المؤلفون FedTopo (التعلم الموجه بالطوبولوجيا الاتحادية)، وهو إطار عمل ينقل التركيز من مشاركة الإحداثيات المطلقة إلى مشاركة طوبولوجيا العلاقات على مستوى الفئات. بدلاً من السؤال "أين تقع الفئة في فضاء الميزات؟"، يسأل FedTopo "كيف ترتبط الفئات ببعضها البعض داخل فضاء العميل المحلي؟".

يعمل الإطار عبر ثلاث مراحل:

1. بناء الطوبولوجيا على مستوى العلاقات (جانب العميل)

يقوم كل عميل $k$ بتدريب نموذجه المتباين المحلي على بياناته الخاصة.

استخراج النماذج الأولية: يحسب العميل النماذج الأولية للفئات $p_{k,c}$ (متوسط تمثيلات الميزات) للفئات الموجودة في مجموعة بياناته المحلية.
بناء مصفوفة العلاقات: بدلاً من رفع النماذج الأولية، يحسب العميل مصفوفة علاقات محلية $R_k \in [0, 1]^{C \times C}$ . يمثل المدخل $R_k(c, c')$ تشابه جيب التمام (cosine similarity) بين النماذج الأولية للفئة $c$ والفئة $c'$ ، مع إعادة تحجيمه إلى النطاق $[0, 1]$ .
الإحصائيات: يسجل العميل أعداد عينات الفئات $n_k$ لتحديد الدعم الإحصائي لهذه العلاقات.
الرفع: يتم رفع مصفوفة العلاقات $R_k$ والإحصائيات $n_k$ فقط. وتظل النماذج الأولية وإحداثيات الميزات محلية.

2. تجميع الطوبولوجيا العالمية الواعي بالموثوقية (جانب الخادم)

يقوم الخادم بتجميع العلاقات المحلية في طوبولوجيا عالمية $R_g$ ومصفوفة موثوقية $S_g$ .

الحجب (Masking): يستبعد قناع ثنائي $M_k$ أزواج الفئات غير المرصودة لدى عميل معين.
توزين الموثوقية: يتم حساب وزن $w_k(c, c')$ بناءً على المتوسط التوافقي لأعداد العينات للفئتين. العلاقات المدعومة بعدد قليل من العينات يتم خفض وزنها.
التجميع: يكون الارتباط العالمي $\tilde{R}_g$ متوسطاً موزوناً بالموثوقية للعلاقات المحلية الصالحة.
مصفوفة الموثوقية: تتبع $S_g$ مقدار الأدلة النسبية التي تدعم كل زوج من العلاقات العالمية.
التنعيم (Smoothing): يتم تطبيق المتوسط المتحرك الأسي (EMA) على $R_g$ لتقليل التقلبات من جولة إلى أخرى.
البث: يبث الخادم $(R_g, S_g)$ إلى العملاء.

3. التدريب المحلي الموجه بالطوبولوجيا (جانب العميل)

يستخدم العملاء الطوبولوجيا العالمية لشحذ حدود القرار المحلية دون محاذاة فضاءات الميزات.

اختيار التوجيه: بالنسبة لعينة تدريب ذات حقيقة أرضية $y$ ، يختار العميل أفضل $q$ من الفئات السلبية الأكثر تشابهاً طوبولوجياً مع $y$ (بناءً على $R_g$ ) والأكثر دعماً من حيث الموثوقية (بناءً على $S_g$ ).
تعديل الـ Logit: يتم زيادة قيم الـ logits لهذه الفئات السلبية المختارة بمعامل $\gamma$ .
دالة الخسارة: تجمع الخسارة المحلية بين خسارة الإنتروبيا المتقاطعة القياسية وحداً إضافياً يعاقب النموذج إذا فشل في التمييز بين الحقيقة الأرضية وهذه الفئات السلبية "الصعبة".
الاستدلال: تُستخدم الطوبولوجيا العالمية أثناء التدريب فقط. في وقت الاستدلال، يستخدم العملاء نماذجهم المحلية الأصلية، مما يعني عدم وجود عبء إضافي عند الاستدلال.

المساهمات الرئيسية

مشاركة المعرفة على مستوى العلاقات: يعد FedTopo أول إطار عمل يشارك المعرفة العالمية كـ طوبولوجيا علاقات الفئات بدلاً من المعلمات أو الـ logits أو إحداثيات النماذج الأولية. هذا يخفف فرضية المحاذاة عبر العملاء إلى فرضية الاتساق داخل العميل الواحد.
التجميع الواعي بالموثوقية: تقدم الطريقة آلية لخفض وزن العلاقات غير الموثوقة الناتجة عن البيانات الشحيحة أو الدعم الضعيف، مما يضمن متانة الطوبولوجيا العالمية تجاه توزيعات البيانات غير المتماثلة (non-IID).
التدريب الموجه بالطوبولوجيا: هدف تدريب مبتكر يستفيد من الطوبولوجيا العالمية للتأكيد على الفئات السلبية المربكة، مما يحسن التمييز المحلي دون الحاجة إلى محاذاة فضاء الميزات.
الكفاءة: يحقق الإطار أداءً يضاهي أحدث المعايير بتكاليف اتصال منخفضة (تتدرج مع $O(C^2)$ بدلاً من $O(C \times d)$ ) و**بدون عبء عند الاستد.

النتائج التجريبية

قيم المؤلفون FedTopo على مجموعات بيانات CIFAR-10 و CIFAR-100 و Tiny-ImageNet تحت ظروف Dirichlet و Pathological غير المتماثلة (non-IID)، باستخدام ثماني بنيات متباينة (تتراوح من CNN إلى ResNet-152).

الأداء: تفوق FedTopo باستمرار على النماذج المرجعية عبر جميع نماذج مشاركة المعرفة الثلاثة (المعلمات، التقطير، ومشاركة النماذج الأولية).
- في CIFAR-10 (Dirichlet $\alpha=0.1$ )، حقق FedTopo دقة 87.38%، متفوقاً على أفضل نموذج مرجعي (FedSCE بنسبة 86.18%) بمقدار 1.2 نقطة.
- في CIFAR-100 (Pathological)، حقق 59.30%، متفوقاً على أفضل نموذج مرجعي (FedMRL بنسبة 57.45%) بمقدار 1.85 نقطة.
المتانة: اتسعت فجوة الأداء مع زيادة تباين النماذج وانحراف البيانات، مما يثبت أن طوبولوجيا مستوى العلاقات أكثر قابلية للانتقال من الإحداثيات المطلقة.
دراسة الاستئصال (Ablation Studies): أدى حذف أي مكون (توزين الموثوقية، اختيار Top-q، الحجب الواعي بالبيانات المفقودة، أو EMA) إلى تراجع الأداء، مما يؤكد ضرورة التصميم الكامل.
التكلفة: تطلب FedTopo رفع 110 معلمات فقط وتحميل 200 معلمة في كل جولة في CIFAR-10، وهو أقل بكثير من طرق مشاركة النماذج الأولية (5,120 معلمة). كما أضاف عمليات حسابية (FLOPs) ضئيلة جداً أثناء التدريب وصفر عمليات حسابية أثناء الاستدلال.

الأهمية والادعاءات

يدعي البحث أن FedTopo يوفر حلاً أكثر متانة للتعلم الاتحادي متباين النماذج من خلال تغيير جوهري في طبيعة المعرفة المشتركة. ومن خلال الانتقال من محاذاة الإحداثيات المطلقة (التي تفشل تحت البنيات المتباينة) إلى اتساق العلاقات النسبية (الذي يتم الحفاظ عليه عبر فضاءات الميزات المختلفة)، تمكن الطريقة من التعاون الفعال دون الحاجة إلى بنيات مشتركة، أو بيانات مساعدة، أو محاذاة الميزات.

يؤكد المؤلفون أن هذا النهج:

يتجنب مشكلة "النماذج الأولية العالمية غير الموثوقة" المتأصلة في مشاركة النماذج الأولية.
يعمل بفعالية في الإعدادات الخالية من البيانات (لا تتطلب بيانات عامة مساعدة).
يقدم نقلاً إيجابياً حتى في الإعدادات عالية التخصيص حيث تكون النماذج المحلية قوية بالفعل.
يحافظ على تكاليف اتصال وحوسبة منخفضة، مما يجعله عملياً للأجهزة الطرفية محدودة الموارد.

يخلص العمل إلى أن طوبولوجيا مستوى العلاقات هي حامل متفوق للمعرفة العالمية في التعلم الاتحادي متباين النماذج، حيث توفر توازناً بين القابلية للانتقال، والمتانة، والكفاءة التي تفتقر إليها النماذج الحالية. ويُقترح كعمل مستقبلي توسيع هذا إلى سيناريوهات متعددة الوسائط والأنظمة مفتوحة المجموعة.