🤖 machine learning

Enabling Federated Inference via Unsupervised Consensus Embedding

تقترح هذه الورقة إطار عمل الاستدلال الفيدرالي القائم على التضمين التوافقي (CE-FI)، والذي يُمكّن النماذج مسبقة التدريب غير المتجانسة من التعاون أثناء عملية الاستدلال دون مشاركة البيانات الخام، أو معاملات النموذج، أو مشفر مشترك، وذلك عبر الاستفادة من التوافق غير الخاضع للإشراف وطبقات المخرجات التعاونية التي يتم تدريبها حصرياً على بيانات غير مصنفة مشتركة.

المؤلفون الأصليون: Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yui Hashimoto, Takayuki Nishio, Yuichi Kitagawa, Takahito Tanimura

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في غرفة مع عدة خبراء، كل منهم سيد في مجال مختلف؛ أحدهم عالم نبات عبقري، والآخر ميكانيكي رفيع المستوى، والثالث طاهٍ محنك. لكل منهم دفاتر ملاحظاته الخاصة (نماذجه) المليئة بسنوات من التدريب، لكن يُمنع عليهم إظهار دفاتر ملاحظاتهم لبعضهم البعض، ولا يمكنهم حتى إظهار الصور أو الأشياء الخام التي ينظرون إليها.

الآن، تخيل وضع جسم غامض أمامهم. كيف يمكنهم العمل معاً لتحديد ماهيته دون كسر القواعد؟

هذه هي المشكلة التي تحلها ورقة البحث المعنونة بـ "تمكين الاستدلال الاتحادي عبر تضمين التوافق غير الخاضع للإشراف" (أو CE-FI اختصاراً). وإليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة.

المشكلة: "برج بابل"

في عالم الذكاء الاصطناعي، غالباً ما تمتلك الحواسيب المختلفة "لغات" مختلفة.

الطريقة القديمة: لكي تعمل الحواسيب معاً، كان عليها عادةً إما مشاركة بياناتها الخام (مثل إرسال صورة لأشعة سينية لمريض إلى خادم مركزي) أو مشاركة "عقلها" الداخلي (معلمات النموذج).
مشكلة الخصوصية: المستشفيات والبنوك والشركات لا يمكنها فعل ذلك. لا يمكنهم إرسال صور خاصة، ولا يمكنهم السماح للمنافسين برؤية خواروارزمياتهم السرية.
مشكلة "المترجم المشترك": حاولت بعض الطرق السابقة حل هذه المشكلة عبر إجبار الجميع على استخدام "مترجم" واحد (مشفر مشترك). ولكن ماذا لو تم توظيف الخبراء بالفعل وتدريبهم باستخدام مترجمين مختلفين؟ لا يمكنك طردهم وجعلهم جميعاً يستخدمون نفس المترجم.

الحل: CE-FI (الـ "مصافحة العالمية")

يقترح المؤلفون نظاماً جديداً يسمى CE-FI. فكر في الأمر كمصافحة سحرية تسمح لهؤلاء الخبراء بفهم بعضهم البعض دون أن يرى أي منهم دفاتر ملاحظات الآخر أو الشيء الخام.

إليك العملية خطوة بخوان:

1. "الفكرة الداخلية" (الميزات الوسيطة)

عندما ينظر الخبير إلى جسم ما (مثل صورة)، فإن عقله لا يخرج بإجابة نهائية فوراً. أولاً، يشكل "فكرة داخلية" أو مسودة ذهنية لما يراه. في مصطلحات الذكاء الاصطناي، يسمى هذا ميزة وسيطة (Intermediate Feature).

القاعدة: لا يمكن للخبراء إظهار الصورة الخام، لكن يمكنهم مشاركة هذه "المسودة الذهنية" مع المجموعة.

2. "تضمين التوافق" (المترجم العالمي)

هذا هو الجزء الصعب: المسودة الذهنية لعالم النبات تبدو مختلفة عن المسودة الذهنية للميكانيكي، حتى لو كانا ينظران إلى نفس السيارة. فهما يتحدثان "لغات ميزات" مختلفة.

الابتكار: يضيف CE-FI طبقة خاصة تسمى طبقة تضمين التوافق (Consensus Embedding - CE).
التشبيه: تخيل أن على عالم النبات والميكانيكي ترجمة مسوداتهما الذهنية الفريدة إلى لغة واحدة عالمية (مثل "الإيموجي العالمي").
كيف يتعلمون: يتعلمون هذه الترجمة باستخدام كومة من الصور غير المصنفة (صور بدون إجابات) يتشاركها الجميع. إنهم يلعبون لعبة حيث يحاولون جعل "مسودات الإيموجي العالمي" الخاصة بهم تبدو متشابهة قدر الإمكان لنفس الجسم. هم لا يحتاجون لمعرفة ما هو الجسم (لا حاجة للتصنيفات)، هم فقط يحتاجون للاتفاق على كيفية وصفه.

3. "المخرج التعاوني" (التخمين النهائي)

بمجرد إنشاء "الإيموجي العالمي"، يتلقى كل خبير هذا الإيموجي.

يأخذ عالم النبات الإيموجي ويقول: "بناءً على تدريبي، هذا الإيموجي يعني 'زهرة'".
يأخذ الميكانيكي نفس الإيموجي ويقول: "بناءً على تدريبي، هذا الإيموجي يعني 'سيارة'".
القرار النهائي: يقومون بدمج تخميناتهم. إذا كان عالم النبات واثقاً جداً والميكانيكي مرتبكاً، فإن النظام يستمع أكثر لعالم النبات. وهذا ما يسمى الجمع (Ensemble).

لماذا يعد هذا أمراً مهماً؟

يدعي البحث تحقيق ثلاث انتصارات رئيسية:

الخصوصية أولاً: لا تغادر أي بيانات خام (صور) الجهاز. ولا يتم مشاركة أي "عقل" سري (معلمات النموذج). فقط يتم تبادل "الإيموجي العالمي" (تضمين التوافق).
لا حاجة للغة مشتركة: يعمل النظام حتى لو تم تدريب الخبراء على حواسيب مختلفة تماماً وببنى هندسية مختلفة. لا يحتاجون للاتفاق على مترجم مشترك مسبقاً؛ بل يبنون واحداً معاً أثناء العمل.
لا حاجة للواجبات المنزلية: عادةً، لجعل الذكاء الاصطناعي يعمل معاً، تحتاج إلى كومة ضخمة من البيانات المصنفة (صور مع إجابات مثل "هذه قطة"). يتطلب CE-FI فقط بيانات غير مصنفة (مجرد صور). إنه يستنتج قواعد التعاون بنفسه (التعلم الخاضع للإشراف الذاتي).

النتائج: هل نجح الأمر؟

اختبر المؤلفون هذا على:

الصور: التعرف على صور الحيوانات والأشياء (CIFAR-10 و CIFAR-100).
النصوص: تصنيف أنواع الأفلام.
السلاسل الزمنية: التعرف على حركات الإنسان (مثل المشي مقابل الجلوس).

النتائج:

أفضل بمفردهم: العمل معاً (CE-FI) كان دائماً أفضل تقريباً من العمل بمفرده (الاستدلال الفردي)، حتى عندما كان للخبراء معرفة مختلفة تماماً (على سبيل المثال، أحدهم يعرف فقط عن القطط، والآخر يعرف فقط عن الكلاب).
قريب من المثالية: كان أداؤه قريباً جداً من الأنظمة التي شاركت البيانات الخام أو التي امتلكت مترجماً مشتركاً، ولكن دون مخاطر الخصوصية.
العائق: الشيء الوحيد الذي منع النظام من أن يكون مثالياً هو مدى جودة محاذاة "الإيموجي العالمي" (تضمين التوافق). إذا لم يستطع الخبراء الاتفاق تماماً على الترجمة، فإن الإجابة النهائية تتأثر.

ملاحظة حول الخصوصية (اختبار "إعادة البناء")

كان المؤلفون قلقين: "إذا شاركنا مسودات 'الإيموجي العالمي' هذه، فهل يمكن لمخترق عكس هندستها لرؤية الصورة الأصلية؟"

الاختبار: حاولوا إعادة بناء الصور الأصلية من المسودات المشتركة باستخدام ذكاء اصطناعي مهاجم.
النتيجة: كانت الصور المعاد بناؤها ضبابية، مشوشة، وغير قابلة للتمييز. كان الأمر أشبه بمحاولة تخمين وجه من خلال رسم تجريدي للغاية. ورغم أنه ليس من المستحيل تماماً مهاجمته، إلا أن الأمر كان صعباً للغاية، مما يشير إلى أن الطريقة آمنة بشكل معقول.

الملخص

CE-FI هو طريقة جديدة لتعاون نماذج الذكاء الاصطناي. إنه يشبه مجموعة من الخبراء الذين لا يمكنهم إظهار ملاحظاتهم أو الجسم الذي يدرسونه، ولكن يمكنهم جميعاً الاتفاق على مجموعة من الرموز المجردة لوصف الجسم. من خلال تعلم الاتفاق على هذه الرموز باستخدام مجرد كومة من الصور العشوائية، يمكنهم حل المشكلات معاً بدقة أكبر مما يمكن لأي منهم فعله بمفرده، كل ذلك مع الحفاظ على أسرارهم آمنة.

ملخص تقني: الاستدلال الفيدرالي القائم على التضمين التوافقي (CE-FI)

1. بيان المشكلة

تتناول الورقة البحثية تحدي تمكين الاستدلال التعاوني عبر نماذج تعلم آلي متعددة ومنتشرة بشكل مستقل في بيئات موزعة. وبينما يوجد طلب متزايد للاستفادة من نماذج متعددة لتحسين أداء الاستدلال، تواجه الأطر الحالية قيوداً كبيرة في الإعدادات الحساسة للخصوصية أو العابرة للمؤسسات:

التعلم الفيدرالي (FL): يتطلب عادةً مشاركة تحديثات النموذج أو المعلمات، مما ينطوي على مخاطر هجمات عكس النموذج وينتهك قيود الملكية الفكرية.
الاستدلال الفيدرالي القياسي (FI): يفترض غالباً أن جميع العملاء يتشاركون نفس بيانات المدخلات الخام أو يستخدمون بنية مشفر (Encoder) مشتركة لإنتاج تمثيلات وسيطة متوافقة.
نهج مجمع الحافة (Edge Ensemble): يعتمد على مشفر مشترك، وهو أمر غير ممكن غالباً عندما تكون النماذج غير متجانسة (بنيات مختلفة) أو عندما يُمنع حتى الكشف الجزئي عن النموذج.

وبناءً على ذلك، لا يوجد إطار عمل حالي يسمح للنماذج المدربة مسبقاً وغير المتجانسة بالتعاون وقت الاستدلال دون مشاركة المدخلات الخام، أو معلمات النموذج، أو افتراض وجود مشفر مشترك، ودون الحاجة إلى بيانات مصنفة لمرحلة التعاون.

2. المنهجية: إطار عمل CE-FI

تقترح المؤلفة الاستدلال الفيدرالي القائم على التضمين التوافقي (CE-FI)، وهو إطار عمل مصمم لربط فضاءات الميزات غير المتجانسة باستخدام التمثيلات الوسيطة والبيانات غير المصنفة فقط.

نموذج النظام

البيئة: إعداد عابر للصوامع (cross-silo) يضم $K$ من الأجهزة، كل منها يمتلك نموذجاً مدرباً مسبقاً محلياً $M_k$ (يتكون من شبكة رأس $M^H_k$ وشبكة ذيل $M^T_k$ ).
القيود: لا يمكن للأجهزة مشاركة المدخلات الخام $x$ ، أو معلمات النموذج، أو البنيات. يمكنها فقط مشاركة الميزات الوسيطة.
افتراض البيانات: تتوفر مجموعة بيانات غير مصنفة مشتركة $D_{share}$ لجميع الأجهزة (مثل سجلات عامة أو بيانات مستشعرات)، ولكن لا تتوفر أي بيانات مصنفة لمرحلة التدريب التعاوني.

المكونات الأساسية

يقدم CE-FI طبقتين قابلتين للتعلم لكل جهاز، يتم تدريبهما بطريقة ذاتية الإشراف:

طبقة التضمين التوافقي (CE) ( $F_k$ ):
- الوظيفة: تقوم بخرائط الميزة الوسيطة الخاصة بالجهاز $z_k = M^H_k(x)$ إلى فضاء تضمين مشترك ومستقل عن الجهاز $z'_k = F_k(z_k)$ .
- التدريب: يتم تحسينها عبر التعلم التبايني (تحديداً تقريب لخسارة NT-Xent) باستخدام البيانات غير المصنفة المشتركة. الهدف هو محاذاة التضمينات من أجهزة مختلفة لنفس عينة المدخلات نحو مركز مشترك، وتقليل المسافة بين $z'_i$ و $z'_j$ لنفس الـ $x$ .
- الخصوصية: يتم تبادل التضمينات التوافقية فقط؛ بينما تظل المدخلات الخام والميزات الوسيطة الأصلية محلية.
طبقة المخرجات التعاونية (CO) ( $G_k$ ):
- الوظيفة: تقوم بخرائط التضمين التوافقي $z'_k$ مرة أخرى إلى لوغاريتمات (logits) مخرجات خاصة بالمهمة $m'_k = G_k(z'_k)$ .
- التدريب: يتم تحسينها عبر تقطير المعرفة باستخدام النموذج المحلي المدرب مسبقاً كـ "معلم". تقلل طبقة CO من تباعد كولباك - ليبلر (KL divergence) بين مخرجاتها ولوغاريتمات شبكة الذيل للنموذج المحلي ( $M^T_k$ ) على البيانات غير المصنفة المشتركة.
- الهدف: تمكين الجهاز من توليد تنبؤات دقيقة بناءً فقط على التضمين التوافقي المشترك.

الاستدلال والتجميع

أثناء الاستدلال، يعالج الجهاز مدخلاً $x$ من خلال رأسه وطبقات CE لتوليد تضمين توافقي، والذي يتم مشاركته مع الأجهزة الأخرى. يقوم كل جهاز مستلم بمعالجة هذا التضمين عبر طبقة CO الخاصة به لتوليد اللوغاريتمات.

استراتيجية التجميع: تقيم الورقة طرق تجميع متنوعة. وتبرز أن طريقة الطاقة الدنيا (Minimum Energy) (اختيار الجهاز ذو أدنى درجة طاقة مشتقة من اللوغاريتمات) فعالة للتعامل مع عينات خارج التوزيع (OOD) وعدم تطابق التصنيفات الشديد، وغالباً ما تتفوق على المتوسط البسيط أو التصويت في الإعدادات شديدة عدم التجانس (non-IID).

3. المساهمات الرئيسية

تحدد الورقة أربعة مساهمات رئيسية:

الاستدلال التعاوني بدون مشاركة المدخلات أو النماذج: يحقق CE-FI تعاوناً عبر النماذج المدربة مسبقاً وغير المتجانسة دون مشاركة المعلمات، أو المدخلات الخام، أو افتراض وجود مشفر مشترك. يعتمد فقط على تبادل الميزات الوسيطة والتعلم ذاتي الإشراف.
التدريب ذاتي الإشراف: يقدم إطار العمل طبقة تضمين قائمة على التعلم التبايني وطبقة تنبؤ قائمة على تقطير المعرفة، وكلاهما يتم تدريبه حصرياً على بيانات غير مصنفة، مما يقلل تكاليف التوسيم (annotation).
التوصيف النظري: يحلل المؤلفون رسمياً العلاقة بين CE-FI والاستدلال التقليدي القائم على مشاركة المدخلات (Input-sharing FI). ويوضحون أنه في ظل ظروف المحاذاة المثالية، يكون CE-FI مكافئاً نظرياً لـ Input-sharing FI، ويستنتجون حدوداً تظهر أن تدهور الأداء يتناسب طردياً مع الخطأ في محاذاة التضمين التوافقي.
التقييم الشامل: تثبت التجارب المكثفة عبر مهام الصور (CIFAR-10/100)، والنصوص (IMDB)، والسلاسل الزمنية (UCI-HAR) تحت ظروف متنوعة من عدم التجانس (non-IID) (بما في ذلك مجموعات التصنيفات المنفصلة) فعالية إطار العمل.

4. النتائج التجريبية

الأداء مقابل الخطوط المرجعية: يتفوق CE-FI باستمرار على الاستدلال المنفرد (Solo Inference) عبر جميع الوسائط وظروف non-IID. وفي العديد من السيناريوهات، يقترب من أداء Input-sharing FI و Edge Ensemble، رغم عمله تحت قيود أكثر صرامة.
عدم التجانس: يظل إطار العمل فعالاً حتى عندما تستخدم الأجهزة بنيات مشفر مختلفة (مثل ViT، ResNet، ConvNeXt) وأهداف تدريب مسبق مختلفة (Supervised, CLIP, DINOv3).
حساسية التجميع: اختيار استراتيجية التجميع أمر بالغ الأهمية. بينما يعمل التصويت الناعم (soft voting) بشكل جيد في حالات non-IID الطفيفة، فإن اختيار الطاقة الدنيا (Minimum Energy) يحسن بشكل كبير من المتانة في حالات non-IID الشديدة (Skewed/Disjoint) من خلال تصفية التنبؤات غير الموثوقة من الأجهزة التي تفتقر إلى فئات محددة.
البناء من الصفر مقابل التدريب المسبق: يعمل CE-FI حتى عندما يتم تدريب النماذج من الصفر، وإن كانت مكاسب الأداء أكثر وضوحاً مع المشفرات المدربة مسبقاً. وتحدد الدراسة أن جودة البنية الدلالية في فضاءات الميزات المحلية تحد من الأداء في حالات البناء من الصفر.
تحليل الاختناق: تكشف دراسات الاستئصال (Ablation studies) أن محاذاة التمثيل في طبقة CE هي الاختناق الرئيسي. إن فرض فضاء تضمين توافقي موحد يحسن الدقة بشكل كبير، خاصة في إعدادات البناء من الصفر، بينما لا يؤثر استبعاد بيانات OOD من التدريب بشكل ملحوظ.
الخصوصية وإعادة البناء: أسفرت هجمات إعادة البناء (باستخدام DCGAN) على التضمينات التوافقية عن عمليات إعادة بناء منخفضة الجودة (RMSE ~0.22, SSIM ~0.16)، مما يشير إلى أن مشاركة التضمينات التوافقية لا تكشف بسهء عن المدخلات الخام، رغم أنها ليست محصنة ضد جميع مخاطر الخصوصية.
تكلفة الاتصال: في مهام تصنيف الصور، كان نقل التضمينات التوافقية ذات الـ 256 بُعداً (2.1 كيلوبايت) أكثر كفاءة من نقل الصور الخام (4.6–6.2 كيلوبايت).

5. الأهمية والادعاءات

تدعي الورقة أن CE-FI يمثل خطوة مهمة نحو ذكاء اصطناعي موزع وعملي يحافظ على الخصوصية. ومن خلال إزالة الافتراضات المتعلقة بالمدخلات المشتركة والمشفرات المشتركة، فإنه يتيح التعاون في سيناريوهات يكون فيها الاستدلال الفيدرالي التقليدي غير ممكن (مثل التشخيص الطبي الذي يستخدم نماذج مملوكة وقوانين صارمة لخصوصية البيانات).

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بالنتائج:

يقرون بأنه بينما يقترب CE-FI من أداء الـ FI التقليدي، إلا أن هناك فجوة تظل قائمة، ويرجع ذلك أساساً إلى عدم كمال محاذاة التمثيل.
يشيرون إلى أن استراتيجية التجميع المثلى تعتمد بشدة على الوسيط ودرجة عدم التجانس (non-IIDness)، مما يوحي بأن طريقة التجميع الموحدة ليست مثالية دائماً.
يحددون محاذاة التمثيل كالتحدي المركزي للتحسين المستقبلي، بدلاً من مجرد تصفية البيانات أو اختيار التجميع وحده.

في النهاية، يقدم هذا العمل إثباتاً لمفهوم أن الاستدلال التعاوني يمكن تحقيقه تحت أشد القيود صرامة فيما يتعلق بخصوصية البيانات والنماذج، وذلك بالاعتماد فقط على البيانات غير المصنفة المشتركة والتمثيلات الوسيطة.