🤖 machine learning

FIRMA: FIbonacci Ring Model Aggregation for Privacy-preserving Federated Learning

تقدم الورقة البحثية FIRMA، وهي عائلة من بروتوكولات التعلم الاتحادي الخالية من الخوادم التي تستخدم التجميع الحلقي الموزون بتسلسل فيبوناتشي، وكبح الأقران التكيفي، والتبديلات الحلقية المُحسَّنة لتحقيق رؤوس تصنيف تحافظ على الخصوصية، وتقاربًا قويًا في ظل انحراف التسميات، ودقة فائقة مقارنة بالطرق اللامركزية القائمة في آن واحد.

المؤلفون الأصليون: Rachid Hedjam

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rachid Hedjam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجموعة من الأصدقاء يحاولون حل لغز (بازل) ضخم معاً، لكن لديهم قاعدة صارمة: لا يُسمح لأي شخص بإظهار قطع اللغز الخاصة به لأي شخص آخر. يمكنهم فقط مشاركة الأفكار التي كونوا حول كيفية تركيب القطع، وليس القطع نفسها.

هذا هو عالم التعلم الاتحادي (Federated Learning). عادةً، لكي يحل الجميع اللغز، يرسلون جميع أفكارهم إلى "قائد الفريق" (خادم مركزي) الذي يمزجها جميعاً ويرسل خطة جديدة للجميع. لكن هذا القائد يواجه مشكلتين كبيرتين:

مخاطر الخصوصية: إذا كان القائد فضولياً (أو تعرض للاختراق)، فيمكنه النظر في الأفكار ومعرفة قطع اللغز التي كنت تحملها بالضبط.
عنق الزجاجة: إذا كان هناك 1,000 صديق، فسيصاب القائد بالإرهاق وهو يحاول الاستماع إلى الجميع في وقت واحد.

المشكلة في الحلول الحالية

حاولت بعض المجموعات حل هذه المشكلة بجعل الأصدقاء يتحدثون فقط مع جيرانهم في دائرة ("حلقة"). لكن كان هناك عيب: لقد عاملوا كل جار بنفس الطريقة. إذا كنت تقف بجانب شخص سيء جداً في حل الألغاز، فسيؤدي ذلك إلى سحب أفكارك للأس down بقدر ما سيرفعك جار عبقري. كما أن في العديد من طرق الدائرة هذه، كان لا يزال عليك مشاركة "لمساتك النهائية الخاصة" (رأس التصنيف)، مما يسرب معلومات خاصة.

الحل: FIRMA

يقترح المؤلفون طريقة جديدة تسمى FIRMA (تجميع نموذج حلقة فيبوناتشي - FIbonacci Ring Model Aggregation). تخيلها كطريقة أذكى للأصدقاء للتحدث في دائرة دون الحاجة إلى قائد.

إليك كيف تعمل، مقسمة إلى ثلاثة مستويات من التطور:

المستوى 1: قاعدة النسبة الذهبية (FIBFL)

بدلاً من معاملة الجيران بالتساوي، تستخدم FIRMA قاعدة رياضية خاصة تسمى النسبة الذهبية (حوالي 1.618).

التشبيه: تخيل أنك في دائرة. لديك جار على يسارك وآخر على يمينك. تقول النسبة الذهبية: "استمع إلى جارك الأيسر بنسبة 62% من الوقت، وإلى جارك الأيمن بنسبة 38%".
لماذا؟ هذا ليس عشوائياً. إنه يخلق "تدفقاً" طبيعياً للأفكار حول الدائرة وهو مثبت رياضياً بأنه أكثر كفاءة من الاستماع إلى كليهما بالتساوي.
الفوز بالخصوصية: تحتفظ بـ "لمساتك النهائية الخاصة" (الجزء من النموذج الذي يحدد ماهية الصورة) لنفسك تماماً. أنت تشارك فقط "عملية التفكير" (مستخرج الميزات). لا أحد سيرى بياناتك الخاصة أبداً.

المستوى 2: "المصفاة الذكية" (FIBFL+)

أحياناً، قد يكون أحد الجيران يمر بيوم سيء وأفكاره خاطئة تماماً.

التشبيه: إذا كان جارك الأيسر مرتبكاً، فإن قاعدة النسبة الذهبية ستظل تقول "استمع إليه بنسبة 62%". هذا أمر سخيف.
الإصلاح: تضيف FIBFL+ "مصفاة ذكية". فهي تتحقق من: "هل هذا الجار جيد في حل اللغز الآن؟" إذا كان يعاني، فإنها تخفض وزنه. وإذا كان يبلي بلاءً حسناً، فإنها تستمع إليه أكثر. لكنها لا تزال تحافظ على انحياز النسبة الذهبية (فهي لا تتجاهل الجار الأيسر تماماً)، مما يضمن استمرار تدفق الدائرة بسلاسة.

المستوى 3: "مخطط الجلوس المثالي" (FIBFL++)

هذه هي النسخة الكاملة والنهائية.

التشبيه: تخيل الأصدقاء جالسين في دائرة. إذا جلست بجانب شخص يمتلك نفس قطع اللغز التي تمتلكها تماماً، فلن تتعلم الكثير من بعضكما البعض. ولكن إذا جلست بجانب شخص لديه قطع مختلفة، فستتعلم الكثير.
الإصلاح: قبل بدء اللعبة، تقوم FIBFL++ بإعادة ترتيب مخطط الجلوس (باستخدام طريقة تسمى 2-opt) للتأكد من أن الأشخاص الذين لديهم قطع لغز مختلفة يجلسون بجانب بعضهم البعض.
النتيجة: هذا يعظم تنوع الأفكار المتدفقة حول الحلقة. كما أنها تقوم بتشغيل "تمرير الرسائل" عدة مرات في جولة واحدة حتى تصل أفكار الجميع إلى الجميع في النهاية، تماماً كما يفعل الخادم المركزي، ولكن بدون الخادم.

ما وجدته الورقة البحثية

اختبر المؤلفون هذه الطرق على أربعة "ألغاز" (مجموعات بيانات) بمستويات صعوبة مختلفة وطرق مختلفة لتقسيم القطع (بعض الأصدقاء كان لديهم قطط فقط، والبعض الآخر كلاب فقط).

انتصار "المستضعف": في أصعب السيناريوهات (حيث كان لدى الأصدقاء بيانات متباينة جداً)، فشلت طريقة "قائد الفريق" التقليدية (FedAvg) وطريقة "التخصيص" (FedRep) أو كانت غير عادلة. كانت FIBFL++ هي الطريقة الوحيدة التي أدت أداءً جيداً باستمرار، بل وتفوقت أحياناً على طريقة القائد.
العدالة: كانت FIBFL++ هي الأكثر عدلاً. فقد ضمنت عدم ترك أي صديق وحيداً بدرجة سيئة للغاية، وهو ما حدث غالاً مع الطرق الأخرى.
الاستقرار: كانت النسخ الأبسط (المستوى 1 و2) سريعة في البدء لكنها كانت أحياناً "متذبذبة" وغير مستقرة إذا كانت البيانات فوضوية للغاية. أما النسخة الكاملة (المستوى 3) فكانت الأكثر استقراراً وموثوقية.
الخصوصية: نجحت جميع نسخ FIRMA في الحفاظ على خصوصية "اللمسات النهائية الخاصة"، مما يعني أنه لا يمكن لأحد إعادة هندسة بياناتك الخاصة من الأفكار المشتركة.

الخلاصة

FIRMA هي طريقة جديدة لتتعلم الحواسيب معاً دون وجود مدير، ودون مشاركة أسرار خاصة، ودون معاملة الجميع بالتساوي. إنها تستخدم القليل من الرياضيات القديمة (النسبة الذهبية) ومخطط جلوس ذكي لضمان أن المجموعة تتعلم بشكل أسرع وأكثر عدلاً من أي وقت مضى، خاصة عندما يمتلك الجميع بيانات مختلفة تماماً.

ملاحظة: تركز الورقة البحثية بالكامل على محاكاة علوم الكمبيوتر والإثباتات الرياضية. وهي لا تدعي أن هذه الطرق تُستخدم حالياً في المستشفيات، أو السيارات ذاتية القيادة، أو منتجات محددة في العالم الحقيقي، رغم أنها تشير إلى أنها جاهزة لمثل هذه البيئات.

ملخص تقني: FIRMA (تجميع نموذج حلقة فيبوناتشي من أجل التعلم الاتحادي الحافظ للخصوصية)

1. بيان المشكلة

يواجه التعلم الاتحادي (Federated Learning - FL) حالياً ثلاثية هيكلية تتعلق بالخصوصية، واللامركزية، وتخصيص النماذج:

الاعتماد على الخادم وهجمات عكس التدرج: تعتمد البروتوكولات القياسية مثل FedAvg على خادم مركزي لتجميع تحديثات النموذج الكاملة. وهذا يخلق نقطة فشل واحدة ويعرض الخادم لهجمات عكس التدرج (Gradient Inversion)، حيث يمكن للخادم "شبه النزيه" إعادة بناء بيانات تدريب العميل.
تعرض الرأس (Head Exposure) في التعلم الاتحادي المخصص: تحسن الطرق المخصصة (مثل FedRep) الأداء في ظل البيانات غير المتماثلة (non-IID) عبر إبقاء "رأس التصنيف" محلياً ومشاركة "مستخرج الميزات". ومع ذلك، لا تزال هذه الطرق تتطلب خادماً مركزياً للتجميع، مما يبقي مخاطر نقطة الفشل الواحدة وعكس التدرج قائمة.
قيود طوبولوجيا الحلقة اللامركزية: تلغي البدائل اللامركزية (مثل RDFL) وجود الخادم باستخدام نظام "الهمس الحلقي" (Ring Gossip) بين الأقران. ومع ذلك، تقوم بروتوكولات الحلقة الحالية عادةً بنقل النموذج الكامل (بما في ذلك رأس التصنيف) إلى الجيران، مما يكشف عن معلومات تمييزية حساسة. علاوة على ذلك، فهي تعتمد على أوزان موحدة وغير مدروسة (مثل 0.5/0.5) لدمج الجيران، متجاهلة جودة النموذج أو تنوع البيانات.

الفجوة: لا يوجد بروتوكول حالي يحقق في آن واحد: (i) التشغيل الخالي من الخادم، (ii) رؤوس تصنيف خاصة بشكل دائم (لا يتم نقلها أبداً)، (iii) طوبولوجيا حلقة، و(iv) أوزان غير متماثلة ومبنية على أسس سليمة.

2. المنهجية: عائلة FIRMA

تقترح الورقة FIRMA (تجميع نموذج حلقة فيبوناتشي)، وهي عائلة من ثلاثة بروتوكولات متطورة تدريجياً مصممة لملء الربع "الأعلى-الأيمن" في فضاء تصميم التعلم الاتحادي (خالٍ من الخادم + رأس خاص).

الأساس الرياضي الجوهري

تستخدم البروتوكولات النسبة الذهبية ( $\phi \approx 1.618$ ) لتحديد زوج أوزان غير متماثل وخالٍ من المعلمات لعملية الهمس الحلقي:
$\alpha = 1/\phi \approx 0.618, \quad \beta = 1/\phi^2 \approx 0.382$
بما أن $\alpha + \beta = 1$ ، فإن هذا يشكل تركيباً محدباً صالحاً. وعلى عكس الأوزان الموحدة، يقدم هذا عدم التماثل انحيازاً موجهاً (انحياز لليسار) يؤدي نظرياً إلى فجوة طيفية أضيق من الهمس الموحد، مما يسرع عملية التوافق.

متغيرات البروتوكول

تتكون العائلة كدراسة استئصال (Ablation Study) حيث يضيف كل متغير مكوناً هيكلياً واحداً بالضبط:

FIBFL (البروتوكول الأساسي):
- البنية: طوبولوجيا حلقة خالية من الخادم حيث يتبادل العملاء فقط معلمات مستخرج الميزات ( $\theta$ )؛ بينما تظل رؤوس التصنيف ( $\eta$ ) محلية وخاصة بشكل دائم.
- التجميع: يستخدم أوزان فيبوناتشي الثابتة ( $\alpha, \beta$ ) لدمج الجيران من اليسار واليمين.
- التدريب: يستخدم إجراء تدريب محلي من مرحلتين مقتبس من FedRep: المرحلة الأولى تكيف الرأس المحلي (مع تجميد المستخرج)، والمرحلة الثانية تحدد المستخرج (مع تجميد الرأس). تستخدم كلتا المرحلتين محسنات Adam مستمرة (تنتقل حالتها عبر الجولات) لتحسين استقرار التقارب.
FIBFL+ (المحكوم بالدقة):
- التحسين: يقدم استيفاءً (Interpolation) محكوماً بالدقة.
- الآلية: يقوم بدمج الأولوية الفيبوناتشية مع حالة لاحقة مشتقة من الدقة. إذا انخفضت دقة أحد الجيران عن عتبة معينة $\tau$ ، يتم تقليل وزنه.
  ما يؤدي إلى خفض وزن الأقران ضعيفي التقارب بشكل تكيفي مع الحفاظ على الانحياز الفيبوناتشي الاتجاهي، مما يمنع التحديثات منخفضة الجودة من إفساد النموذج العالمي.
FIBFL++ (النظام الكامل):
- التحسين: يعالج قصور ترتيب الحلقة الثابت والهمس أحادي المرور.
- الإصلاح أ (ترتيب حلقة 2-Opt): قبل التدريب، تقوم خوارزمية 2-opt بإعادة ترتيب العملاء في الحلقة لتعظيم عدم التماثل في جيب التمام (Cosine Dissimilarity) لتوزيعات الفئات بين العملاء المتجاورين. يضمن هذا أن يكون للجيران بيانات متكاملة، مما يعظم تنوع التدرج.
- الإصلاح ب (التغطية العالمية): بدلاً من تمريرة همس واحدة، ينفذ البروتوكول $K_g = \lceil N/2 \rceil$ من التمريرات المتتالية في كل جولة. يضمن هذا وصول المعلومات من كل عميل إلى جميع العملاء الآخرين ضمن جولة واحدة، وهو ما يعادل نصف قطر البث لخادم مركزي.
- الإصلاح ج (الاحتفاظ المعاير): يستخدم معاملات احتفاظ ذاتية مع تقليص (Cosine-annealed) ومرحلة إحماء بأسلوب FedAvg لاستقرار التقارب خلال الجولات الأولية قبل أن تعمل طوبولوجيا الحلقة بشكل كامل.

3. المساهمات الرئيسية

تدعي الورقة المساهمات المحددة التالية:

C1. FIBFL: أول بروتوكول حلقة للتعلم الاتحادي يجمع بين خصوصية الرأس، والوزن الفيبوناتشي غير المتماثل، وتدريب Adam ثنائي المرحلة.
C2. FIBFL+: آلية استيفاء مبتكرة محكومة بالدقة تعمل على كبح الجيران ضعيفي الأداء دون التخلي عن الانحياز الفيبوناتشي.
C3. FIBFL++: نظام كامل يدمج ثلاثة إصلاحات هيكلية جديدة: ترتيب تنوع 2-opt، التغطية العالمية متعددة التمريرات، والاحتفاظ المعاير بالتقليص.
C4. التحليل النظري: يضع حدود التقارب ويثبت أن زوج أوزان فيبوناتشي يوفر فجوة طيفية أضيق تماماً من الأوزان الموحدة، وأن ترتيب 2-opt يعظم تنوع الفئات.
C5. التقييم التجريبي: تقييم منهجي عبر 168 تهيئة (4 مجموعات بيانات $\times$ 7 أنظمة عدم تجانس $\times$ 6 طرق).

4. النتائج التجريبية

أُجريت التجارب على CIFAR-10، وFashion-MNIST، وMNIST-60k، وMNIST-1797 تحت أنظمة IID، وDirichlet (قيم $\alpha$ مختلفة)، وLabel-Skew ( $K$ ).

الأداء تحت انحياز التسمية (Label-Skew): يتفوق FIBFL++ بشكل كبير على FedAvg في جميع تهيئات Label-skew الـ 12. في CIFAR-10 مع $K=1$ ، حقق FIBFL++ ذروة تفوق بلغت 20.7 نقطة مئوية على FedAvg.
هيمنة باريتو: تحت عدم تجانس Dirichlet، يعد FIBFL++ الطريقة المهيمنة في باريتو بين البروتوكولات الخالية من الخادم، حيث حقق أعلى دقة في 17 من أصل 28 تهيئة.
العدالة: يحقق FIBFL++ باستمرار معاملات جيني (Gini coefficients) أقل (عدالة أعلى) من FedAvg في سيناريوهات Label-skew، مما يتنقل بفعالية بين ثنائية الدقة والعدالة.
أنظمة البيانات الصغيرة: في مجموعة البيانات الصغيرة MNIST-1797 ( $N=5$ )، كان FIBFL++ هو الطريقة الوحيدة المقترحة التي تفوقت على FedAvg (0.9695 مقابل 0.9691) في سيناريو Label-Skew $K=1$ .
نتائج الاستئصال (Ablation):
- كان ترتيب حلقة 2-opt (الإصلاح أ) المساهم الأكبر في مكاسب الأداء، خاصة في بيئات عدم التجانس العالية (مثلاً +5.2 نقطة مئوية على MNIST-60k).
- وفرت الاختيار التكيفي (FIBFL+) مكاسب هامشية مقارنة بالفوائد الهيكلية لطوبولوجيا الحلقة.
- عانت كل من FIBFL وFIBFL+ من عدم استقرار الهضبة (تباين عالٍ) في أنظمة البيانات الصغيرة، بينما حافظ FIBFL++ على الاستقرار بفضل التنظيم الهيكلي للحلقة.

5. الأهمية والادعاءات

تضع الورقة FIRMA كحل لـ "الثلاثية الهيكلية" للتعلم الاتحادي. تكمن أهميتها الأساسية في احتلال مربع لم يتم استكشافه سابقاً في فضاء التصميم: طوبولوجيا حلقة بين الأقراء مع رؤوس خاصة بشكل دائم.

الخصوصية: من خلال إبقاء رؤوس التصنيف محلية واستخدام حلقة خالية من الخادم، يلغي FIRMA نقطة الفشل الواحدة ويمنع هجمات عكس التدرج على الرأس التمييزي.
الكفاءة مقابل المتانة: بينما يتحمل FIBFL++ تكاليف اتصال أعلى ( $K_g$ تمريرات) وأعباء حسابية (ترتيب 2-opt) مقارنة بـ FedAvg، تجادل الورقة بأن هذا مبرر في البيئات غير المتجانسة حيث يفشل FedAvg في التقارب أو التخصيص بشكل جيد.
المعايرة الذاتية: يُسلط الضوء على ترتيب حلقة 2-opt باعتباره "ذاتي المعايرة"، حيث يوفر توفيراً يقترب من الصفر في البيانات المتجانسة (IID) وتوفيراً هائلاً (يصل إلى 95.5%) في البيانات شديدة الانحراف (non-IID) دون ضبط يدوي.
إرشادات النشر: يخلص المؤلفون إلى أن FIBFL++ هو الخيار الموصى به للاتحادات ذات المتطلبات المتوسطة إلى القوية في عدم التجانس والعدالة، بينما يظل FedAvg هو الخيار الافتراضي للبيانات المتجانسة نظ due to كفاءته في الاتصال. ويُنصح بالحذر من استخدام FedRep في الأنظمة ذات البيانات الشحيحة بسبب انهيار العدالة.

لا تدعي الورقة حل جميع تحديات FL (مثل انزياح المفهوم أو الحجم الكبير $N > 50$ ) ولكنها تؤسس لقاعدة قوية للتحسين الحفاظ على الخصوصية في بيئات غير متجانسة.