🤖 machine learning

Federated Nested Learning: Collaborative Training of Self-Referential Memories for Test-Time Adaptation

تقدم هذه الورقة التعلم المتداخل الموحد (FedNL)، وهو إطار عمل مبتكر يعيد صياغة التعلم الموحد كنظام تحسين متداخل ثلاثي المستويات لتعلم قواعد التحسين بشكل تعاوني، مما يمكّن العملاء من إجراء تكيف وقت الاختبار خفيف الوزن وصفرِي الاستباق (zero-shot) بذاكرة استدلال ثابتة على البيانات غير المتماثلة (Non-IID).

المؤلفون الأصليون: Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hong Chen, Pengcheng Wu, Yuanguo Lin, Peilin Zhao, Xiuze Zhou, Fan Lin, Han Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "التعلم الفيدرالي المتداخل" (Federated Nested Learning) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: خطأ "المقاس الواحد الذي يناسب الجميع"

تخيل أنك تحاول تعليم مجموعة من الطلاب (يُطلق عليهم العملاء - Clients) كيفية حل المشكلات. هؤلاء الطلاب يأتون من خلفيات مختلفة تماماً: أحدهم طاهٍ ماهر، والآخر عبقري في البرمجة، والثالث طبيب.

في التعلم الفيدرالي (FL) التقليدي، تحاول إنشاء "كتاب مدرسي رئيسي" واحد (النموذج العالمي) يتشاركه الجميع. تطلب من الطاهي والمبرمج والطبيب دراسة ملاحظاتهم الخاصة، ثم ترسل لك ملخصاتهم، وتقوم أنت بدمجها وتوسيطها لإنشاء نسخة جديدة من الكتاب المدرسي.

العيب: هذا الكتاب الجديد هو "حل وسط". إنه جيد في الطبخ، وجيد في البرمجة، وجيد في الطب، لكنه ليس رائعاً في أي منها. عندما يحاول الطبيب استخدام هذا الكتاب "المتوسط" لتشخيص مرض نادر ومحدد، يفشل الكتاب لأنه يركز أكثر من اللازم على "الطالب المتوسط" ولا يمتلك التفاصيل المحددة المطلقة لتلك اللحظة الفريدة.

الفكرة الجديدة: تعليم "كيفية التعلم" بدلاً من "ماذا تعرف"

يقترح مؤلفو هذه الورقة البحثية، التعلم الفيدرالي المتداخل (FedNL)، تحولاً جذرياً. فبدلاً من محاولة كتابة كتاب مدرسي مثالي للجميع، هم يعلمون الطلاب كيفية تدوين الملاحظات أثناء العمل.

إنهم يجادلون بأن المهارة الحقيقية ليست في حفظ مجموعة ثابتة من الحقائق؛ بل في امتلاك نظام ذكي يمكنه التكيف فوراً مع أي موضوع يتم مناقشته الآن.

النظام ثلاثي المستويات (الجزء "المتداخل")

تصف الورقة نظاماً من ثلاثة مستويات، يشبه شركة بها مدير تنفيذي، ومدير، وعامل:

المستوى 0 (المدير التنفيذي / الخادم): لا يجمع الخادم الملاحظات الفعلية (لأنها خاصة). بدلاً من ذلك، يجمع قواعد تدوين الملاحظات. إنه يتعلم أفضل طريقة لتنظيم المعلومات.
المستوى 1 (المدير / تدريب العميل): يتدرب كل طالب (عميل) على استخدام هذه القواعد على بياناته الخاصة. يقوم كل منهم بتعديل القواعد قليلاً لجعلها تعمل بشكل أفضل لوظيفته المحددة (على سبيل المثال، يقوم الطاهي بتعديل قاعدة تدوين الملاحظات للتركيز على التوابل).
المستوى 2 (العامل / التكيف وقت الاختبار): هذه هي اللحظة السحرية. عندما يواجه الطالب مشكلة جديدة لم يسبق له رؤيتها، فإنه لا يكتفي بفتح الكتاب المدرسي فحسب. بل يستخدم فوراً قواعد تدوين الملاحظات الخاصة به لكتابة "ورقة غش" مؤقتة وشديدة التحديد (تسمى حالة الذاكرة - Memory State) بناءً على المحادثة الحالية.

التشبيه:

الطريقة القديمة: تحمل موسوعة ثقيلة وثابتة. إذا سُئلت عن موضوع غير موجود في الكتاب، ستتعثر.
طريقة FedNL: تحمل دفتراً ذكياً فارغاً ومجموعة من التعليمات حول كيفية الكتابة فيه. عندما يسألك شخص ما سؤالاً، تقوم فوراً بكتابة الحقائق ذات الصلة من المحادثة في دفترك، وتحل المشكلة، ثم يختفي الدفتر. لم تكن بحاجة لحفظ الحقائق مسبقاً؛ كنت تحتاج فقط لمعرفة كيفية التقاطها بسرعة.

كيف يعمل تقنياً (الـ "Titans" و "قاعدة دلتا")

تستخدم الورقة تقنية محددة تسمى Titans (تعتمد على الانتباه الخطي - linear attention) لجعل هذا ممكناً.

"قاعدة دلتا" (The Delta Rule): فكر في هذا كـ "آلية تصحيح". في كل مرة يقرأ فيها النموذج كلمة جديدة، فإنه يسأل نفسه: "هل يغير هذا فهمي؟" إذا كانت الإجابة نعم، فإنه يقوم بتعديل طفيف وفوري لـ "ورقة الغش" الداخلية الخاصة به.
التكيف الصفري (Zero-Shot Adaptation): لأن النموذج يعرف كيفية تحديث ورقة الغش الخاصة به فوراً، يمكنه التعامل مع موضوع جديد تماماً (مثل حالة طبية نادرة) دون الحاجة إلى إعادة تدريبه. إنه فقط "يتعلم" السياق أثناء قراءته.

النتائج: ماذا وجدوا؟

اختبر الباحثون هذا النظام بطريقتين رئيسيتين:

مواضيع مختلفة (Non-IID MMLU): قاموا بمحاكاة عملاء يعرفون مواضيع محددة فقط (القانون، الرياضيات، الطب).
- النتيجة: تفوق FedNL على طرق "الكتاب المدرسي المتوسط" التقليدية. لم يقم بمجرد دمج المعرفة؛ بل سمح لكل عميل بتكييف "ورقة الغش" الخاصة به مع مجاله المحدد، مما أدى إلى دقة أفضل.
القصص الطويلة (استرجاع السياق الطويل - Long-Context Retrieval): اختبروا ما إذا كان بإمكان النموذج العثور على إبرة محددة في كومة قش ضخمة (قصة مكونة من 16,000 كلمة).
- النتيجة: النماذج القياسية تصبح مرتبكة كلما طالت القصة (يزداد "عدم اليقين" لديها). أما FedNL فكان يتحسن مع تطور القصة لأن "ورقة الغش" الخاصة به كانت تمتص المعلومات الجديدة بنشاط.
- الكفاءة: والأهم من ذلك، لم يحتج FedNL لتخزين القصة بأكملها في الذاكرة. لقد احتفظ بـ "ورقة غش" صغيرة وثابتة الحجم، مما جعله أسرع وأرخص بكثير في التشغيل على الهواتف أو الأجهزة الصغيرة.

الخلاصة

يغير التعلم الفيدرالي المتداخل هدف تدريب الذكاء الاصطناعي. فبدلاً من محاولة بناء دماغ ضخم وثابت يعرف القليل عن كل شيء، فإنه يبني نظاماً ذكياً وقابلاً للتكيف يعرف كيف يتعلم فوراً من أي شيء ينظر إليه حالياً.

إنه يحل مشكلة "البيانات المختلفة" بالقول: "لا تحاولوا إجبار الجميع على الاتفاق على مجموعة واحدة من الحقائق. بدلاً من ذلك، اتفقوا على أفضل طريقة لتدوين الملاحظات، واتركوا لكل فرد كتابة ملاحظاته الخاصة أثناء العمل."

ملخص تقني: التعلم المتداخل الموحد (FedNL)

بيان المشكلة

يواجه التعلم الموحد (FL) للنماذج اللغوية الكبيرة (LLMs) تحديين متداخلين ومستمرين: تباين البيانات (Non-IID) والتوزيعات ذات الذيل الطويل (long-tail distributions). في السيناريوهات الواقعية، تكون توزيعات بيانات العملاء منحازة للغاية (مثل البيانات الطبية مقابل بيانات البرمجة)، وغالبًا ما تكمن المعرفة الحرجة في "الذيل الطويل"، والتي يسهل طمسها بواسطة الفئات الرئيسية (head classes) أثناء التجميع العالمي.

تركز النهج الحالية بشكل أساسي على تنظيم أو تخصيص أوزان النماذج الثابتة (مثل FedProx وFedSSI). وبينما هي فعالة في التخفيف من النسيان الكارثي، إلا أن هذه الطرق تعامل النموذج العالمي كحاوية لمعرفة ثابتة. وبناءً على ذلك، عندما يتم نشر النموذج لدى عميل لديه بيانات غير مرئية وشديدة التباين، يفتقر النموذج إلى اللدونة عند وقت الاختبار (test-time plasticity) — وهي القدرة على التكيف مع السياق الحالي دون الحاجة لتحديثات التدرج (gradient updates). يؤدي هذا إلى أداء دون المستوى في المهام الخاصة بالمجالات حيث تعتمد الفروق الدقيقة على السياق.

المنهجية: التعلم المتداخل الموحد (FedNL)

يقترح البحث إطار عمل التعلم المتداخل الموحد (FedNL)، وهو إطار يعيد صياغة التعلم الموحد من مجرد تجميع معرفة ثابتة إلى تعلم قواعد التحسين (optimization rules) بشكل تعاوني. وبالاستلهام من نظرية التعلم المتداخل (Nested Learning)، يعامل FedNL عملية الاستدلال ليس كعملية استرجاع سلبية، بل كعملية تدريب "حلقة داخلية" عالية التردد حيث يقوم النموذج بضغط السياق بنشاط في حالة ذاكرة عابرة.

البنية الأساسية

يعيد FedNL صياغة التعلم الموحد كنظام تحسين متداخل ثلاثي المستويات:

المستوى 0 (الحلقة الخارجية - الخادم): التعميم التعاوني. يقوم الخادم بتجميع القواعد الميتا (meta-rules) (المعلمات $\theta$ ) بدلاً من محتوى الذاكرة. هذه القواعد تحكم كيفية بناء الذاكرة وتحديثها.
المستوى 1 (الحلقة المتوسطة - العميل): تعلم القواعد. أثناء التدريب المحلي، يقوم العملاء بتحسين $\theta$ (على سبيل المثال، محولات LoRA أو آليات البوابات) لضمان أن تنتج الحلقة الداخلية حالات ذاكرة مفيدة للمهام اللاحقة. يتضمن ذلك الانتشار العكسي عبر مسار الذاكرة.
المستوى 2 (الحلقة الداخلية - العميل): التكيف عند وقت الاختبار. أثناء الاستدلال، يستخدم العملاء القواعد العالمية $\theta$ لتحديث حالة ذاكرة خاصة مدركة للسياق $S_t$ عبر الإنترنت باستخدام قاعدة دلتا (Delta Rule). هذه الحالة عابرة ولا تغادر الجهاز أبدًا.

التنفيذ التقني

آلية الانتباه الخطي القائمة على Titans: يستفيد FedNL من بنية Titans، التي تستخدم آلية انتباه خطية. يتم تحديث حالة الذاكرة $S_t$ عبر قاعدة دلتا:
$S_t = S_{t-1} + \eta(v_t - S_{t-1}k_t)k_t^\top$
هذا التحديث مكافئ رياضيًا لخطوة واحدة من الانحدار الاشتقاقي لهدف الذاكرة الترابطية، مما يعامل الاستدلال كعملية تحسين عبر الإنترنت.
فك الارتباط بين المعرفة والقواعد: يتكون النموذج من عمود فقري مجمد (يوفر القدرات اللغوية العامة) ومعلمات ميتا قابلة للتدريب ( $\theta$ ). تشمل المعلمات الميتا إسقاطات منخفضة الرتبة (LoRA) لتوليد الاستعلام/المفتاح/القيمة، وآلية بوابة الذاكرة ( $\alpha$ ) للموازنة بين الانتباه الثابت والديناميكي.
الكفاءة: من خلال تجميع مجموعة صغيرة فقط من القواعد الميتا (المحولات) بدلاً من أوزان النموذج الكاملة أو حالات الذاكرة، يقلل FedNL من عبء الاتصالات بشكل كبير. علاوة على ذلك، تحافظ آلية الانتباه الخطي على تعقيد ذاكرة استدلال ثابت ( $O(1)$ ) بغض النظر عن طول التسلسل، على عكس الانتباه القياسي الذي يتطلب ذاكرة KV cache بمقدار $O(T)$ .

المساهمات الرئيسية

إعادة الصياغة النظرية: يقدم البحث منظور التعلم المتداخل للتعلم الموحد، ويصيغ المشكلة كتدريب تعاوني لقواعد التحسين بدلاً من التمثيلات الثابتة. يوفر هذا أساسًا نظريًا لمعالجة مشكلات Non-IID عبر التكيف عند وقت الاختبار.
إطار عمل FedNL: خوارزمية عملية تدمج الانتباه الخطي القائم على Titans في خط أنابيب التعلم الموحد. من خلال معاملة قاعدة دلتا كخطوة انحدار اشتقاقي عبر الإنترنت، فإنه يتيح التكيف عند وقت الاختبار بدون تدريب (Zero-Shot Test-Time Adaptation) على المجالات غير المرئية دون مجهود حوسبي ثقيل.
التفوق التجريبي: تُظهر التجارب أن FedNL يحقق أداءً تنافسيًا في الاستدلال قصير السياق وتفوقًا في استرجاع السياق الطويل والتشخيصات التدفقية مقارنة بالنماذج الموحدة القوية.

النتائج التجريبية

قيم المؤلفون FedNL في بيئتين موحدتين: تقسيم MMLU غير متماثل (Non-IID) لخمسة عملاء، واختبار Needle In A Haystack (NIAH) طويل السياق لسبعة عملاء.

MMLU غير المتماثل (الاستدلال قصير السياق):
- على العمود الفقري Qwen2.5-1.5B، حقق FedNL أعلى متوسط دقة (58.88%)، متفوقًا قليلاً على أفضل نموذج أساسي، FedSSI (58.70%).
- لوحظت مكاسب كبيرة في مجالات STEM (+2.0 pp) والرياضيات/علوم الحاسب (+3.8 pp).
- على العمود الفقري Llama-3.2-1B، وصل FedNL إلى 42.64% مقابل 42.10% لـ FedSSI.
- والأهم من ذلك، قلل FedNL من "هبوط التجميع" (فقدان الأداء عند الانتقال من النماذج المحلية إلى النماذج الموحدة)، حيث أبقاه قريبًا من الصفر عبر جميع المجالات، بينما أظهرت النماذج الثابتة تدهورًا ملحوظًا.
استرجاع السياق الطويل (NIAH):
- حقق FedNL أعلى متوسط دقة (29.7%) عبر سبعة نماذج استرجاع، متفوقًا على FedALA (28.6%).
- كانت المكاسب أكثر وضوحًا في مهام MK-NIAH وMV-NIAH وUUID code.
- تشخيصات الإنتروبيا المتقاطعة التدفقية (Streaming CE): في اختبار تدفقي لـ 16 ألف توكن، ارتفع الإنتروبيا المتقاطعة (CE) المعياري لـ FedAvg بنسبة 3.1% مع تطور السياق (تراكم عدم اليقين)، بينما انخفض في FedNL بنسبة 2.1%، مما يشير إلى أن حالة الذاكرة المتكررة امتصت السياق المفيد بنجاح عبر التدفقات الطويلة.
- كفاءة الذاكرة: حافظ FedNL على ذاكرة استدلال ثابتة، متجنبًا أخطاء "خروج عن الذاكرة" (Out-Of-Memory) عند 16 ألف توكن والتي أثرت على نماذج الانتباه الثابتة.
كفاءة الاتصال:
- قلل FedNL من الاتصال في كل جولة بنحو 350 ضعفًا مقارنة بـ FedAvg (0.26 ميجابايت مقابل 22.5 ميجابايت للمعلمات القابلة للتدريب في الإعداد المختبر).

الأهمية والادعاءات

يزعم البحث أن FedNL يؤسس اتجاهًا جديدًا للتعلم الموحد حيث تتطور النماذج من مستودع للمعرفة الثابتة إلى نموذج للتعلم المستمر المدرك للسياق.

تحول النموذج (Paradigm Shift): من خلال فصل القدرات اللغوية العامة (العمود الفقري المجمد) عن قواعد بناء الذاكرة (المحولات القابلة للتدريب)، يسمح FedNL للعملاء المتنوعين بمشاركة "قدرات التعلم" بدلاً من "حالات المعرفة" المتضاربة.
القوة تجاه التباين (Robustness to Heterogeneity): لا تحتاج المعلمات الميتا العالمية إلى ترميز الصراع بين المجالات المتباينة (مثل البرمجة مقابل الطب). بدلاً من ذلك، فهي تشفر قاعدة عالمية: "إذا كان السياق يتضمن X، فقم بتحديث الذاكرة لتخزين Y". وهذا يخفف من صراع Non-IID في مساحة المعلمات.
التكيف بدون تدريب (Zero-Shot Adaptation): يتيح إطار العمل للنماذج التكيف مع التوزيعات المحلية المحددة خلال التوكنات القليلة الأولى من الاستدلال بمجرد تنفيذ قواعد تحديث الذاكرة المتعلمة، مما يحل مشكلة "البداية الباردة" التي تواجهها طرق التدريب عند وقت الاختبار (TTT).

يشير المؤلفون إلى أنه بينما النتائج متسقة في مقياس 1B–1.5B، فإن توسيع FedNL ليشمل النماذج التأسيسية الأكبر يظل خطوة ضرورية للتحقق من عمومية تجميع قواعد الذاكرة.