Communication-Efficient and Robust Federated Training of Vision Models on IoT Camera Devices
تقترح هذه الورقة إطار عمل للتعلم الاتحادي يتسم بالكفاءة في الاتصال والمتانة لأجهزة كاميرات إنترنت الأشياء، والذي يجمع بين تقليل تشتت التدرج من نوع (Top-K)، وتنظيم (FedProx)، وتطبيع (GroupNorm)، لمعالجة اختناقات عرض نطاق التردد الصاعد وتدهور الدقة الناتج عن توزيعات البيانات غير المتماثلة (non-IID) في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، توجد الكاميرات في كل مكان. إنها تراقب شوارعنا، وتراقب مصانعنا، وتراقب منازلنا، مولدةً تدفقاً مستمراً من البيانات المرئية. لعقود من الزمن، كانت الطريقة القياسية لتعليم الحواسيب كيفية فهم هذه الصور هي إرسال الصور الخام إلى خادم سحابي مركزي. هناك، تقوم حواسيب قوية بتحليل البيانات لتحسين البرمجيات. ومع ذلك، أصبح هذا النهج صعباً بشكل متزايد. فالقوانين المتعلقة بالخصوصية تمنع الآن في كثير من الأحيان إرسال الصور الشخصية إلى موقع مركزي، كما أن التكلفة الهائلة لنقل كميات ضخمة من بيانات الفيديو أصبحت باهظة للغاية. ويقدم نهج جديد يُعرف باسم "التعلم الاتحادي" (federated learning) مساراً مختلفاً. فبدلاً من إرسال الصور إلى الكمبيوتر، يأتي الكمبيوتر إلى الصور. يحدث التعلم مباشرة على أجهزة الكاميرا نفسها؛ حيث تتعلم الأجهزة من صورها المحلية وترسل فقط تحديثات صغيرة مشفرة حول ما تعلمته، تاركةً الصور الخام خلفها. هذا يحافظ على سلامة البيانات الخاصة، ولكنه يطرح مجموعة جديدة من المشكلات. فغالباً ما تكون الكاميرات أجهزة صغيرة تعمل بالبطارية ولها اتصالات إنترنت محدودة، كما أن البيانات التي تراها تختلف اختلافاً شاسعاً بناءً على مكان وضعها.
لقد طور باحث طريقة جديدة لجعل هذا التعلم المحلي يعمل بكفاءة ودقة على شبكات الكاميرات هذه. يعالج عمله عقبتين رئيسيتين حالتا دون استخدام هذه التكنولوجيا على نطاق واسع. العقبة الأولى هي اتصال الإنترنت. فعلى الرغم من أن الكاميرات لا ترسل صوراً، إلا أن التحديثات التي ترسلها لا تزال يمكن أن تكون كبيرة جداً بالنسبة للشبكات البطيئة أو المزدحمة. فإذا أرسلت كل كاميرا تقريراً كاملاً بعد كل جلسة تعلم، ستصبح الشبكة مسدودة، ويتوقف النظام عن العمل. أما العقبة الثانية فهي الاختلاف في نوع ما تراه كل كاميرا. فالكاميرا الموجودة في شارع مزدحم ترى الكثير من السيارات والناس، بينما ترى كاميرا في حديقة هادئة معظم الأشجار والطيور. ولأن البيانات تختلف اختلافاً كبيراً من جهاز إلى آخر، فإن عملية التعلم غالباً ما تصبح مشوشة، وتكون النتيجة النهائية أقل دقة مما ينبغي أن تكون عليه.
ولحل هذه المشكلات، ابتكر الباحث إطار عمل يجمع بين ثلاث تقنيات محددة. أولاً، قدم طريقة لضغط المعلومات المرسلة إلى الخادم. فبدلاً من إرسال تقرير كامل عن كل تغيير طفيف أجرته الكاميرا على برمجياتها، يحدد الجهاز فقط التغييرات الأكثر أهمية. فهو يرسل فقط الثلاثين بالمائة العليا من التحديثات الأكثر أهمية وخريطة بسيطة توضح مكان حدوث تلك التغييرات. وهذا يقلل من كمية البيانات المرسلة عبر الإنترنت بمقدار الثلثين دون فقدان المعلومات الأساسية اللازمة للتعلم. ثانياً، للتعامل مع الارتباك الناتج عن مشاهد الكاميرات المختلفة، أضاف قاعدة استقرار. تشجع هذه القاعدة كل كاميرا بلطف على الببقاء قريبة من متوسط التقدم الجماعي، مما يمنع أي جهاز واحد من الانحراف بعيداً عن المسار بسبب فرادة بياناته المحلية. ثالثاً، استبدل طريقة حساب داخلية قياسية ببديل أكثر قوة. ففي الأنظمة التي تمتلك فيها بعض الكاميرات آلاف الصور بينما تمتلك أخرى عدداً قليนิดاً فقط، تصبح طريقة الحساب القديمة صاخبة وغير موثوقة. وتعمل الطريقة الجديدة باستمرار بغض النظر عن عدد الصور التي تمتلكها كل كاميرا، مما يضمن تعلم المجموعة بأكملها بسلاسة.
اختبر الباحث هذا النظام باستخدام محاكاة لخمسين جهاز كاميرا مختلفة. واستخدم مجموعتين قياسيتين من الصور لمعرفة مدى قدرة الكاميرات على التعرف على الأشياء. في أحد الاختبارات، طُلب من الكاميرات تحديد عشرة أنواع مختلفة من الأشياء، مثل الطائرات والقطط والشاحنات. وعندما استخدمت الكاميرات الطريقة المدمجة الجديدة، حققت دقة تقترب من تسعة وسبعين بالمائة. وتعد هذه النتيجة مثيرة للإعجاب لأنها تم الوصول إليها مع إرسال ثلاثين بالمائة فقط من البيانات المعتادة. في الواقع، قلل النظام من كمية البيانات المرسلة عبر الإنترنت بنسبة سبعة وستين بالمائة مقارنة بالطريقة التقليدية. كما وجد الباحث أنه عندما كانت الكاميرات تمتلك أنواعاً مختلفة جداً من البيانات، كانت قاعدة الاستقرار حاسمة. فبدون هذه القاعدة، انخفضت الدقة بشكل كبير، ولكن مع وجود القاعدة، استعاد النظام معظم الدقة المفقودة، مما أثبت أن الضغط وقاعدة الاستقرار يعملان جيداً معاً.
كما كشفت الدراسة أن اختيار طريقة الحساب الداخلية أمر بالغ الأهمية. فعندما استخدم الباحث الطريقة القديمة القياسية، أصبحت عملية التعلم غير مستقرة وفشلت في التحسن مع رؤية الكاميرات لميات متفاوتة من البيانات. وعندما انتقل إلى الطريقة الجديدة الأكثر قوة، استقر النظام وتطور بشكل موثوق. وهذا يشير إلى أنه بالنسبة لشبكات الكاميرات ذات كميات البيانات المتفاوتة، فإن النهج القياسي ببساطة ليس مناسباً. وأشار الباحث إلى أن عمله كان عبارة عن محاكاة، مما يعني أن الكاميرات كانت أجهزة افتراضية تعمل على جهاز كمبيوتر واحد بدلاً من أجهزة مادية في العالم الحقيقي. وبينما تبدو النتائج واعدة، إلا أنه يقر بأن الظروف الواقعية، مثل سرعات الإنترنت المتفاوتة والقيود المادية للأجهزة، ستحتاج إلى اختبار في دراسات مستقبلية.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد برمجيات أفضل؛ فهي تمس الطريقة الجوهرية التي نتعامل بها مع الخصوصية والبيانات. في هذا الإطار، لا ترفع الكاميرا أبداً صورة خام واحدة. الأشياء الوحيدة التي يتم تبادلها هي تحديثات رياضية مضغوطة. وللسياق، فإن إرسال صورة واحدة يكلف مقداراً ضئيلاً من البيانات، لكن التحديث المضغوط المستخدم في هذه الدراسة لا يزال كبيراً، ومع ذلك فهو لا يحتوي على أي معلومات مرئية يمكن أن تحدد هوية شخص أو مكان. وهذا يخلق مشهداً مختلفاً تماماً للخصوصية حيث تبقى البيانات مع المالك، ويحدث التعلم في ظلال الشبكة. وخلص الباحث إلى أن هذا النهج يجعل من الممكن تدريب نماذج رؤية قوية عند حافة الشبكة، تماماً حيث تُنشأ البيانات، دون المساس بالخصوصية أو إرهاق الإنترنت. ومن خلال حل مشكلتي عرض النطاق الترددي وتنوع البيانات، يمهد هذا العمل الطريق لمستقبل يمكن فيه للكاميرات الذكية أن تتعلم وتتكيف محلياً، مع احترام خصوصية المستخدم وقيود اتصاله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.