Federated Adversarial Training with Transformers

في عالم الذكاء الاصطناعي المعاصر، تتعلم الآلات من خلال دراسة كميات هائلة من البيانات. عادةً ما تُجمع هذه البيانات في مكان مركزي واحد، مثل مكتبة ضخمة، حيث يقوم نظام حاسوبي واحد بقراءة كل شيء للعثور على الأنماط. ومع ذلك، فإن حركة متنامية تسمى "التعلم الاتحادي" (Federated Learning) تغير هذا الترتيب. فبدلاً من جمع المعلومات الخاصة من ملايين الأشخاص في نقطة واحدة، يحدث التعلم على الأجهزة الفردية نفسها—الهواتف، أو المستشعرات الطبية، أو الخوادم المحلية. تحتفظ هذه الأجهزة بخصوصية بياناتها وترسل فقط تحديثات مشفرة وصغيرة عما تعلمته إلى منسق مركزي. يقوم هذا المنسق بعد ذلك بدمج هذه التحديثات لبناء نموذج عالمي أكثر ذكاءً، وكل ذلك دون أن يرى البيانات الشخصية الخام أبداً. إنها طريقة قوية لحماية الخصوصية مع الاستمرار في تطوير التكنولوجيا في آن واحد.

ومع ذلك، تواجه هذه النماذ الذكية خطراً خفياً. تماماً كما يمكن خداع الإنسان بواسطة خدعة بصرية بارعة، يمكن خداع الذكاء الاصطناعي بتغييرات طفيفة، غير مرئية تقريباً، في صورة ما. فقد يتم تعديل صورة باندا ببضع بكسلات بطريقة لا تلاحظها العين البشرية، مما يجعل الحاسوب يصنفها بثقة خاطئة على أنها غيبون (نوع من القردة). تُعرف هذه بـ "الأمثلة العدائية" (Adversarial Examples). وللدفاع ضدها، يستخدم الباحثون تقنية تسمى "التدريب العدائي"، حيث يُعرض على النموذج مراراً وتكراراً هذه الصور المعدلة والمخادعة أثناء مرحلة التعلم حتى يتعلم تجاهل الخداع. والسؤال الذي تعالجه هذه الدراسة الجديدة هو ما إذا كان هذا الدفاع يعمل عندما يحدث التعلم بطريقة موزعة تحافظ على الخصوصية، وتحديداً باستخدام نوع حديث من البنى الهيكلية يسمى "محول الرؤية" (Vision Transformer)، والذي يعد حالياً أحد أقوى الأدوات لتعليم الحواسيب كيفية الرؤية.

لقد وضع الباحثون هدفهم لاختبار مدى قدرة محولات الرؤية هذه على التدرب لمقاومة الخداع عندما تكون البيانات مقسمة عبر خمسة عملاء مختلفين، مما يحاكي سيناريو واقعياً حيث لا تكون البيانات متوازنة بشكل مثالي. لقد جربوا اثني عشر نوعاً مختلفاً من النموذج، مغيرين كيفية تقسيم الصور إلى قطع ليحللها الحاسوب وكيفية اتخاذ القرار النهائي. كما اختبروا عدة طرق لدمج تحديثات التعلم من العملاء الخمسة. كان الهدف هو معرفة أي مزيج من تصميم النموذج وطريقة الدمج ينتج النتيجة الأكثر قوة—أي النتيجة التي تظل دقيقة حتى عند تعرضها لهجمات باستخدام أكثر الحيل تطوراً.

كان الاكتشاف الرئيسي الأول مفاجأة لأولئك الذين أملوا أن تكون الأساليب الأحدث أفضل دائماً. فقد تبين أن العديد من التقنيات المتقدمة، المصممة خصياً لمساعدة النماذج على التعلم بشكل أسرع عندما تكون البيانات غير موزعة بالتساوي، جعلت محولات الرؤية أكثر عرضة للهجمات. هذه الأساليب، التي تحاول تصحيح الاختلافات بين العملاء، انتهى بها الأمر إلى إبطاء عملية التدريب وتطلبت ضعف كمية البيانات التي يتم إرسالها ذهاباً وإياباً بين الأجهزة والخادم المركزي. في المقابل، كان الأسلوب القياسي والأبسط المتمثل في متوسط التحديثات يؤدي أداءً أفضل في الحفاظ على سلامة النموذج من الخداع. فقد تبين أن التصحيحات المعقدة التي تهدف إلى معالجة عدم توازن البيانات كانت غير ضرورية لهذا النوع المحدد من النماذج، ولم تؤدِ إلا إلى زيادة التكلفة دون تحسين الأمن.

كما كشفت الدراسة أن الطريقة التي ينظر بها النموذج إلى الصورة تؤثر بعمق على سلامته. اختبر الباحثون طرقاً مختلفة لتقسيم الصورة إلى "رموز" (Tokens)، أو قطع صغيرة، قبل أن يحللها النموذج. ووجدوا أن الطريقة التي تقسم الصور إلى قطع دقيقة ومتداخلة تساعد النموذج على التعرف على الأشياء بشكل أفضل في الظروف العادية. ومع ذلك، فإن هذه الطريقة نفسها جعلت النموذج أسهل بكثير في الخداع عندما يحاول مهاجم تضليله. وعلى العكس من ذلك، فإن النماذج التي تعتمد فقط على رموز بصرية محددة لاتخاذ قرارها النهائي عانت من أجل التعلم بفعالية في هذا الإعداد الموزع. وقد تضمن النهج الأكثر نجاحاً توازناً: استخدام مزيج من الرموز البصرية ورمز ملخص خاص لاتخاذ القرار النهائي، مما سمح للنموذج بالحفاظ على دقته مع البقاء قوياً ضد الهجمات.

ولحل مشكلة البيانات غير المتساوية دون التكلفة العالية للأساليب المعقدة، قدم الفريق استراتيجية جديدة تسمى "FedWAvg". فبدلاً من معاملة تحديث كل عميل بالتساوي أو محاولة جعلهم يبدون متشابهين، تنظر هذه الطريقة الجديدة إلى الطبقة الأخيرة من نموذج كل عميل—وهي الجزء الذي يتخذ القرار فعلياً. إنها تقيس مدى توافق اتجاه طبقة اتخاذ القرار لكل عميل مع النموذج العالمي. إذا كان تحديث العميل يشير إلى اتجاه مشابه، فإنه يُمنح وزناً أكبر؛ وإذا كان يشير إلى اتجاه مختلف تماماً، فإنه يُمنح وزناً أقل. هذا ليس تخميناً عشوائياً بل هو تعديل رياضي دقيق يضمن عدم انحراف النموذج العالمي عن مساره. وقد أثبت الباحثون أن هذا النهج لا يجعل النموذج أسوأ أبداً من الطريقة القياسية، بل يحسن قدرته على مقاومة الهجمات تحديداً عندما تكون البيانات منحازة بشدة، في حين أنه لا يقدم ميزة ثابتة في حالات الانحياز المتوسط.

أظهرت النتائج أن طريقة التوزين الجديدة هذه عملت بشكل جيد بشكل خاص عندما كانت البيانات منحازة للغاية، مثل الحالات التي يمتلك فيها بعض العملاء صور قطط وكلاب فقط بينما يمتلك آخرون صور سيارات وشاحنات فقط. في هذه السيناريوهات الصعبة، حافظت الطريقة الجديدة على دقة النموذج العالية ودفاعاته القوية، بينما فشلت الأساليب القديمة الأكثر تعقيداً. كما سلطت الدراسة الضوء على أن حجم النموذج كان مهماً؛ فالنماذج الأكبر التي تحتوي على المزيد من كتل الانتباه (Attention Blocks) أدت أداءً أفضل في هذه البيئات الفوضوية وغير المتساوية، رغم أنها تتطلب قوة حوسبة أكبر. وأشار الباحثون إلى أنه بينما أُجريت اختباراتهم على مجموعة محددة من الصور، فإن المبادئ التي كشفوا عنها حول كيفية دمج تحديثات التعلم وكيفية تصميم طبقة القرار النهائي للنموذج من المرجح أن تظل صالحة لمجموعات البيانات الأكبر والأكثر تعقيداً في المستقبل.

في نهاية المطاف، يوفر هذا العمل خارطة طريق واضحة لبناء ذكاء اصطناعي آمن ويحافظ على الخصوصية. إنه يوضح أنه في المعركة ضد الهجمات الخداعية، غالباً ما يكون التبسيط هو الأفضل. إن المسار الأكثر فعالية للمضي قدماً ليس بإضافة آليات تصحيح معقدة تبطئ العمل، بل باستخدام طريقة ذكية وخفيفة الوزن لوزن مساهمات كل متعلم. ومن خلال التركيز على توافق طبقات اتخاذ القرار النهائية، تضمن الطريقة الجديدة بقاء النموذج العالمي على المسار الصحيح، بحيث يتعلم من الجميع دون أن يضل الطريق بسبب ضجيج البيانات غير المتساوية. يقدم هذا النهج طريقة عملية وفعالة لنشر أنظمة رؤية قوية في العالم الحقيقي، حيث نادراً ما تكون البيانات مثالية وتكون الخصوصية أمراً بالغ الأهمية.