Byzantine-Robust Decentralized GRPO: Defending Against Domain Poisoning and Reasoning-Inflation Attacks
تقدم هذه الورقة Dec-GRPO، وهو إطار عمل لتعظيم السياسة النسبي المجموعاتي اللامركزي والمقاوم للهجمات البيزنطية، والذي يدافع ضد هجمات تسميم النطاق وتضخم الاستدلال من خلال دمج تصفية لوغاريتمات المرجع، والاختيار الموزون بالسمعة، وتجميع Multi-Krum، والمزايا التكيفية المعاقبة للطول.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهرت طريقة جديدة لتعليم نماذج الكمبيوتر كيف تفكر بشكل أفضل. هذه التقنية، المعروفة باسم "تحسين السياسة النسبي للمجموعات" (group relative policy optimization)، تعمل من خلال جعل النموذج يولد عدة إجابات مختلفة لنفس السؤال في وقت واحد. وبدلاً من الاعتماد على حَكَم منفصل لتقييم كل إجابة، يقوم النظام بمقارنة الإجابات مع بعضها البعض داخل تلك المجموعة المحددة. فإذا كانت إجابة واحدة أفضل بوضوح من الإجابات الأخرى في نفس الدفعة، فإنها تحصل على درجة أعلى، ويتعلم النموذج تفضيل هذا الأسلوب من التفكير. وتعد هذه الطريقة فعالة لأنها تلغي الحاجة إلى حَكَم خارجي معقد، مما يوفر قدرًا كبيرًا من القدرة الحوسبية. ولأنها فعالة للغاية، يتوق الباحثون لتشغيل جلسات التدريب هذه عبر العديد من أجهزة الكمبيوتر التي تعمل معًا، وهو نظام يُسمى "التدريب اللامركزي". وفي هذا الترتيب، تشارك العديد من أجهزة الكمبيوتر المستقلة إجاباتها المولدة لبناء نموذج أكثر ذكاءً دون الحاجة إلى إرسال كميات هائلة من البيانات ذهابًا وإيابًا.
ومع ذلك، فإن هذا النهج التعاوني المفتوح يخلق ثغرة أمنية جديدة. فعندما تعمل العديد من أجهزة الكمبيوتر معًا، من الممكن لبعض الجهات السيئة أن تنضم إلى الشبكة وتتظاهر بأنها مشاركين صادقين. هؤلاء المتسللون، الذين يُعرفون في الدوائر الأمنية باسم "الخصوم البيزنطيين" (Byzantine adversaries)، يمكنهم تعطيل عملية التعلم من خلال تغذية النظام ببيانات فاسدة. وقد استكشف دراسة حديثة أجراها الباحثان أوداي يروفا وغاد فيكتوريا مدى خطورة هذا الأمر بالضبط بالنسبة لطريقة التدريب القائمة على المجموعات الجديدة. واكتشفا أن المهاجمين لا يحتاجون إلى أن يكونوا متطورين لإحداث الضرر؛ إذ يمكنهم ببساالطة إغراق النظام بنوعين محددين من البيانات السيئة. يتضمن النوع الأول حقن إجابات خاطئة واقعيًا أو سامة، مما يربك النموذج حول ماهية الإجابة الصحيحة. أما النوع الآخر فهو أكثر دقة: حيث يقدم المهاجم إجابات صحيحة تمامًا، ولكنها مكتوبة بطريقة طويلة ومسهبة بشكل مبالغ فيه. ولأن نظام التدريب يكافئ الإجابات التي تبرز داخل المجموعة، فإن هذه الإجابات الطويلة والمسهبة والصحيحة يمكن أن تستولي على عملية التعلم، مما يجبر النموذج على أن يصبح ثرثارًا وغير فعال بشكل غير ضروري.
ولحل هذه المشكلة، طور الباحثون نظام دفاع جديدًا يسمى "Dec-GRPO". يعمل هذا النظام مثل مرشح متعدد الطبقات يقع بين أجهزة الكمبيوتر التي تشارك البيانات وعملية التعلم المركزية. تتحقق الطبقة الأولى من الثقة الداخلية للإجابات، وترفض تلك التي تبدو غير متأكدة أو غير منطقية بشكل مريب. وتحتفظ الطبقة الثانية بسجل لدرجة السمعة لكل كمبيوتر في الشبكة؛ فإذا كان لدى الكمبيوتر تاريخ في إرسال بيانات سيئة، يتم تجاهله. وتستخدم الطبقة الثالثة طريقة إحصائية للعثور على المجموعة الأكثر اتساقًا من الإجابات، مما يؤدي فعليًا إلى التصويت ضد القيم المتطرفة التي لا تتناسب مع نمط الحواسيب الصادقة. وأخيرًا، يتضمن النظام عقوبة ذكية للطول؛ فإذا بدأت الإجابات في مجموعة ما تتباين بشكل كبير في الحجم، يقوم النظام تلقائيًا بزيادة العقوبة على الإجابات الطويلة، مما يثبط المهاجمين عن استخدام الإطناب للتلاعب بالنتائج.
اختبر الباحثون هذا الدفاع في محاكاة حاسوبية مضبوطة تتضمن عشر عقد، أو أجهزة كمبيوتر، تعمل معًا. وقد أدخلوا سيناريو حيث كانت ثلاثون بالمائة من أجهزة الكمبيوتر عبارة عن جهات سيئة، منقسمة بين أولئك الذين يرسلون إجابات خاطئة وأولئك الذين يرسلون إجابات طويلة جدًا. وبدون أي دفاع، انخفض أداء النظام بشكل كبير، وتضاعف متوسط طول الإجابات لأكثر من مرتين، حيث ارتفع من اثنتين وعشرين كلمة إلى أكثر من ثلاث وخمسين كلمة. وعندما كان نظام الدفاع الكامل نشطًا، استعاد النموذج معظم أدائه المفقود وحافظ على أطوال الإجابات قريبة جدًا من المستوى الطبيعي. ووجدت الدراسة أن طريقة التصويت الإحصائي كانت أقوى أداة منفردة لوقف الهجمات، ولكن الجمع بين الطبقات الأربع قدم أفضل حماية شاملة، خاصة ضد المهاجمين الذين حاولوا إخفاء حيلهم.
كما اختبر الفريق هذه الهجمات على نموذج لغة حقيقي مفتوح المصدر باستخدام مجموعة بيانات لمسائل رياضية. وقد أكدوا أن الهجمات تعمل على النماذج الحقيقية تمامًا كما تعمل في المحاكاة. فعندما استخدم المهاجمون حيلة الإطناب، أصبحت إجابات النموذج أطول بمقدار مرتين ونصف. وعندما استخدموا حيلة التسميم، انخفضت قدرة النموذج على الحصول على الإجابة الصحيحة بنحو اثنين وثلاثين بالمائة. ومع ذلك، لاحظ الباحثون قيدًا حاسمًا: وهو أن المرشحات المحددة التي قاموا بضبطها للمحاكاة لم تعمل بشكل مثالي عند تطبيقها مباشرة على النموذج الحقيقي دون تعديل. فقد انخفض معدل اكتشاف الجهات السيئة إلى الصفر في الاختبار الواقعي، مما يشير إلى أنه بينما التهديد حقيقي جدًا، فإن الإعدادات الدقيقة للدفاع تحتاج إلى إعادة معايرة لأنواع مختلفة من النماذج.
في الختام، يسلط هذا العمل الضوء على أنه مع انتقال الذكاء الاصطناعي نحو التدريب التعاوني اللامركزي، يجب أيضًا بناء دفاعات أقوى ضد التلاعب. وتظهر الدراسة أنه بينما يمكن للجهات السيئة تعطيل عملية التعلم بسهولة عن طريق إرباك النموذج بإجابات خاطئة أو إغراقه بإجابات طويلة، فإن الجمع بين تتبع السمعة، والتصويت الإحصائي، والعقوبات التكيفية يمكن أن يقلل بشكل كبير من الضرر. ويخلص الباحثون إلى أن نظامهم يسمح للتدريب بالتدهور بشكل تدريجي ومنظم، مما يعني أنه حتى لو تعرضت الشبكة لهجوم، فإنها لا تنهار تمامًا بل تحافظ على مستوى من الأداء أفضل بكما بكثير من النظام غير المحمي. وهذا يوفر مسارًا للمضي قدمًا في بناء أنظمة ذكاء اصطناعي تعاونية وقوية يمكنها التعلم معًا دون أن يتم الاستيلاء عليها بسهولة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.