Why Does Robustness Reduce Superposition?
توضح هذه الورقة تجريبيًا أن التدريب الخصمي يقلل من التراكب عبر إجبار النماذج على التخلي عن الميزات غير المتينة، مما يؤدي إلى تقليل العدد الإجمالي للميزات التي يجب تمثيلها داخل الشبكة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، غالباً ما تُعامل النماذج الحاسوبية كصناديق سوداء: نغذيها بالبيانات، فتعطينا إجابة، لكن آليات عملها الداخلية تظل لغزاً. لسنوات، ظل الباحثون في حيرة من أمرهم بسبب ثغرة غريبة في هذه الأنظمة؛ فحتى النماذج الأكثر دقة يمكن خداعها بواسطة "الأمثلة الخصومية" (adversarial examples)—وهي تغييرات طفيفة، غير مرئية تقريباً، في صورة أو صوت تتسبب في وقوع الحاسوب في خطأ فادح. على سبيل المثال، قد يتم تعديل صورة باندا ببضعة بكسلات بطريقة لا تدركها العين البشرية، ومع ذلك يصبح الحاسوب مقتنعاً فجأة بأنه ينظر إلى قرد "الجبون". لقد عرف العلماء منذ زمن طويل أن هذه النماذج تعتمد على أنماط معينة في البيانات لاتخاذ القرارات، لكنهم لم يفهموا تماماً كيف تُخزن تلك الأنماط داخل عقل الآلة، أو لماذا يسهل خداع الآلة بها بهذا الشكل.
لقد قدمت أعمال حديثة مفهوماً يسمى "التراكب" (superposition) لتفسير مشكلة التخزين هذه. تخيل النموذج كغرفة ذات عدد ثابت من الرفوف. إذا احتاج النموذج لتذكر أشياء أكثر مما تسمح به الرفوف، فعليه البدء في تكديس العناصر فوق بعضها البعض، أو حشرها في نفس المساحة. هذا هو التراكب: النموذج يحاول الاحتفاظ بميزات أكثر مما يمتلكه من مساحة فيزيائية. وقد أظهر خط بحثي منفصل أنه عندما يتم تدريب النماذج لمقاومة هذه الأمثلة الخصومية الماكرة، فإنها تصبح أكثر متانة، لكنها تبدو أيضاً وكأنها تتوقف عن حشر الكثير من الأشياء معاً؛ فهي تبدو وكأنها تتوقف عن التراكب. ومع ذلك، لم يستطع أحد تفسير الآلية وراء هذا التغيير. لماذا يؤدي تعليم النموذج تجاهل خدعة صغيرة إلى جعله ببساطة يتوقف عن تذكر أشياء معينة؟
تقدم دراسة جديدة للباحث المستقل آدم إليمادي، والتي عُرضت في ورشة عمل حول قابلية تفسير الذكاء الاصطناعي، إجابة واضحة لهذا السؤال. سعى الباحث لتتبع سلسلة الأحداث التي تحدث عندما يتم تدريب نموذج ليكون متيناً. باستخدام نماذج حاسوبية مبسطة تحاكي سلوك الأنظمة الأكبر في العالم الحقيقي، توضح الدراسة أن التدريب الخصومي يجبر النموذج على التخلي عن أنواع محددة من المعلومات. يتعلم النموذج أن بعض الأنماط في البيانات هشة للغاية بحيث لا يمكن الاستفادة منها عند التعرض لهجوم. هذه الأنماط، المعروفة باسم "الميزات غير المتينة" (non-robust features)، تشبه الهمسات التي يسهل إغراقها بالضجيج. وعندما يتم تدريب النموذج على مقاومة الضجيج، يدرك أن التمسك بهذه الهمسات الهشة يمثل عبئاً؛ وبالتالي، يتخلص منها تماماً. ولأن النموذج لم يعد بحاجة لتخزين هذه الميزات المستبعدة، فإنه يحتاج لأشياء أقل لحشرها في مساحته المحدودة، وبذلك تختفي الحاجة إلى التراكب بشكل طبيعي.
لإثبات ذلك، لاحظ الباحث أولاً أن النماذج المدربة على مقاومة الهجمات تمثل باستمرار عدداً أقل من الميزات مقارنة بالنماذج المدربة على البيانات العادية. في هذه التجارب، مُنحت النماذج مقداراً محدداً من "التناثر" (sparsity)، وهو إعداد يتحكم في عدد الميزات التي يُسمح لها بالتنشيط. وعبر مجموعة واسعة من هذه الإعدادات، اختارت النماذج المتينة دائماً تمثيل ميزات أقل. ثم بحثت الدراسة في هندسة هذه الميزات—أي كيفية استقرارها في المساحة الداخلية للنموذج. ووجدت أن الميزات التي اختارت النماذح المتينة إسقاطها هي تلك التي تسببت في أكبر قدر من التداخل فيما بينها؛ كانت هي الميزات التي، عند حشرها معاً، تسبب ارتباكاً وأخطاءً. أما النماذج التي نجت من التدريب فقد احتفظت فقط بالميزات التي تتوافق مع بعضها البعض بشكل نظيف، وغالباً ما قامت بمحاذاتها في اتجاهات متعاكسة لتقليل الصراع، بينما استبعدت البقية.
تضمن الجزء الأكثر أهمية من الدراسة استخدام مجموعة بيانات اصطناعية حيث عرف الباحث بدقة أي الميزات كانت "متينة" وأيها كانت "غير متينة" قبل بدء التدريب. في هذه البيئة المنضبطة، كانت الميزات المتينة عبارة عن إشارات قوية ومستقرة، بينما كانت الميزات غير المتينة ضعيفة وسهلة الاضطراب. وعندما تم تدريب النموذج لمقاومة الهجمات، قام بإسقاط مجموعة الميزات غير المتينة تحديداً في كل مرة، بغض النظر عن مقدار المساحة المتاحة له. وحتى عندما كان لدى النموذج مساحة واسعة لتخزين كل شيء، أقنعه التدريب الخصومي بأن الميزات غير المتينة خطيرة جداً للاحتفاظ بها. تؤكد الدراسة أن تقليل التراكب ليس مجرد أثر جانبي عشوائي، بل هو نتيجة مباشرة لعملية تنقية النموذج للميزات الهشة المحددة التي تجعله عرضة للخداع.
يقدم هذا الاكتشاف طريقة جديدة لفهم العلاقة بين الأمن والكفاءة في الذكاء الاصطناعي. فهو يشير إلى أن جعل النموذج متيناً لا يقتصر فقط على إضافة المزيد من الدفاعات، بل يتعلق بتغيير جوهري في ما يعتبره النموذج جديراً بالتذكر. فمن خلال إجبار النموذج على مواجهة هشاشة معرفته الخاصة، يعمل التدريب الخصومي على تبسيط بنيته الداخلية. يتوقف النموذج عن محاولة التمسك بكل نمط ممكن ويركز فقط على الأنماط المستقرة والموثوقة. وبينما تم إثبات هذه النتائج باستخدام نماذج تجريبية مبسطة، إلا أنها تقدم تفسيراً ميكانيكياً واضحاً لظاهرة كانت في السابق لغزاً. والخطوة التالية للباحثين ستكون معرفة ما إذا كانت عملية إسقاط الميزات الهشة وتقليل التراكب هذه تحدث أيضاً في النماذج المعقدة في العالم الحقيقي التي تشغل التكنولوجيا الحديثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.