Feature Evolution and Migration during Vision Transformer Training
تقدم هذه الورقة إطار عمل مبتكرًا يستخدم المشفرات التلقائية المتفرقة (Sparse Autoencoders) لتصور تطور الميزات عبر عمق الشبكة ووقت التدريب في نماذج المحولات الرؤية (Vision Transformers)، مما يكشف أن هجرة الميزات تتركز في مراحل مبكرة من التدريب، وتفضل الانتقال نحو الطبقات الأقل عمقًا، وأن الطبقات الأكثر عمقًا تستقر في وقت أبكر من الطبقات الأقل عمقًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المعاصر، تتعلم الحواسيب الرؤية من خلال معالجة الصور عبر شبكات واسعة ومتعددة الطبقات من الخلايا العصبية الرقمية. وقد أصبحت هذه الأنظمة، المعروفة باسم "محولات الرؤية" (Vision Transformers)، هي المعيار القياسي لمهام تتراوح بين تحديد الحيوانات في الصور إلى توجيه المركبات ذاتية القيادة. لسنوات، فهم العلماء أن هذه الشبكات تنظم المعلومات في تسلسل هرمي: فالطبقات الأولى تكتشف الأشكال البسيطة مثل الحواف والنسيج، بينما تدمج الطبقات الأعمق تلك الأشكال في مفاهيم معقدة مثل الوجوه أو الكائنات الكاملة. ومع ذلك، ظل هناك لغز جوهري حول كيفية تشكل هذا التنظيم الداخلي في الواقع. كنا نعلم أن النتيجة النهائية تبدو كأنها مكتبة جيدة التنظيم، لكننا لم نكن نعرف كيف يتم فرز الكتب أو نقلها أو وضعها على الرفوف أثناء تعلم الكمبيوتر. لم يكن من الواضح ما إذا كانت الميزات التي اكتشفتها الشبكة تبقى في مكانها نفسه من اللحظة الأولى للتدريب حتى اللحظة الأخيرة، أم أنها تهاجر إلى طبقات مختلفة مع نضوج النظام.
ولحل هذا اللغز، طور باحثون في جامعة تارتو طريقة جديدة لمراقبة عملية التعلم وهي تتكشف في الوقت الفعلي. فبدلاً من النظر إلى الشبكة ككتلة واحدة ثابتة، قاموا برسم نشاطها الداخلي عبر بُعدين: عمق الشبكة، من الطبقة الأولى إلى الأخيرة، ومرور الوقت، المقاس بمئات دورات التدريب التي خضع لها النموذج. لقد عاملوا الشبكة كأنها نظام بيئي حي، متتبعين كيفية ظهور أنماط معينة من المعلومات، واختفائها، أو انتقال مواقعها. ومن خلال استخدام أداة رياضية تفكك البيانات المعقدة إلى مكونات بسيطة ومتميزة، تمكن الفريق من عزل "الميزات" الفردية — وهي أشياء محددة تعلم الكمبيوتر التعرف عليها، مثل نسيج معين أو جزء من كائن ما — وتتبع رحلتها عبر الطبقات. سمح هذا النهج برؤية الديناميكيات الخفية للتعلم التي قد تغفلها الطرق القياسية، والتي تقيس فقط التشابه الإجمالي.
قام الباحثون بتدريب نسخة صغيرة ولكن ممثلة لـ "محول رؤية" على مجموعة بيانات ضخمة تضم مليون صورة، لتعليمها التعرف على آلاف الفئات المختلفة. وبينما كان النموذج يتدرب على مدار 300 دورة، سجل الفريق حالته الداخلية عند كل خطوة. واكتشفوا أن تنظيم الميزات ليس ثابتاً؛ بل هو مرن بشكل مفاجئ، خاصة في بداية عملية التعلم. في المراحل المبكرة، غالباً ما تظهر الميزات في الطبقات الأعمق من الشبكة، حيث يحاول النظام في البداية فهم الصورة ككل. ومع تقدم التدريب، تهاجر العديد من هذه الميزات إلى الخلف، متحركة نحو الطبقات الأولى والأقل عمقاً. الأمر كما لو أن النظام يكتشف مفهوماً ما أولاً في شكل ملخص رفيع المستوى، ثم يستطيع مع مرور الوقت تحديد المكان الدقيق الذي ينتمي إليه هذا المفهوم في مسار المعالجة، ليستقر في موطن أكثر ديمومة.
هذا الهجرة ليست عشوائية؛ فهي تتبع نمطاً واضحاً. فقد وجدت الدراسة أن الميزات تتحرك نحو الطبقات الأولى بشكل أكثر تكراراً مما تتحرك نحو الطبقات الأعمق. وبمجرد أن تجد الميزة مكانها، فإنها تميل للبقاء هناك، وتصبح مستقرة بشكل متزايد مع استمرار التدريب. تستقر الطبقات الأعمقة في الشبكة أولاً، حيث تثبت تنظيمها في وقت مبكر، بينما تستمر الطبقات الأقل عمقاً في التعديل وصقل محتوياتها لفترة أطول. وبحلول نهاية التدريب، يستقر النظام في تكوين مستقر حيث لا تعود الميزات تتجول بين الطبقات. كما لاحظ الباحثون أن هذا السلوك ثابت بغض النظر عن حجم مجموعة البيانات المستخدمة، مما يشير إلى أن هذه الهجرة هي جزء أساسي من كيفية تعلم هذه الشبكات، وليست مجرد سمة خاصة بمجموعة تدريب معينة.
ولعل الأمر الأكثر إثارة للدهشة هو أن الفريق وجد أن الميزات التي تظهر في بداية التدريب ليست بالضرورة هي التي تدوم لأطول فترة. فبعض الميزات التي تظهر بسرعة لها أعمار قصيرة جداً، حيث تظهر وتختفي في غض_بضعة دورات تدريبية. أما الميزات الأخرى، وخاصة تلك التي تستقر في الطبقات الأعمقة، فهي تستمر طوال مدة التدريب. كما بحثت الدراسة فيما إذا كانت هذه الميزات المتحركة تتوافق مع فئات محددة يمكن للإنسان فهمها، مثل "كلب" أو "سيارة". ووجدوا أنه بينما ترتبط بعض الميزات بوضوح بفئات معينة، فإن غيرها يكون أكثر عمومية أو مشتركاً بين مجموعات من العناصر ذات الصلة. ومع ذلك، فإن الطريقة التي تتحرك بها الميزة أو تستقر بها لا يبدو أنها تعتمد على ما إذا كانت تمثل جسماً محدداً أو مفهوماً أوسع؛ فنمط الهجرة هو خاصية هيكلية لعملية التعلم نفسها.
تقدم هذه النتائج منظوراً جديداً لكيفية تعلم الذكاء الاصطناعي. فبدلاً من بناء هيكل صلب من الأسفل إلى الأعلى، يبدو أن الشبكة تستكشف استراتيجيات تنظيمية مختلفة، وتنقل المعلومات من مكان لآخر حتى تجد الترتيب الأكثر كفاءة. إن المرحلة المبكرة من التدريب هي وقت من النشاط العالي وإعادة التنظيم، حيث يختبر النظام مواقع مختلفة لميزاته المتعلمة. ومع انتهاء التدريب، يهدأ هذا النشاط، وتستقر الشبكة في حالة ثابتة. يوفر هذا البحث خريطة مفصلة لتلك الرحلة، موضحاً أن الطريق نحو الذكاء في هذه الآلات يتضمن عملية ديناميكية من الاكتشاف وإعادة التوطين، وليس مجرد تراكم استاتيكي للمعرفة. ومن خلال فهم كيفية هجرة الميزات واستقرارها، يمكن للعلماء اكتساب رؤى أعمق حول الآليات الداخلية لهذه الأدوات القوية، مما قد يؤدي إلى أنظمة أكثر كفاءة وقابلية للتفسير في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.