From Physics to Attention: Building Vision Transformers from Oscillatory Neural Network Hardware
تقدم هذه الورقة البحثية HoKuVit، وهو نموذج محول رؤية تلاففي (Convolutional Vision Transformer) قابل للتوسع يدمج طبقات تلاففية قائمة على نموذج كوراماتو وطبقات خطية قائمة على نموذج هوبفيلد في بنية شبكة عصبية تذبذبية (Oscillating Neural Network)، محققاً أداءً رائدًا في معيار CIFAR-10 مع إظهار مسار قابل للتطبيق لتوسيع نطاق الشبكات العصبية التذبذبية لتشمل خطوط معالجة الذكاء الاصطنا-العميقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تتمتع الحواسيب الحديثة بسرعة فائقة، لكنها في الوقت نفسه نهمة للكهرباء. ومع ازدياد تعقيد الذكاء الاصطناعي، تصبح الطاقة المطللة لتشغيل هذه الأنظمة عائقاً كبييراً. لطالما استلهم العلماء من الدماغ البشري، آملين في بناء آلات تعالج المعلومات بالطريقة التي تفعلها الخلايا العصبية: بقدرة منخفضة وكفاءة عالية. ويتضمن أحد المسارات الواعدة "الشبكات العصبية التذبذبية"، وهي نوع من الحوسبة يستخدم النبض الإيقاعي للدوائر الإلكترونية الصغيرة لتخزين البيانات ومعالجتها. وبدلاً من الاعتماد على مفاتيح التشغيل والإيقاف الثنائية (on-off) المستقرة للرقائق التقليدية، تستخدم هذه الأنظمة توقيت وتزامن الموجات. وبينما نجح الباحثون في بناء نسخ صغيرة من هذه الشبكات لحل ألغاز بسيطة، فقد واجهوا صعوبة في توسيع نطاقها. وكان التحدي يكمن في ربط هذه الدوائر الإيقاعية في بنى عميقة ومتعددة الطبقات تشغل اليوم أكثر أنظمة الرؤية تقدماً، والتي يمكنها التعرف على الأشياء في الصور الفوتوغرافية بدقة تشبه دقة البشر.
لقد اتخذ فريق من الباحثين في جامعة بازماني بيتر الكاثوليكية في المجر خطوة كبيرة نحو حل مشكلة التوسع هذه. حيث صمموا نموذجاً جديداً للذكاء الاصطناعي يسمى "HoKuVit"، وهو مبني بالكامل تقريباً من هذه المكونات التذبذبية الإيقاعية. وقد نجح الباحثون في دمج مبدأين فيزيائيين محددين في نظام واحد عامل. يتضمن المبدأ الأول شبكة من المذبذبات المقترنة التي تعمل كمرشح (فلتر)، حيث تقوم بفرز المعلومات البصرية بناءً على مدى تزامن أجزاء مختلفة من الصورة مع بعضها البعض. أما المبدأ الثاني فيستخدم شبكة تعمل كذاكرة، حيث يستقر النظام في حالة مستقرة تمثل نمطاً معترفاً به. ومن خلال نسج هذين السلوكين الفيزيائيين معاً في بنية هرمية، أنشأ الفريق "محول رؤية" (vision transformer) — وهو بنية ذكاء اصطناعي حديثة قادرة على تحليل الصور — يعمل وفق قوانين الفيزياء بدلاً من مجرد المنطق الرقمي.
اختبر الباحثون ابتكارهم على مجموعة بيانات "CIFAR-10"، وهي مجموعة قياسية تضم 60,000 صورة ملونة تحتوي على عشر فئات مختلفة، مثل الطائرات والقطط والشاحنات. وتعد هذه مهمة أصعب بكثير من تجارب التعرف على الأرقام البسيطة التي تُستخدم عادةً لاختبار الشبكات التذبذبية. حقق نموذج "HoKuVit" دقة تقترب من 80 بالمائة، وهي نتيجة تعد الأعلى المسجلة لأي بنية مبنية أساساً على ديناميكيات المذبذب. ورغم أن هذه النسبة أقل من دقة 92 بالمائة التي حققها الإصدار الرقمي القياسي لنفس البنية، إلا أن هذا المقايضة كانت مقصودة؛ فالهدف ليس مطابقة السرعة الخام للرقائق الرقمية الحالية، بل إثبات أن هذه الدوائر الفيزيائية يمكن تدريبها للتعامل مع مهام بصرية معقدة من العالم الحقيقي. يحتوي النموذج على حوالي 0.87 مليون معلمة (parameter)، وحوالي 88 بالمائة منها يتم تنفيذها باستخدام المكونات التذبذبية، بينما تظل طبقات اتخاذ القرار النهائية رقمية فقط.
وما يجعل هذا العمل جديراً بالاهتمام بشكل خاص هو كيفية تدريب الباحثين للنظام. تقليدياً، كانت الشبكات التذبذبية تُصمم بقواعد ثابتة أو طرق تعلم بسيطة لا تسمح لها بالتكيف مع البيانات المعقدة. وفي هذه الدراسة، استخدم الفريق تقنية تسمى "الانتشار العكسي" (backpropagation)، وهي الطريقة القياسية لتدريب نماذج التعلم العميق الحديثة. لقد علموا الدوائر التذبذبية كيفية ضبط اتصالاتها وإيقاعاتها الداخلية لتقليل الأخطاء، مما سمح للنظام بالتعلم مباشرة من الصور. تعلم جزء "الذاكرة" في الشبكة الاستقرار في أنماط متميزة ومستقرة لكل فئة من الأشياء، بينما تعلم جزء "المرشح" مزامنة إيقاعاته لتسليط الضوء على الميزات الهامة في الصورة. وتحقق الباحثون من أن هذه المحاكاة الرقمية تسلك تماماً كما لو كانت في جهاز فيزيائي، حيث تنخفض طاقة النظام مع العثور على الإجابة الصحيحة، تماماً مثل كرة تتدحرج أسفل تلة لتجد أدنى نقطة.
كما بحثت الدراسة في مدى متانة هذه الأنظمة إذا بُنيت باستخدام أجهزة حقيقية غير مثالية. فالدوائر الفيزيائية غالباً ما تعاني من اختلافات طفيفة في مكوناتها أو ضوضاء في إشاراتها. وقد قام الباحثون بمحاكاة هذه العيوب عن طريق إضافة ضوضاء عشوائية إلى حسابات النموذج وتقليل دقة أوزان الذاكرة الخاصة به. وأظهر النظام مرونة ملحوظة؛ فحتى عندما انخفضت دقة أوزان الذاكرة إلى مستوى منخفض جداً أو عند إدخال ضوضاء كبيرة، انخفضت الدقة بأقل من نقطة مئوية واحدة. وهذا يشير إلى أن هذه البنية مناسبة للتنفيذ الفيزيائي، لأنها لا تتطلب الدقة المثالية التي تتطلبها الحواسيب الرقمية. ويقدر الباحثون أنه إذا تم بناؤها على أجهزة متخصصة، فإن توفير الطاقة سيكون كبيراً، مما قد يوفر تحسناً في الكفاءة بمقدار أربعة أضعاف مقارنة بالنظام الرقمي الكامل، بشر تقديم أن المكونات التذبذبية تستهلك طاقة ضئيلة.
يُظهر هذا العمل أن الفجوة بين الفيزياء النظرية والذكاء الاصطناائي العملي تتقلص. فمن خلال التعامل مع السلوك الإيقاعي للدوائر الإلكترونية ليس كعائق، بل كمحرك حوسبة أساسي، أظهر الباحثون أنه من الممكن بناء نماذج تعلم عميق تختلف جوهرياً عن تلك التي نستخدمها اليوم. يعمل نموذج "HoKuVit" كنموذج أولي لمستقبل يعمل فيه الذكاء الاصطناعي على الديناميكيات الطبيعية للأنظمة الفيزيائية، مما يوفر مساراً نحو آلات ليست أكثر ذكاءً فحسب، بل أيضاً أكثر كفاءة في استهلاك الطاقة. ورغم أن النموذج الحالي لا يزال عبارة عن محاكاة، إلا أن إثبات المفهوم واضح: يمكن بالفعل تسخير النبض الإيقاعي للمذبذب لرؤية وفهم العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.