A bio-inspired hybrid lifelong learning based on self-selective memristors
تقترح هذه الورقة نظام تعلم مستمر هجين مستوحى حيوياً يقوم بالتصميم المشترك لخوارزمية هجينة بين ذبابة الفاكهة والإنسان مع أجهزة ممرستور ذاتية الاختيار للتغلب على النسيان الكارثي وعدم كفاءة الطاقة، محققاً تحسينات كبيرة في السرعة والطاقة مقارنة بمسرعات CMOS التقليدية.
المؤلفون الأصليون:Yishu Zhang, Xuemeng Fan, Guobin Zhang, Zhejia Zhang, Xinheng Mei, Zijian Wang, Wenjue Zhou, Daying Sun, Lei Deng, Mingkun Xu, Shuai Zhong, Yi Tong, Bin Yu, Rong Zhao, Dashan Shang, Xiaolei Zhu, Qing Yishu Zhang, Xuemeng Fan, Guobin Zhang, Zhejia Zhang, Xinheng Mei, Zijian Wang, Wenjue Zhou, Daying Sun, Lei Deng, Mingkun Xu, Shuai Zhong, Yi Tong, Bin Yu, Rong Zhao, Dashan Shang, Xiaolei Zhu, Qing Wan
تخيل أنك تحاول تعليم روبوت لعب كل ألعاب الفيديو التي صُنعت على الإطلاق، واحدة تلو الأخرى. المشكلة هي أنه عندما يتعلم الروبوت لعبة "Space Invaders"، فإنه غالباً ما ينسى كيفية لعب "Pac-Man". يُسمى هذا "النسيان الكارثي"، وهو يمثل صداعاً كبيراً للذكاء الاصطناعي. ولإصلاح ذلك، يحاول العلماء عادةً إما تجميد دماغ الروبوت بحيث لا يمكنه النسيان (لكنه حينها لن يتمكن من تعلم أشياء جديدة) أو تركه يتعلم بحرية (لكنه حينها سينسى الأشياء القديمة). ومع ذلك، فإن الطبيعة تمتلك حيلة أفضل؛ فأدمغتنا لا تقوم فقط بتخزين كل شيء إلى الأبد، بل تنسى الأشياء المملة بنشاط لتفسح مجالاً للأشياء المهمة، ولدينا أنواع مختلفة من الذاكرة التي تبقى لفترات زمنية متفاوتة. تستكشف هذه الورقة البحثية طريقة جديدة لبناء ذكاء اصطناعي يحاكي هذا التوازن البيولوجي، ولكن بدلاً من استخدام شرائح حاسوبية بطيئة وتستهلك الكثير من الطاقة، تستخدم نوعاً خاصاً من المكونات الإلكترونية التي تعمل كخلية ذاكرة حية.
قام الباحثون، بقيادة ييشو تشانغ وفريق من مؤسسات مثل جامعة تشجيانغ وجامعة تسينغهوا، بابتكار نظام "تعلم مستمر هجين". فكر في الأمر كدماغ روبوت مبني من جزأين مختلفين تماماً يعملان معاً. أولاً، صمموا خوارزمية برمجية ذكية تجمع بين فكرتين بيولوجيتين: "النسيان النشط" (المستوحى من ذباب الفاكهة، الذي ينسى الأشياء ليبقى فعالاً) و"اللدونة الفوقية" (المستوحاة من البشر، التي تقوي الذكريات المهمة). ثان، صنعوا جهازاً مادياً يسمى "الممرستور ذاتي الاختيار" (SSM) والذي يتصرف بشكل طبيعي مثل هذا البرنامج. يمكن لهذه الأجهزة الصغيرة تغيير مقاومتها الكهربائية لتخزين المعلومات، ولكن على عكس ذاكرة الكمبيوتر العادية، لديها "تسريب" مدمج يتلاشى ببطء مع الذكريات الضعيفة بينما يحافظ على الذكريات القوية، تماماً مثل الدماغ البشري.
لم يكتفِ الفريق بمحاكاة ذلك على جهاز كمبيوتر فحسب؛ بل قاموا بالفعل ببناء شريحة صغيرة تحتوي على 1,024 من هذه الممرستورات (مرتبة في شبكة 32×32) واختبروها. ووجدوا أنه من خلال ضبط سرعة "نسيان" هذه الأجهزة، استطاعوا إنشاء فريق من خمسة "نوى ذاكرة" مختلفة داخل الشريحة. تم ضبط بعض النوى لتكون سريعة النسيان ومرنة للغاية (وهي رائعة لتعلم مهام جديدة وصعبة بسرعة)، بينما تم ضبط أخرى لتكون مستقرة وعنيدة للغاية (وهي رائمة للحفاظ على المهارات القديمة والمهمة). وعندما اختبروا هذا النظام على سلسلة من 20 مهمة مختلفة للتعرف على الصور (باستخدام مجموعة بيانات تسمى CIFAR)، نجح النظام في تعلمها جميعاً دون نسيان المهام السابقة.
كانت النتائج مبهرة. فمقارنة بالشرائح الحاسوبية القياسية (CMOS)، يُتوقع أن يكون هذا النظام أسرع بمقدار 3.42 مرة ويستهلك طاقة أقل بمقدار 91 مرة. ويشير المؤلفون إلى أن هذا النهج يحل الصراع الأزلي بين الحفاظ على المعرفة القديمة آمنة وتعلم أشياء جديدة، مما يمهد الطريق لذكاء اصطناعي يمكنه حقاً التعلم المستمر في العالم الحقيقي، تماماً كما نفعل نحن. وهم يؤكدون أنه بينما تم اختبار قواعد التعلم الأساسية على الأجهزة، فإن أرقام الأداء الكامل لتحدي الـ 20 مهمة استندت إلى عمليات محاكاة تمت معايرتها باستخدام قياسات أجهزتهم الواقعية، مما يظهر أن فيزياء أجهزتهم الجديدة يمكنها بالفعل دعم تعلم مستمر ومعقد.
ملخص تقني: نظام تعلم مستمر هجين مستوحى حيويًا يعتمد على الممرستورات ذاتية الاختيار
بيان المشكلة تتطلب أنظمة الذكاء الاصطناي التي تعمل في بيئات ديناميكية ومفتوحة النهايات قدرات التعلم المستمر (Lifelong Learning)—وهي القدرة على اكتساب المعرفة والاحتفاظ بها باستمرار مع الحفاظ على المهارات السابقة. تواجه نماذج الذكاء الاصطناعي الحالية "معضلة الاستقرار والمرونة" (stability-plasticity dilemma)، حيث يؤدي تعلم مهام جديدة غالبًا إلى محو التمثيلات الراسخة، مما يؤدي إلى النسيان الكارثي. تندرج الحلول الحالية عمومًا تحت فئتين متباعدتين: الأساليب القائمة على التنظيم (regularization) التي تحمي المعرفة على حساب القدرة على التكيف، وأساليب البنية الديناميكية أو إعادة تشغيل الذاكرة التي تعزز المرونة ولكنها تخاطر بزعزعة استقرار التمثيلات المتعلمة. علاوة على ذلك، تفرض هذه النهج المتمحورة حول البرمجيات أعباء حوسبية وتكاليف ذاكرة باهظة. هناك فجوة حرجة بين الخوارزميات المعقدة المستوحاة حيويًا والأجهزة المستخدمة لتشغيلها؛ حيث تتبنى معظم النماذج المستوحاة حيويًا آليات بيولوجية معزولة (مثل النسيان النشط أو اللدونة الفائقة/metaplasticity) بدلاً من التكامل التآزري، وتعتمد على بنيات "فون نيومان" التي تفصل بين الذاكرة والمعالجة، مما يؤدي إلى تكاليف طاقة وزمن انتقال (latency) باهظة لتطبيقات الحافة (edge applications).
المنهجية يقترح المؤلفون نموذج تصميم مشترك بين الأجهزة والخوارزميات (hardware-algorithm co-design) يسد هذه الفجوة من خلال دمج مبادئ عصبية بيولوجية متكاملة في نظام تعلم أصيل في الأجهزة.
النسيان النشط الديناميكي (DAF) المستوحى من ذبابة الفاكهة (Drosophila): يحاكي هذا الجزء "الجسم الفطري" (mushroom body) في ذبابة الفاكهة، حيث يعمل على تقليم المشابك العصبية الزائدة لتحسين تخصيص الموارد وتعزيز اللدونة. ويتضمن "معدل نسيان نشط" (α) حيث تضمحل المدخلات ضعيفة التقوية بسرعة بينما يتم الاحتفاظ بالمدخلات قوية التقوية.
اللدونة الفائقة (Metaplasticity) والترسيخ المستوحى من الدماغ البشري (HB): استنادًا إلى آليات الدماغ البشري، يعمل هذا المكون على حماية المعرفة المترسخة وتعزيز النقل الأمامي (forward transfer). ويستخدم معامل كسب عالمي (β) لتعديل اللدونة المشبكية بناءً على التوقعات والأخطاء الخاصة بالمهمة، بشكل مشابه لعملية اللدونة الفائقة التي يتوسطها الدوبامين.
التنفيذ العتادي (الممرستورات ذاتية الاختيار - SSM): لتجسيد هذه الديناميكيات فيزيائيًا، قام المؤلفون بتصنيع مصفوفات تقاطع (crossbar arrays) بسعة 1 كيلوبت (32×32) من ممرستورات ITO/InOx/GaOx/Pt ذاتية الاختيار.
فيزياء الجهاز: تتميز البنية الهجرتونية ثنائية الطبقة بوجود طبقة GaOx ذات تركيز منخفض من فجوات الأكسجين (7.6%) تعمل كحاجز تقويم، وطبقة InOx ذات تركيز عالٍ من فجوات الأكسجين (65.33%) تسهل التبديل المقاوم. ينتج عن هذا التباين تقويم ذاتي عالٍ (SR>106) وعدم خطية عالية (NL>106)، مما يلغي الحاجة إلى مختارات (selectors) خارجية ويمنع التداخل (cross-talk).
الديناميكيات الجوهرية: تُظهر الأجهزة اضمحلالًا قابلاً للضبط في الموصلية، مما يحاكي النسيان النشط. معدل الاضمحلال يعتمد على المحفز، مما يسمح بنسب احتفاظ قابلة للبرمجة. كما تدعم الأجهزة الوظائف المشبكية الأساسية مثل STDP وPPF وPPD.
بنية النظام: يدمج النظام خمسة نوى معالجة مشبكية (SPCs) متوازية. تم برمجة كل نواة (SPC) بديناميكيات تحديث أوزان متميزة وقابلة للضبط (عبر سعة ونبضات التردد) لإنشاء تدرج من اللدونة إلى الاستقرار. تم تكوين SPC1 لللدونة العالية (التكيف السريع، معدل نسيان ~92%)، بينما تم تكوين SPC5 للاستقرار العالي (الاحتفاظ بالمعرفة، معدل نسيان ~37%).
استراتيجية التصميم المشترك: يعمل النظام عبر بنية معالجة موزعة حيث تعالج جميع النوى الخمس المهام الواردة بالتوازي. تصبح النواة التي يتوافق ملف (اللدونة-الاستقرار) الخاص بها مع المهمة الحالية هي "الجذب المسيطر" (dominant attractor). يعمل معامل الكسب (β) المتوافق مع الأجهزة كجسر بين القواعد الخوارذمية وفيزياء الجهاز، حيث يعدل معاملات النبض لتنفيذ التعديل العصبي والبوابات المتفرقة (sparse gating).
المساهمات الرئيسية
التكامل البيولوجي التآزري: يتجاوز هذا العمل الآليات البيولوجية المعزولة من خلال دمج النسيان النشط المستوحى من ذبابة الفاكهة مع اللدونة الفائقة المستمدة من البشر في نموذج تعلم موحد.
المحاكاة الأصلية في الأجهزة: تقوم أجهزة SSM بتجسيد متصل (اللدونة-الاستقرار) فيزيائيًا. إن الاضمحلال الجوهري للموصلية وخصائص التقويم الذاتي للأجهزة تنفذ قواعد التعلم (النسيان والترسيخ) مباشرة دون الاعتماد على تنظيم برمجيات أو مختارات خارجية.
بنية قابلة للتوسع: يحقق التصميم سعة تخزين تصل إلى مستوى التيرابت (حتى 17.1 تيرابت باستخدام مخطط 1/3V) بفضل الانتقائية الذاتية العالية لـ SSM التي تثبط تيارات المسارات الجانبية (sneak-path currents).
متصل تدرج اللدونة-الاستقرار: يخلق هيكل النوى الخمس متصلًا أصيلاً في الأجهزة من إعادة التشكيل السريع إلى الاحتفاظ طويل الأمد، مما يسمح بتقسيم المهام التعاوني الناشئ دون منطق صريح لاختيار النواة.
النتائج تم تقييم النظام على 20 مهمة متتالية من متغيرات CIFAR (S-CIFAR-100, R-CIFAR-100, R-CIFAR-10/100) باستخدام عمليات محاكاة معايرة عتاديًا تم التحقق منها عبر اختبار الأجهزة على مستوى البلاطة (tile-level).
الأداء: حقق النظام متوسط دقة اختبار قدره 68.5%، وهو ما يقارب أداء المعالجات المركزية (70%) ومعالجات الرسوميات (70.3%)، مع تفوق ملحوظ على النماذج التي تعتمد على DAF فقط.
الكفاءة: مقارنة بمسرعات CMOS التقليدية، أظهر النظام القائم على SSM تسريعًا بمقدار 3.42 ضعفًا وتحسنًا في كفاءة الطاقة بمقدار 91 ضعفًا.
توازن اللدونة والاستقرار: نجح النظام في موازنة النقل الأمامي (FT) والنقل الخلفي (BWT). وُجد أن نطاق معدل النسيان النشط (α) الأمثل يبلغ حوالي 120%؛ حيث أدت القيم الأقل إلى عدم كفاية النقل، بينما أدت القيم الأعلى إلى تدهور الأداء الكارثي.
المتانة: حافظ النظام على الأداء رغم التباينات بين جهاز وآخر (D2D) وبين دورة وأخرى (C2C)، والتي تم تقليلها من خلال التصنيع القوي (تباين D2D في LRS كان 2.91%).
التحقق العتادي: تم حصر أخطاء القراءة عبر مصفوفة 1-kb ضمن نطاق ±0.06%، وكانت الأخطاء النسبية على مستوى البلاطة 0.08%، مما يؤكد الدقة الحسابية العالية.
الأهمية يزعم البحث أنه يضع أساسًا متكاملاً بين الأجهزة والخوارزميات وقابلاً للتوسع للنشر الفعال للتعلم المستمر في الأنظمة الواقعية. ومن خلال حل مقايضة الاستقرار واللدونة عبر تآزر متعدد الآليات مغروس مباشرة في فيزياء الممرستور، يردم هذا العمل الفجوة الطويلة بين الخوارزميات المعقدة المستوحاة حيويًا والتنفيذ العملي للأجهزة. يثبت هذا العمل أن الذكاء الاصطناعي العصبي يمكن أن يتجاوز كونه مجرد ركائز ذاكرة سلبية ليصبح منصات حوسبة نشطة ومتكيفة قادرة على التكيف المستمر وفعال في استهلاك الموارد في البيئات الديناميكية. ويضع المؤلفون نموذج التصميم المشترك هذا كخطوة حاسمة نحو الأنظمة المستقلة التي يمكنها العمل بفعالية في سيناريوهات العالم الحقيقي المفتوحة دون عقوبات الطاقة وزمن الانتقال التي تفرضها بنيات فون نيومان التقليدية.