Variability-Aware Memristor Circuit for Hierarchical Bayesian Temporal Sampling
تقدم هذه الورقة دائرة ممرستور (memristor) واعية بالتباين تستفيد من العشوائية الزمنية المتحكم بها والتدريب الهرمي لتنفيذ الشبكات العصبية البايزية بكفاءة، محققةً خفضاً بمقدار 2.7 ضعفاً في بصمة الذاكرة مقارنة بنهج الترميز السكاني مع الحفاظ على دقة الاستدلال في مهمة تصنيف عدم انتظام ضربات القلب MIT-BIH.
تُطالَب أنظمة الذكاء الاصطناعي بشكل متزايد ليس فقط بتقديم التنبؤات، بل بفهم مدى تأكدها من تلك التنبؤات. ويعتمد هذا التحول نحو الحوسبة "المدركة لعدم اليقين" على نهج رياضي يسمى الاستدلال البايزي (Bayesian inference)، حيث يعامل النظام كل قطعة من المعرفة كمدى من الاحتمالات بدلاً من كونها حقيقة واحدة ثابتة. ولكي تعمل هذه الأنظمة، يجب عليها توليد عينات عشوائية باستمرار من هذه النطاقات لاختبار مخرجات مختلفة. ويعد القيام بذلك بكفاءة على الرقائق الحاسوبية القياسية أمراً صعباً لأنه يتطلب كميات هائلة من الذاكرة والطاقة. وقد أمل الباحثون طويلاً في حل هذه المعضلة باستخدام مكونات إلكترونية دقيقة تسمى "الممرستورات" (memristors)، والتي يمكنها تخزين المعلومات بطريقة تحاكي طبيعياً العشوائية المطلوبة لهذه الحسابات. ومع ذلك، كانت الحقيقة الفيزيائية لهذه المكونات تشكل عقبة؛ فالعشوائية التي تمتلكها بحد ذاتها غالباً ما تكون فوضوية وغير متوقعة للغاية بحيث لا يمكن الاستفادة منها في العمل العلمي الدقيق.
لقد أظهر فريق من الباحثين الآن طريقة جديدة لتسخير هذه المكونات لهذه المهمة المحددة، محولين بذلك مصدراً للخطأ إلى أداة موثوقة. فقد بنوا دائرة مخصصة باستخدام نوع من الممرستورات المصنوعة من أكسيد الهافنيوم، مدمجة في شريحة سيليكون قياسية. وبدلاً من محاولة إجبار الأجهزة الدقيقة على إنتاج عشوائية مثالية من تلقاء نفسها، صمم الفريق نظاماً يفصل بين تخزين المعلومات وتوليد العشوائية. في إعدادهم، يتم تجميع ثلاثة من هذه الأجهزة الدقيقة معاً لتمثيل قطعة واحدة من المعرفة؛ حيث يخزن اثنان منها القيمة المتوسطة لتلك المعرفة، بينما يعمل الثالث كـ "مقبض تحكم" يحدد مقدار التقلب في تلك القيمة. والأهم من ذلك، أن التقلبات العشوائية الفعلية لا تأتي من الأجهزة نفسها، بل تقوم الدائرة بضخ تيار مستمر ومتحكم فيه من "الضجيج الأبيض" الخارجي في النظام. ببساطة، يقوم الممرستور الثالث بضبط مقدار هذا الضجيج الخارجي الذي يُسمح له بالمرور، مما يؤدي فعلياً إلى ضبط مستوى عدم اليقين.
اختبر الباحثون أولاً ما إذا كانت الممرستورات قادرة على توليد العشوائية اللازمة بمفردها، فوجدوا أن التقلبات الطبيعية داخل الأجهزة كانت غير متسقة وتتبع نمطاً يتغير بمرور الوقت، مما يجعلها غير مناسبة لأخذ العينات الدقيقة المطلوبة للنظام. كان الضجيج يعتمد بشكل مفرط على التاريخ المحدد للجهاز ويختلف اختلافاً كبيياً من مكون إلى آخر. ومن خلال إدخال مصدر الضجيج الخارجي، تجاوزوا هذه القيود تماماً؛ حيث وفر الضجيج الخارجي تدفقاً نظيفاً وثابتاً من العشوائية كان هو نفسه في كل مرة، بينما عملت الممرستورات فقط كمفاتيح تحكم دقيقة في مستوى الصوت. سمح هذا الفصل للفريق ببرمجة القيمة المتوسطة ومقدار عدم اليقين بشكل مستقل، وهو إنجاز كان من الصعب تحقيقه سابقاً باستخدام أجهزة مدمجة كهذه.
ولجعل هذه الأجهزة مفيدة للمهام الواقعية، طور الفريق طريقة تدريب خاصة تأخذ في الاعتبار الخصائص الفيزيائية لشريحتهم. فقد تعاملوا مع الاختلافات الطفية الحتمية بين الممرستورات الفردية ليس كأخطاء يجب إصلاحها، بل كجزء معروف من سلوك النظام. ومن خلال بناء نموذج يتضمن هذه التباينات الفيزيائية، تمكنوا من تدريب شبكة عصبية للعمل بشكل مثالي ضمن قيود الأجهزة الفعلية. وعندما اختبروا هذا النظام في مهمة تتعلق بتصنيف نظم ضربات القلب من قاعدة بيانات طبية قياسية، كانت النتائج واعدة؛ فقد استخدم النهج الجديد ذاكرة أقل بكثير من الطرق السابقة التي كانت تعتمد على مجموعات كبيرة من الأجهزة لتمثيل عدم اليقين. كما نجح النظام في الحفاظ على دقة التنبؤات والقدرة على تقدير مدى ثقة النظام في تلك التنبؤات. يوضح هذا العمل مساراً واضحاً نحو بناء رقائق مدمجة وموفرة للطاقة يمكنها القيام بعمليات استنتاج معقدة ومدركة لعدم اليقين، مما يقربنا خطوة من بناء أجهزة يمكنها التفكير بنفس الدقة والعمق الذي يمتلكه الدماغ البشري.
بيان المشكلة تتطلب الشبكات العصبية البايزية (BNNs) أجهزة قادرة على تخزين وأخذ عينات من الأوزان التشابكية الاحتمالية لتقدير عدم اليقين في الذكاء الاصطناعي. وبينما يوفر الترميز السكاني (Population Coding) — الذي يستخدم مصفوفة من الأجهزة المتطابقة اسميًا لاستغلال التباين بين جهاز وآخر (D2D) — تمثيلًا مباشرًا لعدم اليقين، إلا أنه يتسبب في عبء كبير على الذاكرة، حيث يتطلب كل وزن تشابكي عددًا من الأجهزة يساوي عدد العينات. أما أخذ العينات الزمني (Temporal Sampling)، الذي يستخدم خلية بت واحدة بشكل متكرر لتوليد عينات من التباين الجوهري بين دورة وأخرى (C2C) أو بين قراءة وأخرى (R2R)، فيقدم بديلًا أكثر إيجازًا. ومع ذلك، فإن تحقيق أخذ العينات الزمني في الأجهزة أمر صعب لأن التقلبات الجوهرية للممرستور غالبًا ما تفتقر إلى القدرة على التحكم، والقدرة على التكرار، والخصائص الطيفية اللازمة (تحديدًا، كونها غالبًا ما تكون شبيهة بضجيج الوميض/Flicker-noise بدلاً من الضوضاء البيضاء) المطلوبة للاستدلال البايزي القوي. علاوة على ذلك، تعاني النهج الحالية من صعوبة في التحكم بشكل مستقل في المتوسط والانحراف المعياري لتوزيع الوزن دون دورات كتابة متكررة تؤدي إلى تدهور قدرة تحمل الجهاز.
المنهجية يقترح المؤلفون دائرة ترميز زمني تعتمد على الممرستور تفصل بين تخزين المعلمات غير المتطايرة وتوليد العشوائية الزمنية. تتكون المنهجية من ثلاثة مكونات رئيسية:
بنية الدائرة:
يستخدم النظام نموذجًا تجريبيًا يحتوي على 2048 ممرستور (مصفوفة 64×32) تم تصنيعه في طبقة التصنيع الخلفية (BEOL) لتقنية CMOS بقدر 130 نانومتر باستخدام طبقات TiN/Ti/HfOx/TiN.
يتم ترميز كل وزن تشابكي باستخدام ثلاثة أجهزة ممرستور: جهاز واحد للتحكم في المكون العشوائي (Gσ) وجهازان تفاضليان لترميز مساهمات المتوسط الموجبة والسالبة (Gμ+ و Gμ−).
بدلًا من الاعتماد على ضجيج الجهاز الجوهري، تقوم الدائرة بحقن مصدر ضوضاء بيضاء مولد خارجيًا في فرع σ. يعمل موصلية الممرستور Gσ ككسب قابل للبرمجة، حيث يتحكم في تردد قطع مرشح RC الفعال، وبالتالي في سعة التقلبات التي تصل إلى المخرج.
يتم اشتقاق المتوسط (μ) من الفرق بين تيارات الفروع التفاضلية، بينما يتم اشتقاق الانحراف المعياري (σ) من تقلبات فرع حقن الضوضاء. تتم معالجة المخرج بواسطة مضخم انتقال الشحنة (CTIA) لإنتاج عينات زمنية تتبع توزيعًا غاوسيًا N(μ,σ2).
توصيف التباين الجوهري:
أثبت المؤلفون تجريبيًا أن تباين الممرستور الجوهري (D2D، وC2C، وR2R) غير كافٍ لأخذ العينات الزمنية. وُجد أن تباين القراءة إلى القراءة (R2R) صغير جدًا، ومشتت للغاية عبر الأجهزة، ومستقل عن حالة الموصلية المبرمجة.
كشف التحليل الطيفي أن تقلبات R2R الجوهرية تتبع اعتماد 1/fβ (حيث β≈1)، وهي سمة مميزة لضجيج الوميض، بدلاً من طيف الضوضاء البيضاء المطلوب (β=0).
التعلم المدرك للأجهزة (النماذج المتغيرة الهرمية):
لمعالجة تباين D2D المتبقي في الممرستورات التي ترمز μ و σ، طور المؤلفون نموذجًا احتماليًا هرميًا. إنهم يعاملون الأوزان المحققة تجريبيًا ليس كقيم حتمية بل كـ "حالات إهليلجية عشوائية" محددة بتوزيع غاوسي ثنائي المتغير بمتجه متوسط M ومصفوفة تباين Σ.
تتم عملية التدريب باستخدام النماذج المتغيرة الهرمية (HVM). يعمل توزيع إهليجي مستمر مخفي (ϵH) كمتغير للتحسين. وفي كل خطوة تعلم، يتم إسقاط هذه الحالة المستمرة على أقرب حالة مكممة قابلة للتحقيق تجريبيًا (ϵQ) من كتاب رموز (Codebook) مشتق من قياسات الرقاقة.
يتم تقييم الخسارة البايزية والتدرجات على الحالة المكممة ϵQ، مما يضمن أن الشبكة تتعلم مباشرة ضد القيود الفيزيائية وإحصائيات عدم اليقين للجهاز.
النتائج الرئيسية
العشوائية المتحكم بها: نجحت البنية المقترحة في إنشاء علاقة خطية قابلة للبرمجة بين موصلية الممرستور Gσ والانحراف المعياري للمخرج σ(Vout) عند حقن ضوضاء بيضاء خارجية. بدون الحقن، تكون العلاقة غير رتيبة وغير موثوقة.
النقاء الطيفي: طيف ضجيج المخرج مع الحقن الخارجي مسطح تقريبًا (β=0)، مما يؤكد توليد ضوضاء بيضاء، في حين يظل ضجيج المتوسط الجوهري ضئيلاً.
الأداء: في مهمة تصنيف عدم انتظام ضربات القلب MIT-BIH، يحقق النهج المقترح انخفاضًا بمقدار 2.7 ضعف في بصمة الذاكرة مقارنة بتنفيذ الترميز السكاني المكافئ.
الدقة وعدم اليقين: يحافظ التدريب المدرك للأجهزة على دقة الاستدلال البايزي وتقديرات عدم اليقين. يظهر النظام أن عددًا محدودًا من العينات الزمنية كافٍ لاستعادة معظم أداء التصنيف وكشف البيانات خارج التوزيع (OOD)، مما يوفر مقايضة قابلة للتحكم بين تكلفة أخذ العينات والدقة.
الأهمية والادعاءات يدعي البحث أنه يضع مسارًا للاستدلال البايزي المدمج باستخدام أجهزة الممرستور عن طريق فصل تخزين معلمات التوزيع عن توليد العشوائية الزمنية. تكمن أهمية ذلك في:
القابلية للتوسع: من خلال استخدام خلية واحدة لكل وزن (مع ثلاثة أجهزة للتحكم في المعلمات) وأخذ العينات الزمنية، يتجنب هذا النهج العبء الإضافي للذاكرة الناتج عن الترميز السكاني.
المتانة: إن النمذجة الصريحة لتباين الأجهزة واستخدام مصادر ضوضاء خارجية تضمن بقاء النظام قويًا في مواجهة عيوب الأجهزة، مما يتجنب الحاجة إلى دورات كتابة متكررة لتشكيل التوزيعات.
التصميم المشترك بين الأجهزة والبرمجيات: يسمح دمج إحصائيات الجهاز المقاسة تجريبيًا في حلقة التدريب (عبر HVM) للشبكة بالتكيف مع الطبيعة العشوائية المحددة للأجهزة المصنعة، بدلًا من محاولة التعويض عن الأخطاء بعد التدريب.
يخلص المؤلفون إلى أن هذه البنية تتيح زيادة عدد العينات العشوائية بمرور الوقت دون زيادة بصمة الذاكرة غير المتطايرة، مما يعالج عقبة رئيسية أمام الأجهزة البايزية القابلة للتوسع.