Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks
تقدم هذه الورقة نظاماً منخفض التكلفة ومفتوح المصدر للتعلم التعزيزي ذي الحلقة المغلقة، يتيح تحسيناً فعالاً وموجهاً نحو الأهداف لأنماط التحفيز الزمكاني في الشبكات العصبية المختبرية ذات القيود الطوبولوجية، وذلك من خلال توصيف استجاباتها المعتمدة على الحالة وإثبات قدرة الوكلاء المتعلمين على تحديد استراتيجيات تحفيز غير بديهية لاستحضار أنماط نشاط مستهدفة محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مدينة صغيرة حية مكونة من عصبونات (خلايا دماغية) تنمو على شريحة خاصة. لهذه المدينة تخطيط محدد، مثل دوار مروري له أربعة مخارج. هدفك هو إرسال "رسائل" كهربائية (محفزات) إلى هذه المدينة لجعل حركة المرور (النبضات) تتدفق في دائرة مثالية باتجاه عقارب الساعة حول الدوار.
ما هي المشكلة؟ هذه المدينة فوضوية. إنها ليست آلة بسيطة لا تضغط فيها على زر فتتحصل على نتيجة متوقعة، بل إن العصبونات تتفاعل بشكل مختلف بناءً على ما حدث قبل جزء من الثانية، وهناك الملايين من الطرق الممكنة لإرسال تلك الرسائل. محاولة العثور على الرسالة المثالية عن طريق التخمين العشوائي ستستغק وقتاً طويلاً—مثل محاولة العثور على حبة رمل معينة على الشاطئ عبر التقاط حبة واحدة كل ثانية.
إليك كيف حل الباحثون هذه المشكلة باستخدام "مدرب ذكي" (التعلم التعزيزي):
١. الإعداد: لوحة دوائر حية
قام العلماء بتنمية خلايا دماغية على شبكة من الأقطاب الكهربائية (مصفوفات الأقطاب الدقيقة). واستخدموا جدرانًا مجهرية غير مرئية (قنوات ميكروفلويديك/مائعية دقيقة) لإجبار الخلايا على النمو في شكل محدد—وهو الحلقة. هذا يجعل "المدينة" أسهل في الفهم، لكنها تظل نظاماً حياً يتنفس ويتغير بمرور الوقت.
٢. التحدي: "الصندوق الأسود"
إذا صدمت جزءاً من المدينة، فقد تطلق العصبونات نبضات في دائرة. ولكن إذا صدمت نفس البقعة بعد ١٠ ثوانٍ، فقد لا تفعل ذلك. لماذا؟ لأن العصبونات لديها "ذاكرة" لما حدث للتو.
- التشبيه: تخيل أنك تحاول تعليم كلب الجلوس. إذا قلت له "اجلس" بينما هو متعب بالفعل، فقد يتجاهلك. وإذا قلتها وهو متحمس، فقد يقفز. رد فعل الكلب يعتمد على حالته الحالية. احتاج الباحثون إلى طريقة لمعرفة ليس فقط ماذا تقول، بل متى تقوله بناءً على شعور الكلب (الشبكة) في تلك اللحظة.
٣. الحل: وكيل التعلم التعزيزي
بدلاً من ترك البشر يخمنون، قاموا ببناء برنامج كمبيوتر—وكيل ذكاء اصطناعي—ليعمل كمدرب.
- الحلقة: يرسل الذكاء الاصطناعي إشارة (محفز) إلى الشريحة.
- رد الفعل: ترسل الشريحة فيديو لاندفاع العصبونات (الاستجابة).
- النتيجة (النقاط): يتحقق الذكاء الاصطناعي من الفيديو. هل اندفعت العصبونات في دائرة مثالية باتجاه عقارب الساعة؟ إذا كان الأمر كذلك، يحصل الذكاء الاصطناعي على درجة عالية (مكافأة). إذا لم يكن كذلك، يحصل على درجة منخفضة.
- التعلم: يجرب الذكاء الاصطناعي ملايين التوليفات المختلفة من الإشارات. ومع مرور الوقت، يتعلم: "آه، عندما أصعق القطب (أ) ثم أنتظر ٢ مللي ثانية قبل صعق القطب (ب)، فإن العصبونات ترقص في دائرة!"
٤. السرعة: الملي ثانية تصنع الفارق
كانت التجارب السابقة بطيئة، مثل إرسال رسالة وانتظار أسبوع لتلقي الرد. هذا النظام الجديد هو حوار في الوقت الفعلي.
- يرسل الذكاء الاصطناعي إشارة، وينتظر رد فعل العصبونات (حوالي ٢٠ مللي ثانية)، ثم يقرر خطوته التالية فوراً.
- إنه يشبه مباراة تنس طاولة تُلعب بسرعة البرق، حيث يتعلم الذكاء الاصطناعي الإيقاع المثالي لإبقاء الكرة (الإشارة) تتحرك في دائرة.
٥. الاكتشاف المذهل: ليس كما تتوقع
ظن الباحثون أن الذكاء الاصطناعي سيتعلم في النهاية صعق الأقطاب بترتيب مثالي باتجاه عقارب الساعة (أ، ثم ب، ثم ج، ثم د) ليتناسب مع الدائرة.
- الواقع: وجد الذكاء الاصطناعي حلاً أغرب وأكثر تعقيداً. اكتشف أنه في بعض الأحيان يحتاج إلى صعق الأقطاب بترتيب فوضوي، أو تخطي بعضها تماماً، لجعل العصبونات تتعاون.
- الاستعارة: تخيل أنك تحاول جعل مجموعة من الناس يمشون في دائرة. قد تعتقد أنك بحاجة لإخبارهم "يسار، يسار، يسار". لكن الذكاء الاصطناعي وجد أنك أحياناً تحتاج لقول "يمين، توقف، اقفز، يسار" لتجعل المجموعة تتحرك في دائرة بسبب كيفية تفاعلهم مع بعضهم البعض. لقد وجد الذكاء الاصطناعي "المصافحة السرية" التي تنجح، حتى لو بدت عشوائية بالنسبة لنا.
٦. عامل "الحالة"
اكتشف الباحثون أيضاً أن رد فعل العصبونات يعتمد بشدة على ما حدث للتو.
- التشبيه: إذا سألت صديقاً سؤالاً، فإن إجابته تعتمد على ما إذا كان يضحك أو يبكي للتو. تعلم الذكاء الاصطناعي استخدام هذا "المزاج" (الحالة) لصالحها. تعلم أنه إذا كانت الشبكة في "المزاج س"، فيجب عليه تجربة "الإشارة ص"، ولكن إذا كانت الشبكة في "المزاج ع"، فيجب عليه تجربة "الإشارة ع".
- وبينما أصبح الذكاء الاصطناعي أفضل في استخدام هذه الأمزجة، فإن الاستراتيجية الأبسط (مجرد العثور على الإشارة الأفضل الواحدة) كانت تعمل تقريباً بنفس كفاءة استراتيجية استشعار المزاج المعقدة.
لماذا هذا مهم؟
هذا ليس مجرد جعل العصبونات ترقص في دوائر. إنه أداة جديدة لفهم الدماغ.
- من أجل العلم: يمنحنا وسيلة لرسم خرائط منهجية لكيفية عمل الدوائر الدماغية دون الحاجة لمعرفة كل اتصال مسبقاً.
- من أجل الطب: يمكن أن يساعد في تصميم غرسات دماغية أفضل للأشخاص المصابين بالصرع أو مرض باركنسون. فبدلاً من أن يخمن الطبيب النمط الكهربائي الصحيح لإيقاف نوبة صرع، يمكن للذكاء الاصطناعي أن يتعلم النمط المثالي لدماغ ذلك المريض تحديداً في الوقت الفعلي.
باخت مختصر: بنى الباحثون مدرباً آلياً سريعاً وذكياً تعلم كيف يتحدث إلى شريحة دماغ حية. لقد اكتشف الشفرة السرية لجعل الخلايا الدماغية تتحرك في دائرة، مما أثبت أننا يمكننا استخدام الذكاء الاصطناعي لفهم والتحكم في العالم البيولوجي المعقد والفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.