Building Goal-Directed Cognitive Graphs

ملخص تقني لورقة بحثية بعنوان: "بناء الرسوم البيانية المعرفية الموجهة بالأهداف"

1. بيان المشكلة

تعتمد الذكاء البيولوجي على استخراج الهياكل العلاقاتية من الخبرة لتوجيه السلوك المرن والموجه بالأهداف. وبينما تشير الأدلة العصبية إلى أن الدماغ يراكم إحصائيات انتقال تنبؤية كثيفة (بما يتوافق مع التمثيلات اللاحقة - Successor Representations في الدوائر الحصينية)، تشير الأدلة السلوكية إلى أن الكائنات الحية تعتمد غالباً على نماذج داخلية متباعدة وموجزة للتخطيط والاختيار.

هناك سؤال حوسبي مركزي لم يتم حله بعد: كيف تتحول إحصائيات الانتقال الكثيفة والتدريجية إلى رسم بياني منفصل ومتباعد يتحكم في السلوك؟

• الفجوة: عادة ما تستمد نماذج التعلم التعزيزي (RL) القياسية التقييم واختيار الفعل مباشرة من خرائط تنبؤية كثيفة. ومع ذلك، فإن هذا يفشل في تفسير:
  • التحولات السلوكية المفاجئة: يتغير السلوك غالباً في "أنظمة" (regimes) منفصلة رغم التعلم التدريجي.
  • الاختلافات الفردية متعددة الأنماط: يُظهر البشر استراتيجيات نوعية متميزة (مثل الانعكاس الكامل مقابل عدم التغيير في مهام إعادة التقييم) والتي لا يمكن تفسيرها بمجرد تغيير مستمر للمعلمات (parameters).
  • البصمات عبر الأنواع: تجد النماذج القياسية صعوبة في تفسير أنماط سلوك الفئران المحددة في مهام الخطوتين دون استدعاء مزيج معقد من المتحكمات القائمة على النموذج (model-based) والقائمة على غياب النموذج (model-free).

2. المنهجية: الرسم البياني المعرفي المتباعد (SCG)

يقدم المؤلفون الرسم البياني المعرفي المتباعد (SCG)، وهو إطار عمل للتعلم التعزيزي يفصل حوسبياً بين تعلم الانتقال التدريجي وبناء الرسم البياني غير الخطي.

البنية الأساسية

يحافظ النموذج على تمثيلين متوازيين:

1. تمثيل الانتقال الكثيف ($W$):
   • مصفوفة كثيفة تراكم إحصائيات الانتقال تدريجياً عبر قاعدة فرق زمني (TD).
   • على عكس الـ SR الكلاسيكي (الذي يتتبع الإشغال المستقبلي المخصوم)، فإن $W$ مرتكز على انتقالات التجربة ذات الخطوة الواحدة، مما يجعله ركيزة مباشرة لبناء الرسم البياني.
   • يمكن تعديل معدلات التعلم في $W$ بواسطة المكافأة (على سبيل المثال، $\alpha_{\to R}$ مقابل $\alpha_{\to NoR}$).
2. الرسم البياني المعرفي المتباعد ($G$):
   • مصفوفة مجاورة ثنائية الاتجاه ومتباعدة مشتقة من $W$ عبر قاعدة اختيار غير خطية (تحديد العتبة/thresholding).
   • $G_{ij} = 1$ إذا كان $W_{ij} \geq \zeta$ (العتبة)، وإلا فإنها تساوي $0$.
   • التحكم السلوكي: يعمل التقييم واختيار الفعل حصرياً على $G$ وليس على $W$. وهذا يسمح لطوبولوجيا الرسم البياني بإعادة التنظيم بشكل منفصل مع تجاوز قوة الانتقال في $W$ للعتبة.

الآليات الرئيسية

• الانحياز المعتمد على المكافأة: يمكن أن يختلف معدل التعلم للانتقالات التي تسبق المكافأة ($\alpha_{\to R}$) عن تلك التي لا تسبقها مكافأة ($\alpha_{\to NoR}$). إذا كان $\alpha_{\to R} > \alpha_{\to NoR}$، فإن المكافأة تسرع تراكم القوة التنبؤية، مما يحيز بناء الرسم البياني نحو المسارات الموجهة بالمكافأة.
• الدوبامين كمعدل: يتم نمذجة التحفيز البصري الوراثي للدوبامين كتضخيم عابر لمعدل تعلم الانتقال، مما يؤدي فعلياً إلى خفض العتبة لتشكيل الحواف (edges) في $G$.

3. المساهمات والنتائج الرئيسية

أ. تفسير الأنظمة السلوكية المنفصلة (مهام إعادة التقييم البشرية)

• المهمة: تعلم البشر تسلسلات تؤدي إلى مكافآت، ثم خضعوا لعملية "إعادة تقييم" (تبديل المكافآت أو الانتقالات) دون إعادة تجربة حالات البداية.
• النتيجة: أظهرت البيانات البشرية توزيعات سلوكية ثنائية الأنماط (إعادة تقييم المكافأة) وثلاثية الأنماط (إعادة تقييم الانتقال).
• نتيجة SCG: استعاد نموذج SCG هذه الأنماط المنفصلة باستخدام توزيع أحادي النمط للمعلمات. تسببت لا-خطية خطوة تحديد العتبة في جعل التغيرات السلسة في معلمات التعلم تؤدي إلى إعادة تنظيم مفاجئ لطوبولوجيا الرسم البياني، مما أدى إلى استراتيجيات سلوكية متميزة (مثل الانعكاس الكامل مقابل اللامبالاة).
• الأهمية: يوضح هذا أن السلوك متعدد الأنماط يمكن أن ينشأ من إعادة التنظيم الهيكلي بدلاً من التباين في المعلمات.

ب. بصمات مهمة الخطوتين النموذجية (البشر والفئران)

• المهمة: مهمة الخطوتين القياسية حيث يختار الوكلاء بين خيارات تؤدي إلى انتقالات شائعة (70%) أو نادرة (30%)، متبوعة بمكافآت.
• النتيجة: يُظهر البشر والفئران تفاعلاً "مكافأة-بواسطة-الانتقال" (البقاء بعد الانتقالات الشائعة المكللة بمكافأة، والتبديل بعد الانتقالات النادرة المكللة بمكافأة).
• نتيجة SCG: استعاد نموذج SCG هذا التفاعل دون الحاجة إلى مزيج من المتحكمات القائمة على النموذج والقائمة على غياب النموذج. نشأ التفاعل بشكل طبيعي من إعادة التشكيل الديناميكي للرسم البياني $G$ مع تحديث إحصائيات الانتقال.
• التحقق من بيانات الفئران: عند تطبيقه على مجموعة بيانات فئران مع تحفيز دوبامين بصري وراثي، تفوق SCG على نماذج SR و RL التقليدية (المعتمدة على النموذج أو غياب النموذج).
  • عدم التماثل: أكدت المعلمات الملائمة أن $\alpha_{\to R} > \alpha_{\to NoR}$ في الفئران.
  • تأثير الدوبامين: أدى تحفيز عصبونات الدوبامين عند حدوث النتيجة إلى زيادة معدل تعلم الانتقال. توقع النموذج، وأكدت البيانات، أن هذا تسبب في جعل الفئران تبدل أكثر تكراراً بعد الانتقالات النادرة المكللة بمكافأة (مما أدى إلى إعادة تنظيم الرسم البياني).

ج. هندسة الجماعات المعتمدة على الطوبولوجيا

• التوقع: يتوقع SCG أن طوبولوجيا الرسم البياني تملي هندسة النشاط العصبي منخفض الأبعاد.
  • الرسوم البيانية غير الحلقية (Acyclic): تنتج بصمات "تشبه العلم" (flag-like) حيث يتركز النشاط عند حالات الدخول (المصدر) والهدف (المصب).
  • الرسوم البيانية الحلقية (Cyclic): تنتج بصمات دورية شبكية (مشابهة لتوقعات SR في المهام المكانية).
• الآلية: تنشأ هذه البصمات من المتجهات الذاتية (eigenvectors) لمصفوفة المجاورة $G$. ومن المتوقع أن تغييرات حواف الرسم البياني الناجمة عن الدوبامين ستؤدي إلى إزاحة هذه البصمات السكانية.

4. الأهمية والآثار المترتبة

1. المبدأ الحوسبي: تحدد الورقة إعادة تنظيم الرسم البياني المعتمد على المكافأة كآلية توفق بين التعلم التنبئي التدريجي والمستقر وبين التحكم الموجه بالأهداف المنفصل والفعال.
2. الفصل العصبي: يوفر إطار عمل لفهم سبب تطور الإشارات العصبية للتعلم (في $W$ الكثيف، مثل الحصين) بشكل تدريجي بينما يتغير السلوك (المحكوم بـ $G$ المتباعد، مثل القشرة الجبهية) بشكل مفاجئ.
3. دور الدوبامين: يقدم تفسيراً هيكلياً جديداً للدوبامين: فبعيداً عن ترميز أخطاء توقع المكافأة (القيمة)، يقوم الدوبامين بتعديل معدلات تعلم الانتقال، وبالتالي تشكيل طوبولوجيا الرسم البياني المعرفي الداخلي.
4. الكفاءة: من خلال قصر التخطيط على رسم بياني متباعد، يحقق النموذج كفاءة حوسبية (تتناسب مع عدد الحواف بدلاً من حجم مساحة الحالة) مع الاحتفاظ بغنى التعلم التنبئي الكثيف في الخلفية.
5. توقعات قابلة للاختبار: يولد النموذج توقعات محددة وقابلة للتفنيد فيما يتعلق بنشاط الجماعات منخفض الأبعاد (مثل التحولات من الهياكل الشبكية إلى الهياكل الشبيهة بالعلم) والتي يمكن اختبارها باستخدام تقنيات التسجيل العصبي.

باختصار، يجسد إطار SCG الفجوة بين الترميز التنبئي الكثيف والتحكم السلوكي المتباعد، مما يشير إلى أن الدماغ يبني السلوك الموجه بالأهداف عن طريق "تقليم" خريطة تنبؤية كثيفة إلى رسم بياني متباعد وظيفي بناءً على تاريخ المكافأة والإشارات التعديلية العصبية.