🧬 biology

Understanding Transformers through the Lens of Pavlovian Conditioning

تقترح هذه الورقة إطاراً نظرياً جديداً يعيد تفسير آلية الانتباه الجوهرية في نماذج "ترانسفورمر" (Transformers) بوصفها شرطاً كلاسيكياً بافلوفيّاً، حيث يتم ربط الاستعلامات (queries)، والمفاتيح (keys)، والقيم (values) بالمثيرات الاختبارية، والمثيرات الشرطية، والمثيرات غير الشرطية لاستخلاص رؤى رياضية حول سعة الذاكرة الترابطية، وانتشار الخطأ، وقواعد التعلم القابلة للتفسير بيولوجياً.

المؤلفون الأصليون: Mu Qiao

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mu Qiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كلب أن يسيل لعابه عند سماع جرس. تقوم برن الجرس (الإشارة) وتُعطيه الطعام فوراً (المكافأة). بعد القيام بذلك عدة مرات، يتعلم الكلب الربط بين الجرس والطعام. هذا هو الاشتراط الكلاسيكي (Pavlovian conditioning)، وهو شكل أساسي من أشكال التعلم الموجود في الطبيعة.

تجادل هذه الورقة بأن "دماغ" الذكاء الاصطناعي الحديث (الذي يسمى Transformer) يعمل على مبدأ مشابه بشكل مدهش. وبدلاً من كونه آلة رياضية معقدة وغامضة، تقترح المؤلفات أنه يمكننا فهمه كنظام ضخم وعالي السرعة من التعلم الترابطي (associative learning)، تماماً مثل الكلب والجرس.

إليك تفصيل لفكرتهم باستخدام تشبيهات بسيية:

1. الأدوار الثلاثة: الجرس، الطعام، والاختبار

في نموذج الـ Transformer القياسي، هناك ثلاثة أجزاء رئيسية: الاستعلامات (Queries)، المفاتيح (Keys)، والقيم (Values). تربط الورقة هذه الأجزاء مباشرة بالأجزاء الثلاثة للاشتراط الحيواني:

المفاتيح (الجرس): هي "الإشارات" أو الأنماط في النص. في تشبيه الكلب، هذا هو رنين الجرس. إنه يخبر النظام: "مهلاً، هناك شيء مألوف يحدث هنا".
القيم (الطعام): هي "الإجابات" الفعلية أو المعلومات. في تشبيه الكلب، هذا هو الطعام. إنه الاستجابة التي يريد النظام إنتاجها.
الاستعلامات (الاختبار): هذا هو السؤال الحالي أو المطالبة (prompt) التي يحاول الذكاء الاصطناعي الإجابة عليها. إنه يشبه الباحث الذي يرن الجرس ليرى ما إذا كان الكلب سيسيل لعابه. ينظر الاستعلام إلى المفاتيح ليقول: "هل هذه الإشارة تطابق ما أبحث عنه؟"

2. كيف يتعلم: الغراء "الهيبي" (Hebbian)

تقترح الورقة أنه عندما يقرأ الذكاء الاصطناعي جملة، فإنه لا يقوم فقط بـ "تخزين" البيانات في قرص صلب. بدلاً من ذلك، يبني جسوراً مؤقتة بين الإشارات والإجابات.

العملية: تخيل غرفة مليئة بالناس. في كل مرة يدخل فيها شخص معين (مفتاح) ويقول كلمة معينة (قيمة)، يتم وضع ملاحظة لاصقة على الحائط لربطهما ببعضهما.
القاعدة: تسمي الورقة هذا قاعدة هيب (Hebbian rule)، وهي طريقة منمقة للقول: "الخلايا العصبية التي تطلق الشحنات معاً، تتصل معاً". إذا ظهر المفتاح والقيمة معاً بشكل متكرر، فإن الاتصال بينهما يصبح أق_وى.
النتيجة: عندما يأتي استعلام جديد (شخص جديد يطرح سؤالاً)، فإنه يبحث في الملاحظات اللاصقة. إذا كان الاستعلام يشبه مفتاحاً لديه ملاحظة لاصقة، فإن الذكاء الاصطناعي يلتقط القيمة المرتبطة به (الإجابة) ويستخدمها.

3. الاختصار "الخطي"

نماذج الـ Transformers الحقيقية معقدة للغاية. ولإثبات وجهة نظرهم، بسط المؤلفون الرياضيات إلى نسخة تسمى الانتباه الخطي (Linear Attention). وقد أظهروا أن هذه النسخة المبسطة متطابقة رياضياً مع نموذجهم "الباولوفي".

فكر في الأمر على هذا النحو: إذا جردت محرك سيارة من جميع الزخارف الفاخرة، ستجد المكابس والتروس الأساسية. لقد وجد المؤلفون أن "مكابس" الذكاء الاصطناعي هي في الواقع تبني هذه الارتباطات المؤقتة، تماماً مثل الكلب الذي يتعلم الجرس.

4. الحدود: الذاكرة هي دلو، وليست مكتبة

أحد أهم النتائج هو ما يتعلق بـ السعة (capacity). تجادل الورقة بأن نظام "الملاحظات اللاصقة" هذا له حد معين.

التشبيه: تخيل أن ذاكرتك عبارة عن دلو. يمكنك إسقاط بعض الارتباطات فيه، وستبقى واضحة. ولكن إذا استمررت في إسقاط المزيد والمزيد من الارتباطات، فستبدأ في الاصطدام ببعضها البعض. يمتلئ الدلو، وتصبح الملاحظات القديمة غير واضحة أو مفقودة.
الرياضيات: تثبت الورقة أن عدد الأشياء التي يمكن للذكاء الاصطناعي تذكرها بدقة يعتمد على حجم "دلوه" (أبعاد مساحته الداخلية). إذا حاولت تذكر أشياء كثيرة جداً في وقت واحد، سيبدأ الذكاء الاصطناعي في ارتكاب الأخطاء.

5. العمق مقابل العرض: برج الورق

تنظر الورقة أيضاً فيما يحدث عندما نضع طبقات عديدة من هذا النظام فوق بعضها البعض (جعل الذكاء الاصطناعي "عميقاً").

المشكلة: إذا كان لديك برج من الورق، وكانت البطاقة السفلية مهتزة قليلاً، فإن الاهتزاز يزدء سوءاً كلما صعدت للأعلى. في الذكاء الاصطناعي، إذا ارتكبت الطبقة الأولى خطأً طفيفاً في ارتباطها، فإن الطبقة التالية تضخم هذا الخطأ.
الحل: وجد المؤلفون أنه لإبقاء البرج قائماً، تحتاج إلى العرض، وليس الطول فقط.
- عميق وضيق: برج ورق طويل ونحيف. إنه هش للغاية. خطأ واحد صغير في الأسفل يفسد الشيء كله.
- عريض وضحل: برج قصير وعريض. هذا أكثر استقراراً بكثير. يقترح المؤلفون أن وجود العديد من "الرؤوس" (مسارات متوازية) يعمل مثل وجود عدة أشخاص يمسكون بالبرج، مما يلغي الاهتزازات.

6. قواعد تعلم أفضل: إصلاح الأخطاء

تقترح الورقة أيضاً أن طريقة "الملاحظات اللاصقة" الأساسية (التعلم الهيبي القياسي) ليست مثالية لأنها لا تستطيع بسهولة "إلغاء تعلم" الأشياء. إذا تعلم الكلب أن الجرس يعني الطعام، ولكن الطعام توقف عن المجيء، فسيستمر الكلب في سيلان لعابه لفترة من الوقت.

يقترح المؤلفون استخدام قواعد أذكى (مثل قاعدة دلتا - Delta Rule أو قاعدة أوجا - Oja's Rule) التي تعمل كـ "آلية تصحيح".

قاعدة دلتا: إذا توقع الذكاء الاصطناعي الإجابة الخاطئة، فإنه يقوم بنشاط بـ "مسح" الملاحظة اللاصقة القديمة وكتابة واحدة جديدة.
قاعدة أوجا: تحافظ هذه القاعدة على النظام من أن يصبح متحمسًا للغاية أو "مشبعًا"، مما يضمن بقاء الذاكرة مستقرة بمرور الوقت.

الخلاصة الكبرى

تخلص الورقة إلى أن السبب في نجاح الذكاء الاصطناعي الحديث ليس مجرد الهندسة الذكية أو الرقائق الحاسوبية الجديدة. بل لأن هذه النماذج اكتشفت بالصدفة مبدأً أساسياً من مبادئ الطبيعة: التعلم من خلال الارتباط.

تماماً كما قضى التطور ملايين السنين في تحسين كيفية تعلم الحيوانات لربط الإشارات بالمكافآت، وجد الذكاء الاصطناعي طريقة رياضية للقيام بنفس الشيء تماماً. إن "سحر" الـ Transformer هو ببساطة نسخة سريعة جداً وواسعة النطاق من نفس عملية الاشتراط التي تحدث في دماغ الكلب.

ملخص تقني: فهم المحولات (Transformers) من خلال منظور الإشراط الكلاسيكي (Pavlovian Conditioning)

بيان المشكلة
بينما أحدثت بنيات المحولات (Transformer architectures) ثورة في الذكاء الاصطناعي، تظل المبادئ الحسابية الأساسية التي تفسر نجاحها غامضة. إن الأوصاف الرياضية القياسية لآلية الانتباه (الأوزان المتوسطة بناءً على تشابه الاستعلام والمفتاح) واضحة إجرائياً، لكنها غير مرضية فكرياً، إذ تفشل في تفسير لماذا ينجح هذا النوع المحدد من الحساب في التقاط الجوانب الجوهرية للذكاء. وتحدد أعمال التفسير الحالية الدوائر الوظيفية، لكنها تقدم أوصافاً وصفية بدلاً من التفسيرات الميكانيكية للعمليات الترابطية الكامنة.

المنهجية
يقترح المؤلفون إطاراً نظرياً جديداً يعيد تفسير الحساب الجوهري لانتباه المحول باعتباره إشراطاً بافلوفياً (كلاسيكياً). يؤسس هذا النهج لخريطة رياضية مباشرة بين مكونات الانتباه وعناصر الإشراط البيولوجي:

القيم (V) تقابل المثيرات غير الشرطية (US): وهي المعلومات التي تشفر الاستجابة بشكل مباشر.
المفاتيح (K) تقابل المثيرات الشرطية (CS): وهي الأنماط السياقية التي تصبح مرتبطة بالمثيرات غير الشرطية.
الاستعلامات (Q) تقابل المثيرات الاختبارية: وهي الأنماط المستخدمة لاستقصاء الارتباطات المتعلمة لاسترجاعها.

يصنف الإطار آلية الانتباه كنظام ذاكرة ترابطي ديناميكي حيث تشكل أزواج (CS-US) ارتباطات عبر قاعدة هيب (Hebbian rule) ("الخلايا التي تطلق معاً، تتصل معاً") خلال مرحلة التمرير الأمامي (forward pass). ويوضح المؤلفون أن إطار الإشراط هذا يكافئ رياضياً الانتباه الخطي (linear attention)، وهو نسخة مبسطة من الانتباه القياسي تتجنب التكلفة التربيعية لـ (softmax). ومن خلال استخدام الانتباه الخطي كقاعدة قابلة للتطبيق، يستنتج البحث رؤى نظرية حول سعة الذاكرة، وانتشار الخطأ، وقواعد التعلم.

المساهمات الرئيسية والرؤى النظرية

التكافؤ الرياضي مع الانتباه الخطي:
يثبت البحث أنه تحت شروط محددة (تنشيط الهوية للقيم، والتنشيط الخطي للمفاتيح، وتكوين الانتباه الذاتي)، تختزل دائرة الإشراط المقترحة تماماً إلى صيغة الانتباه الخطي. وهذا يثبت أن الانتباه الخطي هو تنفيذ ملموس لدائرة إشراط بيولوجية.
نظرية سعة الذاكرة:
يستنتج المؤلفون نظرية سعة لمصفوفة الذاكرة الترابطية $S$ . حيث يظهرون أن عدد الارتباطات $n$ التي يمكن تخزينها بشكل موثوق مقيد ببعد تمثيلات المفاتيح ( $d_k$ ):

الاسترجاع في الحالة المتوسطة: يتوسع بقوة بمقدار $O(d_k)$ .
الاسترجاع في الحالة الأسوأ (الخالي من الأخطاء): يتوسع بمقدار $O(\sqrt{d_k})$ .
وهذا يعني أنه مع زيادة طول السياق، يؤدي التداخل من الارتباطات الأحدث إلى تدهور استرجاع الارتباطات الأقدم، مما يشير إلى حد أساسي على فائدة نافذة السياق دون وجود آليات نسيان انتقائية.

انتشار الخطأ والمقايضات البنيوية:
يكشف تحليل دوائر الإشراط المتراكمة (المحولات العميقة) أن الأخطاء تتراكم خطياً مع العمق ( $L$ ) ولكن يتم كبحها أسياً بواسطة وفرة الرؤوس ( $H$ ) وبعد الرأس ( $d_k$ ). يتبع الحد الأعلى لمعدل الخطأ النسبة $r^* \propto L \cdot (n/d_k)^H$ .

يكشف هذا عن مقايضة العمق-العرض (Depth-Width trade-off) الحرجة: للحفاظ على الموثوقية في الشبكات العميقة، يجب على النماذج موازنة العمق مع كفاية العرض ووفرة الرؤوس. وهذا يوفر تبريراً نظرياً لسبب تفضيل البنيات الناجحة للعمق المتوسط مع العديد من الرؤوس العريضة على التكوينات العميقة والضيقة.

قواعد التعلم ذات الصبغة البيولوجية:
يقيم الإطار متغيرات قاعدة هيب لمعالجة مشكلات الموثوقية في الشبكات العميقة:

قاعدة دلتا (Delta Rule): تقدم تحديثات لتصحيح الأخطاء تسمح للنموذج بـ "إلغاء تعلم" الارتباطات التي أصبحت قديمة، مما يعالج مسألة تراكم الأخطاء.
قاعدة أوجا (Oja's Rule): تقدم آلية استتباب (homeostatic mechanism) تعمل على تقليص أوزان المدخلات بناءً على نشاط العصبون المخرج، مما يمنع تشبع التنشيط ويضمن الاستقرار في الشبكات العميقة.

النتائج التجريبية
يتحقق المؤلفون من ادعاءاتهم النظرية من خلال تجارب اصطناعية:

توسع السعة: تؤكد التجارب أن دقة الاسترجاع تتدهور تدريجياً مع زيادة عدد الارتباطات، مع توسع السعة العتبية خطياً مع بعد المفتاح ( $d_k$ )، مما يؤكد حدود السعة في الحالة المتوسطة.
انتشار الخطأ: تظهر الدوائر المتراكمة أن تراكم الخطأ خطي مع العمق ولكنه يُكبح أسياً بواسطة وفرة الرؤوس. وتظهر المقارنات البنيوية أن النماذج "العريضة والضحلة" تتفوق بشكل كبير على النماذج "الضيقة والعميقة" في مهام الاستدلال الترابطي، مما يؤكد مبدأ توازن العمق-العرض.
متغيرات هيب: في مهام التتبع المستمر التي تتضمن انزياح المفاهيم، تظهر قاعدة هيب الجمعية القياسية نمواً غير محدود للأوزان وضعفاً في التكيف. في المقابل، تنجح قاعدة دلتا في إلغاء تعلم الارتباطات القديمة، بينما تحد قاعدة أوجا من معيار مصفوفة الذاكرة، مما يثبت الاستقرار.

الأهمية والادعاءات
يفترض البحث أن نجاح الذكاء الاصطناዊ الحديث قد لا ينبع فقط من الحداثة البنيوية، بل من تنفيذ مبادئ حسابية مشابهة لتلك التي تم تحسينها بواسطة البيولوجيا عبر ملايين السنين من التطور. ومن خلال صياغة الانتباه كإشراط بافلوفي، يقدم المؤلفون أساساً نظرياً موحداً يوفر:

تفسيراً ميكانيكياً لـ التعلم داخل السياق (in-context learning) باعتباره تكويناً واسترجاعاً ديناميكياً لارتباطات عابرة.
تفسيراً لضرورة خيارات بنيوية محددة (مثل وفرة الرؤوس، والعرض) من خلال منظور كبح الخطأ وإدارة الضجيج.
اقتراح أن الجسر بين الذكاء الاصطناعي وعلم الأعصاب ليس محض صدفة؛ فآليات مثل الاضمحلال الزمني (مثل RetNet) وقواعد التعلم المحددة (دلتا/أوجا) تمثل حلولاً بيولوجية مبدئية للتحديات الهندسية في التعلم العميق.
توفير لغة لـ محاذاة الذكاء الاصطناعي (AI alignment)، مما يشير إلى أن السلوكيات غير المرغوب فيها يمكن اعتبارها ارتباطات (CS-US) محددة يمكن استهدافها لـ "إلغاء التعلم" عبر قواعد تصحيح الخطأ.

يخلص المؤلفون إلى أنه بينما يعزل تحليلهم الانتباه الخطي لصياغة الحالة الأساسية الترابطية، فإن المبادئ المستمدة تقدم إطاراً قوياً لفهم وتحليل وتصميم نماذج نمط المحولات، مما يشير إلى أن الذكاء الاصطناعي والبيولوجي يعتمدان على مبادئ أساسية مشتركة للارتباط الديناميكي.