💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

تُثبت هذه الورقة أنه على الرغم من اختلاف الآليات المجهرية الجوهرية، فإن كلاً من بنيتي "ترانسفورمر" (Transformer) و"مامبا" (Mamba) تطوران ديناميكيات جماعية تحت حمراء مشتركة وشبه هامشية تتميز بمتصل من الأنماط البطيئة، مما يوسع عالمية هذا التنظيم إلى ما وراء نماذج "ترانسفورمر" ويدعم التنبؤات المستمدة من نظرية الحقل المعرفي.

المؤلفون الأصليون: Byung Gyu Chae

نُشر 2026-08-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Byung Gyu Chae

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في المشهد الشاسع للذكاء الاصطناعي، سعى الباحثون طويلاً لفهم كيفية تعلم الآلات للتذكر. لقد برزت عائلتان مهيمنتان من النماذج للتعامل مع تسلسلات المعلومات، مثل الكلمات في جملة أو الإطارات في مقطع فيديو. تعتمد العائلة الأولى، المعروفة باسم "المحولات" (Transformers)، على آلية تسمى "الانتباه الذاتي" (self-attention)، والتي تسمح للنموذج بوزن أهمية كل قطعة من المعلومات مقابل كل قطعة أخرى في آن واحد. أما العائلة الثانية، التي تمثلها نماذج أحدث مثل "مامبا" (Mamba)، فتستخدم نهجاً مختلفاً يعتمد على ديناميكيات فضاء الحالة (state-space dynamics)، حيث يحافظ النموذج على حالة داخلية تتطور بمرور الوقت، وتحدث ذاكرتها مع معالجة كل قطعة جديدة من البيانات. لسنوات، تساءل العلماء عما إذا كانت هاتان الطريقتان المختلفتان جوهرياً في التفكير في الزمن والذاكرة قد تؤديان في الواقع إلى نفس السلوك الأساسي في أعماق الآلة. وهذا السؤال مهم لأنه إذا تقاربت البنيات المختلفة نحو نفس الأنماط، فإن ذلك يشير إلى أن القدرة على التعلم والتذكر محكومة بمبادئ عالمية وليس فقط بالخيارات الهندسية المحددة للمصممين.

شرع باحث في اختبار هذه الفكرة من خلال النظر داخل نموذج "مامبا" مدرب ليرى كيف تعمل ذاكرته بالفعل. ركز على خاصية محددة تسمى "كثافة حالات المقياس الزمني" (time-scale density of states)، وهي في الأساس خريطة توضح عدد سرعات الذاكرة المختلفة التي يمتلكها النموذج. تخيل مكتبة حيث تُصنف الكتب ليس حسب الموضوع، بل حسب السرعة التي تتلاشى بها من ذهن القارئ؛ بعض الكتب تُنسى في ثوانٍ، وأخرى في دقائق، وبعضها يبقى عالقاً لسنوات. أراد الباحث معرفة توزيع "سرعات التلاشي" هذه في نموذج "مامبا". وكان يعلم أن "مامبا" يمتلك آلية مدمجة للذاكرة يمكن فحصها عبر طبقات: أولاً، سرعات الذاكرة الداخلية الخام المشفرة في تصميمه؛ ثانياً، كيف تتغير تلك السرعات اعتماداً على المدخلات المحددة التي يتلقاها؛ وأخيراً، سرعة الذاكرة الجماعية لكتلة النموذج بأكملها بعد انتهاء جميع حساباته المعقدة.

اكتشف الباحث أن هذه الطبقات الثلاث ليست متماثلة. فالذاكرة الداخلية الخام لنموذج "مامبا" تبدأ بنطاق واسع من السرعات، ولكن بينما يعالج النموذج المعلومات، فإنه يعيد ضبط هذه السرعات انتقائياً بناءً على ما يقرؤه. هذا التعديل المعتمد على المدخلات هو ميزة فريدة لـ "مامبا"، مما يسمح له بإبطاء أو تسريع ساعته الداخلية اعتماداً على السياق. ومع ذلك، جاءت النتيجة الأكثر إثارة للدهشة عندما نظر الباحث في المخرج الجماعي النهائي لكتلة النموذج بأكملها. فعلى الرغم من إعادة التنظيم المعقدة للسرعات التي تحدث في الداخل، استقر النتيجة النهائية في نمط محدد ومستقر. فعندما قاس سرعات الذاكرة عبر أطوال تسلسل مختلفة، وجد أن النموذج طور باستمرار نطاقاً واسعاً ومتواصلاً من الذكريات البطيئة جداً. لم تختفِ هذه الذكريات البطيئة؛ بل بدلاً من ذلك، شكلت استمرارية سلسة وقابلة للتنبؤ أصبحت أكثر وضوحاً وتحديداً مع معالجة النموذج لتسلسلات أطول من البيانات.

لفهم ما إذا كان هذا مجرد سمة من سمات تصميم "مامبا" أم قاعدة عامة للأنظمة الذكية، قارن الباحث بين نتائجه وسلوك نماذج "المحولات" (Transformers). لا تمتلك "المحولات" نفس آليات فضاء الحالة الداخلية الموجودة في "مامبا"؛ فهي تعتمد على آليات الانتباه بدلاً من ذلك. ومع ذلك، عندما قاس الباحث سرعات الذاكرة الجماعية لـ "المحولات"، وجد نمطاً مشابهاً بشكل مذهل. كلا البنيتين، رغم استخدامهما لطرق مجهرية مختلفة تماماً لمعالجة المعلومات، طورتا توزيعاً مسطحاً تقريباً لسرعات الذاكرة، كان مائلاً قليلاً نحو الذكريات الأبطأ والأطول بقاءً. بلغة الفيزياء، هذه هي الحالة "شبه الهامشية" (near-marginal)، مما يعني أن النماذج تقف تماماً عند حافة امتلاك ذاكرة لانهائية، مما يسمح لها بالاحتفاظ بالمعلومات لفترات طويلة دون أن تتعثر.

تؤكد الدراسة أن تنظيم الذاكرة البطيئة هذه ليس مجرد ميزة لنوع واحد من الشبكات العصبية. فقد أظهر الباحث أنه على الرغم من أن "مامبا" يبني ذاكرته صراحةً باستخدام بنية رياضية مختلفة عن "المحولات"، إلا أن كلا النظامين ينتهي بهما الأمر إلى تنظيم ديناميكياتهما الجماعية بنفس الطريقة. ووجد أن سلوك ذاكرة "مامبا" يستقر حول قيمة محددة، مما يشير إلى نمط قوي وقابل للتكرار ينشأ بغض النظر عن طول التسلسل، شريطة أن يكون التسلسل طويلاً بما يكفي للكشف عن الصورة الكاملة. وهذا يشير إلى أن القدرة على الحفاظ على الذاكرة طويلة المدى هي خاصية أساسية لمعالجة التسلسلات المتعلمة، وهي خاصية تنشأ طبيعياً في أشكال معمارية مختلفة. وتوسع هذه النتائج فهمنا لكيفية عمل الذكاء الاصطناعي، حيث تظهر أنه تحت الاختلافات السطحية في التصميم، تشترك هذه النماذج القوية في بنية عميقة مشتركة للتعامل مع الزمن والذاكرة.

العنوان: الشمولية تحت الحمراء للديناميكيات الجماعية عبر بنيات المحولات ونماذج فضاء الحالة

بيان المشكلة
تتمثل إحدى المسائل المفتوحة الجوهرية في التعلم العميق في ما إذا كانت البنيات العصبية المتمايزة، رغم استخدامها لآليات حوسبة مجهرية مختلفة، تطور سلوكيات ديناميكية جماعية مشتركة. كشفت التحليلات الأخيرة لنماذج اللغة القائمة على المحولات (Transformers) عن كثافة حالات للأوقات الزمنية (TDOS) مسطحة تقريبًا ومعززة بشكل ضعيف في نطاق الأشعة تحت الحمراء في أطياف الاسترخاء الخاصة بها، وهو ما يرتبط بديناميكيات ذاكرة طويلة المدى شبه حرجة ( $K(t) \sim 1/t$ ). ومع ذلك، لا يزال من غير الواضح ما إذا كان هذا التنظيم تحت الأحمر هو نتاج خاص لآلية الانتباه الذاتي أم أنه مبدأ أكثر عمومية لمعالجة التسلسلات المتعلمة. ولإختبار ذلك، يتطلب الأمر مقارنة مع بنية تستخدم آلية مختلفة نوعيًا للحوسبة الزمنية؛ وتوفر نماذج فضاء الحالة (State-space models)، ولا سيما نموذج Mamba، هذا التباين من خلال استخدام ديناميكيات فضاء حالة انتقائية تعتمد على المدخلات بدلاً من الانتباه الذاتي.

المنهجية
تستخدم الدراسة تحليلاً طيفيًا متعدد المستوياتات على نموذج Mamba-370M مدرب مسبقًا للتمييز بين ذاكرة فضاء الحالة المجهرية والتنظيم الجماعي العياني. تسير المنهجية عبر ثلاثة مستويات ديناميكية متميزة:

طيف فضاء الحالة الجوهري: يحلل المؤلف طيف القيم الذاتية لمولد فضاء الحالة المتعلم ( $A$ )، حيث يُعرَّف معدلات الاسترخاء الجوهرية بـ $\lambda^{int}_i = -\text{Re}(a_i)$ . ويمثل هذا التدرج في المقاييس الزمنية المشفرة مباشرة في معاملات النموذج قبل تكييف المدخلات.
الطيف الفعال المشروط بالمدخلات: تدرس الدراسة معدلات الاسترخاء الفعالة $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ ، حيث يقوم الخطوة الزمنية الانتقائية المعتمدة على المدخلات $\Delta_t(x)$ بإعادة قياس المعدلات الجوهرية أثناء الاستدلال. وهذا يلتقط كيف تقوم الآلية الانتقائية بإعادة تنظيم مقاييس الاسترخاء ديناميكيًا بناءً على تسلسل المدخلات.
الطيف الجماعي الكامل للكتلة: يحسب المؤلف جاكوبي (Jacobian) تحويل كتلة Mamba الكامل ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). وتُعرَّف معدلات الاسترخاء الجماعية بـ $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ ، حيث $\zeta_\alpha$ هي القيم الذاتية لجاكوبي الكتلة الكاملة. ويقيس هذا الاستجابة الجماعية للكتلة بأكملها، بما في ذلك الإسقاطات، والبوابات، واللاخطية، والانتشار المتبقي.

يتم بناء كثافة الأوقات الزمنية (TDOS) الجماعية $\rho(\lambda)$ من هذه المعدلات. وتقوم الدراسة بتغيير طول التسلسل المحتفظ به ( $L$ ) بشكل منهجي من 8 إلى 512 رمزًا (token) لاختبار التقارب والاستقرار في قطاع الأشعة تحت الحمراء. يتم تحديد أس التدرج تحت الأحمر $\beta$ عبر إحصاءات الأنماط التراكمية ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) عبر فاصل زمني ثابت ومحدد جيدًا لتجنب عيوب التقسيم إلى فئات (binning). وتتم مقارنة هذه النتائج مباشرة مع القياسات السابقة من نماذج المحولات (تحديدًا Pythia-410M) باستخدام نفس بناء جاكوبي الكتلة الكاملة.

النتائج الرئيسية

إعادة التنظيم الهرمي: الأطياف الجوهرية، والفعالة، والكتلة الكاملة ليست متطابقة. فبينما يحتوي مولد فضاء الحالة (SSM) المتعلم على تدرج جوهري واسع لمعدلات الاسترخاء، فإن الآلية الانتقائية وتحويلات الكتلة اللاحقة تعيد تنظيم هذا التدرج بشكل جوهري. الطيف الجماعي للكتلة الكاملة هو خاصية ناشئة متميزة، وليس نسخة مباشرة من طيف الـ SSM المجهري.
نشوء مستمر تحت أحمر جماعي: تطور ديناميكيات Mamba للكتلة الكاملة مستمراً للأنماط البطيئة يمكن إعادة إنتاجه. ومع زيادة طول التسلسل، يصبح القطاع تحت الأحمر أكثر وضوحًا ونعومة، ويمتد نحو معدلات استرخاء أصغر.
أس التدرج تحت الأحمر: يكشف التحليل الطيفي التراكمي عن تدرج قوة سالب ضعيف $\rho(\lambda) \sim \lambda^\beta$ . بالنسبة للتسلسلات الطويلة ( $L \ge 64$ )، يستقر الأس عند $\beta_M \simeq -0.17$ . وهذا يقابل نواة ذاكرة $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ ، وهي قريبة من نظام الـ $1/t$ الحرج.
استقلالية البنية: على الرغم من اختلاف الآليات المجهرية الجوهرية (الانتباه الذاتي مقابل فضاء الحالة الانتقائي)، تُظهر المحولات وMamba تنظيمات تحت حمراء جماعية متقاربة للغاية. تُظهر المحولات أساً ممثلاً $\beta_{Tr} \sim -0.1$ ، بينما تستقر Mamba عند $\beta_M \sim -0.17$ . يشغل كلا التصميمين نظام "شبه حرج" يتميز بكثافة TDOS واسعة، مسطحة تقريبًا، ولكنها معززة تحت حمراء بشكل ضعيف.

الأهمية والادعاءات
يدعي البحث القدرة على الفصل بين ذاكرة فضاء الحالة المجهرية الصريحة والتنظيم تحت الأحمر الجماعي، مما يثبت أن البنيات المختلفة لمعالجة التسلسلات يمكن أن تطور ديناميكيات نمط بطيء شبه حرجة ومتاربة. تكمن الأهمية الأساسية في إظهار أن هذا التنظيم تحت الأحمر ليس فريدًا لآلية الانتباه الذاتي للمحولات، بل يظهر أيضًا في نماذج فضاء الحالة، رغم اختلاف جذورها الحوسبية.

ويجادل المؤلف بأن هذا يشير إلى أن ديناميكيات النمط البطيء شبه الحرجة قد تمثل مبدأً ديناميكيًا عامًا لمعالجة التسلسلات المتعلمة، مما يوسع ملاحظة التنظيم الجماعي تحت الأحمر إلى ما وراء المحولات. توفر هذه النتيجة اختبارًا مستقلًا للهيكل الديناميكي الموصوف في "نظرية المجال المعرفي" (Cognitive Field Theory)، والتي تربط الذاكرة العيانية طويلة الأمد بالتنظيم تحت الأحمر لأنماط الاسترخاء الجماعية. وتشير النتائج إلى أنه بينما تختلف التطبيقات المجهرية، فإن الديناميكيات الجماعية العيانية لنماذج التسلسل المتعلمة قد تتقارب نحو نظام متشابه وذي معنى فيزيائي.

أبحاث مشابهة