🤖 AI

FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences

تقدم الورقة البحثية FRACTAL، وهو نموذج فضاء حالة مبتكر يدمج نظرية القياس الكسري في تحديثات الذاكرة التكرارية لحل المقايضة بين الاحتفاظ بالتاريخ غير المحدود واكتشاف التغيرات قصيرة المدى، محققاً أداءً فائقاً في اختبارات التسلسل الطويل مقارنة بالنماذج الحالية مثل S5.

المؤلفون الأصليون: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تذكر قصة طويلة. أنت تواجه مشكلة صعبة: إذا حاولت تذكر كل تفصيل بدقة متساوية، فإن الكلمات الأخيرة ستغرق تحت وطأة آلاف الكلمات التي سبقتها. ولكن إذا ركزت فقط على الجمل القليلة الأخيرة لتدرك حبكة الأحداث المفاجئة، فستنسى بداية القصة تماماً.

لفترة طويلة، كان على النماذج الحاسوبية التي تحاول التعلم من التسلسلات الطويلة (مثل النصوص، أو أسعار الأسهم، أو نبضات القلب) الاختيار بين هذين الخيارين السيئين. يقدم هذا البحث نموذجاً جديداً يسمى FRACTAL الذي يحل هذه المشكلة باستخدام خدعة رياضية تسمى "الحساب الكسري" (fractional calculus).

إليك شرح مبسط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: "ثلاثية الذاكرة" (The Memory Trilemma)

تخيل الذاكرة مثل دلو من الماء.

النموذج القديم أ (الموحد): يصب الماء بمعدل ثابت. الدلو ممتلئ، لكن الماء في الأعلى (الأشياء الجديدة) يتخفف بسبب الماء في الأسفل (الأشياء القديمة). أنت تتذكر كل شيء، لكن التفاصيل الجديدة تصبح باهتة.
النموذج القديم ب (الأسّي): يصب الماء، ولكن في أسفل الدلو ثقب. الماء القديم يتسرب بسرعة، لذا يظل الماء الجديد منعشاً وواضحاً. ولكن إذا كانت القصة طويلة جداً، سيكون قاع الدلو فارغاً، وتفقد سياق البداية.
النموذج القديم ج (النافذة): لا يحتفظ إلا بآخر بضعة أكواب من الماء. لديك وضوح تام فيما يتعلق بالماضي القريب جداً، ولكن ليس لديك أي ذاكرة لما حدث قبل ذلك.

يجادل البحث بأن البيانات في العالم الحقيقي (مثل الأسواق المالية أو الإشارات البيولوجية) تحتاج إلى الثلاثة معاً: أنت بحاجة إلى التاريخ الكامل، وتحتاج إلى سماع التفاصيل الجديدة بوضوح، وتحتاج إلى التعامل مع الأحداث التي تحدث بسرعات مختلفة.

2. الحل: "سحر الكسور" (The Fractional Magic)

يقدم FRACTAL طريقة جديدة لملء الدلو باستخدام تفرّد قابل للضبط (tunable singularity).

تخيل أن الدلو له شكل خاص يتغير بناءً على قرص يمكنك تدويره (يسمى مؤشر التفرّد، أو $\alpha$ ).

الشكل: بدلاً من أن يكون أسطوانة مستقيمة أو مخروطاً، فإن الدلو له "ذيل ثقيل". إنه يتمسك بالماء القديم (التاريخ) بشكل جيد جداً، ولكن قمة الدلو مصممة كقمع يركز الماء الجديد تماماً عند السطح.
القرص:
- إذا أدرت القرص في اتجاه واحد، سيعمل الدلو كذاكرة قياسية (يتذكر كل شيء بالتساوي).
- إذا أدرته في الاتجاه الآخر، سيعمل كـ "ذاكرة حديثة" (يركز على الآن).
- السحر: يمكن لـ FRACTAL أن يستقر في أي مكان بينهما. إنه يخلق ذاكرة "قانون القوة" (power-law)، مما يعني أنه يتذكر الماضي البعيد بما يكفي للحفاظ على السياق، ولكنه يعطي دفعة هائلة للماضي القريب جداً حتى لا تفوتك التغييرات المفاجئة.

3. البنية: "بنك المرشحات الطيفي" (The Spectral Filter Bank)

لا يستخدم البحث دلواً واحداً فحسب؛ بل يستخدم أوركسترا من الدلاء (تسمى Multi-Scale Filter Bank).

تخيل جوقة موسيقية حيث لكل مغنٍ صوت مختلف قليلاً.
بعض المغنين مضبوطون لتذكر الاتجاهات طويلة الأمد والبطيئة (مثل المزاج العام للأغنية).
مغنون آخرون مضبوطون لالتقاط النغمات السريعة والمفاجئة (مثل ضربات الطبل أو صرخة مفاجئة).
يقوم FRACTAL بتخصيص "أقراص" مختلفة لأجزاء مختلفة من دماغه. بعض الأجزاء تركز على التاريخ الطويل، بينما تقترب أجزاء أخرى من الحاضر المباشر.
ثم يمزج النموذج هذه الأصوات معاً لفهم الصورة الكاملة.

4. لماذا هو أفضل؟ (النتائج)

اختبر المؤلفون FRACTAL على مجموعة معيارية من الألغاز الصعبة تسمى Long Range Arena. تتطلب هذه الألغاز من الكمبيوتر إيجاد روابط بين أشياء متباعدة جداً في تسلسل ما.

النتيجة: سجل FRACTAL نسبة 87.11%، متفوقاً على أفضل نموذج سابق (S5) الذي سجل 87.04%.
الفوز الكبير: في مهمة محددة تسمى ListOps (والتي تتضمن حل مسائل رياضية متداخلة)، سجل FRACTAL نسبة 61.85%، متفوقاً على أفضل نتيجة سابقة وهي 61.10%. هذه المهمة صعبة لأنك تحتاج لتذكر القوس الافتتاحي من بداية الجملة تماماً أثناء معالجة الأرقام في النهاية. قدرة FRACTAL على الموازنة بين "التاريخ الطويل" و"التركيز الحديث" جعلته أفضل في ذلك.

الملخص

FRACTAL هو نوع جديد من الأدمغة الحاسوبية التي تتوقف عن فرض الاختيار بين "تذكر كل شيء" و"تذكر الآن". من خلال استخدام أداة رياضية تسمى الحساب الكسري، فإنه يخلق ذاكرة تحتفظ بالماضي البعيد بشكل طبيعي مع البقاء شديد الوعي باللحظة الحالية. إنه يشبه امتلاك مكتبة حيث الكتب منظمة بحيث يمكنك التقاط أحدث الكتب الأكثر مبيعاً فوراً دون أن تفقد تتبع الكتب الكلاسيكية.

ملخص تقني: FRACTAL – نموذج فضاء الحالة مع بنية تكرارية كسرية

1. بيان المشكلة

تواجه نمذجة التسلسلات في الزمن المستمر توتراً جوهرياً: الحاجة إلى الاحتفاظ بسياق تاريخي غير محدود مع ضرورة اكتشاف التغيرات قصيرة المدى عالية الدقة والمفاجئة في آن واحد. تعاني نماذج فضاء الحالة (SSMs) الحالية، ولا سيما تلك التي تعتمد على إطار عمل مشغلات الإسقاط متعددة الحدود عالية الرتبة (HiPPO)، من "ثلاثية" مقاييس الذاكرة:

ليجندر المقياس (LegS): يخصص وزناً موحداً للتاريخ، مما يضمن ثبات المقياس الزمني ولكنه يؤدي إلى إضعاف تأثير المدخلات الحديثة تدريجياً.
لاغيري المترجم (LagT): يعطي الأولوية للحداثة عبر الاضمحلال الأسي، لكنه يفرض مقياساً زمنياً مميزاً ثابتاً، مما يضحي بالقدرة على الصمود أمام الإشارات ذات التمدد الزمني وفقدان السياق العالمي.
ليجندر المترجم (LegT): يوفر دقة محلية عالية عبر نافذة منزلقة، ولكنه يتخلص بشكل كارثي من السياق خارج هذا الأفق الثابت.

لا يوجد مقياس حالي يحقق في وقت واحد الاحتفاظ بكامل التاريخ، والحساسية للحداثة، وثبات المقياس. هذا القصور يعيق تطبيق نماذج SSM في المجالات الفيزيائية والبيولوجية التي تتميز بديناميكيات متعددة المقاييس، مثل التقلبات المالية، وضجيج $1/f$ الفسيولوجي، وحركة مرور الشبكات، والتي تظهر نوى اضمحلال ذات قانون القوة بدلاً من التوزيعات الأسية أو الموحدة.

2. المنهجية: إطار عمل HiPPO الكسري

يقترح البحث FRACTAL (البنية التكرارية الكسرية للتحليل الزمني الحسابي للتسلسلات الطويلة)، والذي يدمج الحساب الكسري في إطار عمل HiPPO لحل ثلاثية الذاكرة.

2.1 المقياس ذو الرتبة الكسرية

الابتكار النظري الجوهري هو تقديم مقياس ذي رتبة كسرية $\mu(t)(x)$ يتم تعريفه من خلال مؤشر تفرد قابل للضبط $\alpha \in [0, 1)$ :
$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$
هذا المقياس يتدرج بين التوزيع الموحد (LegS، حيث $\alpha=0$ ) والكتلة المركزة عند اللحظة الراهنة. وهو يستحث توزيعه بوزن قانون القوة $(t-\tau)^{-\alpha}$ ، مما يخلق ذيلاً ثقيلاً للاحتفاظ طويل الأمد مع فرض حالة تفرد عند الخطوة الزمنية الحالية لتضخيم الحساسية المحلية. ومن الناحية الجوهرية، فإن بنية قانون القوة هذه تحافظ على ثبات المقياس تحت التمدد الزمني، على عكس المقاييس الأسية.

2.2 الاشتقاق النظري

القاعدة المتعامدة: يتم اشتقاق الإسقاط الأمثل لهذا المقياس باستخدام كثيرات حدود جاكوبي $P_n^{(-\alpha, 0)}$ ، والتي تعمم كثيرات حدود ليجندر المستخدمة في HiPPO-LegS القياسي.
ديناميكيات فضاء الحالة: من خلال تطبيق تحويل عديم الأبعاد والتكامل بالتجزئة لمعاملات الإسقاط، يشتق المؤلفون نظاماً خطياً متغيراً مع الزمن (LTV):
$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$
عامل $1/t$ هو العلامة الرياضية لثبات المقياس.
مصفوفات النظام:
- إسقاط المدخلات ( $B$ ): تم اشتقاق حل مغلق الشكل حيث يتلاشى المعامل ذو الحد الثنائي بشكل أبطأ مما هو عليه في LegS، مما يؤدي فعلياً إلى تضخيم مكونات المدخلات عالية التردد.
- انتقال الحالة ( $A$ ): المصفوفة $A(\alpha)$ هي مصفوفة مثلثية سفلى. والنتيجة النظرية الرئيسية هي أن عناصر قطرها ثابتة بالنسبة لـ $\alpha$ ( $A_{nn} = n+1$ )، مما يضمن بقاء القيم الذاتية ثابتة عند $\{1, 2, \dots, N\}$ . وهذا يضمن الاستقرار الطيفي بغض النظر عن ملف تركيز الذاكرة.

2.3 بنية FRACTAL

لتمكين التدريب المتوازي الفعال، يتم تخفيف نظام LTV إلى نظام خطي ثابت مع الزمن (LTI) عبر استبدال عامل $1/t$ بمعلمة مقياس زمني قابلة للتعلم $\Delta$ .

التهيئة الطيفية: على عكس الأعمال السابقة التي تقرب هياكل المصفوفات، يقوم FRACTAL بإجراء تحليل قيم ذاتية عددي مباشر لـ $A(\alpha)$ (وهي قطرية تماماً) للحصول على الطيف القطري $\Lambda$ .
التهيئة المستندة إلى الفيزياء: يتم تهيئة متجه إسقاط المدخلات $\tilde{B}$ باستخدام الحل التحليلي المغلق المشتق من المقياس الكسري، ليعمل كمهيئ مسبق لمحاذاة الديناميكيات الأولية مع بنية ذاكرة قانون القوة.
بنك المرشحات متعدد المقاييس: يتم تقسيم فضاء الحالة إلى قنوات، تُخصص لكل منها مؤشر تفرد $\alpha_k$ $α_{k}$ مختلف. وهذا ينشئ "بنك مرشحات كسري" حيث:
- تعمل القنوات ذات $\alpha$ المنخفض كمرشحات تمرير منخفض (تحتفظ بالسياق العالمي).
- تعمل القنوات ذات $\alpha$ العالي كمرشحات تمرير مرتفع (تضخم العوابر المحلية).
الحوسبة: يتم حل النظام القطري عبر خوارزميات الجمع المسبق المتوازي (associative scan)، مما يحافظ على تعقيد $O(N \log L)$ .

3. المساهمات الرئيسية

نظرية: تقديم مقياس ذي رتبة قانون القوة في إطار عمل HiPPO. هذا هو أول مقياس يحقق نظرياً "الثالوث المستحيل" المتمثل في الاحتفاظ بكامل التاريخ، والحساسية للحداثة، وثبات المقياس. يقدم المؤلفون اشتقاقات صارمة توضح أن كثيرات حدود جاكوبي تشكل القاعدة الطبيعية وأن عناصر انتقال الحالة (القيم الذاتية) تظل ثابتة بغض النظر عن مؤشر التفرد.
بنيوية: تجسيد هذه النظرية في بنية FRACTAL، والتي تتميز بتكوين متعدد القنوات مع معاملات ذاكرة متباينة (بنك مرشحات طيفي) واستراتيجية تهيئة تحليلية تستفيد من الحل المغلق لشكل إسقاط المدخلات.
تجريبية: التحقق الشامل عبر اختبار Long Range Arena (LRA)، حيث أظهر FRACTAL مكاسب تجريبية في مهام الاستدلال متعددة المقاييس.

4. النتائج التجريبية

عند التقييم على اختبار Long Range Arena (LRA)، حقق FRACTAL متوسط درجة قدره 87.11%، متفوقاً على نموذج S5 (87.04%) ونموذج S4 (86.09%) تحت ظروف وحدة معالجة رسوميات واحدة متطابقة تماماً.

ListOps: حقق FRACTAL نسبة 61.85%، متجاوزاً S5 (61.10%) و S4 (59.60%). تتطلب هذه المهمة تحليل تعبيرات رياضية متداخلة، مما يثبت قدرة النموذج على تتبع هياكل الأقواس العالمية ( $\alpha$ منخفض) وقيم المعاملات المحلية ( $\alpha$ مرتفع) في آن واحد.
Path-X: في التسلسلات بطول 16K، حقق FCTRAL نسبة 98.39%، مساوياً فعلياً لـ S5 (98.62%)، مما يؤكد أن التفرد الكسري لا يضر بانتشار التدرج عبر الآفاق القصوى.
التحقق العددي: تؤكد التجارب أن كثافة الذاكرة تنتقل من التوزيع الموحد إلى التوزيع ذي الذيل الثقيل مع زيادة $\alpha$ ، وأن العناصر القطرية لمصفوفة انتقال الحالة تظل ثابتة كما تنبأت النظرية.

5. الأهمية والادعاءات

يزعم البحث أن FRACTAL يسد الفجوة بين نظرية الإسقاط المثلى لـ HiPPO وخصائص الذاكرة للحساب الكسري. ومن خلال تعميم الأساس القائم على المقياس لنماذج SSM، يوفر العمل آلية صارمة لضبط نوى الذاكرة بين التاريخ الخالص والحداثة الخالصة دون التضحية بثبات المقياس.

يضع المؤلفون FRACTAL كابتكار تأسيسي ضمن نموذج الزمن الثابت الخطي (LTI) لـ SSM. وهم يميزون عملهم صراحة عن نماذج SSM "الاختيارية" (المتغيرة زمنياً) مثل Mamba، بحجة أن مقارنة ابتكار LTI تأسيسي يتم تدريبه من الصفر مقابل بنيات اختيارية محسنة للغاية ومُدربة مسبقاً سيؤدي إلى خلط بين نماذج بحثية مختلفة. وبناءً على ذلك، يؤكد البحث أن المقياس الكسري يقدم ميزة هيكلية تحديداً في نظام قانون القوة، مما يجعله مناسباً بشكل خاص للمجالات التي تتميز بديناميكيات متعددة المقايسات واعتمادات زمنية ذات ذيول ثقيلة، مثل السلاسل الزمنية المالية وتحليل الإشارات الفسيولوجية.