🤖 machine learning

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models

تقدم الورقة البحثية نموذج "Toeplitz MLP Mixer" (TMM)، وهو بنية شبيهة بالمحولات (transformer) تستبدل آلية الانتباه بضرب مصفوفة "توبليتز" (Toeplitz) ذات القناع المثلثي لتحقيق تعقيد أقل من التربيعي، مع إظهار كفاءة تدريب فائقة، وقدرة أعلى على الاحتفاظ بالمعلومات، وأداء أفضل في التعلم داخل السياق مقارنة بالنماذج الأخرى ذات التعقيد الأقل من التربيعي.

المؤلفون الأصليون: Benjamin L. Badger, Ethan Roland

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Benjamin L. Badger, Ethan Roland

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: عنق زجاجة "مكتبة بابل"

تخيل أنك تحاول كتابة قصة، ولكن عليك قراءة قصتك بأكملها من أول كلمة في كل مرة تريد فيها إضافة جملة جديدة. إذا كانت قصتك قصيرة، فسيكون الأمر سهلاً. ولكن إذا كانت قصتك رواية كاملة، فإن إعادة قراءتها بالكامل من أجل كل كلمة جديدة ستستغرق وقتاً طويلاً جداً.

هذه هي بالضبط المشكلة التي تواجهها النماذج المتطورة الحالية (التي تسمى Transformers). فهي تستخدم آلية تسمى "الانتباه" (attention) تسمح لها بالنظر إلى كل الكلمات السابقة لتحديد الكلمة التالية. ورغم قوتها، إلا أنها تصبح بطيئة جداً وتستهلك الكثير من الذاكرة كلما طال النص. الأمر يشبه محاولة العثور على كتاب معين في مكتبة حيث يتعين عليك فحص كل كتاب في كل رف قبل أن تتمكن من اختيار واحد.

الحل الجديد: "Toeplitz Mixer"

قدم المؤلفون نموذجاً جديداً يسمى Toeplitz MLP Mixer (TMM). فكر في هذا كطريقة جديدة لتنظيم تلك المكتبة.

بدلاً من فحص كل كتاب على حدة، يستخدم TMM نمطاً خاصاً ومتكرراً (يُسمى رياضياً مصفوفة Toeplitz) لتنظيم المعلومات.

التشبيه: تخيل حزاماً ناقلاً في مصنع. في النموذج القياسي، يتعين على العامل السير على طول الخط بالكامل للإمساك بقطعة معينة. أما في TMM، فتكون القطع مرتبة في نمط متكرر ومتوقع. يمكن للعامل استخدام اختصار (خدعة رياضية تسمى تحويل فوريه السريع - Fast Fourier Transform) للإمساك بما يحتاجه فوراً، بغض النظر عن طول الخط.
النتيجة: هذا يجعل النموذج أسرع بكثير ويستخدم ذاكرة أقل، خاصة عندما يقرأ نصاً طويلاً لأول مرة (مثل مرحلة "التعبئة المسبقة" لوثيقة ما).

المفاجأة: السرعة لا تعني "الغباء"

عادةً، عندما نجعل نموذج الكمبيوتر أسرع عن طريق تبسيط كيفية نظرته للبيانات، فإنه يصبح "أغبى"، أي يبدأ في نسيان الأشياء.

نماذج "فضاء الحالة" (State Space Models): تحاول النماذج السريعة الأخرى (مثل Mamba) أن تكون فعالة من خلال الاحتفاظ بـ "ملخص" واحد لكل ما قرأته حتى الآن. الأمر يشبه محاولة تذكر كتاب من 500 صفحة من خلال تذكر الجملة الأخيرة فقط. هذا سريع، لكن النموذج غالً ما ينسى التفاصيل.
ميزة TMM: لا يعتمد TMM على ملخص واحد؛ بل يحافظ على "نمط" النص بأكمله متاحاً.
- اختبار النسخ: اختبر المؤلفون هذا من خلال طلب نسخ قائمة طويلة من الأرقام أو الكلمات من النماذج.
- النتيجة: بينما عانت نماذج "الملخص" (مثل Mamba) في تذكر القائمة، استطاع TMM نسخها بشكل مثالي تقريباً، تماماً مثل نماذج Transformers البطيئة والثقيلة. لقد احتفظ بالمعلومات بشكل أفضل بكثير من النماذج السريعة الأخرى.

لماذا ينجح هذا؟ (نظرية "لا انحياز")

تشير الورقة البحثية إلى أن النماذج السريعة الأخرى لديها "انحيازات" أو عادات مبنية داخلها. على سبيل المثال، قد تكون مبرمجة لإعطاء اهتمام إضافي للكلمات الأحدث وتجاهل الكلمات القديمة.

التشبيه: تخيل طالباً يدرس الفصل الأخير فقط من كتاب مدرسي لأنه يعتقد أنه الأهم. قد ينجح في اختبار عن الفصل الأخير، لكنه سيفشل إذا سُئل عن البداية.
TMM: لا يمتلك TMM هذا الانحياز. فهو يعامل نمط النص بشكل متساوٍ. ولأنه لا يجبر نفسه على نسيان المعلومات القديمة، فإنه يحتفظ طبيعياً بمزيد من التفاصيل، مما يؤدي إلى أداء أفضل في مهام مثل العثور على حقائق محددة في وثيقة طويلة أو اتباع تعليمات معقدة.

"سحر" القابلية للعكس (Invertibility)

قام المؤلفون بإجراء تحليل رياضي عميق (باستخدام شيء يسمى نظرية مؤشر العامل - operator index theory) ووجدوا حقيقة غير متوقعة:

على الرغم من أن TMM مصمم لمعالجة المعلومات بطريقة يُفترض أن تفقد بعض التفاصيل (لأنه نموذج "سببي" ينظر للأمام فقط)، إلا أن الرياضيات تظهر أن طبقاته الداخلية قريبة جداً من كونها قابلة للعكس.
التشبيه: تخيل آلة لتمزيق الورق. عادةً، لا يمكنك استعادة الورق. لكن TMM يشبه آلة تمزيق تقطع الورق إلى شرائط لا تزال متراصفة تماماً. إذا كان لديك الأداة المناسبة، يمكنك لصقها معاً بشكل مثالي تقرياً. هذا يشير إلى أن النموذج يحتفظ بـ "شكل" المعلومات الأصلية بشكل جيد جداً، حتى أثناء معالجتها.

العقبة (القيود)

الورقة البحثية صريحة بشأن ما لا يستطيع TMM فعله حتى الآن:

النطاق (Scale): اختبروا نماذج صغيرة نسبياً (من 20 إلى 300 مليون معلمة/parameter). لا نعرف بعد ما إذا كان هذا سينجح مع النماذج الضخمة التي تستخدمها شركات التكنولوجيا الكبرى اليوم.
توليد كلمة واحدة في كل مرة: بينما يعد TMM سريعاً جداً في قراءة نص طويل (مرحلة "التعبئة المسبقة" - prefill)، فإنه بمجرد أن يبدأ في توليد النص كلمة بكلمة، فإنه يتباطأ ليصل إلى نفس سرعة نماذج Transformers القديمة. إنه سريع في البداية، لكنه ليس بالضرورة سريعاً عند خط النهاية.

الملخص

إن Toeplitz MLP Mixer هو نوع جديد من بنية الذكاء الاصطناعي يستخدم اختصاراً رياضياً ذكياً لقراءة النصوص الطويلة بسرعة دون نسيان التفاصيل. وهو يثبت أنك لست بحاجة للتضحية بـ "الذاكرة" من أجل الحصول على "السرعة". إنه يعمل مثل أمين مكتبة يستخدم نظام أرشفة ذكي للعثور على الكتب فوراً، بدلاً من أمين مكتبة يحاول حفظ المكتبة بأكملها في رأسه.

ملخص تقني: نماذج تويلتز إم إل بي ميكسر (Toeplitz MLP Mixers) كنماذج تسلسلية غنية بالمعلومات ومنخفضة التعقيد

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) القائمة على المحولات (Transformers) قيودًا جوهرية تتمثل في التعقيد الزمني ( $O(n^2)$ ) والتعقيد المكاني لآليات الانتباه الذاتي (self-attention). وبينما جرت محاولات عديدة لتقليل هذا التعقيد إلى مستويات دون التربيعية أو خطية (مثل الانتباه الخطي، أو نماذج حالة الفضاء مثل Mamba)، إلا أن هذه النهج غالبًا ما تفرض مقايضات كبيرة. وتحديدًا، تعاني النماذج ذات التعقيد الخطي من انخفاض في كفاءة التدريب، وعدم الاستقرار العددي، وعجز ملحوظ في الاحتفاظ بمعلومات المدخلات. يتجلى هذا العجز في الاحتفاظ بالمعلومات في ضعف الأداء في المهام التي تتطلب نسخًا دقيقًا، والتعلم في السياق (in-context learning)، واسترجاع السياق الطويل، وهي سمات أساسية لقدرات النماذج اللغوية الكبيرة الحديثة. التحدي الجوهري يكمن في تقليل التعقيد الحسابي دون فرض قيود شديدة على الوصول إلى معلومات الرموز (tokens) والتي تؤدي إلى تدهور هذه القدرات الناشئة.

2. المنهجية: تويلتز إم إل بي ميكسر (TMM)

يقدم المؤلفون نموذج Toeplitz MLP Mixer (TMM)، وهو بنية شبيهة بالمحولات تستبدل الانتباه الذاتي بضرب مصفوفة تويلتز (Toeplitz matrix) ذات قناع مثلثي عبر بُعد التسلسل.

البنية الأساسية

توصيف تويلتز (Toeplitz Parameterization): على عكس نماذج MLP Mixers القياسية حيث تكون أوزان خلط الرموز عبارة عن مصفوفات عشوائية، يقوم TMM بتوصيف هذه الأوزان كمصفوفات تويلتز. في مصفوفة تويلتز، تكون جميع القيم على قطر معين متطابقة، مما يسمح بتمثيل المصفوفة بأكملها بواسطة متجه واحد (الصف الأول والعمود الأول).
القناع السببي (Causal Masking): لفرض السببية للتنبؤ بالرمز التالي، يتم تطبيق قناع مثلثي على مصفوفة الأوزان المتجسدة. في التنفيذ، تُضرب التنشيطات (activations) في مصفوفة تويلتز ( $T'$ ) التي تكون مثلثية علوية.
الحساب عبر FFT: من خلال دمج مصفوفة تويلتز في مصفوفة دورية (circulant matrix)، يستفيد المؤلفون من تحويل فوريه السريع (FFT) لحساب حاصل ضرب المصفوفة والمتجه. يؤدي هذا إلى تقليل التعقيد الحسابي من $O(n^2)$ إلى $O(dn \log n)$ أثناء التدريب والملء المسبق (prefill) للاستدلال، مع تعقيد مكاني قدره $O(dn)$.
متغيرات الرؤوس والأنوية المتعددة (Multi-Head and Multi-Kernel): تدعم البنية تكوينات متعددة الرؤوس حيث يتم تطبيق مصفوفات تويلتز مستقلة على أبعاد الرؤوس المسقطة. بالإضافة إلى ذلك، تسمح متغيرات "الأنوية" (kernel variants) بالخلط على عدد محدود من عناصر البعد الخفي، بشكل مشابه لعمليات الالتفاف أحادية البعد (1D convolutions).

الأسس النظرية

يحلل البحث نماذج TMM من خلال منظور نظرية مؤشر العامل (operator index theory). وتحديدًا، يفحص البحث مؤشر فريدولم (Fredholm index) لطبقات تويلتز المدربة. يشير المؤلفون إلى أنه بينما لا تكون نماذج TMM قابلة للعكس تمامًا على جميع المدخلات الممكنة، فإن طبقات TMM السببية المدربة غالبًا ما تظهر مؤشرات (تحديدًا -1) تشبه معاملات الإزاحة (shift operators)، مما يشير إلى آلية لإزاحة المعلومات التسلسلية تختلف عن الانحيازات الموجودة في البنيات الأخرى.

3. المساهمات والادعاءات الرئيسية

يقدم البحث ثلاثة ادعاءات رئيسية فيما يتعلق بفعالية نماذج TMM مقارنة بالبنيات الأخرى دون التربيعية (مثل Hyena وMamba وwindowed attention Transformers):

كفاءة التدريب: في ظل ظروف حسابية ثابتة، تحقق نماذج TMM خسائر تقييم مماثلة أو أقل مقارنة بالنماذج الأخرى دون التربيعية. كما تظهر معدلات تقارب فائقة مقارنة بالنماذج ذات التعقيد الخطي مثل Hyene وMamba.
الحفاظ على المعلومات: تحتفظ نماوذ TMM بمعلومات مدخلات أكثر بكثير من النماذج المماثلة دون التربيعية. ويتضح ذلك من خلال:
- استخراج المعلومات: دقة أعلى في إعادة توليد تسلسلات المدخلات من الحالة الخفية النهائية.
- القدرة على النسخ: تقترب نماذج TMM من أو تتجاوز كفاءة تدريب مهمة النسخ (copy-task) الخاصة بالمحولات ذات التعقيد التربيعي، وهي مهمة تعاني فيها نماذج Mamba وHyena عادةً.
- السعة المعلوماتية: عند تدريبها صراحةً لتعظيم الاحتفاظ بالمعلومات، تظهر نماذج TMM سعة معلوماتية أعلى من نماذج Hyena أو Mamba، حتى عندما تتطلب حسابات أقل بكثير (1/2 إلى 1/8 من الحسابات).
أداء الاختبارات المعيارية: نظرًا لتفوقها في الاحتفاظ بالمعلومات، تتفوق نماذج TMM على النماذج منخفضة التعقيد الأخرى في الاختبارات التي تتطلب تمثيلًا دقيقًا للمدخلات، مثل استرجاع المعلومات (IR) والتعلم في السياق (ICL)، مع الحفاظ على التكافؤ في مهام الفهم اللغوي العام.

4. النتائج التجريبية

قام المؤلفون بتدريب نماذج على مجموعة بيانات FineWeb-edu بحجم 10 مليارات رمز، وقارنوها بنماذج Transformers وMamba 2 وHyena.

كفاءة التدريب: تقاربت نماذج TMM بشكل أسرع من نماذج Hyena وMamba عند مطابقة الحوسبة والذاكرة. ويشير المؤلفون إلى أن تنفيذات الانتباه الخطي عانت من عدم الاستقرار العددي وبطء التقارب، مما دفعهم للتركيز على TMM.
مهمة النسخ: في مهمة تتطلب من النموذج نسخ 512 رمزًا من المدخلات إلى المخرجات، حققت نماذج TMM كفاءة تدريب مماثلة للمحولات. والجدير بالذكر أن نموذج TMM بـ 1/32 من بُعد النموذج ( $d_m$ ) لنموذج Hyena حقق كفاءة نسخ متطابقة تقريبًا. وجدت الدراسة أن معاملات تويلتز القابلة للتدريب كانت حاسمة؛ حيث أدى تجميد هذه المصفوفات إلى فشل تام في عملية النسخ، بينما لم تكن إسقاطات الرؤوس القابلة للتدريب وحدها كافية.
الاختبارات المعيارية:
- IR/ICL: تفوقت نماذج TMM على Hyena في اختبارات SQuAD وSQuAD v2 وLongBench وIFEval.
- المهام العامة: أدت نماذج TMM أداءً يضاهي Hyena وTransformers في مهام مثل ARC-Easy وGLUE وHellaSwag.
دراسات الاستئصال (Ablation Studies): وجد المؤلفون أن استخدام طبقتين متتاليتين من تويلتز يفصل بينهما عدم خطية (أسلوب MLP mixer القياسي) كان أقل كفاءة من استخدام طبقة واحدة. علاوة على ذلك، فإن زيادة عدد الرؤوس حسنت التقارب التقاربي، بينما أدت زيادة حجم النواة (kernel size) بعد نقطة معينة إلى تقليل الكفاءة.

5. الأهمية والقيود

الأهمية

يجادل البحث بأن نموذج TMM يوفر "مسارًا بسيطًا وخاليًا من الانتباه" للوصول إلى كفاءة تدريب تنافسية وتوليد سريع. تكمن أهميته الأساسية في إثبات أن النماذج منخفضة التعقيد لا تتطلب بالضرورة انحيازات بنيوية شديدة (مثل انحياز الحداثة أو انتقائية حالة الفضاء) التي تضعف الاحتفاظ بالمعلومات. باستخدام توصيف تويلتز الصريح، يتجنب النموذج "فجوة النسخ" التي تظهر في Mamba وHyena، مما يشير إلى أن أنماط الوصول المهيكلة (تويلتز) يمكن أن تحافظ على القدرات الغنية بالمعلومات التي تمتلكها المحولات دون التكلفة التربيعية أثناء مرحلة الملء المسبق (prefill).

كما يسلط المؤلفون الضوء على نتيجة نظرية مثيرة للاهتمام: طبقات تويلتز السببية المدربة، وهي غير قابلة للعكس على كامل فضاء المدخلات، تمتلك غالبًا مؤشرات فريدولم أقرب إلى الصفر (أو تحديدًا -1، حيث تعمل كمعاملات إزاحة) من النماذج المصممة صراحةً لتكون قابلة للعكس (مثل المشفرات التلقائية/autoencoders). يشير هذا إلى أن "قابلية العكس" لطبقة ما في نموذج سببي تتعلق بأقل بمدى العكسية الرياضية وأكثر بالحفاظ على تدفق المعلومات من خلال الإزاحة.

القيود

يقر المؤلفون صراحةً بعدة قيود:

النطاق (Scale): أُجريت التجارب على نماذج تتراوح أحجامها بين 20 مليون إلى 300 مليون معلمة (parameter) تم تدريبها على حوالي 13-26 مليار رمز. لا يوجد ضمان بأن هذه النتائج ستنتقل إلى النماذج التي يتم تدريبها على كميات أكبر بكثير من الحوسبة.
الاستدلال التوليدي (Autoregressive Inference): بينما تكون نماذج TMM ذات تعقيد $O(dn \log n)$ أثناء الملء المسبق، فإنها تعود إلى تعقيد $O(n^2)$ أثناء التوليد التوليدي (autoregressive generation) بمجرد حساب أول رمز (حيث يجب تخزين ومعالجة صفوف مصفوفة المدخلات بالتتابع). وبالتالي، توفر نماذج TMM سرعة أكبر في "وقت الوصول لأول رمز" (time-to-first-token) للمطالبات الطويلة، لكنها لا تسرع عملية توليد الرموز اللاحقة مقارنة بالمحولات.
فضاء التكوين (Configuration Space): اختبرت الدراسة عددًا محدودًا من التكوينات البنيوية بسبب العدد الهائل من الاحتمالات الممكنة للمعلمات الفائقة (hyperparameters).

في الختام، يمثل TMM اتجاهًا واعدًا لنماذج التسلسل الذي يوازن بين الكفاءة الحسابية والاحتفاظ العالي بالمعلومات الضروري لمهام الاستدلال المعقد والاسترجاع، بشرط إدارة عقبة الاستدلال في التوليد التوليدي.