← أحدث الأبحاث
🤖 machine learning

The Expressive Limits of Diagonal SSMs for State-Tracking

تثبت هذه الورقة أن القدرة التعبيرية لنماذج فضاء الحالة (SSMs) ذات القيم المركبة والقطرية المكونة من kk طبقة لتتبع الحالة تقتصر بدقة على الزمر القابلة للحل ذات السلسلة تحت المجموعية بطول kk، مما يكشف عن حاجز نظري جوهري للزمر غير الآبلية وفجوة تجريبية بين القدرة التعبيرية وقابلية التعلم.

المؤلفون الأصليون: Mehran Shakerinava, Behnoush Khavari, Siamak Ravanbakhsh, Sarath Chandar

نُشر 2026-08-17
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Mehran Shakerinava, Behnoush Khavari, Siamak Ravanbakhsh, Sarath Chandar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية اتباع مجموعة من التعليمات التي تغير حالته الداخلية أو موقعه. في عالم الذكاء الاصطناعي، يسمى هذا "نمذجة التسلسل" (sequence modeling). يقرأ الروبوت قصة كلمة بكلمة، ومع كل كلمة جديدة، يحدث فهمه للمسار الذي تتجه إليه القصة. لفترة طويلة، كانت الروبوتات الأكثر شهرة (المعروفة باسم المحولات أو Transformers) بارعة في هذا، لكنها كانت أيضاً متعطشة للغاية لقوة الحوسبة. لذا، اخترع العلماء نوعاً جديداً وأكثر رشاقة من الروبوتات يسمى "نموذج فضاء الحالة" (State-Space Model أو SSM). فكر في الـ SSM كأنه روبوت يمتلك بنك ذاكرة صغيراً وفعالاً يُحدث نفسه فورياً أثناء القراءة، بدلاً من إعادة قراءة القصة بأكملها في كل مرة.

لكن الجزء الصعب هنا هو أنه ليس بالضرورة أن يكون الروبوت الكفء ذكياً بما يكفي للقيام بكل شيء. فبعض المهام تشبه الرياضيات البسيطة (جمع الأرقام)، بينما تشبه مهام أخرى ألغازاً معقدة تتضمن تبديل العناصر بترتيب معين. في الرياضيات، غالباً ما توصف هذه الألغاز باستخدام "الزمر" (groups)، وهي مجرد قواعد متطورة لكيفية دمج أو تبديل الأشياء. إذا كانت القواعد بسيطة ويمكن التنبؤ بها (مثل جمع الأرقام)، فقد يتعامل معها الروبوت بسهولة. ولكن إذا كانت القواعد فوضوية وتعتمد على ترتيب العمليات (مثل تبديل ثلاث كرات ملونة حيث يكون تبديل الأحمر ثم الأزرق مختلفاً عن تبديل الأزرق ثم الأحمر)، فقد يصاب الروبوت بالارتباك. يريد العلماء معرفة الحد الأقصى لما يمكن لهذه الروبوتات الفعالة استيعابه حقاً. هل يمكنهم تعلم حل الألغاز الفوضوية، أم أنهم عالقون في الألغاز البسيطة؟

يتعمق هذا البحث في هذا السؤال عبر اختبار نوع محدد وفعال للغاية من الروبوتات يسمى "الـ SSM القطري" (Diagonal SSM). أراد الباحثون معرفة ما إذا كان بإمكان هذه الروبوتات تعلم تتبع التغيرات المعقدة في الحالة، وتحديداً تلك التي تنطوي على زمر غير تبديلية (non-Abelian groups) (أي الألغاز الفوضوية التي تعتمد على الترتيب). واكتشفوا وجود جدار رياضي صلب: الروبوت القطري ذو الطبقة الواحدة لا يمكنه ببساطة حل هذه الألغاز الفوضوية، مهما حاولت. ومع ذلك، إذا قمت بتكديس طبقتين أو أكثر من هذه الروبوتات فوق بعضها البعض، فإنها تكتسب نظرياً القدرة على حلها، ولكن فقط إذا كان اللغز يمتلك بنية طبقية محددة (تسمى "الزمرة القابلة للحل" أو solvable group).

وهنا تكمن الحبكة التي تجعل القصة مثيرة: حتى لو كان بإمكان هذه الروبوتات المكدسة حل هذه الألغاز نظرياً، فقد وجد الباحثون أنها في الممارسة العملية غالباً ما تفشل في القيام بذلك. الأمر يشبه امتلاك سيارة بمحرك قوي بما يكفي لتسلق جبل، لكن السائق (خوارزمية التدريب) يستمر في التعثر في حفرة ولا يجد الطريق للصعود. لقد أثبت البحث أن القدرة موجودة داخل البنية، لكن طرق التدريب القياسية تكافح لفتح هذه القدرة، خاصة بالنسبة للمهام غير التبديلية الأكثر تعقيداً.

بنك ذاكرة الروبوت

لفهم ما وجده المؤلفون، نحتاج أولاً إلى النظر في كيفية عمل هذه "الـ SSM القطرية". تخيل روبوتاً لديه صف من مفاتيح الإضاءة. عندما يقرأ كلمة جديدة، يقوم بتبديل هذه المفاتيح بناءً على قاعدة بسيطة. في الـ SSM "القطري"، لا تعتمد قاعدة تبديل مفتاح واحد على المفاتيح الأخرى؛ فكل مفتاح يعمل بشكل مستقل. وهذا يجعل الروبوت سريعاً للغاية وسهل التدريب، مثل فريق من العمال يقوم كل منهم بعمله الخاص دون الحاجة للتحدث مع الآخرين.

اختبر الباحثون هذه الروبوتات في لعبة تسمى "تتبع الحالة" (state-tracking). في هذه اللعبة، يُعطى الروبوت تسلسلاً من الأوامر (مثل "بدل الكرة الحمراء"، "دوّر الكرة الزرقاء") ويجب عليه تذكر الترتيب النهائي للكرات. إذا كانت الأوامر بسيطة وتبديلية (بمعنى أن الترتيب لا يهم، مثل 2 + 3 هي نفسها 3 + 2)، فإن الروبوت يكون بارعاً. ولكن إذا كانت الأوامر غير تبديلية (مثل ارتداء الجوارب قبل الأحذية مقابل الأحذية قبل الجوارب)، فإن الروبوت يواجه تحدياً أصعب بكثير.

الجدار النظري: طبقة واحدة مقابل طبقات متعددة

يبدأ البحث بإثبات رياضي قوي حول ما يمكن لطبقة واحدة من الروبوتات فعله. أظهر المؤلفون أن الـ SSM القطري ذو الطبقة الواحدة محدود جوهرياً بحل الألغاز "التبديلية" فقط (Abelian)—تلك التي لا يهم فيها ترتيب العمليات. مهما قمت بضبط الروبوت، إذا كان لديه طبقة واحدة فقط من هذه المفاتيح المستقلة، فلا يمكنه تتبع حالة زمرة معقدة وغير تبديلية (مثل تبديلات ثلاثة أشياء، المعروفة باسم الزمرة S3S_3).

ومع ذلك، تصبح القصة أكثر إثارة عند تكديس الطبقات. أثبت المؤلفون أنه إذا قمت بتكديس kk من طبقات الروبوتات القطرية، يمكن للفريق حل لغز ما إذا وفقط إذا كان اللغز يمكن تقسيمه إلى سلسلة من kk من الخطوات التبديلية الأبسط. فكر في الأمر كسباق تتابع. إذا كان اللغز معقداً جداً على عداء واحد، يمكنك تمرير العصا إلى عداء ثانٍ، الذي يمررها إلى الثالث. طالما أن اللغز يمكن تقسيمه إلى عدد محدد من الخطوات البسيطة المرتبة، فإن فريقاً من هذا العدد من الروبوتات يمكنه نظرياً حل اللغز. هذا يعني أن العمق (إضافة المزيد من الطبقات) هو المفتاح لفتح ذكاء أكثر تعقيداً، ولكنه يأتي بقاعدة صارمة: تحتاج بالضبط إلى عدد الطبقات المساوي لعدد "شرائح" التعقيد في اللغز.

فجوة التعلم: النظرية مقابل الواقع

هنا تزداد الحبكة تعقيداً. لم يتوقف المؤلفون عند الرياضيات فحسب؛ بل قاموا ببناء هذه الروبوتات وحاولوا تدريبها. اختبروا نماذج ذات طبقة واحدة وطبقتين على مهام متنوعة، بما في ذلك الجمع البسيط (التبديلي) ولغز تبديل S3S_3 الصعب (غير التبديلي).

كانت النتائج مزيجاً من النجاح والإحباط. بالنسبة للمهام البسيطة، تعلمت الروبوتات بسرعة واستطاعت التعامل مع تسلسلات طويلة جداً. ولكن بالنسبة لمهمة S3S_3 المعقدة، وعلى الرغم من أن الروبوت ذو الطبقتين كان ينبغي أن يكون قوياً بما يكفي لحلها (وفقاً لرياضياتهم)، إلا أنه فشل في معظم الأحيان. لم يستطع الروبوت ببساطة تعلم النمط الصحيح، حتى بعد آلاف المحاولات.

وجد الباحثون أن المشكلة لم تكن في أن الروبوت لا يستطيع فعل ذلك؛ بل إن الحل كان موجوداً بالفعل ضمن تصميم الروبوت. كان الأمر أشبه ببحث الروبوت عن إبرة في كومة قش، وأن طريقة التدريب القياسية (الانحدار الاشتقاقي - gradient descent) استمرت في تفويت الإبرة. في إحدى التجارب، حاولوا "مساعدة" الروبوت عبر البدء من نقطة قريبة جداً من الإجابة الصحيحة. وعندما فعلوا ذلك، تعلم الروبوت المهمة فجأة واستطاع التعامل مع تسلسلات أطول بكثير مما رآه من قبل. وهذا يشير إلى أن الحل موجود، مخفياً في "فضاء الأوزان" الخاص بالروبوت، لكن المسار للعثه ضيق للغاية ويصعب التنقل فيه باستخدام التدريب القياسي.

الخلاصة

يخلص البحث إلى أنه بينما تعد نماذج الـ SSM القطرية فعالة وقادرة نظرياً على حل مشكلات تتبع الحالة المعقدة إذا تم تكديس طبقات كافية، إلا أن هناك فجوة هائلة بين ما يمكنها فعله وما تتعلمه بالفعل. تقول الرياضيات إن روبوتاً من طبقتين يمكنه حل لغز S3S_3، ولكن في الممارسة العملية، غالباً ما يفشل. يسلط هذا الضوء على درس بالغ الأهمية لأبحاث الذكاء الاصطناعي: مجرد امتلاك النموذج للقدرة على أن يكون ذكياً لا يعني أنه سيتعلم الذكاء بسهولة. يقترح المؤلفون أنه لسد هذه الفجوة، قد نحتاج إلى تغيير كيفية تدريب هذه النماذج أو ربما تعديل بنيتها قلياً (مثل السماح بقدر أكبر من التفاعل بين المفاتيح) لجعل المسار نحو الحل أقل انزلاقاً.

باختصار، هذه الروبوتات الفعالة تشبه الطلاب العباقرة الذين يمتلكون المعرفة النظرية لحل مسألة صعبة، لكنهم يستمرون في الفشل في الامتحان لأنهم لا يستطيعون معرفة كيفية تطبيق تلك المعرفة. يحدد البحث بدقة ما هي قدراتهم، ولكنه يحذرنا أيضاً من أن جعلهم يؤدون المهمة فعلياً هو تحدٍ أصعب بكثير مما توحي به الرياضيات.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →