🤖 machine learning

Journey Operators for Structured Multi-Axis Composition

تقدم هذه الورقة إطاراً نظرياً لتكوين البيانات متعددة المحاور المهيكلة باستخدام "عوامل الرحلة" التي تعمم تضمينات الموضع الدوارة (Rotary Position Embeddings) إلى إعدادات متكيفة مع المحتوى، وتثبت أن التبادلية هي شرط استقلال المسار، وتقترح نموذج JoFormer للاستفادة من هذه الانحيازات الاستقرائية لتحسين الأداء في مهام الرؤية واللغة والتعميم الطولي.

المؤلفون الأصليون: Mahesh Godavarti

نُشر 2026-07-30

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mahesh Godavarti

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء مكتبة سحرية ضخمة حيث يعرف كل كتاب مكانه بدقة على الرف. في عالم الذك even الاصطناعي، وتحديداً النوع الذي يقرأ الجمل أو ينظر إلى الصور، تكون "الكتب" هي قطع من البيانات مثل الكلمات أو البكسلات. لفترة طويلة، كانت الحواسيب جيدة جداً في فهم ماهية هذه القطع (المحتوى)، لكنها واجهت بعض الصعوبة في فهم أين تقع بالنسبة لبعضها البعض. وهذا ما يسمى "الترميز الموضعي" (positional encoding). فكر في الأمر كأنه نظام تحديد مواقع (GPS) للبيانات: بدون هذا النظام، قد يعرف الكمبيوتر أن كلمة "كلب" وكلمة "رجل" موجودتان في جملة واحدة، لكنه لن يعرف ما إذا كان الكلب قد عض الرجل أم أن الرجل هو من عض الكلب.

ولحل هذه المشكلة، يستخدم العلماء الرياضيات لمنح كل قطعة من البيانات "دورانًا" (rotation) طفيفًا وغير مرئي بناءً على موقعها. تخيل أنك تقوم بتدوير إبرة البوصلة قليلاً مع كل خطوة تخطوها جهة اليمين، وتدويرًا مختلفًا مع كل خطوة تخطوها لأسفل. إذا تحركت يمينًا ثم لأسفل، يجب أن تنتهي الإبرة في نفس الموقع الذي ستكون عليه لو تحركت لأسفل ثم يمينًا. هذه الفكرة المتعلقة بالتحرك عبر الفضاء وتتبع الاتجاه هي الأساس الذي تقوم عليه الورقة البحثية التي نحن بصدد استكشافها. وهي تطرح سؤالاً بسيطًا ولكنه عميق: هل يمكننا جعل هذه "الدورات" تعمل معاً بشكل مثالي بحيث يفهم الكمبيوتر بنية العالم، سواء كان ذلك خطاً من النص، أو شبكة من البكسلات، أو حجماً ثلاثي الأبعاد؟

رحلة البيانات

تقدم هذه الورقة البحثية، بعنوان "مشغلات الرحلة للتركيب متعدد المحاور المهيكل" (Journey Operators for Structured Multi-Axis Composition)، طريقة جديدة للتفكير في كيفية تحرك البيانات واختلاطها داخل الذكاء الاصطناعي. يقترح المؤلفون، بقيادة ماهيش جودافارتي، إطار عمل حيث تحمل كل قطعة من البيانات ليس فقط محتواها (مثل كلمة "قطة" أو بكسل أحمر)، بل أيضاً "تحويلاً" أو "دورانًا" طفيفًا لكل اتجاه يمكنها التحرك فيه.

لنستخدم تشبيهاً مرحاً: تخيل أن كل نقطة بيانات هي مسافر يحمل حقيبة ظهر. في نموذج الذكاء الاصطناعي القياسي، تحمل الحقيبة مجرد أغراض المسافر. ولكن في هذا الإطار الجديد، يحمل كل مسافر أيضاً "بوصلة" خاصة لكل اتجاه يمكنه السير فيه (أعلى، أسفل، يسار، يمين). عندما يلتقي مسافران لدمج قصصهما (وهو ما يفعله الذكاء الاصطناعي عند معالجة البيانات)، يستخدم المسافر الأول بوصلته لتدوير حقيبة ظهر المسافر الثاني قبل اندماجهما. هذا الدوران يغير طريقة سرد قصة المسافر الثاني، اعتماداً على المكان الذي يقف فيه المسافر الأول.

تطلق الورقة على هذه العملية اسم "الرحلة". إذا أردت معرفة كيف ترتبط قطعة من البيانات عند النقطة (أ) بقطعة من البيانات عند النقطة (ب)، فإنك تحسب "مشغل الرحلة" (journey operator)—وهو إجمالي الدوران الذي ستحصل عليه إذا مشيت من (أ) إلى (ب).

الاكتشاف الكبير: العالم "المسطح" مقابل العالم "المنحني"

الجزء الأكثر إثارة في الورقة هو اكتشاف قاعدة تحدد ما إذا كانت هذه الرحلات منطقية أم لا. وجد المؤلفون أنه لكي يفهم الذكاء الاصطناعي أن "التحرك يميناً ثم لأسفل" هو نفسه "التحرك لأسفل ثم يميناً" (وهي خاصية تسمى استقلال المسار أو path independence)، يجب أن تكون البوصلات (الدورات) "تبادلية" (commute).

بلغة الرياضيات، "التبادلية" تعني أن ترتيب العمليات لا يهم. إذا قمت بتدوير ورقة 90 درجة لليمين ثم 90 درجة لأسفل، ستحصل على نتيجة مختلفة عن تدويرها لأسفل أولاً ثم يميناً—إلا إذا كانت دوراتك خاصة. تثبت الورقة أنه إذا كانت الدورات "مسطحة" (بمعنى أنها تعمل على أجزاء منفصلة وغير متداخلة من البيانات، مثل تدوير محور X ومحور Y بشكل مستقل)، فإن الرحلة تكون متسقة. أما إذا كانت الدورات "منحنية" (أي أنها تتداخل مع بعضها البعض)، فإن الرحلة تعتمد على المسار الدقيق الذي سلكته، مما قد يربك الذكاء الاصطناعي.

تقترح الورقة أن أفضل طريقة لبناء نماذج الذكاء الاصطناعي هذه هي الالتزام بالنظام "المسطح". وهذا يفسر سبب نجاح الطرق الموجودة مثل RoPE (ترميز الموضع الدوراني)؛ فهي تستخدم طبيعياً دورات مسطحة وتبادلية. وتوضح الورقة أنه إذا حاولت استخدام دورات أكثر تعقيداً و"انحناءً" (مثل الدورات الكثيفة والمتشابكة)، فستفقد القدرة على امتلاك إحساس متسق بالاتجاه، وسينهار الهيكل الموضعي.

بناءً على هذه النظرية، صمم المؤلفون نموذجاً جديداً يسمى JoFormer (ترانسفورمر الرحلة). الابتكار الرئيسي هنا هو أن JoFormer لا يستخدم هذه الدورات لمساعدة الذكاء الاصطناعي فقط في تقدير مدى انتباه كلمة ما لأخرى (وهو ما كانت تفعله النماذج القديمة)؛ بل يستخدم الدورات أيضاً لـ تحويل البيانات الفعلية (القيم) قبل دمجها.

فكر في الأمر هكذا: في النموذج القديم، قد يقول الذكاء الاصطناعي: "أنا مهتم بكلمة 'كلب' لأنها قريبة من 'نباح'". أما في JoFormer، فإن الذكاء الاصطناعي يقول: "أنا مهتم بكلمة 'كلب'، وسأقوم أيضاً بـ تدوير معنى كلمة 'كلب' بناءً على مدى بعده عني، ليتناسب تماماً مع جملتي الحالية".

اختبرت الورقة نموذج JoFormer في ثلاثة أنواع مختلفة من المهام:

الرؤية (الصور): اختبروه على CIFAR-100 وImageNet. تشير النتائج إلى أن إضافة "دوران القيمة" (تدوير البيانات) يساعد النموذج على الرؤية بشكل أفضل. فعلى سبيل المثال، في CIFAR-100، حسنت نسخة محددة من JoFormer الدقة بنسبة 2% تقريباً مقارنة بالطرق القياسية. وفي ImageNet، حققت زيادة أصغر ولكنها ثابتة بنسبة 0.40%.
اللغة (النصوص): اختبروه على نموذج لغوي لويكيبيديا. تشير النتائج إلى أن النموذج الجديد (تحديداً النسخة "المسقطة" حيث تعتمد الدورات على محتوى النص) تعلم التنبؤ بالكلمة التالية بشكل أفضل، محققاً "ارتباكاً" (perplexity) أقل (وهو مقياس لمدى مفاجأة النموذج) من النماذج القياسية.
التعميم على الطول: هذا اختبار رائع. قاموا بتدريب النموذج على جمل قصيرة (512 كلمة) وطلبوا منه قراءة جمل أطول بكثير (حتى 4096 كلمة). النماذج القياسية ارتبكت بشدة وتراجع أداؤها بشكل حاد. ومع ذلك، تعامل JoFormer مع النصوص الطويلة بشكل أفضل بكما، حيث انخفض أداؤه بشكل طفيف فقط (نسبة 1.02x) مقارداً بالنموذج القياسي الذي انخفض بشكل كبير (6.29x).

ما لا تدعيه الورقة

من المهم أن نكون واضحين بشأن ما لا تدعيه هذه الورقة. المؤلفون حذرون جداً في قولهم إن هذه النتائج هي "اختبارات منطقية ذات بذرة واحدة" (single-seed sanity checks). وهذا يعني أنهم أجروا التجارب مرة واحدة مع نقطة بداية عشوائية محددة ليروا ما إذا كانت الفكرة تعمل من حيث المبدأ، وليس ليدعوا أنهم بنوا أفضل ذكاء اصطناعي في العالم. وهم يعترفون بأن نتائجهم ليست "الأفضل في فئتها" (state-of-the-art) بعد.

كما أنهم يستبعدون أفكاراً معينة. على سبيل المثال، أثبتوا أنه إذا حاولت استخدام نظام دوران كامل ومعقد (مجموعة التناظر الأرثوغونالي الكامل $O(d)$ ) بدلاً من الدورات المسطحة الأبسط، فإن الذكاء الاصطناعي سيفقد كل إحساس بالموضع. الأمر يشبه محاولة التنقل في مدينة حيث تشير كل لافتة شارع إلى اتجاه مختلف ومربك؛ عندها سيتوقف النموذج ببساطة عن معرفة مكان الأشياء.

الخلاصة

ببساطة، تجادل هذه الورقة بأن السر في جعل الذكاء الاصطناعي يفهم البنية ليس مجرد إضافة المزيد من البيانات أو أجهزة كمبيوتر أكبر؛ بل يتعلق بإعطاء البيانات "بوصلة" رياضية متسقة تعمل بنفس الطريقة بغض النظر عن الاتجاه الذي تلتفت إليه. ومن خلال ضمان أن هذه البوصلات لا تتعارض مع بعضها البعض (التبادلية)، واستخدامها لتدوير البيانات فعلياً أثناء حركتها عبر الشبكة، خلق المؤلفون نموذجاً (JoFormer) يشير إلى طريقة أكثر قوة ومتانة ليتعامل بها الذكاء الاصطناعي مع الصور والنصوص والتسلسلات الطويلة.

بينما لا تدعي الورقة أنها حلت كل شيء، إلا أنها تقدم خريطة نظرية قوية توضح لماذا تعمل بعض الطرق، وتوفر مساراً جديداً وواعداً لبناء أنظمة ذكاء اصطناعي أكثر ذكاءً وهيكلية. وتشير التجارب إلى أن هذا النهج له فوائد حقيقية وملموسة، خاصة عند التعامل مع المدخلات الطويلة أو الأنماط البصرية المعقدة، لكن الرحلة لفهم إمكاناته الكاملة لا تزال في بدايتها.

ملخص تقني: مشغلات الرحلة (Journey Operators) للتركيب متعدد المحاور المهيكل

بيان المشكلة

تعاني بنيات تعلم الآلة الحالية في نمذجة البيانات ذات الهيكل الممتد عبر محاور متعددة (مثل التسلسلات، الصور، الأشجار، أو البيانات الحجمية) بطريقة تتوافق مع آليات التعلم القائمة على المتجهات. وبينما يمكن نمذجة الهياكل التركيبية أحادية البعد باستخدام الزمر شبه المجموعية غير التبديلية أو الزمر الحرة، لا يوجد إطار جبري مقبول على نطاق واسع للتركيب ثنائي الأبعاد أو متعدد الأبعاد. غالبًا ما تفشل الأنظمة الجبرية الحالية في دعم الاحتياجات المحددة للبنيات الحديثة مثل الـ Transformers، لا سيما فيما يتعلق بكيفية تركيب البيانات وكيفية وصف المواضع النسبية عبر محاور مستقلة.

هناك توتر حرج: تقوم آليات الانتباه القياسية بتجميع القيم دون تركيب غير تبديلي، مما يؤدي فعليًا إلى إهمال السياق الهيكلي لكيفية ارتباط نقاط البيانات ببعضها عبر المحاور المختلفة. وعلاوة على ذلك، بينما نجحت تضمينات الموضع الدوار (RoPE) في نمذجة المواضع النسبية أحادية البعد، فإن توسيع ذلك ليشمل البيانات متعددة الأبعاد يتطلب إطارًا جبريًا مبدئيًا يضمن استقلال المسار (أي أن تركيب "التحرك يمينًا ثم لأسفل" يعطي نفس النتيجة كـ "التحرك لأسفل ثم يمينًا") ويدعم الانحيازات الاستقرائية المتكيفة مع المحتوى.

المنهجية: الإطار الجبري

يقدم البحث إطارًا تركيبيًا حيث يحمل كل عنصر بيانات كلًا من المحتوى ( $v \in \mathbb{R}^d$ ) ومجموعة من مولدات خطوات المحور ( $R_1, \dots, R_D \in G \le O(d)$ )، حيث $G$ هي زمرة من التحويلات المتعامدة الحافظة للمعيار.

العملية الجوهرية

في البعد الواحد، يُعرف تركيب نقطتي بيانات $(a, A)$ و $(b, B)$ كالتالي:
$(a, A) \circ (b, B) := (a + Ab, AB)$
هنا، يكون محتوى العنصر المركب هو مجموع محتوى النقطة الأولى ومحتوى النقطة الثانية بعد تدويره إلى إطار النقطة الأولى. أما مولد محور المركب فهو حاصل الضرب $AB$ . هذه العملية تجميعية ولكنها غير تبديلية.

في $D$ من الأبعاد، يحمل كل عنصر مولدًا واحدًا لكل محور. التركيب على طول محور معين $k$ يطبق مولد ذلك المحور لتدوير محتوى النقطة الثانية ويراكم المولد لذلك المحور، مع ترك المحاور الأخرى دون تغيير.

مشغل الرحلة (The Journey Operator)

تُعرف "الرحلة" بأنها المسار الذي يربط بين موضعين. مشغل الرحلة $P_{j \to k}$ هو حاصل ضرب مولدات خطوات المحور على طول المسار من الموضع $j$ إلى $k$ .

استقلال المسار: يثبت البحث أن التركيب والتحرك عبر المحاور مستقل عن المسار (أي أن النتيجة تعتمد فقط على الإزاحة، وليس على ترتيب المحاور) إذا وفقط إذا كانت مولدات خطوات المحور لكل محور تبادلية ( $R_i R_j = R_j R_i$ ).
الأنظمة المسطحة مقابل المنحنية: عندما تكون المولدات تبادلية، يعمل الإطار في "نظام مسطح" حيث يكون مشغل الرحلة دالة خالصة للإزاحة ( $P_{j \to k} = R^{k-j}$ ). وعندما لا تكون تبادلية، يكون النظام "منحنيًا"، وتعتمد التحويلات النسبية على الموضع المطلق.

التصنيف النظري

تحت شروط جبرية محددة (الخطية الثنائية، ثبات الإطار الطوري، التركيب الخصلي، والحفاظ على المعيار)، يصنف البحث جميع آليات الانتباه المتوافقة. ويثبت أن الآلية الوحلة المتوافقة هي دوران $SO(2)^{d/2}$ قطري كتلوي. وتوضح هذه النتيجة لماذا تظهر RoPE ومتغيراتها (مثل 2D-RoPE، وtree PEs) بشكل طبيعي كحالات خاصة. وعلى العكس من ذلك، إذا تم افتراض زمرة المتعامدات الكاملة $O(d)$ ، فإن الهيكل الموضعي ينهار تمامًا.

بنية JoFormer

بناءً على هذه النتائج، يقترح المؤلفون JoFormer (Transformer القائم على الرحلة)، والذي يدمج مشغل الرحلة في آلية الانتباه:

جانب الدرجة (Score Side): يقوم بتدوير الاستعلامات (queries) والمفاتات (keys) بمشغلاتهما المطلقة الخاصة ( $A_i q_i, A_j k_j$ ) قبل حساب درجات الانتباه.
جانب القيمة (Value Side): يطبق مشغل الرحلة على القيم قبل التجميع: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$ . وهذا يجلب الهيكل التركيبي إلى جانب القيمة، وهو ما تفتقر إليه آلية الانتباه القياسية.

يقدم البحث ثلاثة متغيرات:

JoFormer-fixed: يستخدم زوايا خطية في الموضع (ترددات RoMA القياسية) مع تدوير القيمة.
JoFormer-learned: يستخدم ناقلات تردد متعلمة لكل طبقة.
JoFormer-projected: يستخرج الزوايا من محتوى تيار المتبقي (residual stream) عبر MLP، مما يخلق مشغل رحلة يعتمد على البيانات.

المساهمات الرئيسية

إطار تركيبي: إطار جبري موحد حيث تحمل البيانات محتوى ومولدات خطوات محور، مما يعرّف التركيب كعملية تجميعية واحدة تمتد طبيعيًا من 1 بُعد إلى $D$ من الأبعاد.
النتائج النظرية:
- إثبات أن التركيب المستقل عن المسار يتطلب مولدات خطوات محور تبادلية.
- تصنيف يوضح أنه تحت شروط التماثل الطبيعية، الآلية الوحيدة المتوافقة هي دوران $SO(2)^{d/2}$ قطري كتلوي، مما يستعيد RoPE كحالة خاصة.
- إثبات أنه في النظام المسطح، يكون نقل القيمة عبر مشغل الرحلة متماثلًا تحت الإزاحة (translation equivariant).
- إثبات أن تحويل فورييه المتقطع (DFT) هو حالة خاصة من هذا التضمين التركيبي.
بنية JoFormer: تصميم نموذج جديد يطبق مشغل الرحلة على القيم، مما يوحد الانتباه، ونماذج الحالة الفراغية (SSMs)، و JoFormer تحت "صيغة مسار القيمة".
تسلسل القيمة-المسار: جسر نظري يوضح أن تكرارات SSM تنفك إلى نفس صيغة مسار القيمة الخاصة بالانتباه، مما يوضح الاختلافات الهيكلية بين هذه العائلات.

النتائج التجريبية

أجرى المؤلفون فحوصات تحقق من الصحة باستخدام بذرة واحدة (single-seed) عبر مهام الرؤية، واللغة، وتعميم الطول لاختبار فرضيات الإطار:

الرؤية (CIFAR-100 & ImageNet):
- في CIFAR-100، أدى تطبيق تدوير القيمة (V) (تدوير القيم وتدوير المخرج عكسيًا) باستمرار إلى تحسين الدقة عبر مختلف أحجام النماذج وأنواع الترددات. وقد حقق التآزر بين تدوير V والترددات القابلة للتعلم زيادة قدرها +1.88% مقارنة بـ 2D-RoPE القياسية.
- في ImageNet-1K (ViT-S)، حقق JoFormer مع تدوير V تحسنًا قدره +0.40% في دقة Top-1 مقارنة بـ RoPE2D.
- أكدت التجارب فرضية "النظام المسطح": الدورات الكثيفة (المنحنية) مثل (LieRE) كان أداؤها أسوأ من الدورات المحورية (التبادلية).
نمذجة اللغة (Wikipedia):
- حقق JoFormer-projected (الزوايا المعتمدة على المحتوى) أدنى مستوى من الارتباك (perplexity) عبر جميع التكوينات المختبرة مقارنة بـ RoFormer ومتغيرات JoFormer الثابتة والمتعلمة.
تعميم الطول:
- أظهر JoFormer-projected قدرات استقراء فائقة. فعند التدريب على طول تسلسل 512 والاختبار على 4096، حقق نسبة ارتباك بلغت 1.02x، متفوقًا بشكل كبير على RoPE (6.29x) و JoFormer-fixed (4.41x). وهذا يشير إلى أن الزوايا المعتمدة على البيانات ضرورية لتعميم الطول بما يتجاوز مجرد تدوير V.

الأهمية والادعاءات

يدعي البحث تقديم إطار جبري تأسيسي يحل التوتر بين الهيكل التركيبي متعدد المحاور والتعلم القائم على المتجهات. وتكمن أهميته في:

التوحيد النظري: يشرح لماذا تعتبر الطرق الشبيهة بـ RoPE نتائج طبيعية لقيود تماثل معينة، ويوفر لغة مشتركة للانتباه، وSSMs، و JoFormer.
الانحياز الاستقرائي: يحدد انحيازًا هيكليًا مفقودًا في الانتباه القياسي: غياب التركيب غير التبدلي في جانب القيمة. ويقوم JoFormer بسد هذه الفجوة.
الفائدة العملية: تشير التجارب الأولية إلى أن هذه الانحيازات الاستقرائية (خاصة تدوير V والزوايا المعتمدة على المحتوى) تؤدي إلى تحسينات ملحوحة في مهام الرؤية وتعميم الطول.

يظل المؤلفون متواضعين، مشيرين إلى أن تجاربهم هي فحوصات تحقق من الصحة ببذرة واحدة وليست ادعاءات معيارية نهائية، بل إن قيمة الإطار تكمن أساسًا في توفير قاعدة تصميم مبدئية لآليات الموضع. ويؤكدون صراحة أنه بينما يحفز النظرية البنية، إلا أنها لا تثبت أن المتغيرات المحددة (مثل JoFormer-projected) ستتفوق دائمًا على النماذج المرجعية، بل هي متسقة مع تسلسل القيمة-المسار المستمد.