🤖 AI

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

تُعد LaneRoPE طريقة تشفير موضعي مبتكرة تُمكّن من الاستدلال المتوازي التعاوني في النماذج اللغوية الكبيرة عبر إدخال أقنعة انتباه بين التسلسلات وتوسيع تقنية RoPE لتنسيق عمليات توليد متعددة، مما يؤدي إلى تحسين الدقة في المهام الرياضية مع حد أدنى من التغييرات الهيكلية وأعباء الاستدلال.

المؤلفون الأصليون: Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز رياضي صعب للغاية. لديك فريق من أربعة أصدقاء عباقرة (لنسمهم أليس، وبوب، وتشارلي، وديف) يحاولون جميعاً حل اللغز في نفس الوقت.

الطريقة القديمة (التفكير المستقل)
في الماضي، إذا طلبت من هؤلاء الأصدقاء الأربعة حل اللغز، فسيجلس كل منهم في غرفته الخاصة المنفصلة. سيبدأ كل منهم بالعمل على المسألة بشكل مستقل.

قد تحاول أليس الجمع.
قد يحاول بوب الطرح.
قد يعلق تشارلي في خطوة معينة.
قد يجد ديف الإجابة بسرعة.

في النهاية، ستجمع الإجابات الأربع وتختار الإجابة التي تبدو الأكثر احتمالاً لأن تكون صحيحة. ما المشكلة؟ لم يكن بإمكانهم التحدث مع بعضهم البعض أثناء العمل. إذا كانت أليس على وشك ارتكاب خطأ، لم يكن بإمكان بوب إيقافها. وإذا وجد ديف طريقاً مختصراً، لم يكن بإمكان أليس استخدامه. لقد كانوا يهدرون الطاقة في القيام بنفس العمل مرتين أو يعلقون في طرق مسدودة بسبب عزلهم.

الطريقة الجديدة: LaneRoPE
تقدم هذه الورقة طريقة جديدة تسمى LaneRoPE. فكر في LaneRoPE كأنها تمنح أصدقاءك الأربعة مكتباً "مفتوح التصميم" سحرياً حيث يمكنهم رؤية وسماع أفكار بعضهم البعض في الوقت الفعلي، حتى وإن كانوا لا يزالون يكتبون على لوحات مفاتهم الخاصة.

إليك كيف يعمل الأمر، باستخدام تشبيهات بسيطة:

1. "المكتب المفتوح" (الانتباه عبر التسلسلات - Cross-Sequence Attention)

في النظام القديم، كان الكمبيوتر (الذكاء الاصطناعي) يعامل عملية تفكير كل صديق كسطر نص منفصل تماماً. يغير LaneRoPE القواعد بحيث عندما تكتب أليس فكرة، يمكن لبوب أن "يراها" فوراً في عقله، والعكس صحيح.

التشبيه: تخيل أن أليس تحاول فهم خطوة رياضية. تكتب: "انتظر، 78 ناقص 30 يساوي 48". في النظام القديم، لن يعرف بوب هذا حتى النهاية. مع LaneRoPE، يرى بوب هذه الفكرة فوراً. قد يقول: "أوه، كنت سأفعل ذلك أيضاً! سأنتقل إلى استراتيجية مختلفة حتى لا نضيع الوقت".
النتيجة: يتوقفون عن القيام بعمل مكرر. يمكنهم رصد أخطاء بعضهم البعض مبكراً والبناء على أفكار بعضهم البعض أثناء بناء الحل، وليس فقط بعد انتهائه.

2. "أرقام المقاعد" (الترميز الموضعي - Positional Encoding)

هذا هو الجزء التقني الصعب، ولكن إليك النسخة البسيطة.
في الذكاء الاصطناعي القياسي، لكل كلمة "رقم مقعد" (موضع) لإخبار الكمبيوتر بمكانها في الجملة (الكلمة الأولى، الثانية، إلخ). ولكن عندما يكتب أربعة أصدقاء في نفس الوقت، فلديهم جميعاً "الكلمة الأولى"، و"الكلمة الثانية"، و"الكلمة الثالثة". يصاب الكمبيوتر بالارتباك: "هل الكلمة الثانية لأليس بجانب الكلمة الثانية لبوب؟ أم أنها بجانب الكلمة الثالثة لأليس؟".

ابتكر LaneRoPE نوعاً جديداً من أرقام المقاعد.

التشبيه: تخيل مسرحاً به أربعة صفوف (مسارات). في النظام القديم، كان الكمبيوتر يعرف فقط رقم المقعد داخل الصف (مثلاً: "الصف 1، المقعد 5"). لم يكن يعرف في أي صف أنت.
الحل: يمنح LaneRoPE كل مقعد معرفاً فريداً يتضمن كلاً من الصف والمقعد (مثلاً: "الصف 1، المقعد 5" مقابل "الصف 2، المقعد 5"). هذا يسمح للكمبيوتر بفهم العلاقة بين أفكار أليس وأفكار بوب. إنه يعرف أن فكرة بوب هي "بجانب" فكرة أليس في الوقت، رغم أنهما في صفوف مختلفة.

3. "الغراء السحري" (التدريب - Training)

مجرد منحهم مكتباً مفتوحاً ليس كافياً؛ فهم بحاجة لتعلم كيفية التصرف. علم المؤلفون الذكاء الاصطناعي باستخدام طريقة تدريب خاصة:

الوصفة: أنشأوا محادثات وهمية حيث يلعب الذكاء الاصطناعي أدوار عدة شخصيات (أليس، بوب، إلخ) يتحدثون مع بعضهم لحل مسائل رياضية. علموا الذكاء الاصطناعي أنه إذا ارتكبت إحدى الشخصيات خطأً، فيجب على الأخرى الإشارة إليه. إذا وجدت إحدى الشخصيات مساراً، يجب على الأخرى اتباعه أو تجربة شيء مختلف.
النتيجة: تعلم الذكاء الاصطناعي أن "التعاون" يؤدي إلى إجابات أفضل من "العمل بمفرده".

لماذا يعد هذا أمراً هاماً؟

إنه سريع: على عكس الطرق الأخرى التي تتطلب من الذكاء الاصطناعي التوقف والبدء من جديد أو استخدام تقنيات أجهزة معقدة وبطيئة، يعمل LaneRoPE بسرعة كبيرة. إنه يشبه ترقية أثاث المكتب بدلاً من إعادة بناء المبنى بالكامل.
إنه فعال: يحصل على إجابات أفضل دون الحاجة إلى توليد آلاف التخمينات العشوائية. يصبح أكثر ذكاءً من خلال جعل "أعضاء فريقه" يساعدون بعضهم البعض.
إنه يعمل في الرياضيات: اختبرت الورقة هذا الأسلوب على مسائل رياضية صعبة (مثل تلك الموجودة في المسابقات رفيعة المستوى). أظهرت النتائج أنه عندما استخدم الذكاء الاصطناعي LaneRoPE، حصل على الإجابات الصحيحة في كثير من الأحيان أكثر مما لو كان يخمن عدة مرات بمفرده.

باختصار
LaneRoPE هو وسيلة لجعل عدة "مفكرين" من الذكاء الاصطناعي يعملون معاً كفريق في الوقت الفعلي. بدلاً من أربعة أشخاص يصرخون بالإجابات من غرف منفصلة، فإنه يضعهم في غرفة حيث يمكنهم الهمس لبعضهم البعض، وتصحيح بعضهم البعض، ودمج نقاط قوتهم لحل اللغز بشكل أسرع وأكثر دقة.

ملخص تقني: LaneRoPE

بيان المشكلة

تعمل تقنيات توسيع وقت الاختبار المتوازي (Parallel test-time scaling)، مثل أخذ العينات من فئة "أفضل من N" (best-of-N sampling)، على تحسين دقة النماذج اللغوية الكبيرة (LLMs) من خلال توليد تسلسلات متعددة مشروطة بنفس التنبيه المدخل. وبينما تستفيد هذه الطرق من الكفاءة الحسابية للاستنتاج المجمع (batched inference)، إلا أنها تعمل تقليديًا بـ توازي غير منسق. في النهج القياسي، يتم توليد كل تسلسل بشكل مستقل، مما يعني أنها لا تعيد استخدام التوليدات الوسيطة أو الحسابات أو الملاحظات من التسلسلات الأخرى. هذا الاستقلال يمنع استغلال هياكل المشكلات القابلة للتفكيك، ويحد من مشاركة المخرجات الوسيطة، ويقيد توليد استجابات متنوعة وتعاونية.

تحاول النهج "التعاونية" الحالية معالجة ذلك من خلال تمكين الرؤية المشتركة للتوليدات الوسيطة. ومع ذلك، فإن العديد من الطرق السابقة تعتمد على إعادة تمثيل المواضع لترتيب عدة تسلسلات افتراضيًا في تسلسل واحد طويل. ويرى المؤلفون أن هذا النهج هو بطبيعته مشكلة توليد متعددة التسلسلات حيث يجب أن يعكس الاستنتاج بدقة المواضع على طول بُعد الرموز (tokens) وبُعد التسلسل (أو "المسار" - lane) أيضًا.

المنهجية: LaneRoPE

يقترح البحث LaneRoPE، وهي طريقة لتمكين التنسيق والتعاون بين $N > 1$ من التسلسلات أثناء وقت التوليد مع تغييرات طفيفة على بنية النموذج اللغوي الكبير الأساسي. يعتمد هذا النهج على ابتكارين تقنيين رئيسيين:

قناع الانتباه بين التسلسلات (Inter-Sequence Attention Masking):
يقوم LaneRoPE بتعديل آلية الانتباه السببي (causal attention) القياسية للسماح بجعل عينات التسلسلات تعتمد على بعضها البعض. بدلاً من جعل الرمز التالي $x^{(n)}_{i+1}$ مشروطًا فقط بتاريخه الخاص $x^{(n)}_{1:i}$ ، يقوم النموذج بتشريطه على تواريخ جميع التسلسلات $\{x^{(m)}_{1:i}\}_{m=1}^N$ . ويتم تحقيق ذلك عبر أقنعة انتباه سببية عابرة للتسلسلات، مما يجعل مسارات الاستدلال الوسيطة مرئية عبر جميع المسارات المتوازية.
الترميز الموضعي الواعي للمسار (LaneRoPE):
لا يستطيع ترميز الموضع الدوار (RoPE) القياسي التمييز بين الرموز في نفس الخطوة الزمنية عبر التسلسلات المختلفة لأنها تتشارك في مؤشرات موضع متطابقة. يقوم LaneRoP بتوسيع RoPE عبر إدخال مصفوفة دوران ثانية قطرية كتلية، $R_{\Omega, m}$ ، والتي تشفر مؤشر التسلسل $m$ (الـ "مسار" أو "lane").

الآلية: يتم تدوير متجهات الاستعلام (query) والمفتاح (key) بواسطة كل من مؤشر الرمز $i$ ومؤشر المسار $m$ : $f_{\{q,k\}}(x_i, i, m) = R_{\Omega, m} R_{\Theta, i} (W x_i + b)$ .
الخصائص: يعامل هذه الصيغة شبكة (الرمز، التسلسل) المشتركة كأساس فورييه ثنائي الأبعاد. والأهم من ذلك، نظرًا لأن مصفوفة دوران المسار متعامدة، فإن أوزان الانتباه بين الرموز داخل نفس التسلسل تظل دون تغيير، مما يضمن التوافق مع الإصدارات السابقة. بالنسبة لـ $N=1$ ، يتبسط LaneRoPE إلى RoPE القياسي.
استراتيجيات التهيئة: يقدم المؤلفون استراتيجيات لتهيئة LaneRoPE من النماذج سابقة التدريب لمحاكاة السلوكيات الموجودة:
- التفكير الجماعي (GroupThink): من خلال ضبط ترددات المسار $\Omega = K\Theta$ (حيث $K$ هو فجوة التسلسل)، يستعيد LaneRoPE "الترتيب الافتراضي" لـ GroupThink.
- أخذ العينات المستقل (Independent Sampling): من خلال تعزيز طبقات الإسقاط بانحياز فورييه (Fourier bias)، يمكن تهيئة النموذج لقمع الانتباه عبر المسارات، مما يحاكي فعليًا أخذ العينات المستقل.
- تصحيح NTK-aware: للتخفيف من مشكلات المواضع الافتراضية النسبية السالبة في تهيئة GroupThink، قدم المؤلفون دالة قياس تعمل على اضمحلال دورات التردد المنخفض للمسارات، مما يحافظ على قدرة النموذج على ترميز المواضع المطلقة.

خط أنابيب التدريب

لإثارة التفاعلات بين المسارات، يقترح المؤلفون استراتيجيتين للضبط الدقيق:

الضبط الدقيق الخاضع للإشراف (SFT): تم بناء مجموعة بيانات اصطناعية حيث يلعب نموذج لغوي كبير دور $N$ من المساعدين المختلفين الذين يتعاونون في حل مشكلة. يُطلب من المساعدين رؤية الأفكار الجزئية لبعضهم البعض وتجنب العمل المكرر. تتكون المجموعة النهائية من مسارات فردية من هذه المحادثات، مما يجبر النموذج على تعلم التبعيات عبر التسلسلات.
تحسين كانمان-تفيرسكي (Kahneman-Tversky Optimization - KTO): يتم تدريب النموذج على دفعات من مسارات الاستدلال (بعضها صحيح وبعضها خاطئ) التي تم توليدها بشكل مستقل بواسطة النموذج الأساسي. تعمل خسارة KTO على تعظيم احتمالية الإكمالات الصحيحة وتقليل احتمالية الإكمالات الخاطئة، مما يشجع النموذج على تعلم توزيع مشترك غير بديهي حيث يمكن للمسارات المتوازية تصحيح أو استكمال بعضها البعض.

النتائج

يقيم المؤلفون LaneRoPE على اختبارات الاستدلال الرياضي (MATH500, AMC 23, AIME 24/25) باستخدام نماذج DeepSeek-R1-Distill-Qwen (بمعلمات 1.5B و 7B).

الأداء: يظهر LaneRoPE تحسنات موثوقة في الدقة مقارنة بالنماذج المرجعية التسلسلية وأخذ العينات المستقل. تُظهر نماذج 7B مكاسب ثابتة، خاصة عند استخدام تدريب KTO مع تهيئة NTK-aware وترددات قابلة للتعلم.
المقارنة: يتفوق LaneRoPE عمومًا على خط الأساس "Bridge" (وهو طريقة أخرى لتوليد مترابط) في نماذج 7B، ويُعزى ذلك إلى قدرة LaneRoPE الأعلى على مشاركة المعلومات وهيكليتها الأكثر كفاءة.
النماذح الصغيرة: يُظهر نموذج 1.5B نتائج مختلطة، حيث يستفيد بشكل أقل من تهيئة GroupThink غير المدربة ويظهر توسعًا أضعف مع زيادة عدد المسارات، مما يشير إلى محدودية حجم النموذج الأساسي وليس الهيكلية.
الكفاءة: يقدم LaneRoPE عبئًا إضافيًا ضئيلًا. تظهر قياسات وقت الاستنتاج زيادة بنسبة ~6% فقط مقارنة بنماذج Transformer القياسية، ويرجع ذلك أساسًا إلى المعالجة المسبقة واللاحقة وليس إلى آلية الانتباه نفسها. في المقابل، يتسبب خط الأساس Bridge في زيادة زمن الاستنتاج بنسبة تصل إلى 25% بسبب الطبقات الإضافية.

الأهمية والادعاءات

يزعم المؤلفون أن LaneRoPE يمثل خطوة واعدة نحو تمكين الاستدضاء التعاوني المتوازي من خلال استغلال المواضع النسبية للرموز داخل وخارج التسلسل بشكل جوهري.

الكفاءة الهيكلية: على عكس الأعمال السابقة التي تتطلب محركات تشغيل متخصصة أو آليات تفرع معقدة، يتطلب LaneRoPE تغييرات هيكلية طفلة ويقدم عبئًا ضئيلًا في وقت الاستنتاج، مما يجعله مناسبًا للدمج السريع في خطوط إنتاج LLM الحالية.
المرونة: الصيغة تعبيرية بما يكفي لتشمل التقنيات الموجودة (مثل أخذ العينات المستقل و GroupThink) مع السماح بمزيد من الضبط الدقيق لاكتشاف استراتيجيات تعاونية جديدة.
كفاءة البيانات: يمكن تفعيل الطريقة باستخدام عدد قليل جدًا من المعلمات الإضافية (< 0.5% فوق النماذج الأساسية) باستخدام SFT أو KTO بسيط مع بيانات اصطناعية.

يقر المؤلفون بالقيود، مشيرين إلى أنهم لا يستخدمون بعد نظام تدريب مخصص لدمج المخرجات من مسارات متعددة، وأن تجاربهم الحالية تركز على أحجام دفعات صغيرة ( $N \le 4$ ). ويقترحون أن العمل المستقبلي يمكن أن يستكشف التعلم التعزيزي مع التغذية الراجعة القابلة للتحقق (RLVF) لتعزيز السلوكيات التعاونية بشكل أكبر.