💻 computer science

RePo: Language Models with Context Re-Positioning

تقدم هذه الورقة RePo، وهي آلية مبتكرة تستفيد من وحدة قابلة للتفاضل لإعادة تموضع الرموز (tokens) ديناميكيًا بناءً على التبعيات السياقية بدلاً من المؤشرات الخطية الثابتة، مما يقلل من العبء المعرفي الزائد ويعزز أداء النماذج اللغوية الكبيرة في المهام التي تتضمن سياقات ضوضائية، وبيانات مهيكلة، وتبعيات طويلة المدى.

المؤلفون الأصليون: Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، ولكن بدلاً من أن تكون القطع مرتبة في نظام منطقي وأنيق، تم إلقاؤها على الطاولة في كومة فوضوية. لتجد القطعة التي تحتاجها، عليك مسح الفوضى بأكملها، وتجاهل الحطام، والأمل في ألا يتعب عقلك من مجرد الجهد المبذول في فرز كل ذلك.

هذا هو بالضبط ما يحدث داخل النماذج اللغوية الكبيرة (LLMs) الحديثة عندما تقرأ نصوصاً طويلة أو غير منظمة.

إليك شرح مبسط لورقة البحث "REPO: إعادة تموضع السياق للنماذج اللغوية" باستخدام تشبيهات من الحياة اليومية.

1. المشكلة: الفخ "الخطي"

تقرأ معظم نماذج الذكاء الاصطناعي الحالية النصوص مثل الشخص الذي يقرأ صفحة من كتاب صفحة تلو الأخرى، من اليسار إلى اليمين. فهي تعطي لكل كلمة رقماً: 1، 2، 3، 4... وصولاً إلى النهاية.

المشكلة: هذا الترتيب "الخطي" جامد. فهو لا يهتم إذا كانت الكلمة رقم 100 هي في الواقع أهم دليل للكلمة رقم 500.
العبء المعرفي: تجادل الورقة بأن هذا يشبه إجبار إنسان على حل مسألة رياضية بينما يصرخ شخص ما في أذنه بأرقام عشوائية. يستهلك العقل (أو الذكاء الاصطناعي) طاقة في محاولة معرفة أين توجد الأشياء، بدلاً من التركاليز على ماذا تعني. يُسمى هذه الطاقة المهدورة بـ "العبء المعرفي الخارجي".

2. الحل: REPO (الـ "أمين المكتبة الذكي")

يقترح المؤلفون نظاماً جديداً يسمى REPO (إعادة تموضع السياق).

تخيل أن لدى الذكاء الاصطناعي أميناً ذكياً للمكتبة داخل عقله.

الطريقة القديمة (الذكاء الاصطناعي القياسي): يضع أمين المكتبة كل كتاب على الرف بناءً على وقت وصوله بدقة. الكتاب رقم 1 يوضع في الرف 1، الكتاب رقم 2 في الرف 2. إذا كنت بحاجة إلى كتاب من الخلف، فعليك السير طوال الممر.
طريقة REPO: يقرأ أمين المكتبة الكتب أولاً. إذا رأى أن الكتاب رقم 1 والكتاب رقم 500 يتحدثان عن نفس الموضوع، فإنه ينقلهما سحرياً ليجلسا بجانب بعضهما البعض على الرف، بغض النظر عن وقت وصولهما. إنه يتجاهل ترتيب الوصول وينظم الكتب بناءً على مدى ارتباطها ببعضها البعض.

3. كيف يعمل (الـ "وحدة السحرية")

تقدم الورقة برنامجاً حاسوبياً صغيراً وخفيف الوزن (وحدة قابلة للتفاضل) يعمل كأمين المكتبة هذا.

بدلاً من قول: "أنت الكلمة رقم 500"، يقول: "أنت الكلمة رقم 500، ولكن من حيث الأهمية للسؤال الحالي، فأنت تجلس في الواقع بجوار الكلمة رقم 10".
إنه ينشئ خريطة مرنة وغير خطية للنص. يمكنه تجميع الأفكار ذات الصلة معاً ودفع "الضجيج" غير ذي الصلة (مثل الإعلانات أو الجمل العشوائية) إلى الجانب، حتى لو كانت مكتوبة في منتصف النص.

4. النتائج: لماذا يهم ذلك؟

اختبر الباحثون هذا النظام على نماذج OLMo مفتوحة المصدر. وإليك ما حدث:

اختبار "إبرة في كومة قش": تخيل إخفاء إبرة (الإجابة) في كومة قش ضخمة (مستند طويل). غالباً ما تضيع نماذج الذكاء الاصطناعي القياسية في القش. أما REPO، فيبدو أنه "يشم" الإبرة ويتوجه إليها مباشرة، متجاهلاً بقية القش.
البيانات المهيكلة: عند قراءة الجداول أو المخططات التي تحولت إلى نص، يفهم REPO الهيكل بشكل أفضل لأنه يمكنه تجميع الصفوف ذات الصلة معاً، بدلاً من قراءتها سطراً بسطر فقط.
السياقات الأطول: كلما زاد طول النص (من 4,000 كلمة إلى 16,000 كلمة)، تبدأ نماذج الذكاء الاصطناعي القياسية في نسيان الأشياء. يظل REPO حاد الذهن لأنه لا يهدر طاقته في "المسافة" بين الكلمات؛ بل يركز على "العلاقة" بينها.

5. الجزء الأفضل: إنه فعال

قد تتساءل: "إذا كان الذكاء الاصطناعي يعيد تنظيم النص بأكمله، أليس ذلك بطيئاً؟"
للمفاجأة، لا. "أمين المكتبة الذكي" خفيف الوزن للغاية. فهو لا يضيف أي تكلفة إضافية تقريباً لقوة المعالجة الحاسوبية. إنه يشبه إضافة ملاحظة لاصقة إلى كتاب بدلاً من إعادة كتابة المكتبة بأكملها.

الملخص

REPO يشبه منح الذكاء الاصطناعي نظارة تسمح له برؤية الروابط الحقيقية بين الكلمات، بدلاً من مجرد ترتيبها على الصفحة. من خلال السماح للذكاء الاصطناعي بتحديد مكان "وضع" المعلومات بناءً على صلتها بالموضوع، فإنه يحرر قدراته الذهنية للقيام بالتفكير العميق، وحل المشكلات الأكثر صعوبة، والتعامل مع المستندات الأطول والأكثر فوضوية دون ارتباك.

إنه تحول من "اقرأ بالترتيب الذي كُتب به" إلى "اقرأ بالترتيب الذي يجعل أكبر قدر من المعنى".

إليك ملخص تقني مفصل لورقة البحث بعنوان "REPO: نماذج اللغة مع إعادة تموضع السياق".

1. بيان المشكلة

تعتمد نماذج اللغات الكبيرة (LLMs) الحالية على التعلم داخل السياق (ICL)، حيث تتم معالجة المعلومات ضمن نافذة سياقية محدودة لحل المهام. ومع ذلك، تفرض البنى الهيكلية السائدة بنية سياقية ثابتة وصلبة من خلال تخصيص مؤشرات صحيحة خطية ومتتالية (مثل $0 $إلى$ L-1$) أو مؤشرات ثابتة لكل رمز (token).

يجادل المؤلفون بأن هذا التنظيم الاستاتيكي يخلق عبئاً معرفياً زائداً، وهو مفهوم مستعار من نظرية الحمل المعرفي (CLT). في الإدراك البشري، تكون سعة الذاكرة العاملة محدودة؛ فإذا استُهلك الكثير من هذه السعة في معالجة تنظيم المعلومات (الحمل الزائد)، يتبقى قدر أقل للتعمق في الاستدلال وتخصيص الانتباه (الحمل النافع).

المشكلة: تجبر هياكل المواضع الخطية أو الثابتة الصارمة النموذج على معالجة معلومات غير ذات صلة أو ضوضائية بنفس الوزن الهيكلي للاعتمادات الحرجة.
النتيجة: يؤدي هذا إلى تدهور الأداء في المهام التي تتطلب:
- سياقات ضوضائية: العثور على معلومات محددة ("الإبرة") وسط كميات كبيرة من البيانات غير ذات الصلة.
- بيانات مهيكلة: معالجة الجداول أو المدخلات المهيكلة حيث يفقد التسطيح (linearization) البنية الدلالية.
- سياقات طويلة: الحفاظ على الانتباه عبر مسافات طويلة (مثلاً 16 ألف رمز فأكثر) حيث يفشل انحياز الموضع الخطي.

2. المنهجية: REPO (إعادة تموضع السياق)

يقترح المؤلفون REPO، وهي آلية مبتكرة تسمح للنموذج بـ إعادة تنظيم مواضع الرموز ديناميكياً بناءً على صلتها الدلالية بدلاً من ترتيب إدخالها.

الآلية الجوهرية

يقدم REPO وحدة خفيفة الوزن وقابلة للاشتقاق، $f_\phi$ ، تقوم بتخصيص موضع مستمر ذي قيم حقيقية $z_i$ لكل رمز $x_i$ بناءً على حالته المخفية $h_i$ .

تمثيل الموضع: طبقة فرعية من نوع SwiGLU خفيفة الوزن تستخرج تمثيل الموضع $r_i$ من الحالة المخفية للرمز $h_i$ .
$r_i = \text{Swish}(h_i W_g) \odot (h_i W_c)$
تخصيص الموضع: تحويل خطي يربط هذا التمثيل بقيمة موضع جديدة $z_i$ .
$z_i = r_i W_z$
التكامل: تحل هذه المواضع المتعلمة $z_i$ محل المؤشرات الصحيحة القياسية في دالة ترميز الموضع (مثل RoPE). تصبح درجة الانتباه بين الرمز $i$ والرمز $j$ هي:
$A^{REPO}_{i,j} = q_i^\top g_\theta(z_j - z_i) k_j$
حيث أن $g_\theta$ هي دالة ترميز الموضع الدوار القياسية (RoPE)، ولكن يتم تطبيقها على المسافة المتعلمة $z_j - z_i$ بدلاً من مسافة المؤشر الثابت $j - i$ .

استراتيجية التدريب

التعلم المسبق المستمر: تُطبق الطريقة عبر التعلم المسبق المستمر على نماذج OLMo-2 مفتوحة المصدر (بمعلمات 1 مليار و7 مليارات) لتجنب مشكلات تلوث البيانات.
توزيع الطبقات: لتحقيق التوازن بين الكفاءة والفعالية، يُطبق REPO بدءاً من الثلث الأول من طبقات النموذج. تُترك الطبقات الدنيا بالمواضع الخطية القياسية لأنها تلتقط بشكل أساس tiên الميزات السطحية (مثل النحو ووسم أجزاء الكلام) التي تستفيد بشكل أقل من إعادة التنظيم.
الكفاءة: الوحدة خفيفة الوزن، حيث تضيف فقط 0.9% إلى عدد المعلمات. وهي لا تغير ترتيب التوليد التلقائي (يبقى مخزن KV دون تغيير)؛ بل تعدل فقط منطق حساب الانتباه.

3. المساهمات الرئيسية

الإطار النظري: أول عمل يصيغ قيود ترميز الموضع صراحةً من خلال نظرية الحمل المعرفي، مجادلاً بأن إعادة التموضع الديناميكي يقلل من الحمل الزائد ويحرر الذاكرة العاملة للاستدلال.
بنية مبتكرة: تصميم وحدة تخصيص موضع قابلة للاشتقاق ومعتمدة على البيانات ( $f_\phi$ ) تتعلم تخصيص المواضع في فضاء مستمر كثيف وغير خطي.
القدرة على التكيف الديناميكي: على عكس الطرق الثابتة (RoPE) أو الطرق الثابتة (NoPE)، يتعلم REPO التبديل ديناميكياً بين الأنماط:
- الثابت: تخصيص مواضع متشابهة للرموز المرتبطة (مثل NoPE).
- الرتيب: الحفاظ على الترتيب للاعتمادات التسلسلية (مثل RoPE).
- الهجين: مزيج من كليهما، مما يلتقط البنية الجوهرية للمدخلات (مثل تقسيم الأمثلة قليلة التلقين).
المصدر المفتوح: إصدار الكود وأوزان النماذج بناءً على نماذج OLMo-2 مفتوحة المصدر بالكامل.

4. النتائج التجريبية

قيم المؤلفون REPO على نماذج OLMo-2 1B و7B عبر ثلاثة أبعاد حاسمة:

أ. السياق الضوضائي (الإبرة في كومة قش)

الاختبار المرجعي: RULER (مهام NIAH).
النتيجة: تفوق REPO بشكل كبير على RoPE.
- OLMo-2 1B: تحسن متوسط قدره +5.4 نقطة عن RoPE.
- OLMo-2 7B: تحسن قدره +0.6 نقطة، محققاً دقة كاملة في المهام متعددة القيم.
التحليل: يخصص REPO كتلة انتباه أكبر لرموز "الإبرة" البعيدة وكتلة أقل لرموز "الاستعلام" القريبة، مما يكسر بفعالية انحياز المحلية المتأصل في ترميزات الموضع الخطية.

ب. البيانات المهيكلة

الاختبار المرجعي: HybridQA (الاستدلال من الجداول).
النتيجة: حسن REO درجات المطابقة التامة (EM) بشكل ملحوظ.
- OLMo-2 1B: +2.27 نقطة عن RoPE.
- OLMo-2 7B: +4.09 نقطة عن RoPE.
الرؤية: يحافظ REPO بشكل أفضل على الإشارات الهيكلية الكامنة عند تحويل الجداول إلى نص خطي.

ج. السياق الطويل والتعميم (Extrapolation)

الاختبار المرجعي: RUL RULER وLongBench (من 4K إلى 16K رمز).
النتيجة: أظهر REPO قدرة فائقة على التعميم لأطوال السياق غير المرئية.
- OLMo-2 1B: تحسن قدره +6.93 نقطة في متوسط LongBench.
- OLMo-2 7B: تحسن قدره +6.38 نقطة.
الآلية: توجد المواضع المتعلمة في فضاء كثيف وغير خطي، مما يسمح للنموذج بالتعميم بشكل أفضل للأطوال التي تتجاوز مرحلة التدريب (مثلاً من 4K إلى 16K) مقارنة بـ RoPE القياسي.

د. المهام العامة

النتيجة: حافظ REPO على أداء تنافسي في الاختبارات المرجعية القياسية قصيرة السياق (مثل ARC، MMLU-Pro، إلخ)، مما يثبت أن آلية إعادة التموضع لا تضعف القدرات العامة.

5. الأهمية والأثر

التحول الهيكلي: يتحدى REPO "المعيار الفعلي" لترميز الموضع الخطي الثابت، مشيراً إلى أن تخصيص الموضع المدرك للسياق هو استخدام أكثر كفاءة لقدرة النموذج.
المتانة: يقدم حلاً لمشكلة "الإبرة في كومة القش" وتدهور السياق الطويل دون الحاجة إلى تغييرات هيكلية ضخمة أو إعادة تدريب مكلفة من الصفر.
القابلية للتفسير: يكشف التحليل أن REPO يتعلم محاكاة عملية "التقطيع" (chunking) الشبيهة بالبشر (تجميع المعلومات ذات الصلة) والتقسيم الهيكلي، مما يؤكد صحة دافع نظرية الحمل المعرفي.
الاتجاه المستقبلي: يفتح هذا العمل مساراً جديداً لـ إدارة السياق المرنة، حيث يمكن للنماذج إعادة هيكلة مدخلاتها بنشاط لتحسين الاستدلال، مما قد يفيد أنظمة التوليد المعزز بالاسترجاع (RAG) والأنظمة الوكيلية (Agentic systems).

باختصار، يثبت REPO أنه من خلال السماح لنماذج اللغات الكبيرة بـ "إعادة ترتيب" رؤيتها الداخلية للسياق بناءً على الصلة، يمكننا تقليل الحمل المعرفي بشكل كبير، مما يؤدي إلى أداء متفوق في السيناريوهات المعقدة والضوضائية وطويلة السياق مع الحفاظ على الكفاءة.