ملخص تقني: نواة RIS (RIS-Kernel)

بيان المشكلة

تتمثل العقبة الرئيسية في استنتاج النماذج اللغوية الكبيرة (LLM) ذات السياق الطويل في التعقيد الحسابي والذاكرة التربيعي ($O(N^2)$) لآلية الانتباه الذاتي الكامل (full self-attention). يحد هذا التوسع من تحليل الوثائق العملي عند حوالي 65,536 رمزاً (token)، ويستلزم مجموعات من وحدات معالجة الرسومات (GPU) باهظة الثمن، مما يجعل التحليل النصي العميق غير متاح لمعظم المجموعات البحثية التي تفتقر إلى الأجهزة المتخصصة. علاوة على ذلك، فإن توسيع نوافذ السياق بما يتجاوز حدود التدريب الأصلية غالباً ما يؤدي إلى تدهور الترميز الموضعي (positional encoding)، مما يتسبب في انهيار قدرات الاسترجاع حتى عند توفر الموارد الحسابية.

المنهجية: بنية نواة RIS

تقدم الورقة البحثية نواة RIS (أخذ العينات التفاعلي المختزل - Reduced Interaction Sampling)، وهي محرك استنتاج مستقل عن النموذج يعمل على حقن الندرة (sparsity) أثناء وقت التشغيل مباشرة في النماذج اللغوية غير المعدلة. تقلل هذه البنية من تعقيد الانتباه الذاتي إلى $O(N \log N)$ دون تغيير أوزان النموذج، أو إجراء ضبط دقيق (fine-tuning)، أو اشتراط تسريع بواسطة وحدة معالجة الرسومات (GPU).

المكونات الأساسية

1. الهندسة العشوائية المستندة إلى التوزيع (Stochastic Geometry): تستبدل RIS مصفوفة الانتباه الكثيفة بأقنعة (masks) متفرقة يتم إنشاؤها عبر أخذ العينات العشوائية. وهي تعمل في نظامين متميزين:
   • الوضع العشوائي (Stochastic Mode): يعامل التسلسل ككتلة موحدة، حيث يستخلص جيراناً عالميين لكل محور (pivot). وتتوسع التغطية بشكل رتيب مع الكثافة وعدد بذور المجموعة (ensemble seed count).
   • الوضع الهيكلي (Structural Mode): يقسم التسلسل إلى كتل، ويربط كل كتلة بالكامل كـ "كليكة" (clique) قبل إضافة حواف زائدة عالمية. تضمن هندسة "الكتلة-الكليكة" هذه الحفاظ على بنية المجتمع المحلي والمرتكزات القريبة، حتى في حالات الندرة القصوى.
2. المرساة الهجينة والـ Softmax الموحد قبل الدمج (PFUS): لمنع تخفيف الأوزان التنافسية للرموز المستردة عشوائياً، تستخدم RIS عملية "softmax" واحدة قبل الدمج. تقوم بدمج "المرساة العشوائية" المخزنة (وهي اتحاد جميع مؤشرات البذور التي تم حسابها مرة واحدة) مع "النافذة المحلية الديناميكية" للرموز اللاحقة. يتم تطبيع جميع الرموز المختارة معاً، مما يضمن أن الكيانات النادرة والمستردة عشوائياً تحمل نفس الوزن التنافسي للرموز المتكررة.
3. توسيع RoPE الديناميكي: يقوم النظام باعتراض معاملات التكوين عند وقت التحميل لتطبيق توسيع ترميز الموضع الدوراني (RoPE) (سواء كان خطياً أو YaRN) ديناميكياً، مما يسمح للنموذج بالتعامل مع نوافذ سياق تتجاوز بكثير حدود تدريبه الأصلية دون تعديل رسم بياني للنموذج.
4. التنفيذ المقيد بالذاكرة: لتجنب أخطاء نفاذ الذاكرة (OOM) أثناء توليد القناع، تستخدم RIS تصميماً تدفقياً (streaming design). فهي تولد مؤشرات البذور، وتدمجها في قناع رئيسي، ثم تتخلص من بيانات البذور الفردية فوراً، مما يبقي ذروة استخدام الذاكرة محدوداً بـ $O(N^2)$ من المصفوفات البولينية بغض النظر عن حجم المجموعة.

المساهمات الرئيسية

• استنتاج مستقل عن النموذج: تعمل البنية كحقن في وقت التشغيل، وهي متوافقة مع النماذج الحالية مثل Qwen2 وTinyLlama دون الحاجة لإعادة التدريب.
• إمكانية الوصول للأجهزة: تم التحقق من صحة النظام على أجهزة CPU عادية غير مسرعة (تتراوح ذاكرتها بين 16 جيجابايت إلى 128 جيجابايت)، مما يثبت أن استنتاج السياق الطويل ممكن دون الحاجة لمجموعات GPU.
• تأثير التنظيم (Regularization): تحدد الورقة أن الانتباه المتفرق يعمل كمنظم. ففي حالات الكثافة المنخفضة (مثل 1%) مع عدد كبير من المجموعات، يسمح تقليم الضجيج على مستوى التسلسل للنموذج بالتفوق على النماذج الأساسية ذات الانتباه الكثفي.
• حساسية الترميز الموضعي: توضح الدراسة الحد الذي يسبب فيه انهيار الترميز الموضعي (تحت الاستيفاء الخطي) فشل الاسترجاع، بدلاً من كونه ناتجاً عن الإسقاط المتفرق نفسه، مما يسلط الضوء على ضرورة استخدام أساليب مثل YaRN للتوسع.

النتائج التجريبية

أُجريت التجارب على نماذج Qwen2-1.5B-Instruct و TinyLlama-1.1B باستخدام مجموعات بيانات من المخطوطات العلمية.

1. الدقة المنضبطة (32 ألف رمز)

• النموذج المرجعي (Baseline): حقق الانتباه الكثفي الأصلي دقة 71.88%. وكان حد "الصفر سياق" هو 59.38%.
• RIS-Stochastic: عند كثافة 1% مع 70-80 بذرة، وصلت الدقة إلى 75.00%، متجاوزة النموذج المرجعي الكثفي. وعند كثافة 5% مع 10 بذور، طابقت النموذج المرجعي تماماً (71.88%).
• RIS-Structural: عند كثافة 1% مع 10 بذور، استردت 75% من الفجوة السياقية (68.75% دقة)، متفوقة على الوضع العشوائي (Stochastic) الذي تطلب 50 بذرة للوصول إلى نفس المستوى.

2. القابلية للتوسع والاستقراء (64 ألف رمز)

• الحد الأصلي: تسبب الانتباه الكثفي في أخطاء نفاذ الذاكرة (OOM) على منصات الاختبار القياسية.
• الاستيفاء الخطي (Linear Interpolation): تسبب في انهيار موضعي شديد، حيث انخفضت الدقة إلى حوالي 15-23% (قريبة من التخمين العشوائي) بغض النظر عن الكثافة.
• توسيع YaRN: حافظ على الهندسة الموضعية.
  • RIS-Structural (كثافة 1%، 60 بذرة): حققت 65.62% دقة، مستردة 14.06 نقطة مئوية فوق حد "الصفر سياق" (51.56%). كانت هذه النتيجة ذات دلالة هامشية بموجب اختبار McNemar المزدوج ($p = 0.078$).
  • RIS-Stochastic (كثافة 5%، 40 بذرة): استردت إلى 59.4%، متجاوزة حد "الصفر سياق" حتى تحت الاستيفاء الخطي، وإن كان ذلك بشكل أقل فعالية من YaRN.
• محدودية TinyLlama: فشلت البنية في استرجاع المعلومات عند عوامل استقراء 4x إلى 16x لنموذج TinyLlama (الذي يبلغ حده الأصلي 2k)، مما يؤكد أن RIS تتطلب بقاء نظام الترميز الموضعي للنموذج المضيف فعالاً ولو جزئياً.

3. جبهة الكفاءة (Efficiency Frontier)

كشف تحليل "النقطة المثالية" للوضع الهيكلي (Structural mode) عند كثافات أقل من 1% (0.3%–0.5%) أن النموذج يمكنه الاحتفاظ بأكثر من 90% من إشارة استرجاع السياق بتكلفة انتباه هيكلي أقل من نصف تكلفة خط الأساس بنسبة 1%.

الأهمية والادعاءات

تدعي الورقة أن نواة RIS تنجح في تجاوز عقبة $O(N^2)$ للانتباه عبر التفرق العشوائي مع الحفاظ على الاسترجاع الواقعي. تكمن أهميتها الأساسية في:

1. إمكانية الوصول عبر الأجهزة العادية: إثبات أن الاسترجاع العميق للوثائق ممكن على أجهزة أكاديمية قياسية (أجهزة كمبيوتر مكتبية CPU) دون تسريع بواسطة GPU.
2. التنظيم عبر الندرة: إثبات أن الانتباه المتفرق ذو الكثافة المنخفضة يمكن أن يعمل كمنظم، حيث يقوم بفلترة الضجيج لتحسين الدقة بما يتجاوز النماذج الكثيفة.
3. الاستقلالية الهيكلية: تحديد أن نواة الاسترجاء منفصلة عن الترميز الموضعي؛ فبينما تحافظ RIS على الإشارة، فإن سلامة هذه الإشارة تعتمد على قدرة النموذج المضيف على الحفاظ على التماسك الموضعي (مثل استخدام YaRN) عند الأطوال الممتدة.
4. الأنماط المتكاملة: تحديد جبهة المنفعة حيث يكون الوضع الهيكلي (Structural Mode) هو الأمثل للميزانيات الضيقة واسترداد المرتكزات القريبة، بينما يكون الوضع العشوائي (Stochastic Mode) متفوقاً في التغطية العالمية الواسعة والتنظيم.

تخلص الورقة إلى أن هذا النهج لا يفرض قيوداً هيكلية تمنع التوسع إلى أعداد أكبر من المعلمات (parameters)، رغم أن هذا يظل بحاجة إلى اختبار. الكود، والبيانات، وسكريبتات الاستنتاج متاحة لإعادة الإنتاج.