🤖 machine learning

Super Apriel: One Checkpoint, Many Speeds

تقدم الورقة البحثية Super Apriel، وهو شبكة فائقة (supernet) بـ 15 مليار معلمة تتيح الاختيار الديناميكي لأربعة أنواع مختلفة من خلاطات الانتباه (attention mixers) لكل طبقة عند وقت الخدمة لتقديم مقايضات متعددة بين السرعة والجودة من نقطة فحص واحدة، مدعومة بنموذج بديل لتحسين التكوينات، وتُظهر أنه بينما تستقر ترتيبات الطبقات مبكراً في النماذج الصغيرة، فإن أكثر تكوينات الـ 15 مليار معلّمة كفاءة تتطلب وصول التدريب إلى التقارب الكامل لتحديدها.

المؤلفون الأصليون: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejas

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejaswi Madhusudhan, Shruthan Radhakrishna, Srinivas Sunkara, Valerie Becaert

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شاحنة توصيل خارقة (النموذج الذكي) تحتاج إلى توصيل الطرود (الإجابات على أسئلتك) إلى ملايين العملاء.

عادةً، تتبع هذه الشاحنة قاعدة صارمة: يجب أن تسير بنفس السرعة تماماً في كل رحلة.

إذا كنت بحاجة إلى توصيل طرد الآن (دردشة سريعة)، ستظل الشاحنة عالقة في القيادة ببطء لأنها مصممة للرحلات الطويلة والثقيلة.
إذا كنت بحاجة إلى توصيل طرد عبر البلاد (محادثة معقدة وطويلة)، فستكون الشاحنة بطيئة جداً لدرجة عدم الجدوى، أو ستنفد منها الطاقة (الذاكرة) لأنها تحاول حمل الكثير من الأمتعة.

سوبر أبريل (Super Apriel) هو تصميم جديد وثوري لهذه الشاحنة يحل هذه المشكلة. إنه ليس مجرد شاحنة واحدة؛ بل هو "شبكة فائقة متغيرة الشكل" (Shape-Shifting Supernet).

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. محرك "السكين السويسري"

تُبنى معظم نماذج الذكاء الاصطناعي بمحرك واحد من النوع نفسه لكل جزء من الدماغ: الانتباه الكامل (Full Attention). هذا المحرك ذكي للغاية ويتذكر كل شيء بدقة، لكنه ثقيل، وبطيء، ويستهلك الكثير من الوقود (قوة الحوسبة) عندما تصبح المحادثة طويلة.

"سوبر أبريل" مختلف. فكل طبقة من طبقات دماغه تحتوي على أربعة خيارات مختلفة للمحركات مثبتة في آن واحد:

الانتباه الكامل (FA): المحرك الثقيل ذو الذاكرة المثالية.
النافذة المنزلقة (SWA): محرك متوسط ينظر فقط إلى الجمل القليلة الأخيرة.
كيمي دلتا (KDA) و جيتد ديتا نت (GDN): محركات خفيفة وسريعة للغاية، وهي رائزة للسرعة ولكن ذاكرتها قصيرة المدى.

2. "مراقب حركة المرور" (التوزيع/Placement)

هذه هي الخدعة السحرية: ليس عليك اختيار محرك واحد للشاحنة بأكملها.

بدلاً من ذلك، يمكنك المزج والتبديل. يمكنك إخبار الشاحنة:

"استخدم المحرك الثقيل للطبقات العشر الأولى (لفهم السياق)."
"انتقل إلى المحرك السريع للـ 20 طبقة الوسطى (للمعالجة بسرعة)."
"استخدم المحرك الخفيف جداً للـ 18 طبقة الأخيرة (لإخراج الإجابة بسرعة)."

هذا الإعداد القائم على المزج والتبديل يسمى "التوزيع" (Placement).

3. شاحنة واحدة، تكوينات لا نهائية

في الماضي، إذا أرادت شركة شاحنة سريعة وشاحنة ذكية، كان عليها بناء مصنعين منفصلين، وتدريب نموذجين منفصلين، وصيانة أسطولين مختلفين.

سوبر أبريل يغير قواعد اللعبة:

نقطة حفظ واحدة (One Checkpoint): يوجد ملف واحد فقط (شاحنة واحدة) يحتوي على جميع المحركات لجميع الطبقات.
التبديل الفوري: عندما يسأل عميل سؤالاً بسيطاً، يقوم النظام فوراً باستبدال التكوين بـ "المحرك السريع". وعندما يسأل عميل آخر سؤالاً معقداً وطويلاً، يستبدله بـ "المحرك الذكي".
لا توجد عمليات إعادة تحميل: لا يحتاج إلى التوقف وإعادة تحميل الأجزاء. إنه فقط يقلب مفتاحاً في البرمجيات.

4. "قائمة" السرعات

لأن المهندسين اختبروا ملايين التوليفات، فقد أنشأوا "قائمة جاهزة" (Menu of Presets) لتختار منها:

القائمة "الممتازة" (Premium): تستخدم معظم المحركات الثقيلة. إنها ذكية بنسبة 100% مثل نموذج المعلم الأصلي ولكنها أبطأ قليلاً.
القائمة "السريعة" (Express): تستخدم مزيجاً. هي أسرع بـ 3 مرات وأذكى بنسبة 96%.
قائمة "الصاروخ" (Rocket): تستخدم معظم المحركات الخفيفة. هي أسرع بـ 10 مرات ولا تزال ذكية بنسبة 77%.

هذا يعني أن شركة واحدة يمكنها خدمة مقهى مزدحم (يحتاج للسرعة) ومكتب محاماة (يحتاج للدقة) باستخدام نفس التثبيت البرمجي بالضبط، فقط عبر تغيير "التكوين الجاهز" بناءً على الوقت من اليوم أو نوع الطلب.

5. "متذوق الطعام" (النموذج البديل/Surrogate Model)

قد تتساءل: "مع 48 طبقة و4 أنواع من المحركات، هناك مليارات التوليفات الممكنة. كيف وجدوا الأفضل؟"

لم يختبروا جميعها يدوياً. بل بنوا "متذوق طعام تنبؤي" (نموذج رياضي يسمى النموذج البديل).

تخيل أنك تخبز كعكة. بد بدلاً من خبز 10 مليارات كعكة للعثور على الوصفة المثالية، أنت تتذوق بعض الفتات من بعض الكعكات وتستخدم خوارزمية ذكية للتنبؤ بما سيكون عليه طعم الكعكة المثالية.
نظر هذا "المتذوق" إلى شاحنة "سوبر أبريل" وقال: "إذا وضعت المحرك السريع في الطبقات من 10 إلى 20 والمحرك الثقيل في الطبقات من 1 إلى 9، فستحصل على أفضل توازن بين السرعة والذكاء".

6. لماذا يهم هذا المستقبل؟

السياق هو الملك: مع ازدياد طول المحادثات في الذكاء الاصطناعي (تذكر كتاب كامل بدلاً من مجرد جملة)، تصبح النماذج العادية أبطأ وأبطأ. "سوبر أبريل" يصبح أسرع كلما طالت المحادثة لأن محركاته الخفيفة لا تتعثر بعبء الذاكرة.
فك التشفيد التخميني (Speculative Decoding): نظرًا لأن الشاحنة تحتوي على جميع المحركات بداخلها، يمكنها استخدام "محرك سريع" لتخمين الكلمة التالية و"محرك ثقيل" للتحقق مما إذا كان التخمين صحيحاً. هذا يجعل العملية برمتها تطير.

الخلا-صة

سوبر أبريل يشبه جهاز التحكم عن بعد العالمي لسرعة الذكاء الاصطناعي. بدلاً من شراء تلفاز جديد (نموذج) لكل قناة (مهمة)، أنت تشتري تلفاز "سوبر أبريل" الذي يمكنه التبديل فوراً بين "وضع السينما" (جودة عالية، بطيء) و"وضع الرياضة" (سرعة عالية، جيد بما يكفي) دون تغيير الأجهزة أبداً.

إنه يسمح للشركات بتوفير كميات هائلة من المال والطاقة مع منح المستخدمين بالضبط السرعة والذكاء الذي يحتاجونه للمهمة المحددة.

إليك ملخص تقني مفصل لورقة البحث "Super Apriel: One Checkpoint, Many Speeds" من إنتاج ServiceNow Research والمساهمين معها.

1. بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs) لتشمل نوافذ سياق أطول ومتطلبات إنتاجية أعلى، يصبح الانتباه الكامل (Full Attention - FA) عائقًا كبيرًا. يتطلب الانتباه الكامل زمنًا قدره $O(n^2)$ وذاكرة (KV-cache) تنمو خطيًا، مما يجعل الاستنتاج مقيدًا بالذاكرة وبطيئًا في التسلسلات الطويلة.

بينما توفر البنى الهجينة (التي تمزج بين FA وبدائل فعالة مثل "انتباه النافذة المنزلقة" أو "التكرار الخطي") تسريعًا في الأداء، إلا أن النهج الحالي يعاني من الجمود:

التوزيع الثابت: عادة ما تمتلك النماذج ترتيبًا واحدًا ثابتًا لأنواع الانتباه (مثل: "FA في الطبقات 1-10، وMamba في 11-48") يتم تحديده قبل التدريب أو عبر عملية بحث لمرة واحدة.
عدم مرونة النشر: تفرض البنية الثابتة تسوية بين السرعة والجودة. لا يمكن للنموذج التكيف مع أحمال العمل المتغيرة (مثل المطالبات القصيرة التي تتطلب جودة عالية مقابل السياقات الطويلة التي تتطلب سرعة) دون إعادة تدريب أو نشر نماذج منفصلة.
تعقيد البحث: الفضاء التوافقي لوضع أنواع مختلفة من الـ "mixers" عبر أكثر من 48 طبقة واسع جدًا ( $4^{48}$ )، مما يجعل البحث الشامل مستحيلاً.

الهدف: إنشاء نقطة تفتيش (checkpoint) واحدة للنموذج تدعم نقاط تشغيل متعددة (سرعة-جودة) في وقت التشغيل دون إعادة تحميل الأوزان، مما يسمح بالتبديل الديناميكي بين التكوينات المعمارية المختلفة بناءً على احتياجات حمل العمل.

2. المنهجية

أ. بنية الـ Supernet

يقدم المؤلفون Super Apriel، وهو "supernet" بـ 15 مليار بارامتر مشتق من نموذج المعلم Apriel 1.6 (48 طبقة).

مفردات الـ Mixer: يحتوي كل طبقة Decoder على أوزان لأربعة أنواع متميزة من الـ token mixers:
1. الانتباه الكامل (FA): انتباه قياسي ( $O(n^2)$ ).
2. انتباه النافذة المنزلقة (SWA): انتباه نافذة محلية ( $O(n \cdot w)$ ).
3. انتباه Kimi Delta (KDA): تكراري مع بوابات (gating) على مستوى القنوات ( $O(n)$ ).
4. Gated DeltaNet (GDN): تكراري مع بوابة قياسية (scalar gating) ( $O(n)$ ).
مشاركة البارامترات: تشترك جميع الطبقات في شبكات التغذية الأمامية (FFNs)، والتمثيلات (embeddings)، وطبقات التطبيع (normalization). تختلف فقط كتل الـ mixer.
البارامترات النشطة: في أي تكوين محدد ("placement")، يكون نوع واحد فقط من الـ mixer نشطًا لكل طبقة. يبلغ حجم نقطة التفتيش الإجمالي حوالي 25 مليار بارامتر، ولكن أي عملية استنتاج واحدة تستخدم حوالي 15 مليار بارامتر نشط.

ب. وصفة التدريب

تتكون عملية التدريب من مرحلتين رئيسيتين:

التقطير العشوائي (S1):
- يتم تدريب الـ supernet لمحاكاة نموذج Apriel 1.6 (المعلم) المجمد.
- أخذ العينات المحلي: في كل خطوة تدريب، يتم اختيار mixer عشوائي لكل طبقة (بشكل موحد من الأنواع الأربعة). يضمن هذا أن جميع تركيبات الـ mixers تتلقى تحديثات التدرج (gradient updates).
- الخسارة (Loss): خسارة مركبة تتضمن مطابقة التنشيط (MSE)، وReverse KL، وForward KL divergence.
- البيانات: تعتبر آثار الاستدلال عالية الجودة والبيانات المهيكلة أمرًا بالغ الأهمية؛ حيث تسبب استخدام بيانات التدريب المسبق الخام حدوث انهيار في الاستدلال (reasoning collapse).
الضبط الدقيق الخاضع للإشراف (S2):
- تظل البارامترات المشتركة (FFNs، إلخ) مجمدة للحفاظ على مرجع مستقر.
- يتم ضبط أوزان الـ mixer فقط على بيانات التعليمات.
- أخذ العينات المستهدف: لتحسين تكوينات معينة عالية القيمة، استخدم المؤلفون استراتيجية "مستهدفة" حيث يركز التدريب على مجموعة مختارة من الـ "placements" المثلى (Pareto-optimal) التي حددها المحسن (optimizer)، بدلاً من أخذ العينات العشوائية الموحدة.

ج. إطار تحسين التوزيع (Placement Optimization)

للتنقل في الفضاء التوافقي $4^{48}$ ، طور المؤلفون خط أنابيب التحسين الموجه بالبديل (Surrogate-Guided Optimization):

نموذج التكلفة: يتم نمذجة تكلفة الاستنتاج كدالة خطية لعدد كل نوع من أنواع الـ mixer.
بديل التوسع العنقودي (Cluster Expansion Surrogate): باستعارة مفاهيم من الفيزياء الإحصائية، يتم تقريب درجة الجودة $S(x)$ $S (x)$ لتوزيع معين كمجموع من التفاعلات (أحادية، ثنائية، إل., إلخ) بين الطبقات.
- $S(x) = \sum V^{(1)}_i + \sum V^{(2)}_{ij} + \dots$
التحسين الدقيق: يتم ملاءمة نموذج خطي بايزي (Bayesian linear model) للبديل. نظرًا لأن التفاعلات محلية (قصيرة المدى)، يمكن العثور على التوزيع الأمثل لأي ميزانية تكلفة بدقة باستخدام البرمجة الديناميكية (DP)، متجنبًا البحث التجريبي (heuristic search).
التحسين التكراري: يقوم النظام بتقييم المرشحين بشكل متكرر، وتحديث البديل، وتحسين حدود باريتو (الجودة مقابل السرعة).

د. الاستنتاج والخدمة

التبديل في وقت التشغيل: يمكن لنقطة تفتيش واحدة خدمة توزيعات مختلفة. يستغرق التبديل بين الإعدادات المسبقة (مثلاً من "All-FA" إلى "Hybrid") ما بين 5 إلى 15 ثانية حيث يتم فقط تبديل أوزان الـ mixer بين الـ CPU والـ GPU؛ بينما تظل الأوزان المشتركة في الذاكرة.
الاستدلال التخميني (Speculative Decoding): يُمكّن الـ supernet من الاستدلال التخميني دون الحاجة لنموذج مسودة (draft model) منفصل. يعمل إعداد "All-FA" كمدقق (verifier)، بينما يعمل أي إعداد فعال (مثل All-GDN) كنموذج مسودة، مستفيدًا من الأوزان المشتركة لتحقيق معدلات قبول عالية.

3. المساهمات الرئيسية

أول Supernet لـ Token-Mixer: نقطة تفتيش واحدة بقدرة 15 مليار بارامتر توفر أربعة خيارات لـ mixer لكل طبقة، مما يتيح توزيعًا مرنًا في وقت التشغيل.
التحسين الموجه بالبديل: تطبيق مبتكر للتوسع العنقودي والبرمجة الديناميكية لحل مشكلة توزيع الطبقات التوافقية بدقة، وتحديد حدود باريتو (السرعة مقابل الجودة).
تحليل ديناميكيات التدريب: كشفت الاختبارات الضبطية (ablations) على نماذج 0.5B و15B أن بينما تستقر التصنيفات العامة مبكرًا، فإن التوزيعات المثلى (Pareto-optimal) تظهر تقلبًا أعلى عند المقاييس الأكبر (15B)، مما يحذر من تعميم نتائج المقاييس الصغيرة.
الإصدار مفتوح المصدر: إصدار أوزان الـ supernet، وكود تدريب Fast-LLM، وتوسعات خدمة vLLM، وأدوات تحسين التوزيع.

4. النتائج الرئيسية

الأداء مقابل الإنتاجية

حدد المؤلفون عدة "إعدادات مسبقة" (configurations) تقدم مقايضات مختلفة:

إعداد All-FA المسبق: يطابق نموذج Apriel 1.6 المعلم تمامًا (متوسط درجة 74.2 مقابل 73.9 للمعلم).
الإعدادات الهجينة (Reg|Lklhd–26): تسريع بمقدار 2.9 ضعف مع الحفاظ على 96% من الجودة.
الإعدادات الهجومية (Reg|Lklhd–10): تسريع إنتاجية فك التشفيد (decode throughput) بمقدار 10.7 ضعف مع الحفاظ على 77% من الجودة.
حد باريتو الخطي: المقايضة بين السرعة والجودة سلسة ويمكن التنبؤ بها، مما يؤكد صحة نموذج التكلفة الخطي.

توسع طول السياق

نتيجة حاسمة هي أن مكاسب الكفاءة تتضاعف مع طول السياق:

عند الانتقال من سياق 16k إلى 3k، تحقق التوزيعات الفعالة تسريعًا نسبيًا يتراوح بين 80-155%.
النماذج الهجينة الخارجية (ذات التوزيع الثابت) تحقق فقط 5-46% في نفس النطاق لأن طبقات FA المتبقية فيها لا تزال تتسبب في عبء ذاكرة تربيعي.

المقارنة مع أحدث التقنيات (SOTA)

مقابل Apriel-H1: يوفر Super Apriel مرونة وجودة فائقة عند مقياس 15B.
مقابل الهجينات الخارجية (مثل Nemotron، Qwen): بينما تحقق النماذج الأكبر (27B–30B) جودة مطلقة أعلى، فإن Super Apriel يوفر نقاط تشغيل متعددة من نقطة تفتيش واحدة بقدرة 15B، مما يوفر كفاءة أفضل (مثلاً تسريع 6.2 ضعف) مقارنة بالعديد من النماذج الأكبر.

الاستدلال التخميني

يحقق استخدام الـ supernet للاستدلال التخميني (All-GDN كمسودة، وAll-FA كمدقق) أعلى سرعة، مما يؤكد أن التدريب المشترك يحافظ على تشابه توزيعي عالٍ بين التوزيعات.

5. الأهمية والآثار

المرونة التشغيلية: لم تعد المؤسسات بحاجة لتدريب ونشر نماذج متعددة لمتطلبات زمن الوصول/الجودة المختلفة. يمكن لمنتج واحد (artifact) خدمة طلبات السياق القصير عالية الجودة وطلبات السياق الطويل عالية الإنتاجية عبر التبديل بين الإعدادات المسبقة في وقت التشغيل.
كفاءة التكلفة: القدرة على التبديل إلى إعدادات هجينة هجومية أثناء ذروة التحميل والعودة إلى All-FA للمهام الحرجة للجودة، يحسن تكاليف البنية التحتية.
تقدم منهجي: يوضح البحث أن التقطير العشوائي المقترن بـ التحسين الدقيق بالبديل هو مسار قابل للتطبيق لاكتشاف البنى الهجينة المثلى، متجاوزًا النهج التجريبي أو البحث اللاحق المكلف.
تحذير من القابلية للتوسع: تشير نتيجة أن نماذج 15B تظهر ديناميكيات مشهد (landscape dynamics) مختلفة (تقلب أعلى في حدود باريتو) عن نماذج 0.5B إلى ضرية التحقق من مقاييس البحث المعمارية على نطاق واسع.

باختصار، يحول Super Apriel المقايضة بين السرعة والجودة من قرار ثابت قبل النشر إلى سطح تحكم ديناميكي في وقت التشغيل، مما يقدم نموذجًا جديدًا لخدمة LLM بكفاءة.