💬 NLP

Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs

يُعد Mix-Quant إطار عمل للكمية (quantization) مدركاً للمراحل، يعمل على تسريع استنتاج النماذج اللغوية الكبيرة الوكيلية (agentic LLM) عبر تطبيق كمية NVFP4 عالية الإنتاجية على مرحلة التعبئة المسبقة (prefilling) كثيفة الحوسبة، مع الحفاظ على دقة BF16 لمرحلة فك الترميز (decoding)، مما يحقق تسريعاً يصل إلى 3 أضعاف دون تدهور كبير في الأداء.

المؤلفون الأصليون: Haiquan Lu, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haiquan Lu, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً للغاية (عميل ذكاء اصطنا-ي) يساعدك في حل المشكلات المعقدة. وللقيام بعمله، لا يكتفي هذا المساعد بالدردشة فحسب؛ بل يقرأ أدلة ضخمة، ويبحث في الويب، ويتذكر المحادثات السابقة، ويستخدم أدوات مثل الآلات الحاسبة أو محررات الأكواد.

تعالج ورقة بحثية بعنوان "Mix-Quant" مشكلة محددة: هذا المساعد يغرق في كمية القراءة الهائلة التي يتعين عليه القيام بها قبل أن يبدأ في التحدث.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: عدم التوازن بين "القراءة والكتابة"

فكر في عمل الذكاء الاصطناعي كعملية مكونة من خطوتين:

الخطوة أ (التحضير - Prefilling): "مرحلة القراءة". يقرأ الذكاء الاصطناعي كومة ضخمة من المستندات والتعليمات والتاريخ دفعة واحدة لفهم السياق. هذا يشبه طالباً يقرأ كتاباً مدرسياً من 500 صفحة قبل الامتحان. يتطلب هذا الكثير من القدرة الذهنية (الحوسبة) ولكنه يحدث دفعة واحدة.
الخطوة ب (التوليد - Decoding): "مرحلة الكتابة". يقوم الذكاء الاصطناعي بتوليد الإجابة، كلمة بكلمة. هذا يشبه الطالب الذي يكتب مقالاً. يحدث هذا ببطء، كلمة تلو الأخرى، ويعتمد بشكل كبير على الذاكرة.

عنق الزجاجة: في المهام "الوكيلية" (حيث يستخدم الذكاء الاصطناعي الأدوات ويتذكر الأشياء)، تكون "مرحلة القراءة" (الخطوة أ) غالباً أطول بمئات المرات من "مرحلة الكتابة" (الخطوة ب). يقضي الذكاء الاصطناعي معظم وقته في مجرد قراءة النص، مما يجعل هذا الجزء هو الجزء البطيء من العملية.

2. الحل الفاشل: "نظارات القراءة السريعة"

حاول الباحثون جعل الذكاء الاصطناعي أسرع عن طريق وضع "نظارات قراءة سريعة" عليه (وهي تقنية تسمى الكمية - Quantization). يتضمن ذلك تبسيط الأرقام التي يستخدمها الذكاء الاصطنا-ي للتفكير، وتحويل الرياضيات عالية الدقة إلى رياضيات منخفضة الدقة.

النهج الموحد: حاولوا وضع هذه النظارات على الذكاء الاصطنا-ي لكل من القراءة والكتابة.
النتيجة: بينما أصبح الذكاء الاصطنا-ي أسرع في القراءة، بدأ يرتكب أخطاءً سخيفة أثناء الكتابة. نظرًا لأن الذكاء الاصطنا-ي يكتب كلمة بكلمة، فإن خطأً صغيراً في الكلمة الأولى يمكن أن يتراكم ليصبح إجابة خاطئة تماماً في النهاها. كان الأمر يشبه طالباً قرأ الكتاب بسرعة ولكنه نسي التفاصيل، مما أدى إلى مقال سيء.

3. الحل الجديد: "Mix-Quant" (استراتيجية هجينة)

أدرك المؤلفون أن المرحلتين لهما احتياجات مختلفة. اقترحوا Mix-Quant، الذي يعامل المرحلتين بشكل مختلف:

بالنسبة لـ "مرحلة القراءة" (التحضير - Prefilling): يستخدمون "نظارات القراءة السريعة" (NVFP4).
- لماذا؟ الذكاء الاصطنا-ي يقوم فقط بمعالجة كتلة ثابتة من النص. حتى لو كانت الرياضيات مبسطة قليلاً، فإن الأخطاء لا "تتراكم" لأن النص لا يتغير. يمكن للذكاء الاصطنا-ي قراءة السياق الضخم بشكل أسرع بكثير دون فقدان الكثير من الدقة.
بالنسبة لـ "مرحلة الكتابة" (التوليد - Decoding): ينزعون النظارات ويحتفظون بـ "الرؤية عالية الدقة" (BF16).
- لماذا؟ عندما يقوم الذكاء الاصطنا-ي بتوليد الكلمات واحدة تلو الأخرى، فإنه يحتاج إلى الدقة. خطأ صغير هنا يغير الكلمة التالية، والتي تغير الكلمة التي تليها، وهكذا. الحفاظ على الدقة في هذه المرحلة يضمن أن تكون الإجابة النهائية صحيحة ومستقرة.

4. التشبيه: طاقم البناء

تخيل طاقم بناء يبني منزلاً:

"القراءة" (التحضير) هي الفريق الذي يعاين الأرض ويقرأ المخططات. هذا عمل شاق. تقول Mix-Quant: "لنستخدم رافعة ضخمة وسريعة الحركة (NVFP4) لنقل جميع المخططات والمواد بسرعة. لا يهم إذا كانت الرافعة أقل دقة قليلاً، طالما أن المواد تصل بسرعة".
"الكتابة" (التوليد) هي فريق وضع الطوب فعلياً. تقول Mix-Quant: "الآن، انتقلوا إلى البنّاء الماهر ذو الأيدي الثابتة (BF16). نحن بحاجة إلى دقة مثالية هنا. إذا كانت الطوبة مائلة قليلاً، فقد ينهار الجدار بأكمله".

5. النتائج

من خلال دمج هذين النهجين، تزعم الورقة البحثية ما يلي:

السرعة: أصبحت مرحلة "القراءة" أسرع بمقدار 2 إلى 3 مرات.
الدقة: لا يزال الذكاء الاصطنا-ي يعمل بشكل جيد تقريباً مثل النسخة الأصلية البطيئة وعالية الدقة. لم يفقد "ذكاءه" أو يبدأ في اتخاذ قرارات سيئة.
الكفاءة: لقد حل مشكلة عنق الزجاجة في المهام الطويلة والمعقدة دون كسر قدرة الذكاء الاصطنا-ي على التفكير بوضوح.

باختصار: Mix-Quant هي طريقة ذكية لتسريع وكلاء الذكاء الاصطنا-ي من خلال السماح لهم بـ "القراءة السريعة" للسياق الضخم الذي يحتاجون لفهمه، مع إجبارهم على "الإبطاء والتدقيق" عندما يقومون بالفعل بتوليد الإجابة. هذا يحافظ عليهم سريعين دون جعلهم أغبياء.

ملخص تقني: Mix-Quant

1. بيان المشكلة

لقد برزت وكلاء النماذج اللغوية الكبيرة (LLM agents) كنموذج لحل المهام المعقدة من خلال التخطيط، واستخدام الأدوات، والتفاعلات متعددة الخطوات. ومع ذلك، تفرض سير عمل الوكلاء هذه اختناقاً فريداً في الكفاءة يختلف عن عملية التوليد القياسية أحادية الدور.

أعباء العمل الكثيفة المدخلات: تتضمن سير عمل الوكلاء خطوات استنتاج متكررة حيث يتوسع سياق المدخلات (الذي يتكون من التعليمات، ومخططات الأدوات، والأدلة المسترجعة، وآثار التنفيذ) بسرعة كبيرة، وغالباً ما يصبح أكبر بعشرات أو مئات المرات من المخرجات المولدة.
اختناق مرحلة التعبئة المسبقة (Prefilling Bottleneck): على عكس التوليد القياسي حيث تكون عملية فك الترميز (decoding) هي التكلفة المهيمنة، فإن استنتاج الوكلاء يهيمن عليه مرحلة التعبئة المسبقة (معالجة سياق المدخلات الطويل). وتعد هذه المرحلة كثيفة الحوسبة بسبب عمليات ضرب المصفوفات واسعة النطاق المطلوبة لتشفير السياق وبناء ذاكرة المفتاح والقيمة (KV cache).
مقايضة التكميم (The Quantization Trade-off): تفشل استراتيجيات كفاءة النماذج الحالية، مثل التكميم الموحد منخفض البت (مثل وزن وتنشيط FP4)، في معالجة هذا الاختناق المحدد بفعالية.
- التكميم المعتمد على الأوزان فقط: يقلل من بصمة الذاكرة ولكنه يقدم تسريعاً محدوداً لمرحلة التعبئة المسبقة المرتبطة بالحوسبة لأن التنشيطات تظل بدقة عالية.
- التكميم الشامل العدواني: (تطبيق بتات منخفضة لكل من التعبئة المسبقة وفك الترميز) يسرع الحوسبة ولكنه يسبب تدهوراً كبيراً في الأداء. في سير عمل الوكلاء، يمكن لأخطاء التكميم أثناء فك الترميز التكراري أن تنتشر وتتراكم عبر المسارات الطويلة، مما يؤدي إلى استدعاءات أدوات غير صالحة، أو تعديلات برمجية خاطئة، أو مسارات استدلال منحرفة.

التحدي الجوهري هو تسريع مرحلة التعبئة المسبقة كثيفة الحوسبة دون إدخال تراكم الأخطاء الذي يزعزع استقرار عملية فك الترميز اللاحقة.

2. المنهجية: Mix-Quant

يقترح المؤلفون Mix-Quant، وهو إطار عمل للتكميم المدرك للمرحلة (phase-aware) يقوم بفصل استراتيجيات التحسين لمرحلتي التعبئة المسبقة وفك الترميز.

مبادئ التصميم الرئيسية

التكميم المدرك للمرحلة: يدرك إطار العمل أن التعبئة المسبقة وفك الترميز لهما ملفات تعريف حوسبية وحساسية للأخطاء مختلفة.
- التعبئة المسبقة (Prefilling): تعالج سياق مدخلات ثابتاً بشكل متوازٍ. أخطاء التكميم هنا هي اضطرابات على مستوى التمثيل لا تؤثر بشكل تكراري على المدخلات المستقبلية ضمن نفس الدورة. علاوة على ذلك، غالباً ما تحتوي السياقات الطويلة على وفرة كبيرة، مع تركيز كتلة الانتباه على مجموعة فرعية صغيرة من الرموز (tokens)، مما يجعل هذه المرحلة قوية تجاه التكميم العدواني.
- فك الترميز (Decoding): عملية تتابعية وتكرارية حيث يشترط كل رمز مختار التنبؤات المستقبلية. يمكن للأخطاء هنا أن تطلق "تأثير كرة الثلج"، مما يؤدي إلى انحراف التوليد عن المسار الصحيح.
استراتيجية الدقة الهجينة:
- التعبئة المسبقة (NVFP4): تستخدم مرحلة تشفير السياذ كثيفة الحوسبة تنسيق NVFP4 (تنسيق NVFP4 المجهري الخاص بمعمارية NVIDIA Blackwell) لكل من الأوزات والتنشيطات. يستخدم NVFP4 قياساً محلياً دقيقاً (مجموعات من 16 عنصراً) ومقياساً على مستوى التنسور للحفاظ على الدقة العددية عند مستويات البتات الفائقة الانخفاض. يستخدم التنفيذ طريقة التقريب لأقرب عدد (RTN)، وهي كافية نظراً لتصميم التنسيق.
- فك الترميز (BF16): تحتفظ مرحلة توليد الرموز (token-by-token) التكرارية بدقة BF16 (Brain Floating Point 16). هذا يحافظ على استقرار عملية التوليد ويمنع تراكم أخطاء التكميم عبر مسارات الوكلاء الطويلة.
النشر على مستوى النظام:
- يستفيد Mix-Quant من بنية فصل التعبئة المسبقة عن فك الترميز (prefill-decode disaggregation).
- عمال التعبئة المسبقة (Prefill Workers): يعالجون مطالبة المدخلات باستخدام مسار NVFP4 W4A4 (وزن 4-بت، تنشيط 4-بت) لإنشاء ذاكرة KV cache الأولية.
- عمال فك الترميز (Decode Workers): يستقبلون ذاكرة KV cache عبر آلية نقل تعتمد على NIXL ويقومون بعملية التوليد التكرارية باستخدام المسار الأصلي عالي الدقة (BF16).
- يتجنب هذا التصميم عبء تبديل النواة (kernel switching) منخفض المستوى وعدم محاذاة ذاكرة KV-cache التي تعيق عادةً خطوط أنابيب الدقة المختلطة.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

تحديد اختناق الوكلاء: كشف المؤلفون أن سير عمل وكلاء LLM كثيفة المدخلات بطبيعتها، مما يجعل مرحلة التعبئة المسبقة كثيفة الحوسبة هي الاختناق الرئيسي للكفاءة. وقد أثبتوا أن طرق الكفاءة الموحدة (مثل التكميم منخفض البت الشامل) تضر بأداء المهام، مما يستلزم تحسيناً مدركاً للمرحلة.
اقتراح Mix-Quant: إطار عمل مبتكر يطبق تكميم NVFP4 عالي الإنتاجية حصرياً على مرحلة التعبئة المسبقة مع الاحتفاظ بدقة BF16 لعملية فك الترميز. يحسن هذا النهج كفاءة الاستنتاج دون إدخال تراكم شديد للأخطاء أثناء التوليد.
التحقق التجريبي: تُظهر التجارب المكثفة أن Mix-Quant يحافظ إلى حد كبير على أداء مهام الوكلاء عبر مختلف اختبارات السياق الطويل والمتعدد الدورات، مع تحقيق تسريع كبير (يصل إلى 3 أضعاف) في مرحلة التعبئة المسبقة مقارنة بالنماذج المرجعية BF16.

4. النتائج التجريبية

قيم المؤلفون Mix-Quant عبر مجموعة شاملة من الاختبارات باستخدام نماذج حديثة (Qwen3, Qwen3.5, Gemma-4) على وحدات معالجة الرسوميات NVIDIA RTX 5090 و B200.

اختبارات الوكلاء (BFCL v4, LongMemEval, $\tau^2$ -bench):
- أدى تكميم NVFP4 الموحد باستمرار إلى تدهور الأداء (على سبيل المثال، انخفض متوسط درجة Qwen3-8B من 42.85 إلى 38.64).
- استعاد Mix-Quant جزءاً كبيراً من هذه الخسارة، محققاً درجات تقترب من نموذج BF16 المرجعي (على سبيل المثال، 41.45 مقابل 42.85 لـ Qwen3-8B).
- في LongMemEval، تفوق Mix-Quant بشكل كبير على التكميم الموحد (على سبيل المثال، تحسين Gemma-4-26B-A4B-it من 62.42 إلى 72.45).
اختبارات الاستدلال والسياق الطويل (Math500, AIME, LongBench-V2):
- لوحظت اتجاهات مماثلة حيث أضر التكميم الموحد بقدرات الاستدلال، بينما حافظ Mix-Quant على دقة عالية (على سبيل المثال، حقق Gemma-4-31B-it Mix-Quant نتيجة 81.39 مقابل 82.36 لـ BF16، مقارنة بـ 78.26 لـ NVFP4 الموحد).
تسريع الأداء:
- حقق Mix-Quant تسريعاً بمقدار 2-3 أضعاف في زمن انتقال التعبئة المسبقة عبر أطوال تسلسل وأحجام دفعات متفاوتة على وحدات معالجة الرسوميات NVIDIA RTX 5090 مقارنة بالنموذج المرجعي BF16.
- أكدت دراسات الاستبعاد (Ablation studies) أن تكميم مرحلة التعبئة المسبقة فقط (Mix-Quant) يتفوق على تكميم مرحلة فك الترميز فقط أو تكميم كليهما بشكل موحد.

5. الأهمية والادعاءات

يزعم البحث أن Mix-Quant يقدم مقايضة مواتية بين الكفاءة والأداء لاستنتاج الوكلاء ذوي المدخلات الكثيفة. من خلال فصل تسريع التعبئة المسبقة عن دقة فك الترميز، يعالج هذا الأسلوب الاختناق الحسابي المحدد للوكلاء ذوي السياق الطويل دون التضحية بالاستقرار المطلوب للاستدلال المعقد متعدد الخطوات.

يؤكد المؤلفون أن هذا العمل يبرز إمكانات التصميم المشترك بين الخوارزمية والعتاد المدرك للمرحلة (phase-aware algorithm-hardware co-design). فبدلاً من تطبيق استراتيجية ضغط واحدة بشكل موحد، يعد تخصيص التكميم للخصائص المحددة لكل مرحلة استنتاج (تكميم عدواني منخفض البت للتعبئة المسببة للحوسبة، ودقة عالية لفك الترميز الحساس للأخطاء) أمراً بالغ الأهمية لبناء وكلاء LLM أكفاء وموثوقين. وتشير النتائج إلى أن مثل هذا التحسين المستهدف ضروري لتوسيع نطاق سير عمل الوكلاء في سيناريوهات العالم الحقيقي ذات السياق الطويل.