🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

تُعد XFP طريقة ديناميكية لتكميم الأوزان (weight quantization) في استنتاج النماذج اللغوية الكبيرة (LLM) لا تتطلب معايرة، حيث تحدد تلقائياً معاملات كتاب الشفرة (codebook parameters) بناءً على عتبات الجودة المحددة من قبل المستخدم، مما يفصل بفعالية القيم المتطرفة المتفرقة (sparse outliers) لتحقيق إنتاجية عالية ودقة فائقة مع تمكين النماذج الضخمة من التوافق مع الذاكرة المحدودة عبر عملية التكرار "H-Process" القائمة على الجودة.

المؤلفون الأصليون: Thomas Witt

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thomas Witt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وضع قلعة ليجو ضخمة مكونة من 397 مليار قطعة (نموذج ذكاء اصطناعي عملاق) داخل حقيبة ظهر صغيرة (جهاز كمبيوتر محمول بمواصفات قياسية).

في العادة، لكي تجعل القلعة تتسع، تحاول سحق الطوب وتحويله إلى غبار ناعم ومتجانس (الضغط القياسي). لكن هذا يدمر القلعة؛ حيث تصبح التفاصيل ضبابية ويبدأ الذكاء الاصطناعي في ارتكاب الأخطاء.

XFP هو طريقة أذكى وأحدث لتعبئة هذه القلعة. فبدلاً من سحق كل شيء، فإنه يستخدم نهج "الجودة أولاً". وإليك كيف يعمل باستخدام تشبيهات بسيطة:

1. "أرضية الجودة" بدلاً من "عرض البت" (Bit Width)

في الطريقة القديمة، تخبر الكمبيوتر: "احشر هذا في 4 بت لكل قطعة طوب". يقوم الكمبيوتر بما بوسعه، ولكن إذا كانت قطع الطوب ذات أشكال غريبة، ستكون النتيجة سيئة.

XFP يقلب هذه الآية. أنت تخبر الكمبيوتر: "أريد أن تبدو القلعة بنسبة 96% على الأقل مثل الأصلية".
ثم يقوم الكمبيوتر بحساب الباقي بنفسه. يتساءل: "حسنًا، للحفاظ على جودة 96%، كم عدد البتات التي أحتاجها فعليًا لهذا الجزء المحدد؟"

بالنسبة لبعض الأجزاء، قد يحتاج فقط إلى 2 بت.
ولأجزاء أخرى، قد يحتاج إلى 4 بت.
إنه لا يفرض قاعدة واحدة تناسب الجميع.

2. مشكلة "القيم المتطرفة" (قطع الطوب العملاقة)

تخيل أنه في قلعة الليجو الخاصة بك، 99% من قطع الطوب صغيرة وطبيعية، لكن 1% منها عبارة عن قطع ضخمة وثقيلة وغريبة الشكل.

الطريقة القديمة: تحاول سحق القطع الضخمة لتناسب الصندوق الصغير. هذا يشوه الصندوق بأكمله، مما يجعل القطع الصغيرة تبدو سيئة أيضًا.
طريقة XFP: تقول: "لنأخذ تلك القطع الضخمة والغريبة ونضعها في جيب خاص ومنفصل".
- الجيب الخاص: يحمل القطع الضخمة والغريبة في شكلها الأصلي عالي الجودة (باستخدام مساحة أكبر قليلاً، ولكن فقط للقطع التي تحتاج ذلك).
- الصندوق الرئيسي: يحمل فقط الـ 99% من قطع الطوب العادية، والتي أصبح من السهل ضغطها لأنها جميعًا متشابهة.

3. "القاموس المخصص" (كتاب الشفرة - Codebook)

بدلاً من استخدام قاموس قياسي حيث تكون كل الكلمات بنفس الطول، يتعلم XFP قاموسًا مخصصًا لكل طبقة من طبقات الذكاء الاصطناعي.

ينظر إلى قطع الطوب في غرفة معينة من القلعة ويتعلم بالضبط ما هي الأشكال التي تظهر بشكل متكرر.
ينشئ قائمة صغيرة (كتاب شفرة) تضم تلك الأشكال فقط.
بعد ذلك، بدلاً من تخزين قطعة الطوب بالكامل، فإنه يخزن فقط رقمًا صغيرًا (فهرسًا) يشير إلى ذلك الشكل في القائمة.
ولأن القائمة مخصصة لتلك الغرفة تحديدًا، فهي فعالة للغاية.

4. القاعدتان (الصارمة مقابل المرنة)

للذكاء الاصطناعي أنواع مختلفة من الغرف:

"الغرف الصارمة": (مثل آلية الانتباه - Attention Mechanism، التي تهتم بالتفاصيل). يكون XFP حذرًا جدًا هنا؛ حيث يستخدم قاموسًا عالي الجودة ويحتفظ بمزيد من القطع الضخمة في الجيب الخاص.
"الغرف المرنة": (مثل "الخبراء الموجهين" - Routed Experts، وهم عمال متخصصون). هذه الغرف أكثر مرونة؛ حيث يستخدم XFP قاموسًا أصغر وأقل دقة هنا لأن هذه الأجزاء من الذكاء الاصطناعي يمكنها تحمل الضغط أكثر دون أن تتعطل.

يسمح هذا لـ XFP بتوفير مساحات هائلة دون تدمير عقل الذكاء الاصطناعي.

5. "عملية H" (الضغط المحكم)

تصف الورقة البحثية تحديًا محددًا: وهو وضع نموذج يحتوي على 397 مليار معلمة (Parameter) على بطاقتين رسوميتين قياسيتين (واللتين عادة لا تستوعبان هذا الحجم).

استخدموا عملية تسمى H-Process.
فكر في الأمر كأنها لعبة "غولدي لوكس" (التي تبحث عن الشيء المثالي): ظلوا يعدلون القواعد "الصارمة" و"المرنة".
- إذا جعلوا القواعد صارمة للغاية، فلن تتسع القلعة في حقيبة الظهر (نفاد الذاكرة - Out of Memory).
- إذا جعلوا القواعد فضفاضة للغاية، سيبدأ الذكاء الاصطناعي في قول كلام غير مفهوم (مخرجات عديمة الفائدة).
وجدوا الإعداد "المثالي تمامًا" (المسمى H1.5) حيث تتسع القلعة تمامًا، وتعمل بسرعة، وتُعطي إجابات جيدة.

النتائج

السرعة: على جهاز كمبيوتر محمول عالي الأداء، يعمل XFP بسرعة أكبر بنسبة 49% من أفضل طريقة قياسية حالية (Marlin INT4) لنموذج مكون من 122 مليار معلمة.
الجودة: يحافظ على ذكاء النموذج قريبًا جدًا من النسخة الأصلية غير المضغوطة.
سهولة الوصول: يتيح للباحثين تشغيل نماذج ذكاء اصطناوي ضخمة على أجهزة كمبيوتر مكتبية قوية وعادية دون الحاجة إلى حواسيب فائقة مكلفة موجودة في مراكز البيانات.

باختصار: XFP هو نظام تعبئة ذكي لا يجبر كل شيء على الدخول في صندوق موحد؛ فهو يفصل الأشياء الغريبة والثقيلة، ويتعلم قواميس مخصصة للبقية، ويسمح لك بتحديد مقدار الجودة التي تريد الحفاظ عليها، ويقوم تلقائيًا بحساب الطريقة الأكثر كفاءة لتسيع كل شيء.

ملخص تقني: XFP – تكميم كتاب الرموز التكيفي المستهدف للجودة

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تفرضها استراتيجيات تكميم النماذج اللغوية الكبيرة (LLM) الحالية عند نشر نماذج خليط الخبراء (MoE) الضخمة على أجهزة الفئة الاحترافية (مثل NVIDIA RTX PRO 6000 Blackwell). يحدد المؤلفون ثلاث مشكلات هيكلية في النهج الحالي:

مشكلة القيم المتطرفة (The Outlier Problem): تُظهر مصفوفات أوزان المحولات (Transformer) توزيعات ذات ذيول ثقيلة. التكميم الخطي الموحد (INT-N) أو كتب الرموز الثابتة اللوغاريتمية (مثل NVFP4) يجب أن تستوعب القيم المتطرفة القصوى، مما يضطرها لاستخدام عامل مقياس واحد يؤدي إلى تدهور الدقة في الكتلة المركزية الكثيفة للأوزان.
مشكلة عدم التجانس في نماذج MoE (The MoE Heterogeneity Problem): تمتلك المكونات المختلفة داخل نماذج MoE (الاهتمام، الخبراء المشتركين، الخبراء الموجهين) توزيعات أوزان متميزة. ومن الناحية التجريبية، تعد الخبراء الموجهون أكثر تسامحاً مع التكميم الخشن مقارنة بطبقات الاهتمام (Attention). لذا، فإن حد الجودة العالمي أو عرض البتات الواحد يفشل في استغلال هذا التباين.
مشكلة تخزين كتاب الرموز (The Codebook-Storage Problem): تستهلك كتب الرموز المتعلمة لكل قناة (per-channel) كمية كبيرة من الذاكرة المشتركة (SMEM) على وحدات معالجة الرسومات (GPUs). وفي وحدات GPU من فئة محطات العمل (99 كيلوبايت SMEM/CTA)، يحد هذا من حجم ذاكرة التخزين المؤقت لصفوف التنشيط (activation-row cache)، مما يفرض عمليات "split-K" التي تزيد من زمن التأخير وتحد من أقصى حجم للنموذج يمكن نشره في تدفق واحد.

علاً على ذلك، تشير الورقة إلى أنه بينما يوفر تنسيق NVFP4 من NVIDIA إنتاجية مدعومة عتادياً في رقائق Blackwell المخصصة لمراكز البيانات (SM100+)، فإن هذا المسار غير متاح أو غير مكتمل في أجهزة محطات العمل (SM120/121)، مما يترك المشغلين مع تنسيقات تتجاهل توزيعات الأوزان المحددة.

2. المنهجية: إطار عمل XFP

يعمل XFP على عكس سير عمل التكميم التقليدي. فبدلاً من أن يختار المشغل عرض البت المستهدف ويقبل بخسارة الجودة الناتلة، يقوم XFP بتحديد حدود جودة إعادة البناء بناءً على تشابه جيب التمام (cosine similarity) لكل قناة. ومن ثم يقوم XFP تلقائياً بتحديد حجم كتاب الرموز، وميزانية القيم المتطرفة، واستراتيجية التعبئة لكل طبقة.

الآليات الأساسية

فصل القيم المتطرفة المتفرقة (Sparse Outlier Separation):
يتم تفكيك الأوزان إلى بقايا عالية الدقة متفرقة وكتلة كثيفة.
- تُعرف القيم المتطرفة بأنها الأوزان حيث $|w - \mu| > k\sigma$ (الافتراضي $k=4.0$ ، بحد أقصى 2% من الأوزان).
- تُخزن هذه القيم المتطرفة كمصفوفة fp16 متفرقة في مواقعها الأصلية.
- يتم استبدال أوزان "الكتلة" المتبقية بمتوسط المجموعة وتكميمها.
كتب الرموز المتعلمة التكيفية (Adaptive Learned Codebooks):
يتم تكميم توزيع الكتلة باستخدام كتاب رموز متعلم لكل مجموعة عبر تكرار لويد (Lloyd iteration).
- وضع V2 (لكل قناة): يخزن كتاب رموز fp16 مستقلاً لكل قناة مخرجات. يدعم عرض البتات $N \in \{2, 3, 4, 5, 6\}$ .
- وضع V2a (المكتبة المشتركة): يخزن مكتبة صغيرة من $L$ من كتب الرموز (الافتراضي $L=32$ ) لكل طبقة. يتم تعيين أفضل مدخل مكتبة لكل مجموعة أوزان. يقلل هذا من استخدام SMEM من $O(\text{output\_dim})$ إلى ثابت قدره ~1 كيلوبايت، مما يتيح نوافذ سياق أكبر على وحدات GPU الخاصة بمحطات العمل.
الاختيار التلقائي المستهدف للجودة (Two-Threshold):
يستخدم النظام عتبتين متميزتين لتشابه جيب التمام لدفع اختيار عرض البتات:
- الحد الصارم ( $\tau_{strict}$ ): يُطبق على إسقاطات الاهتمام (attention) والخبراء المشتركين.
- الحد المتساهل ( $\tau_{lazy}$ ): يُطبق على مسارات خبراء MoE الموجهة.
  تقوم الخوارزمية بالتكرار عبر عروض البت المرشحة ( $N$ ) وتختار الحد الأدنى من $N$ الذي يلبي العتبة ذات الصلة. يسمذا هذا للخبراء الموجهين باستخدام تكميم أخشن (مثلاً $N=2$ ) بينما تستخدم طبقات الاهتمام تكميماً أدق (مثلاً $N=4$ ) دون تدخل يدوي.
نواة فك التشفير المدمجة (Fused Decode Kernel):
تقوم نواة مخصصة بدمج أربع عمليات: فك حزم المؤشرات (indices)، الجمع من كتاب الرموز، تشتيت القيم المتطرفة المتفرقة، وإجراء عملية GEMM. تعمل النواة بشكل أصلي بتنسيق bf16 وتخزن صفوف التنشيط مؤقتاً في SMEM لتقليل استخدام عرض نطاق الذاكرة العالمية.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

(C1) مكمم XFP: مكمم ديناميكي مستهدف للجودة يتقارب إلى عروض بت فعالة تبلغ ~3.97 في Qwen3.5-122B و ~3.4 في Qwen3.5-397B تحت "عملية H" (وهي عملية ضغط مقيدة). لا يتطلب حسابات هسيان (Hessian)، ولا بيانات معايرة، ولا اختياراً يدوياً لعرض البتات.
(C2) أوضاع تخزين مزدوجة مع محرك موحد: يتشارك وضعا التخزين (V2 و V2a) واجهة اختيار تلقائي ونواة فك تشفير مدمجة واحدة. يغطي هذا نطاق المعلمات من 30 مليار إلى 397 مليار دون الاعتماد على نوى Tensor الخاصة بـ NVFP4.
(C3) عملية H: عملية تكرارية مدفوعة بالجودة عبر عتبتي تشابه جيب التمام نجحت في احتواء نموذج Qwen3.5-A17B (الذي يحتوي على 512 خبيراً موجهاً/طبقة) ضمن 2×96 جيجابايت من ذاكرة VRAM. حققت هذه العملية عند ~3.4 بت فعالة مع الاحتفاظ بكامل مجتمع الخبراء، متجنبة الحاجة إلى تقليم الخبراء (expert pruning).

4. النتائج التجريبية

أُجريت التجارب على أجهزة من فئة محطات العمل (RTX PRO 6000 Blackwell, DGX Spark) باستخدام نماذج Qwen3.5 و GLM-4.7-Flash.

Qwen3.5-122B-A10B (وضع V2):
- حقق 138 توكن/ثانية في فك التشفير أحادي التدفق (single-stream decode) عند TP=2.
- أسرع بنسبة 49% من Marlin INT4 (AutoRound) عند TP=1.
- حافظ على 94.49% من مطابقة GSM8K الصارمة (3 بذور)، وهو ما يضاهي خطوط الأساس لـ 4-bit.
- عرض البت الفعال: ~3.97.
Qwen3.5-397B-A17B (عملية H، وضع V2):
- تم نشره بنجاح على 2×96 جيجابايت من وحدات GPU.
- حقق 100.9 توكن/ثانية في فك التشفير طويل المخرجات.
- حقق 66.72% من مطابقة GSM8K الصارمة من أصل 1,319 مسألة (بذرة واحدة).
- المقارنة مع REAP (تقليم الخبراء): حافظ XFP+H على جميع الخبراء وحقق دقة أعلى (66.72% مقابل 33–44% لـ INT4 المقلم) مع بصمة ذاكرة أقل أو مماثلة.
اختبارات وضع V2a:
- أظهرت مكاسب في الإنتاجية بنسبة +47% مقارنة بـ Marlin INT4 على Qwen3.5-122B، مما يثبت صحة نهج المكتبة المشتركة في السيناريوهات محدودة الذاكرة.

5. الأهمية والادعاءات

تضع الورقة البحثية XFP ليس مجرد تنسيق تكميم، بل كآلية للنشر على فئة الأجهزة المخصصة (appliance-class deployment). تكمن أهميته في:

عكس سير العمل: تحويل دور المشغل من اختيار عروض البتات إلى تحديد قيود الجودة، مما يسمح للنظام بالتكيف تلقائياً مع عدم تجانس النموذج.
صلاحية محطات العمل: تمكين نشر نماذج MoE الضخمة (تصل إلى 397 مليار معلمة) على أجهزة محطات العمل (96 جيجابايت GPU) دون الحاجة إلى دعم نوى Tensor الخاص بمراكز البيانات (NVFP4) أو تقليم الخبراء.
الضغط المدفوع بالجودة: إثبات أن "الجودة" (تشابه جيب التمام) هي مقياس توجيه أكثر فعالية من عروض البت الثابتة، خاصة لنماذج MoE حيث تمتلك المكونات المختلفة قدرات تحمل متفاوتة جداً للتكميم.
استقلالية العتاد: توفير ميزة إنتاجية معرفة برمجياً في الأجهزة التي تفتقر إلى مسارات التكميم المخصصة (NVFP4) أو تكون غير مكتملة فيها، متفوقة على أكثر نوى INT4 تحسيناً (Marlin) من خلال قراءة عدد أقل من البايتات لكل توكن.

يصرح المؤلفون صراحةً أن المقايضة تتضمن عبء مكتب الرموز لكل مجموعة وعمليات تكرار لويد أثناء الترميز، وهي أمور تصب في مصلحة XFP في فئة محطات العمل لأعباء العمل المعتمدة على الذاكرة، رغم أن الاختيار يظل قراراً يتعلق بالنشر وليس حكماً عاماً للمقارنة المعيارية.