🤖 machine learning

TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

تقدم هذه الورقة البحثية TORQ، وهو إطار عمل للكمّ ما بعد التدريب لا يتطلب تدريباً، يستخدم دورات متعامدة ثنائية المستوى لمعالجة الاختلالات الهيكلية في كمّ تنشيط MXFP4 نظرياً، مما يقلص بشكل كبير فجوة الدقة بين الاستدلال بـ 4 بت ونماذج الدقة الكاملة في النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Zukang Xu, Xing Hu, Dawei Yang

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zukang Xu, Xing Hu, Dawei Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعبئة مكتبة ضخمة وفوضوية من الكتب (وهي "التنشيطات" داخل ذكاء اصطناعي ذكي) في صناديق شحن صغيرة وموحدة الشكل (تنسيق "MXFP4") لكي يتم شحنها بسرعة وبتكلفة منخفضة.

تجادل الورقة البحثية بأن مجرد حشر هذه الكتب داخل الصناديق لا يعمل بشكل جيد. فالكتب فوضوية للغاية، والصناديق لها شكل محدد وصارم للغاية. وهذا يسبب مشكلتين رئيسيتين، يسميهما المؤلفون TORQ (الدوران المتعامد ثنائي المستوى).

إليك كيف تشرح الورقة المشكلة وحلها، باستخدام تشبيهات بسيطة:

المشكلة: طريقتان يفشل فيهما التعبئة

1. مشكلة "الجار الصاخب" (عدم توازن التباين بين الكتل)
تخيل أن مكتبتك مقسمة إلى مجموعات من 32 كتاباً. في النظام الحالي، تحصل كل مجموعة على "ملصق حجم" واحد (عامل قياس) للمجموعة بأكملة.

المشكلة: في معظم المجموعات، تكون الكتب صغيرة وخفيفة. ولكن في بعض المجموعات، يوجد موسوعة واحدة ضخمة وثقيلة.
النتيجة: بسبب هذا الكتاب الثقيل الواحد، يجب ضبط الملصق الخاص بالمجموعة بأكملها على مقاس "ضخم جداً". وهذا يعني أن جميع الكتب الصغيرة والخفيفة في نفس المجموعة ستُجبر الآن على الدخول في صندوق ضخم. مما يؤدي إلى سحق تفاصيلها أو فقدانها أو تحويلها إلى أصفار لأن الصندوق كبير جداً بالنسبة لها. بضع مجموعات "صاخبة" تفسد الدقة للجميع.

2. مشكلة "الرف الفارغ" (عدم توازن استخدام كودبوك داخل الكتلة)
تأتي صناديق الشحن (MXFP4) مع قائمة مطبوعة مسبقاً بالأحجام التي يمكن أن تستوعبها (كودبوك/مجموعة رموز). هذه الأحجام موزعة مثل درجات السلم: صغير، متوسط، كبير، كبير جداً.

المشكلة: بيانات الذكاء الاصطناعي في العالم الحقيقي تشبه حشداً من الناس حيث 90% منهم قصار القامة و10% فقط طوال القامة.
النتيجة: تسقط معظم البيانات تقريباً في درجات "الصغير" من السلم. أما الدرجات "المتوسطة" و"الكبيرة" فتظل فارغة وغير مستخدمة تماماً. إنه يشبه وجود مستودع مليء بالصناديق الضخمة، لكنك تستخدم الصناديق الصغيرة فقط، بينما تجمع الصناديق الكبيرة الغبار. هذا هدر هائل للمساحة والإمكانات.

الحل: TORQ (إعادة الترتيب العظيم)

بدلاً من محاولة إجبار الكتب الفوضوية على التناسب مع الصن boxes، يقترح المؤلفون "تدوير" الكتب قبل تعبئتها. فكر في الأمر كخلط أوراق اللعب بحيث تختلط الأوراق الثقيلة والخفيفة بالتساوي، ويتم توزيع الطوال والقصار بالتساوي.

يفعلون ذلك في خطوتين:

الخطوة 1: الخلط الكلي (إصلاح "الجار الصاخب")

التشبيه: تخيل أن لديك 100 مجموعة من الكتب. بعض المجموعات ثقيلة، وبعضها خفيف. يستخدم المؤلفون خدعة رياضية (تعتمد على نظرية شور-هورن) لتبديل الكتب بين المجموعات.
الهدف: ينقلون الكتب "الثقيلة" من المجموعات الثقيلة إلى المجموعات الخفيفة، والعكس صحيح.
النتيجة: الآن، كل مجموعة لديها تقريباً نفس الوزن الإجمالي. لا توجد مجموعة واحدة يهيمن عليها كتاب واحد ضخم. هذا يسمح بضبط "ملصق الحجم" لكل مجموعة على مقاس متوسط مثالي، مما يحافظ على تفاصيل الكتب الصغيرة.

الخطوة 2: الخلط الجزئي (إصلاح "الرف الفارغ")

التشبيه: الآن بعد أن أصبحت المجموعات متوازنة، انظر داخل المجموعة الواحدة. الكتب لا تزال متكتلة معاً في قسم "الصغير". يقوم المؤلفون بتدوير الكتب داخل المجموعة.
الهدف: يقومون بتدوير الكتب بحيث تنتشر بالتساوي عبر جميع درجات السلم للأحجام. بدلاً من أن يكون 90% من الكتب "صغيرة"، يتم توزيعها الآن بحيث يصيب بعضها درجات "المتوسط" وبعضها الآخر درجات "الكبير".
النتيجة: إنهم يستخدمون كل درجة من درجات السلم. لا يتم هدر أي مساحة. يتم استغلال "الكودبوك" بالكامل.

النتيجة

من خلال القيام بهذا الدوران المكون من خطوتين قبل ضغط الذكاء الاصطناعي (وهي عملية تسمى "تكميم ما بعد التدريب"، مما يعني أنهم لا يحتاجون لإعادة تعليم الذكاء الاصطناعي)، حققوا نتائج مذهلة:

الدقة: تمكنوا من تقليص حجم الذكاء الاصطناعي إلى دقة 4-بت (صناديق صغيرة للغاية) دون فقدان الكثير من "قدراته العقلية". في الاختبارات، كانت طريقتهم (TORQ) أكثر ذكاءً من الطرق السابقة، حيث حصلت على درجات قريبة من الذكاء الاصطناعي كامل الحجم وغير المضغوط.
السرعة والحجم: لأن الصناديق أصغر، يعمل الذكاء الاصطناعي بشكل أسرع ويشغل ذاكرة أقل على الأجهزة مثل الهواتف أو الخوادم.
لا عمل إضافي: يتم حساب "الدوران" مرة واحدة ثم يُدمج في أوزان الذكاء الاصطناعي. عندما يعمل الذكاء الاصطناعي، لا يشعر بأي تباطؤ إضافي؛ فالدوران يحدث تلقائياً كجزء من العمليات الحسابية.

باختة القول: تقول الورقة البحثية: "لا تحاول حشر حشد فوضوي وغير متوازن في صندوق صلب. بدلاً من ذلك، قم بخلط الحشد بلطف بحيث يتوزع الجميع بالتساوي، ثم ضعهم في الصندوق. هذا يجعل الصندوق يعمل بشكل مثالي".

ملخص تقني: TORQ – التدوير المتعامد ثنائي المستوى لتكميم MXFP4

1. بيان المشكلة

مع انتقال النماذج اللغوية الكبيرة (LLMs) نحو النشر العملي، برز تنسيق Microscaling FP4 (المعروف بـ MXFP4) كمعيار حاسم للاستنتاج منخفض البت (low-bit inference) نظرًا لتوازنه بين النطاق الديناميكي العالي والكفاءة العتادية. ومع ذلك، فإن تطبيق MXFP4 مباشرة على تكميم تنشيط (activation quantization) النماذج اللغوية الكبيرة يؤدي إلى تدهور حاد في الدقة. تحدد الورقة البحثية أن طرق التدوير الحالية، المصممة أساسًا لتنسيقات الأعداد الصحيحة (مثل INT4)، تفشل في معالجة البنية الطوبولوجية الفريدة لتنسيقات الفاصلة العائمة ذات الكتل (Block Floating Point) مثل MXFP4.

من خلال التحليل النظري، يكشف المؤلفون أن انخفاض الأداء ينبع من عدم توازن هيكلي بين توزيعات التنشيط في العالم الحقيقي وتنسيق MXFP4:

عدم توازن التباين الشديد بين الكتل (Inter-block Variance Imbalance): في ظل التدرج المجهري ذي الكتل الثابتة، يكون تباين التنشيط غير متساوٍ للغاية. حيث تهيمن مجموعة قليلة من الكتل ذات التباين العالي على إجمالي خطأ التكميم. هذه الكتل تجبر عامل القياس المشترك (الأس/exponent) على الارتفاع لاستيعاب القيم المتطرفة، مما يؤدي إلى خشونة مفرطة في دقة معظم التنشيطات ذات المقدار الصغير داخل نفس الكتلة، مما يؤدي غالبًا إلى تصفير أكثر من 90% من العناصر.
عدم توازن استغلال كتاب الرموز داخل الكتلة (Intra-block Codebook Utilization Imbalance - انهيار كتاب الرموز): تتبع تنشيطات العالم الحقيقي غالبًا توزيعًا ذو ذيل ثقيل يتركز بالقرب من الصفر، وهو ما لا يتوافق مع التدرج الهندسي لكتاب الرموز (codebook) الخاص بـ MXFP4 (e2m1). يؤدي هذا إلى "انهيار كتاب الرموز"، حيث تقع الغالبية العظمى من القيم في أصغر فاصل تكميم، مما يترك رموزًا عالية السعة للقيم الكبيرة دون استخدام. وتظهر الإحصائيات أن حوالي 50% من نطاق الرموز يتم تفعيله بواسطة 10% فقط من البيانات.

2. المنهجية: إطار عمل TORQ

لمعالجة هذه التحديات، يقترح المؤلفون TORQ (التدوير المتعامد ثنائي المستوى لتكميم MXFP4)، وهو إطار عمل للكميم بعد التدريب (PTQ) لا يتطلب ضبطًا (training-free). بدلاً من تعديل معاملات التكميم بشكل سلبي، يقوم TORQ بتدوير نظام إحداثيات التنشيط بنشاط لمواءمة خصائص التوزيع مع الخصائص الهيكلية لـ MXFP4. يقوم المنهج بتفكيك التحسين إلى مشكلتين فرعيتين متعامدتين رياضيًا:

أ. التدوير المتوازن كليًا (Macro-Equilibrium Rotation - بين الكتل)

الهدف: القضاء على هيمنة الكتل ذات التباين العالي عن طريق إعادة توزيع طاقة التنشيط بشكل موحد عبر جميع الكتل.
الأساس النظري: يعتمد على مبرهنة Schur-Horn ونظرية التحسين المحدب. يثبت المؤلفون أنه تحت نموذج خطأ محدب، فإن مساواة التباين عبر الكتل تقلل من متوسط مربع الخطأ (MSE) العالمي.
الآلية: يتم بناء تحويل متعامد لضمان أن العناصر القطرية لمصفوفة التباين المحولة موحدة (أي تصبح جميع تباينات الكتل متساوية). يعمل هذا بمثابة آلية "تثبيط ناعم للقيم المتطرفة"، مما يمنع الكتل ذات التباين العالي من رفع عوامل القياس المشتركة ويحافظ على دقة العناصر ذات المقدار الصغير.
التنفيذ: تُستخدم خوارزمية دوران Givens تكرارية فعالة لبناء مصفوفة التدوير، مما يضمن التقارب في زمن قدره $O(B^2)$ .

ب. التدوير المحاذي مجهريًا (Micro-Alignment Rotation - داخل الكتلة)

الهدف: التخفيف من "انهيار كتاب الرموز" عن طريق إعادة تشكيل توزيع التنشيط داخل الكتلة لاستغلال كامل سعة كتاب رموز MXFP4.
الأساس النظري: مسترشد بـ مبدأ الحد الأقصى للإنتروبيا (Maximum Entropy). الهدف هو جعل توزيع التنشيط "يتدفق" بشكل موحد في كل فاصل رمز ضمن فضاء FP4 المعياري.
الآلية: يحدد المنهج خسارة توازن إشغال كتاب الرموز (Codebook Occupancy Equilibrium Loss)، والتي تقيس انحراف استخدام الرموز التجريبي عن التوزيع الموحد.
التحسين: يتم استخدام استراتيجية نزول الإحداثيات المتناوب:
- خطوة S: تحديث عوامل قياس الكتلة لرسم خرائط لأقصى قيم التنشيط إلى أقصى رمز في MXFP4.
- خطوة R: تحديث مصفوفة التدوير المتعامد داخل الكتلة باستخدام دورات Givens. تختار آلية استدلالية أزواج الأعمدة ذات عدم التوازن العالي والتكامل الإحصائي، ثم تبحث عن زاوية التدوير المثلى عبر التعداد المحدود (استغلال الطبيعة الثابتة جزئيًا لدالة الخسارة).

كفاءة الاستنتاج

تم تصميم TORQ ليكون بأقل قدر من التكاليف الإضافية. يتم دمج مصفوفات التدوير العكسية في أوزان الطبقات الخطية المجاورة خلال مرحلة المعايرة غير المتصلة (offline calibration). وبناءً على ذلك، فإن مرحلة الاستنتاج عبر الإنترنت لا تتحمل تكلفة حسابية إضافية تذكر، حيث يتم امتصاص التدوير فعليًا في عملية ضرب مصفوفة الأوزان.

3. المساهمات الرئيسية

صياغة المشكلة: الورقة هي الأولى التي تحدد وتصيغ بشكل منهجي التحديين الهيكليين اللذين يعيقان أداء MXFP4: عدم توازن التباين بين الكتل وعدم توازن استغلال كتاب الرموز داخل الكتلة.
إطار عمل ثنائي المستوى: يقترح TORQ، وهو أول إطار عمل تدوير ثنائي المستوى مصمم خصيصًا لهياكل الفاصلة العائمة ذات الكتل. من خلال دمج توازن التباين الكلي ومحاذاة كتاب الرموز المجهري، يحقق تكميمًا يقلل خطأ التكميم بشكل منهجي.
الأساس النظري: يقدم المؤلفون براهين صارمة تظهر أن توازن التباين مثالي تقريبًا تحت نماذج الخطأ المحدبة، وأن توازن إشغال الرموز يقرب من تقليل خطأ التكميم تحت البنية الهندسية لـ MXFP4.
مسار PTQ فعال: تم إنشاء مسار لا يتطلب ضبطًا دقيقًا (fine-tuning-free) يتطلب فقط حدًا أدنى من بيانات المعايرة (مثل 128 عينة) ويظهر توافقًا مع العتاد مع بصمة بارامترية ضئيلة جدًا.

4. النتائج التجريبية

أُجريت التجارب على النماذج اللغوية الكبيرة السائدة (سلسلة LLaMA3 وسلسلة Qwen3) التي تتراوح أحجامها من 8 مليار إلى 70 مليار معلمة، لتشمل بنيات Dense وMixture-of-Experts (MoE). شمل التقييم مقياس Perplexity على WikiText2 ودقة المهام صفرية التوجيه (zero-shot) مثل ARC وHellaSwag وMMLU وGSM8K وHumanEval.

التفوق في الأداء: يتفوق TORQ بشكل كبير على الطرق الحالية الرائدة (SOTA) (بما في ذلك RTN وGPTQ وQuaRot وOSTQuant وFlatQuant وBRQ).
- في نموذج Qwen3-32B، خفض TORQ مقياس WikiText perplexity إلى 8.43 (مقارنة بـ 274.93 لـ RTN و14.62 لـ OSTQuant)، مقتربًا من خط الأساس BF16 البالغ 7.61.
- ارتفع متوسط الدقة في المهام صفرية التوجيه لنموذج Qwen3-32B من 38.40% (RTN) إلى 73.63% (TORQ)، ليقترب بشدة من خط الأساس BF16 البالغ 74.82%.
- في نموذج LLaMA3-70B، حقق TORQ مقياس perplexity قدره 3.49 (مقابل 3180.43 لـ RTN) ومتوسط دقة بلغ 76.28%.
قدرات الاستدلال: أظهر TORQ استعادة قوية لـ "الذكاء العميق" في مهام الاستدلال المعقدة. في مهمة GSM8K لنموذج Qwen3-8B، استُعيدت الدقة إلى 86.82% (مقابل 67.37% لـ GPTQ)، ووصلت دقة HumanEval إلى 61.15%.
القدرة على التعميم: أثبتت الطريقة فعاليتها عبر تنسيقات التدرج المجهري المختلفة (MXINT4، NVFP4) وبنيات MoE (Qwen3-30B-A3B)، مما يؤكد طبيعتها المستقلة عن التنسيق.
الكفاءة: عملية معايرة TORQ أسرع بكثير من الطرق المنافسة (على سبيل المثال، أسرع بحوالي 10 مرات من FlatQuant لنموذج Qwen3-32B). لوحظت تسريعات في الاستنتاج بمقدار 3.5 ضعف مقارنة بـ BF16 في نموذج Qwen3-30B-A3B، مع تقليل استخدام الذاكرة من 56.9 جيجابايت إلى 15.3 جيجابايت.

5. الأهمية والادعاءات

تدعي الورقة أن TORQ يسد بفعالية الفجوة بين تكميم الفاصلة العائمة ذات 4 بت والاستنتاج بدقة كاملة، مما يحل مشكلة تدهور الدقة المتأصلة في تكميم تنشيط MXFP4. من خلال نقل نموذج التحسين من التعديل المحلي للمعاملات إلى "التحويل المتعامد المدرك للبنية"، يوفر TORQ أول حل منهجي لتكميم تنشيط MXFP4.

يضع المؤلفون هذا العمل كحجر أساس حاسم لتطبيق تنسيقات الفاصلة العائمة منخفضة البت في النشر الفعال للنماذج اللغوية الكبيرة. كما يقرون بوجود قيود، مثل التركيز الحالي على الإحصاءات من الدرجة الأولى (تجاهل العزوم العليا مثل التفرطح/kurtosis) واستخدام أحجام كتل ثابتة، مشيرين إلى أن الاستراتيجيات التكيفية لهذه العوامل تظل اتجاهًا للعمل المستقبلي. ومع ذلك، فإن النتائج الحالية تضع نموذجًا جديدًا للتحسين لتكميم تنشيط الفاصلة العائمة منخفضة البت.