🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

يقدم HARP معالجًا متعامدًا ثنائي الجانب، مهيكلاً وقابلاً للتعلم، يقوم بتكييف أساس التكميم مع طبقات محددة وبيانات معايرة معينة، مما يحسن دقة تكميم النماذج اللغوية الكبيرة ذات البتات المنخفضة للغاية (2-4 بت) بشكل كبير مقارنة بطرق هادامارد الثابتة مع الحفاظ على كفاءة النشر.

المؤلفون الأصليون: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

نُشر 2026-05-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة ومفصلة للغاية (نموذج لغوي كبير) تريد حملها في جيبك. المشكلة هي أن الكتب ثقيلة جدًا والرفوف عريضة جدًا بحيث لا يمكن أن تتسع في حقيبة صغيرة. لجعلها محمولة، قررت تصغير هذه الكتب إلى ملاحظات صغيرة مضغوطة. يُسمى هذا الكمية (Quantization).

ومع ذلك، عندما تصغر هذه الكتب كثيرًا (إلى مجرد 2 أو 3 بت من المعلومات)، تتعرض بعض الصفحات للتجعيد أو الفقدان. تُسمى هذه "الصفحات المجعدة" القيم المتطرفة (Outliers) — وهي أرقام مهمة للغاية أكبر بكثير من بقية الأرقام. إذا حاولت ضغط الكتاب بأكွယ် باستخدام طريقة قياسية، فإن هذه القيم المتطرفة ستفسد عملية الضغط، مما يجعل الملاحظات صعبة القراءة.

الطريقة القديمة: "الخلط العشوائي"

استخدم العلماء سابقًا خدعة تسمى RHT (تحويل هادامارد العشوائي). فكر في هذا كأنه أخذ جميع صفحات كتابك، وخلطها بشكل عشوائي، ثم ضغطها.

الجيد: إنها سريعة وتوزع الصفحات المجعدة حتى لا تتركز جميعها في مكان واحد.
السيئ: إنها خلطة ثابتة. الأمر يشبه استخدام نفس نمط الخلط العشوائي لكل كتاب على حد، بغض النظر عما إذا كان كتاب طبخ، أو رواية، أو قاموسًا. إنها لا تتكيف مع القصة المحددة بالداخل.

الطة الجديدة: HARP (الخياط الذكي)

يقدم مؤلفو هذه الورقة البحثية HARP (معالج التدوير التكيفي المسبق بهادامارد). فكر في HARP كـ خياط ذكي لا يكتفي بمجرد خلط عشوائي.

يتعلم القياس المناسب: بدلاً من الخلط العشوائي، ينظر HARP إلى "شكل" البيانات المحدد في كل طبقة من طبقات النموذج (مثل النظر إلى نسيج قماش القميص). إنه يتعلم الطريقة المثالية لإعادة ترتيب الأرقام بحيث تتناسب مع المساحة المضغوطة الصغيرة دون فقدان التفاصيل المهمة.
ترقية جاهزة للاستخدام: الجزء الأفضل هو أن HARP يبدأ تمامًا مثل "الخلط العشوائي" (RHT) القديم. إنه يشبه البدلة التي تبدأ كمقاس قياسي جاهز ولكن بها سحابات مخفية ودرزات قابلة للتعديل. بمجرد ارتدائها، يقوم الخياط (عملية المعايرة) بتعديل المقاس بسرعة ليكون مثاليًا لك. وهذا يعني أنه يمكنك استبدال الطريقة القديمة بـ HARP دون الحاجة لإعادة بناء النظام بأكمده.
منظم وسريع: لا يقوم HARP بعملية إعادة ترتيب فوضوية ومعقدة فحسب، بل يستخدم نمط "الفراشة" (طريقة محددة وفعالة للمزج) مضمونة رياضيًا بأنها قابلة للعكس وسريعة. الأمر يشبه تنظيم مكتبة ليس عبر رمي الكتب عشوائيًا في كل مكان، بل باستخدام نظام فرز عالي الكفاءة ومخطط له مسبقًا يستغرق ثوانٍ معدودة.

ماذا يحدث عند استخدامه؟

اختبر الباحثون هذا على نماذج تتراوح من الصغيرة (مليار معلمة) إلى الضخمة (70 مليار معلمة).

جودة أفضل: عندما ضغطوا النماذج إلى أحجام قصوى (2 إلى 4 بت)، جعل HARP النماذج "أذكى" (تقليل الارتياب/Perplexity، وزيادة الدقة) مقارنة بطريقة الخلط العشوائي القديمة. لقد كان بارعًا بشكل خاص في إنقاذ "الصفحات المجعدة" (القيم المتطرفة) التي تضيع عادةً.
لا يزال سريعًا: على الرغم من أن HARP يتعلم مقاسًا مخصصًا، إلا أنه لا يبطئ النموذج. في الواقع، كانت النماذج المضغوطة باستخدام HARP لا تزال أسرع بكثير (128 توكن في الثانية) من النماذج الأصلية غير المضغوطة (61 توكن في الثانية).
متعدد الاستخدامات: أظهروا أن HARP لا يعمل فقط مع أداة ضغط محددة، بل يمكن استبداله في أنظمة ضغط مختلفة (مثل QTIP) ومع ذلك يحسنها.

الخلا الخلاصة

HARP هو أداة تحول "الخلط العشوائي ذو المقاس الواحد للجميع" المستخدم في ضغط الذكاء الاصطناعي إلى مقاس مفصل خصيصًا. إنه يتعلم من عينة صغيرة من البيانات ليجد الطريقة المثالية لإعادة ترتيب الأرقام قبل سحقها. النتيجة هي نموذج ذكاء اصطناعي أصغر وأسرع يقرأ بشكل أفضل ويرتكب أخطاء أقل، وكل ذلك دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر.

ملخص تقني: HARP (معالج التدوير التكيفي المسبوق بهادامارد)

1. بيان المشكلة

تعد عملية التكميم بعد التدريب (PTQ) أمراً حاسماً لنشر النماذج اللغوية الكبيرة (LLMs) في ظل قيود الذاكرة وعرض النطاق الترددي. ومع ذلك، تواجه عملية التكميم شديدة انخفاض البتات (2-4 بت) تحديين رئيسيين:

القيم المتطرفة في التنشيط والإحصائيات ذات الذيول الثقيلة: حيث تحمل مجموعة فرعية صغيرة من الإحداثيات كتلة وزن وحساسية انحناء غير متناسبة، مما يسبب أخطاء إعادة بناء شديدة عند التكميم.
انحناء الأوزان متباين الخواص (Anisotropic): تعمل المكممات القياسية (سواء كانت قياسية أو متجهية على مستوى الكتل) بشكل سيئ عندما تتماشى كتلة الوزن أو الاتجاهات الحساسة للانحناء مع محاور إحداثية محددة.

تعتمد الحلول الحالية على معالجة عدم الاتساق (Incoherence Processing)، والتي تطبق تغييراً هيكلياً متعامدًا في قاعدة الأساس قبل التكميم لتوزيع كتلة الوزن عبر الإحداثيات. المعيار الحالي هو تحويل هادامارد العشوائي (RHT). وبينما يتميز RHT بالسرعة ( $O(d \log d)$ ) وكونه متعامدًا تمامًا، إلا أنه ثابت. فهو لا يتكيف مع:

إحصائيات الطبقة المحددة.
توزيع بيانات المعايرة.
الهيكل الكتلي للمكمم اللاحق.

تشير الأعمال الحديثة إلى أن تعلم التدويرات من البداية إلى النهاية يحسن الجودة، لكن هذه الطرق غالباً ما تخل بطبيعة "الإضافة المباشرة" (drop-in) لخطوط أنابيب PTQ، أو تغير النموذج كامل الدقة، أو تفرض تكاليف حوسبة عالية جداً للاستنتاج. هناك فجوة لمعالج يكون قابلاً للتعلم من بيانات المعايرة، ويظل تغييراً متعامداً دقيقاً للقاعدة (يحافظ على نموذج الدقة الكاملة)، ويحافظ على كفاءة شبيهة بهادامارد.

2. المنهجية: HARP

يقترح المؤلفون HARP (معالج التدوير التكيفي المسبوق بهادامارد)، وهو معالج متعامد ثنائي الجانب قابل للتعلم، مصمم ليحل محل RHT الثابت في خطوط أنابيب PTQ.

2.1 البنية الأساسية

يقوم HARP بتمثيل التدوير المتعامد كحاصل ضرب مراحل متفرقة قائمة على الخطوة (stride-based stages)، محاكياً بذلك بنية تحويلات هادامارد السريعة وتحويلات الفراشة (butterfly transforms).

البنية: بالنسبة لبعد $d$ ، يستخدم HARP جدولاً متعدد الأسس (Mixed-Radix) $\mathbf{b} = (b_0, \dots, b_{m-1})$ حيث $\prod b_t = d$ .
المراحل: تطبق كل مرحلة $t$ مصفوفة متعامدة قطرية كتلية $\mathbf{B}_t$ على مجموعات من الإحداثيات، مفصولة بتبديلات الخطوة (stride permutations).
دعم تعدد الأسس: على عكس تحويلات هادامارد القياسية المقتصرة على قوى العدد اثنين، يدعم HARP أبعادًا تعسفية (مثل 5120) باستخدام جدول متعدد الأسس (مثل $8, 8, 8, 5, 2$). تستخدم الأسس غير القائمة على قوى العدد اثنين آلية احتياطية متعامدة محددة (تحليل QR لمصفوفة غاوسية ثابتة).

2.2 التمهيد بهادامارد والتهيئة

ابتكار رئيسي هو نواة الكتل الممهدة بهادامارد. يتم تعريف كل كتلة قابلة للتعلم $B_{t,c}$ كالتالي:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ هي ممتز أساسي ثابت (Sylvester Hadamard المعياري لأسس العدد اثنين، أو احتياطي QR في حالات أخرى).
$Q_{t,c}(\theta)$ هي مصفوفة متعامدة قابلة للتعلم (تدوير Givens لـ $b_t=2$ ، أو خريطة Cayley لـ $b_t > 2$ ).

التهيئة: يتم تهيئة جميع المعلمات $\Theta$ إلى الصفر. عند $\Theta=0$ ، يكون $Q_{t,c}(0) = I$ ، مما يعني أن $B_{t,c}(0) = G_{b_t}$ . وبناءً على ذلك، فإن تحويل HARP يستعيد بدقة معالج RHT الثابت (باستثناء اصطلاح تبديل ثابت) عند التهيئة. ثم تقوم المعايرة بتعلم صقل متعامد مهيكل حول هذا الخط الأساسي القوي.

2.3 هدف التحسين

يتم ضبط HARP لكل طبقة باستخدام بيانات المعايرة فقط. يقلل التحسين من خسارة بديلة تتماشى مع المكمم الكتلي المستخدم:

إعادة البناء الموزون بوزن هسيان القطري: يقلل الخطأ بين الوزن المدور وهدف كود الكتابة (codebook) الخاص بالكتلة، ويكون موزوناً بقطر تقريب هسيان. يتم إيقاف التدرجات عبر التعيين المنفصل للكود لضمان الاستقرار.
عقوبة طاقة هسيان خارج الكتلة: مصطلح تنظيم ( $R_{bd}$ ) يعاقب الطاقة في الكتل خارج القطرية لتقريب هسيان، مما يشجع التدوير على محاذاة الانحناء مع البنية الكتلية للمكمم.

إجمالي الخسارة هو:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 كفاءة النشر

التخزين: يمكن تخزين معلمات HARP بتنسيق int8 مع تأثير ضئيل على الارتباك (perplexity).
الحوسبة: تكلفة التطبيق هي $O(d \log d)$ ، مشابهة لـ RHT. قام المؤلفون بتنفيذ نوى Triton مدمجة لخطوات الخطوة (stride stages) لتجنب التبديلات المادية، مما يحافظ على انخفاض زمن التأخير.
التوافق: HARP هو بديل مباشر لعملية المعالجة المسبقة في خطوط أنابيب QuIP# و QTIP، ولا يتطلب أي تغييرات في المحرك الخلفي للمكمم أو الحلّال.

3. المساهمات الرئيسية

معالج عدم اتساق قابل للتعلم: تقديم HARP، وهو معالج متعامد ثنائي الجانب يتم ضبطه عبر بيانات المعايرة ليتكيف مع إحصائيات الطبقة وهياكل المكمم الخلفي.
توافق الإضافة المباشرة: يبدأ HARP بدقة من معالج RHT الثابت، مما يضمن أنه ترقية سلسة لخطوط أنابيب PTQ القائمة على هادامارد دون الحاجة إلى إعادة تدريب النموذج بالكامل أو إعادة صياغة الرسم البياني.
الكفاءة المهيكلة: يسمح استخدام مراحل تشبه الفراشة متعددة الأسس بضمان التعامد التام وتعقيد $O(d \log d)$ على أبعاد غير قوى العدد اثنين، مما يحافظ على مزايا الإنتاجية لعمليات الاستنتاج المكممة.
التحقق التجريبي: إثبات مكاسب جودة متسقة (في الارتباك والدقة في حالة الصفر) مقارنة بـ RHT الثابت في إعدادات 2-4 بت عبر نماذج تتراوح من 1 مليار إلى 70 مليار معلمة.

4. النتائج التجريبية

قام المؤلفون بتقييم HARP على Llama 3.2 (1B, 3B) و Llama 2 (7B, 13B, 70B) باستخدام خلفية QuIP#.

الارتباك (PPL): يتفوق HARP باستمرار على RHT الثابت.
- 2-بت: المكاسب هي الأكثر أهمية هنا، حيث يكون التكميم أكثر حساسية. بالنسبة لـ Llama 2 7B، يقلل HARP من PPL الخاص بـ WikiText2 من 8.22 (RHT) إلى 7.23. بالنسبة لـ Llama 2 70B، ينخفض من 4.16 إلى 4.01.
- 3-4 بت: تستمر التحسينات ولكن بحجم مطلق أصغر مع اقتراب الخط الأساسي من الدقة الكاملة.
دقة الحالة الصفرية (Zero-Shot Accuracy): يحسن HARP الدقة في مهام ARC-Challenge و ARC-Easy و WinoGrande، مما يؤكد أن مكاسب الارتباك تترجم إلى أداء في المهام النهائية.
زمن التأخير والإنتاجية:
- على NVIDIA RTX 5080، يحقق HARP بمستوى 2-بت سرعة 128 توكن/ثانية لـ Llama 2 7B، مقارنة بـ 61 توكن/ثانية لـ FP16.
- زمن التأخير الإضافي لـ HARP فوق RHT الثابت ضئيل (على سبيل المثال، 0.0078 ثانية مقابل 0.0070 ثانية لكل توكن لـ 2-بت 7B)، مما يحافظ على معظم تسريع التكميم.
القابلية للنقل: عند دمجه في QTIP (خلفية مختلفة تستخدم التكميم المشفر بالشجرة)، حسن HARP مرة أخرى الارتباك فوق RHT الثابت، مما أظهر فائدة مستقلة عن المحرك الخلفي.
تكلفة التخزين: باستخدام تخزين المعلمات بتنسيق int8، تكون الزيادة الفعلية في البتات لكل معلمة (BPP) ضئيلة (على سبيل المثال، 2.00 $\to$ 2.05 لـ 2-بت 7B)، مع تأثير مهمل على جودة النموذج.

5. الأهمية والادعاءات

يدعي البحث أن HARP يعالج فجوة محددة في مشهد PTQ: الحاجة إلى معالجة مسبقة تكيُّفية لا تضحي بالكفاءة أو الدقة.

التكيف مقابل الثبات: على عكس RHT الثابت، يكيف HARP قاعدة التدوير لتناسب إحصائيات الطبقة وهيكل كتلة المكمم، مما يقلل خطأ إعادة البناء في الأنظمة شديدة انخفاض البتات.
الدقة مقابل التقريب: على عكس بعض طرق التدوير المتعلمة التي تغير نموذج الدقة الكاملة أو تتطلب تدريباً من البداية إلى النهاية، فإن HARP هو تغيير دقيق للقاعدة. يتم الحفاظ على نموذج الدقة الكاملة رياضياً؛ فقط نظام الإحداثيات المعرض للمكمم هو الذي يتغير.
الكفاءة مقابل التكلفة: على عكس التدويرات المتعلمة الكثيفة أو تعديلات الرسم البياني المعقدة (مثل SpinQuant)، يحافظ HARP على تكلفة حوسبة $O(d \log d)$ لتحويلات هادامارد، مما يجعله عملياً لنشر النماذج اللغوية الكبيرة.

يضع المؤلفون HARP ليس كخط أنابيب مستقل جديد، بل كـ وحدة قابلة لإعادة الاستخدام تعزز الأنظمة الخلفية القائمة على هادامارد (مثل QuIP# و QTIP) من خلال تعلم صقل مهيكل حول خط أساس ثابت وقوي. وتشير النتائج إلى أنه بالنسبة للتكميم شديد انخفاض البتات (2-3 بت)، فإن تكلفة المعايرة لمرة واحدة لتعلم هذه التدويرات تستحق العناء نظراً لاستعادة جودة النموذج بشكل كبير.