🤖 machine learning

OrpQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization

تقدم هذه الورقة البحثية OrpQuant، وهو إطار عمل للكمية من نوع "قوى العدد اثنين" (Power-of-Two) خالٍ من عمليات الضرب، يستخدم "إسقاط المتبقي المتعامد الهندسي" للتغلب على انخفاض الدقة الزاوية للشبكات اللوغاريتمية، مما يتيح النشر الفعال وعالي الدقة للنماذج اللغوية الكبيرة (LLMs) والنماذج الرؤيوية المحولة (ViTs) على الأجهزة الطرفية مع تقليل وقت المعايرة والتعقيد العتادي بشكل كبير.

المؤلفون الأصليون: Maoyang Xiang, Bo Wang, Tao Luo

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maoyang Xiang, Bo Wang, Tao Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وضع منحوتة ثلاثية الأبعاد ضخمة ومعقدة (نموذج ذكاء اصطناعي عملاق) داخل صندوق كرتوني صغير ومسطح (جهاز طرفي مثل هاتف ذكي أو طائرة بدون طيار). المشكلة هي أن المنحوتة كبيرة جداً، والأدوات التي تستخدمها عادةً لتقليص حجمها (العمليات الرياضية القياسية) ثقيلة وبطيئة جداً بالنسبة لهذا الصندوق الصغير.

تقدم هذه الورقة البحثية طريقة جديدة تسمى ORP (الإسقاط المتبقي المتعامد - Orthogonal Residual Projection) لحل هذه المشكلة. إليك كيف تعمل، مشروحة من خلال تشبيهات بسيطة:

1. المشكلة: "المسطرة" مكسورة

تستخدم معظم نماذج الذكاء الاصطناعي الكثير من عمليات الضرب الثقيلة (مثل آلة حاسبة معقدة) لتعمل. ولجعل هذه النماذج تتناسب مع الأجهزة الصغيرة، يحاول العلماء "تكميمها" (Quantization) — أي ببساطة تقريب الأرقام لجعلها أبسط.

تجادل الورقة بأن الطريقة الحالية لجعل هذه الأرقام بسيطة (المعروفة باسم القوى لعدد 2 أو PoT) تشبه استخدام مسطرة لا تحتوي إلا على علامات عند 1، 2، 4، 8، و16.

العيب: إذا حاولت قياس شيء قيمته "3"، فستضطر لتقريبه إلى 2 أو 4. وإذا حاولت قياس شيء قيمته "6"، فستقربه إلى 4 أو 8.
النتيجة: في الفضاء عالي الأبعاد (حيث يعيش الذكاء الاصطناعي)، يخلق هذا "فجوات" ضخمة في الاتجاه. الأمر يشبه محاولة تحديد اتجاه البوصلة باستخدام الشمال والشرق والجنوب والغرب فقط؛ إذا كنت بحاجة للتوجه نحو الشمال الشرقي، فستضطر للتخمين وستخطئ في الاتجاه. تسمي الورقة هذا بـ "نظام دقة الزوايا المنخفضة". هنا يفقد الذكاء الاصطناعي إحساسه بالاتجاه، وتنخفض درجة ذكائه.

2. الحل: خريطة "الخطوتين"

بدلاً من محاولة حشر المنحوتة في مسطرة واحدة مكسورة، يستخدم ORP خريطة ذكية مكونة من خطوتين.

الخطوة 1: المرساة الرئيسية (الأساس الأولي): يختار أقرب علامة قياسية على المسطرة المكسورة (على سبيل المثال "4").
الخطوة 2: التصحيح (المتبقي): يدرك قائلاً: "مهلاً، الرقم الحقيقي كان 4.5". بدلاً من الاستسلام، يقوم بحساب الفرق (المتبقي) ويجد اتجاهاً ثانياً متعامداً لوصف هذا الجزء المفقود.
السحر: من خلال الجمع بين المرساة الرئيسية واتجاه "التصحيح" الثاني، يمكنه وصف الرقم بدقة أعلى بكثير، رغم أنه لا يزال يستخدم نفس قواعد "القوى لعدد 2" البسيطة.

فكر في الأمر كإعطاء التعليمات:

الطريقة القديمة: "اذهب شمالاً". (قد تخطئ هدفك إذا كنت بحاجة للذهاب نحو الشمال-الشمال الشرقي).
طريقة ORP: "اذهب شمالاً، ثم خذ خطوة صغيرة شرقاً". لقد استخدمت فقط اتجاهات بسيطة، لكن الجمع بينهما يجعلك أقرب بكلاً إلى الهدف.

3. الأجهزة (Hardware): لا عمل شاق

عادةً، لإصلاح أخطاء التقريب هذه، تحتاج الحواسيب إلى عمليات رياضية معقدة (الضرب) وهي بطيئة وتستهلك الكثير من البطارية.

خدعة ORP: نظرًا لأنه يستخدم أرقام "القوى لعدد 2"، لا يحتاج الكمبيوتر إلى الضرب على الإطلاق. يحتاج فقط إلى إزاحة البتات (تحريكها يساراً أو يميناً) وجمعها.
التشبيه: تخيل مصنعاً. الطريقة القديمة تستخدم رافعة ضخمة وثقيلة (المُضاعِف) لتحريك كل صندوق، وهي عملية بطيئة وتأخذ مساحة. يستبدل ORP الرافعة بسير ناقل بسيط وإنسان يدفع الصناديق (الإزاحة والجمع). إنه أسرع، ويستهلك طاقة أقل، ويناسب غرفة أصغر.

4. النتائج: سريعة ودقيقة

اختبر المؤلفون هذه الطريقة على نوعين من الذكاء الاصطناعي:

نماذج اللغة (LLMs): مثل نموذج LLaMA-2 الشهير.
نماذج الرؤية (ViTs): الذكاء الاصطناعي الذي يرى الصور.

ما وجدوه:

سرعة الإعداد: عادةً، يستغرق إصلاح هذه النماذج ساعات من "المعايرة" (التدريب). أما ORP فيقوم بذلك في حوالي 15 دقيقة. إنه يشبه حل لغز فوراً بدلاً من قضاء اليوم بأكم له.
الدقة: حتى مع الدقة المنخفضة جداً (3 بت أو 4 بت)، يحافظ ORP على ذكاء النموذج. فهو يعمل بشكل يقارب الطرق الثقيلة والبطيئة، ولكن دون الحاجة إلى أجهزة معقدة.
سرعة الأجهزة: عندما قاموا بمحاكاة تصميم الشريحة، وجدوا أنه بسبب إزالة أجزاء "المُضاعِف" الثقلة، يمكن للشريحة أن تعمل بسرعة أكبر بكثير (2.85 جيجاهرتز) دون ارتفاع في درجة الحرارة أو حدوث اختناقات في تدفق البيانات.

ملخص

ORP هو طريقة جديدة لتقليص أحجام نماذج الذكاء الاصطناعي الضخمة لتعمل على الأجهزة الصغيرة. بدلاً من استخدام رياضيات ثقيلة وبطيئة، يستخدم خدعة هندسية تجمع بين اتجاهين بسيطين للحصول على إجابة دقيقة. هذا يجعل الذكاء الاصطناعي أسرع، وأكثر كفاءة في استهلاك الطاقة، وأسرع بكثير في الإعداد، وكل ذلك دون الحاجة إلى أجهزة معقدة للمضاعفة.

ملخص تقني: ORPQUANT – الإسقاط المتبقي المتعامد الهندسي لتكميم المحولات القائم على قوى العدد اثنين بدون مضاعفات

1. بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) ومحولات الرؤية (ViTs) على الأجهزة الطرفية قيوداً تتمثل في "ضريبة المضاعف" (multiplier tax) — وهي الاستهلاك الكبير للطاقة، وتعقيد التوجيه، واختناقات التوقيت المرتبطة بوحدات الضرب والجمع (MAC) في الأجهزة. وبينما يوفر التكميم القائم على قوى العدد اثنين (Power-of-Two - PoT) بديلاً فعالاً من حيث الأجهزة عبر استبدال الضرب بعمليات الإزاحة (bit-shifts)، فإنه يعاني من قيد هندسي جوهري: نظام الدقة الزاوية المنخفضة (Low Angular Resolution Regime).

في تكميم PoT، تكون الشبكة المنفصلة غير منتظمة، وتخضع لتوزيع $arctan(2^k)$ . وهذا يخلق "فجوات زاوية" (Angular Gaps) حيث ينحرف اتجاه المتجهات المكممة بشكل كبير عن المتجهات المستمرة الأصلية، لا سيما في الفضاءات عالية الأبعاد. وبخلاف أخطاء المقدار القياسية، التي يمكن التنبؤ بها وتصحيحها، فإن هذه الانحرافات الزاوية تخل بالسلامة الدلالية لمتشعبات الميزات (feature manifolds)، مما يؤدي إلى تدهور حاد في الدقة في أنظمة البتات شديدة الانخفاض (أقل من 4 بت). تعتمد الطرق الحالية غالباً على تحسين قائم على التدرج مكلف حسابياً أو إلغاء التكميم في وقت التشغيل للعودة إلى وحدات MAC، مما يفشل في القضاء تماماً على اختناقات التوقيت أو معالجة عدم المحاذاة الهندسية المتأصلة في شبكات PoT.

2. المنهجية: الإسقاط المتبقي المتعامد (ORP)

يقترح المؤلفون ORP، وهو إطار عمل للتصميم المشترك بين الخوارزمية والأجهزة، يعيد صياغة التكميم كإسقاط هندسي ثنائي الأساس. بدلاً من رسم المتجهات على شبكة PoT أحادية البعد، يقوم ORP ببناء فضاء فرعي متعامد ثنائي الأبعاد لالتقاط وتصحيح الأخطاء الاتجاهية باستخدام عمليات الإزاحة والجمع فقط.

الإطار الجوهري

يتكون مسار ORP من ثلاث مراحل منفصلة:

التهيئة المسبقة لمحاذاة المتشعب (Manifold-Aligned Preconditioning):
للتخفيف من القيم المتطرفة للتنشيط، يتم تهيئة الأوزان باستخدام متجه قياس تنعيمي مشتق من إحصائيات المعايرة (مثل RMS للقيم المتغيرة CV، أو القيمة المطلقة القصوى لنماذج LLM). هذا يحاذي فضاء الأوزان الإقليدي مع متشعب الميزات التجريبي، مما يعطي الأولوية للقنوات التي تهيمن على استقرار المخرجات دون الحاجة لإعادة وزن تكرارية.
البحث عن الأساس المنفصل الهندسي:
- الإسقاط الأساسي ( $b_1$ ): يتم إسقاط الأوزان على شبكة PoT غير متماثلة (على سبيل المثال $\{-1, -0.5, \dots, 0, \dots, 1\}$ لـ 3 بت) لضمان وجود حالة صفر مطلقة لتخطي الأصفار في الأجهزة.
- استخراج المتبقي المتعامد: يتم حساب المتجه المتبقي $r_\perp$ عبر عملية تعامد غرام-شميت (Gram-Schmidt): $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$ .
- بناء الأساس الثانوي ( $b_2$ ): لالتقاط المعلومات الاتجاهية المفقودة، يبني ORP أساساً ثانوياً منفصلاً $b_2$ متعامداً مع $b_1$ . ويتم ذلك عبر نظرية التبادل المزدوج المخطط (Strided Dual-Exchange Theorem)، التي تولد متجهاً متعامداً عبر تطبيق تبديلات فهرسة محلية وانعكاسات إشارية داخل كتل مجهرية (micro-blocks). هذه العملية حتمية وتعمل بزمن قدره $O(N)$ .
تحسين المقياس المشترك القائم على البيانات:
بمجرد تثبيت الأساسات المنفصلة ( $b_1, b_2$ )، يتم حل معاملات القياس المستمرة ( $c_1, c_2$ ). يوفر الإطار نمطين:
- نمط GEO (التحسين الهندسي): حل مغلق الصيغة يقلل المسافة الإقليدية دون الحاجة لبيانات معايرة، وهو مناسب للنشر في وضع الصفر (zero-shot).
- نمط REF (التنقية المدركة للتنشيط): يستخدم انحدار ريدج (Ridge regression) على مدخلات المعايرة لتحسين المقاييس، مما يعوض الارتباطات الميزية والضجيج المكاني مع تجنب عدم الاستقرار العددي الناتج عن دمج ضجيج التنشيط المنفصل في الحل.

تدفق بيانات الأجهزة

يحول تدفق بيانات الاستدلال النهائي للطبقة الخطية $Y = XW$ إلى عملية خالية من المضاعفات:
$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$
يتم تنفيذ عمليات ضرب المصفوفات الأساسية عبر عمليات إزاحة وجمع متوازية، مع تطبيق عوامل القياس فقط في خطوة التجميع النهائية.

3. المساهمات الرئيسية

الصياغة الهندسية: يقوم البحث بصياغة "نظام الدقة الزاوية المنخفضة" لتكميم PoT المتطرف، ويقترح ORP كحل تحليلي حتمي بزمن $O(N)$ لاستخراج الأساسات المتبقية المتعامدة دون الحاجة لتحسين قائم على التدرج.
كفاءة المعايرة: من خلال استبدال البحث التكراري العشوائي بمحلل تحليلي، يقلل ORP زمن المعايرة الكامل للنموذج من LLaMA-2-7B من ساعات (كما في AWQ أو SpinQuant) إلى حوالي 15.1 دقيقة على محطة عمل واحدة.
الدقة التنافسية تحت قيود Zero-MAC: يحقق ORP دقة موثوقة عبر مختلف الوسائط دون الاعتماد على القياس غير المتماثل أو إلغاء التكميم في وقت التشغيل. حقق درجة تعقيد (perplexity) بلغت 5.09 على LLaMA-2-13B (W4/A16) و 79.54% دقة Top-1 على ViT-Base (W4/A4).
التحقق من الأجهزة: من خلال تصنيع RTL بمعيار 28 نانومتر، أظهر المؤلفون أن استبدال أشجار المضاعفات الكثيفة بمسار بيانات موازٍ للإزاحة والجمع يقلل تأخير المسار الحرج إلى 0.35 نانو ثانية، مما يسمح بتردد ساعة نظري قدره 2.85 جيجاهرتز وكفاءة طاقة تبلغ 3.33 TOPS/W عند 1.8 جيجاهرتز.

4. النتائج التجريبية

محولات الرؤية (ImageNet-1K): تحت قيود W3/A4، يحقق ORP دقة Top-1 بنسبة 78.49% على ViT-B، متفوقاً على نماذج 4/4-bit مثل APQ-ViT (41.41%) ومقارباً أداء الدقة الكاملة (80.32%) مع W3/A6.
أداء النماذج اللغوية الكبيرة (LLaMA-2):
- W3/A16: يحقق ORP درجة تعقيد 6.10 على LLaMA-2-7B، متفوقاً على AWQ (6.49) ومقارباً لنموذج الـ 4-بت (5.66) دون الحاجة للقياس غير المتماثل.
- W4/A16: يحقق 5.09 درجة تعقيد على LLaMA-2-13B.
- الاستدلال في وضع الصفر (Zero-Shot): يوفر نمط GEO خط أساساً قوياً لمهام الاستدلال المتنوعة (مثل 67.72% على WinoGrande عند 3-بت)، بينما يوفر نمط REF تحسينات إضافية في الدقة.
مقاييس الأجهزة: يُظهر مسرع ORP تأخير مسار حرج قدره 0.35 نانو ثانية مقارنة بـ 0.90 نانو ثانية لنماذج AWQ، مما يسمح نظرياً بالعمل بتردد 2.85 جيجاهرتز على سيليكون 28 نانومتر.

5. الأهمية والادعاءات

يدعي البحث أن ORP يوفر مساراً قابلاً للتطبيق للنشر السريع للنماذج التأسيسية الكبيرة على الأجهزة الطرفية محدودة الموارد من خلال مواءمة المبادئ الهندسية مع كفاءة التوقيت على مستوى السيليكون.

الكفاءة الخوارزمية: تكمن الأهمية الأساسية في التحول من المعايرة التكرارية المكلفة حسابياً إلى محلل تحليلي حتمي، مما يتيح التكيف السريع على الموقع عند الحافة.
التآزر مع الأجهزة: يثبت العمل أن قيود الأجهزة الصارمة (الخالية من المضاعفات، والاعتماد على الإزاحة والجمع) لا تستلزم بالضرورة مقايضة في دقة التمثيل. من خلال معالجة "الفجوة الزاوية" الهندسية عبر المتبقيات المتعامدة، يحقق ORP أداءً منافساً للنماذج التي تعتمد على وحدات MAC.
مرونة النشر: يوفر النموذج ثنائي المسار (GEO مقابل REF) للممارسين خياراً مرناً بين الاستدلال الفوري (Zero-shot) الخالي من البيانات وبين الدقة القائمة على البيانات، مما يقلل من مخاطر انحياز المعايرة.

في النهاية، يشير ORP إلى أن التكميم المتطرف يمكن تحقيقه بفعالية دون الاعتماد على القياس غير المتماثل، أو إلغاء التكميم في وقت التشغيل، أو أشجار المضاعفات العميقة، مما يقدم نموذج تنفيذ جديد للذكاء عالي الإنتاجية عند الحافة.