💬 NLP

GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

تُعد GaugeQuant طريقة تعلم عبر الإنترنت تستفيد من تناظرات النماذج اللغوية الكبيرة (LLM) ومن حد خسارة (LogSumExp) لتعلم القواعد المثلى للكمّ ديناميكيًا أثناء التدريب، مما يقلل بشكل كبير من الحيرة (perplexity) تحت الكمّ منخفض البتات دون الحاجة إلى بيانات معايرة أو تغيير هدف النمذجة اللغوية.

المؤلفون الأصليون: Miguel P. Bento, João F. Seabra

نُشر 2026-07-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Miguel P. Bento, João F. Seabra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وضع مكتبة ضخمة ومعقدة من المعرفة داخل حقيبة ظهر صغيرة للغاية. هذا هو الصراع اليومي للذكاء الاصطناعي الحديث. إن "أدمغة" هذه الأنظمة، والتي تُسمى النماذج اللغوية الكبيرة، ضخمة جدًا لدرجة أنها تتطلب جبالًا من ذاكرة الكمبيوتر لتشغيلها. ولجعلها تتناسب مع الأجهزة الأصغر، يستخدم العلماء حيلة تسمى التكميم (quantization). فكر في الأمر كأنك تقوم بضغط فيلم عالي الدقة إلى ملف منخفض الدقة لتوفق المساحة؛ ستفقد بعض التفاصيل، لكن الفيلم سيظل قابلاً للمشاهدة. ومع ذلك، هناك مشكلة: أحيانًا يحتوي الفيلم على بعض المشاهد شديدة السطوع أو الظلمة (تسمى "القيم المتطرفة" أو outliers). وعندما تحاول ضغط الملف بأك entirety ليناسب تلك المشاهد المتطرفة، يصبح باقي الفيلم ضبابيًا ومشوهًا.

لفترة طويلة، حاول العلماء إصلاح ذلك بعد بناء الذكاء الاصطناعي بالفعل، مثل محاولة تحرير فيلم بعد تصويره. كانوا ينظرون إلى "البقع الساطعة" ويحاولون تنعيمها باستخدام عينة صغيرة من البيانات. لكن هذا البحث يقدم فكرة جديدة: ماذا لو استطعنا تعليم الذكاء الاصطناعي كيف ينظم مكتبته الخاصة أثناء بنائه، بحيث يتناسب طبيعيًا مع حقيبة الظهر دون الحاجة إلى عملية تنظيف فوضوية لاحقًا؟ يقترح الباحثون طريقة تستخدم "مرونة" الذكاء الاصطناعي الداخلية لإعادة ترتيب بياناته قبل ضغطها، مما يجعل عملية الضغط أكثر نظافة.

الورقة البحثية: GaugeQuant

الورقة التي تقرؤها تدور حول تقنية ذكية جديدة تسمى GaugeQuant. اكتشف المؤلفان، ميغيل ب. بينتو وجواو ف. سيابرا، أن الهيكل الداخلي لهذه النماذج يمتلك قوة خارقة خفية: التماثل (symmetry).

لفهم هذا، تخيل أن دماغ الذكاء الاصطناعي مكون من آلاف التروس الدوارة. في أما birçok من الأماكن، يمكن لهذه التروس أن تدور في تزامن تام مع بعضها البعض دون تغيير الإجابة النهائية التي يقدمها الذكاء الاصطناعي. الأمر يشبه وجود فريق من الراقصين؛ إذا داروا جميعًا بمقدار 90 درجة معًا، سيبدو تصميم الرقصات كما هو من وجهة نظر الجمهور. الذكاء الاصطناعي لا يهتم بأي "زاوية" محددة تأتي منها البيانات، طالما أن العلاقات بين التروس تظل كما هي.

المشكلة هي أنه عندما نحاول ضغط الذكاء الاصطناعي (تكميمه)، يتعين علينا اختيار زاوية محددة. وإذا اخترنا الزاوية الخاطئة، فإن "القيم المتطرفة" (نقاط البيانات شديدة السطوع أو الظلمة) ستتمدد، مما يؤدي إلى إفساد عملية الضغط. عادةً، يحاول العلماء تحديد أفضل زاوية بعد انتهاء تدريب الذكاء الاصطناعي، باستخدام مجموعة بيانات منفصلة للاختبار.

تغير GaugeQuant قواعد اللعبة عبر القيام بذلك أثناء التدريب. أضاف المؤلفون "جزاءً" خاصًا إلى واجبات الذكاء الاصطناዊ المدرسية. تخيل أن الذكاء الاصطناعي يتعلم كتابة القصص، ويقول له المعلم (الكمبيوتر): "قصة رائعة! ولكن إذا استخدمت أي كلمات مفرطة أو غريبة جدًا، فستخسر نقاطًا". هذا الجزاء يعتمد على صيغة رياضية تسمى LogSumExp. وهي تدفع الذكاء الاصطناعي بلطف لإعادة ترتيب تروسه الداخلية (تدوير بياناته) بحيث لا يصبح أي رقم بمفرده قيمة متطرفة.

إليك الجزء السحري: يجب على الذكاء الاصطناعي القيام بهذا الترتيب دون إفساد قدرته على كتابة القصص. استخدم المؤلفون خدعة "إيقاف التدرج" (stop-gradient). فكر في الأمر كمرآة اتجاه واحد. يتعلم الذكاء الاصطناعي كتابة قصص أفضل باستخدام دروسه العادية، لكنه يتعلم تنظيم بياناته من أجل الضغط باستخدام درس منفصل وغير مرئي. لا يتدخل الدرسان في بعضهما البعض. يجد الذكاء الاصطناعي "الزاوية المثالية" لبياناته تلقائيًا، بحيث عندما يتم ضغطه أخيرًا، يتناسب كل شيء بإحكام دون فقدان الجودة.

ما الذي وجدوه؟

اختبر الباحثون هذه الطريقة على نموذجين مشهورين: Qwen-2.5 0.5B و LLaMA-2 7B. قاموا بمحاكاة ضغط النموذجين بدقة منخفضة جدًا (باستخدام 4 بت فقط للأوزان والتنشيطات، وهو ضغط شديد للغاية).

كانت النتائج واعدة للغاية:

بالنسبة لنموذج LLaMA-2 7B، عندما قاموا بضغط كل من الأوزان والتنشيطات إلى 4 بت (W4A4) مع حجم مجموعة قدره 128، انخفضت "الارتباك" (perplexity) (وهي درجة حيث يكون الرقم الأقل أفضل، مما يعني أن الذكاء الاصطناعي أقل ارتباكًا) من 8.22 إلى 6.73.
عندما ضغطوا الأوزان فقط إلى 4 بت مع إبقاء التنشيطات بدقة كاملة (W4A16)، تحسنت الدرجة بشكل كبير، حيث انخفضت من 11.16 إلى 5.45.
بالنسبة لنموذج Qwen-2.5 0.5B الأصغر، كانت التحسينات كبيرة أيضًا، حيث انخفضت درجة W4A4 من 187.8 إلى 61.2.

يشير المؤلفون إلى أن هذه الطريقة لا تتطلب أي بيانات معايرة خاصة (لا حاجة لمجموعة اختبار منفصلة) ولا تضيف وقتًا إضافيًا يذكر إلى عملية التدريب. وهي تنافس الطرق التي تتطلب عادةً تجميد النموذج واختباره بشكل مكثف بعد التدريب.

ما الذي لا تعالجه (وما يزال مجهولًا)

من المهم معرفة ما لا تحله هذه الطريقة. وجد المؤلفون أنه إذا حاولت ضغط التنشيطات إلى 4 بت باستخدام مقياس واحد فقط لكل رمز (token) (وهو إعداد صارم للغاية يسمى "per-token")، فإن النماذج ستفشل وتصبح غير صالحة للاستخدام، بغض النظر عن عملية التدوير. تعمل الطريقة بشكل أفضل عندما تسمح ببعض التجميع (مثل حجم المجموعة 128).

أيضًا، يعترف المؤلفون بأن طريقتهم تعتمد على "وكيل" (stand-in) لخطأ الضغط الفعلي. إنهم يستخدمون صيغة LogSumExp لتخمين مكان القيم المتطرفة، لكنها ليست محاكاة مثالية للضغط في العالم الحقيقي. ويقترحون أن هذا قد يؤدي أحيانًا إلى تنعيم بيانات قد يحتاجها النموذج للتمييز بين الأشياء المتشابهة.

أخيرًا، تعتمد هذه النتائج على عمليات محاكاة وجولات تدريب على نموذجين محددين (0.5B و 7B). ويقترح المؤلفون أنه بينما تبدو الرياضيات سليمة، إلا أننا لا نعرف بعد كيف سيتصرف هذا مع النماذج الأكبر بكثير أو في سيناريوهات واقعية مختلفة. هم يقترحون أن هذه أداة جديدة يمكن استخدامها أثناء التدريب، والتي يمكن بعد ذلك دمجها مع إصلاحات أخرى "ما بعد التدريب" للحصول على نتائج أفضل، لكنهم لم يثبتوا بعد أنها تعمل مع كل بنية للذكاء الاصطناعي.

باختصار، تشير GaugeQuant إلى أنه من خلال تعليم الذكاء الاصطناعي كيفية ترتيب بياناته الخاصة أثناء تعلمه، يمكننا وضعه في حقيبة ظهر أصغر بكثير دون أن تتبعثر محتوياته. إنها طريقة مرحة وفعالة للتعامل مع الواقع الفوضوي لضغط أدمغة الذكاء الاصطناعي العملاقة.

ملخص تقني: GaugeQuant

بيان المشكلة
تتطلب النماذج اللغوية الكبيرة (LLMs) موارد حوسبة هائلة، مما يستدعي عملية التكميم (Quantization) لتقليل بصمة الذاكرة أثناء الاستنتاج. وبينما تُعد طرق التكميم بعد التدريب (PTQ) غير مكلفة حوسبياً، إلا أنها غالباً ما تؤدي إلى تدهور أداء النموذج بسبب وجود "القيم المتطرفة" (Outliers) في توزيع الأوزان والتنشيطات. هذه القيم المتطرفة تمد نطاق التكميم، مما يترك بتات (Bits) أقل لتمثيل القيم المتكررة. تحاول طرق PTQ الحالية، مثل SpinQuant، التخفيف من ذلك عبر تعلم دورات متعامدة مثلى لكبح القيم المتطرفة، لكنها تعمل على نماذج مجمدة باستخدام مجموعات بيانات معايرة ثابتة. تعالج هذه الورقة الحاجة إلى آلية "أثناء التدريب" تتعلم أساساً (Basis) مثالياً للتكميم دون الحاجة إلى بيانات معايرة أو تجميد النموذج، مما يتجنب تدهور الأداء المرتبط بالتكميم القياسي بعد التدريب.

المنهجية
تستفيد GaugeQuant من التناظرات المستمرة المتأصلة في بنيات المحولات (Transformer). لاحظ المؤلفون أن تحويلات خطية محددة (دورات) عند حدود طبقات الانتباه (Attention) والـ MLP تترك المخرجات كاملة الدقة ثابتة (Invariant). ومع ذلك، فإن التكميم الموحد غير خطي ولا يتوافق مع هذه الدورات، مما يعني أن اختيار الأساس يؤثر بشكل كبير على خطأ التكميم.

تتضمن المنهجية الجوهرية إدخال بديل (Proxy) قابل للتفاضل لخطأ التكميم مباشرة في دالة الخسارة أثناء التدريب:

استغلال التناظر: تحدد الطريقة تناظرات $SO(d)$ عند حدود مخرجات القيمة (V-O boundary) لرؤوس الانتباه وحدود الـ MLP. بالنسبة للـ MLP، حيث تمنع اللاخطية امتصاص الدورات بالكامل، يتم استخدام هيكل دوران قطري كتلوي (Block-diagonal rotation).
البديل القابل للتفاضل: بدلاً من محاكاة التكميم غير القابل للتفاضل، يقلل المؤلفون من معيار $L_\infty$ للتنشيطات المدورة، والذي يحدد حجم خطوة التكميم. يتم تقريب ذلك باستخدام دالة LogSumExp سلسة وقابلة للتفاضل:
$L_{rot}(R) = \frac{1}{\beta} \log \left( \sum_i \exp(\beta |z_i|) \right), \quad z = \text{sg}(H) \cdot R$
حيث تمثل $H$ تنشيطات الحدود، و $R$ هي مصفوفة الدوران، و $\text{sg}(\cdot)$ هو عامل إيقاف التدرج (Stop-gradient).
فصل الخسارة: تُعرف الخسارة الإجمالية بـ $L_{total} = L_{CE} + \lambda L_{rot}$ . يضمن عامل إيقاف التدرج أن هدف نمذجة اللغة ( $L_{CE}$ ) يقوم بتحديث أوزان النموذج فقط، بينما يتم تحديث معاملات الدوران ( $R$ ) حصرياً بواسطة حد LogSumExp. هذا يحافظ على تعامد الهدفين.
التحسين: للحفاظ على التعامد أثناء التدرج المنحدر، يتم تمثيل مصفوفات الدوران عبر تحويل كايلي (Cayley transform) لمصفوفة متنافرة (Skew-symmetric)، مما يضمن بقاء المعاملات على منحنى (Manifold) $SO(d)$ .

المساهمات الرئيسية

تعلم الأساس أثناء التدريب: على عكس الأعمال السابقة التي تحسن الدورات بعد التدريب، تتعلم GaugeQuant الأساس الأمثل للتكميم ديناميكياً أثناء عملية التدريب.
لا تتطلب بيانات معايرة: لا تتطلب الطة مجموعات بيانات معايرة ثابتة، حيث يتم دفع كبح القيم المتطرفة بواسطة خسارة التدريب نفسها.
أعباء حسابية ضئيلة: تضيف الطريقة تكلفة حسابية محدودة جداً أثناء التدريب والاستنتاج (تقتصر على التطبيق وقت التشغيل للدورات القطرية الكتلية للـ MLPs).
كسر التناظر: تقوم صراحة بكسر تناظر القياس (Gauge symmetry) للمحول عبر حد خسارة محدد لاختيار أساس فريد يقلل من القيم المتطرفة في التنشيطات.

النتائج
قيم المؤلفون أداء GaugeQuant على نموذجي Qwen-2.5 0.5B و LLaMA-2 7B باستخدام مجموعة بيانات WikiText-2.

W4A16 (أوزان 4-بت، تنشيطات 16-بت): في LLaMA-2 7B، انخفضت درجة الارتباك (Perplexity) من 11.16 (الأساس) إلى 5.45، وهو انخفاض بنسبة 51% في التدهور الناجم عن التكميم.
W4A4 g128 (أوزان 4-بت وتنشيطات 4-بت، حجم المجموعة 128): في LLaMA-2 7B، تحسنت درجة الارتباك من 8.22 إلى 6.73. وفي Qwen-2.5 0.5B، انخفضت من 187.8 إلى 61.2.
المقارنة: تنافس الطريقة مع نهج ما بعد التدريب مثل SpinQuant ولكنها تحقق هذه النتائج دون نموذج مجمد أو مجموعة معايرة. أظهرت مجموعة ضابطة خضعت للضبط الدقيق بدون خسارة القياس (Gauge loss) عدم وجود أي تحسن، مما يؤكد أن المكاسب ناتجة عن الدورات المتعلمة.
القيود: تفشل الطريقة تحت ظروف التكميم الصارم لكل رمز (per-token) من نوع W4A4، حيث تنهار النماذج بغض النظر عن الدوران، مما يشير إلى أن التكميم المجموعي (Group quantization) يظل ضرورياً لعملية استنتاج 4-بت قابلة للتطبيق.

الأهمية والادعاءات
تدعي الورقة أن GaugeQuant تثبت إمكانية استغلال التناظرات المستمرة في بنيات المحولات أثناء العمل (Online) خلال التدريب وليس فقط بعد التدريب. يضع المؤلفون الطريقة كعنصر مكمل لتقنيات PTQ الحالية؛ حيث يمكن تدريب نموذج باستخدام GaugeQuant ثم صقله لاحقاً باستخدام طرق ما بعد التدريب مثل SpinQuant.

تكمن الأهمية في القدرة على إنتاج نماذج "صديقة للتكميم" مباشرة من عملية التدريب، مما يلغي الحاجة إلى خطوات معايرة منفصلة. يشير المؤلفون إلى أن إطار عمل القياس (Gauge framework) قابل للتعميم بما يتجاوز التكميم ليشمل أي قيد حوسبي يكسر التناظر الدوراني (مثل التخلخل الهيكلي أو تنسيقات الدقة المختلطة). ومع ذلك، تقر الورقة بتواضع بوجود قيود، بما في ذلك الاعتماد على الدورات القطرية الكتلية للـ MLPs (مما يحد من إعادة توزيع القيم المتطرفة عبر حدود الكتل) واحتمالية أن يقوم بديل LogSumExp بكبح التنشيطات الكبيرة بشكل عشوائي، مما قد يؤثر على ترميز التمايزات الدقيقة. التجارب حالياً محدودة بنماذج ذات 0.5B و 7B بارامتر.

الورقة البحثية: GaugeQuant

ما الذي وجدوه؟

ما الذي لا تعالجه (وما يزال مجهولًا)

أبحاث مشابهة