🤖 machine learning

ASTRA: Communication-Efficient Acceleration for Multi-Device Transformer Inference

تُعد ASTRA إطار عمل فعال في التواصل لاستنتاج نماذج Transformer متعددة الأجهزة، حيث يجمع بين توازي التسلسل وانتباه الدقة المختلطة وتقنيات التكميم المبتكرة لتحقيق تسريع كبير مع الحفاظ على الدقة حتى في ظل ظروف الشبكة ذات النطاق الترددي المنخفض وغير المستقرة.

المؤلفون الأصليون: Xiao Liu, Lijun Zhang, Deepak Ganesan, Hui Guan

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiao Liu, Lijun Zhang, Deepak Ganesan, Hui Guan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك دماغاً عملاقاً وذكياً للغاية (نموذج Transformer)، تريد استخدامه لحل مشكلة معقدة، مثل التعرف على صورة أو كتابة قصة. هذا الدماغ ضخم جداً لدرجة أنه لا يتسع في حاسوب واحد. لذا، قررت تقسيم العمل بين أربعة أصدقاء، يحمل كل منهم قطعة من هذا الدماغ، ويعملون معاً لحل اللغز.

هذه هي الفكرة وراء الاستدلال متعدد الأجهزة (Multi-Device Inference). ومع ذلك، هناك مشكلة رئيسية: الأصدقاء متصلون عبر قناة جهاز لاسلكي (walkie-talkie) بطيئة وضيقة (نطاق ترددي منخفض). في كل مرة يحتاج فيها أحد الأصدقاء لمعرفة ما يفكر فيه الآخر، عليه أن يصرخ بالفكرة بأكملاء عبر القناة. ولأن القناة بطيئة، فإنهم يقضون وقتاً في الصراخ أكثر مما يقضونه في التفكير. وهذا يجعل العملية أبطأ مما لو قام شخص واحد بها بمفرده.

إليك ASTRA، وهو إطار عمل جديد صُمم لإصلاح هذه المشاجرة الصاخبة.

المشكلة الجوهرية: عنق زجاجة "الصراخ"

في الطريقة القديمة (مثل التوازي التنسوري أو توازي التسلسل)، إذا احتاج الصديق (أ) لمعرفة ما يفكر فيه الصديق (ب)، يجب على الصديق (ب) إرسال "حزمة فكرية" ضخمة وعالية الدقة (متجه كامل الدقة). وإذا كانت قناة الاتصال بطيئة، فإن عملية الإرسال تستغرق وقتاً طويلاً جداً. وقد وجد البحث أنه في ظروف الشبكة البطيئة، يتم قضاء أكثر من 90% من الوقت في انتظار وصول هذه الرسائل، وليس في القيام بعملية التفكير الفعلية.

حل ASTRA: استراتيجية "البطاقة البريدية"

يقوم ASTRA بتغيير قواعد التواصل باستخدام خدعة ذكية تسمى الانتباه مختلط الدقة (Mixed-Precision Attention).

الأفكار المحلية عالية الدقة: عندما يفكر الصديق في قطعته الخاصة من اللغز، فإنه يحتفظ بالأفكار بتفاصيل كاملة وعالية الدقة.
الأفكام البعيدة هي "بطاقات بريدية": عندما يحتاج صديق لمعرفة ما يفكر فيه صديق آخر، فإنه لا يرسل الفكرة الكاملة عالية الدقة، بل يضغطها في بطاقة بريدية صغيرة.
- كيف؟ يستخدمون تقنية تسمى تكميم المتجهات (Vector Quantization). تخيل أن لكل فكرة ممكنة رقماً في دفتر هاتف ضخم (كتاب رموز). بد instead من إرسال الفكرة كاملة، يبحث الصديق عن أقرب تطابق في دفتر الهاتف ويرسل الرقم فقط (الفهرس).
- النتيجة: بدلاً من إرسال "فكرة" مكونة من 32 بت (ملف ثقيل)، يرسلون "رقماً" مكوناً من 10 بت (بطاقة بريدية صغيرة). هذا يقلص حجم البيانات بأكثر من 2,000 مرة.

الحفاظ على ذكاء الدماغ: مكونان سريان

قد تقلق قائلاً: "إذا أرسلنا البطاقات البريدية فقط، ألن يصاب الدماغ بالارتباك ويرتكب الأخطاء؟" يستخدم ASTRA خدعتين خاصتين للحفاظ على دقة عالية:

التدريب المعزز بالضجيج (تمرين التدريب):
خلال التدريب، لا يتدرب ASTRA على البطاقات البريدية النظيفة فحسب، بل يضيف عمداً القليل من "الضوضاء" أو "الاستاتيكية" إلى البطاقات، مثل إشارة راديو سيئة.
- تشبيه: تخيل موسيقياً يتدرب على بيانو غير مضبوط تماماً. عندما يعزف أخيراً على بيانو مثالي، سيبدو مذهلاً لأنه تعلم كيفية التكيف مع العيوب. هذا يساعد النموذج على التعميم بشكل أفضل وعدم الارتباك عندما لا تكون "البطاقات البريدية" مثالية.
رمز الفئة الموزع (قائد الفريق):
في العديد من نماذج الذكاء الاصطنا_ي، يوجد "رمز ملخص" خاص (مثل قائد الفريق) يجمع المعلومات من الجميع لاتخاذ قرار نهائي. في الطرق القديمة، كان هذا القائد يجلس على كتف صديق واحد فقط، وكان بإمكانه سماع الأفكار عالية الدقة من ذلك الصديق فقط، بينما يسمع فقط البطاقات البريدية الضبابية من الآخرين. هذا خلق رؤية منحازة.
- إصلاح ASTRA: يمنحون كل صديق نسخة خاصة به من قائد الفريق. يستمع كل قائد إلى الأفكار عالية الدقة لفريقه المحلي، وإلى البطاقات البريدية الضبابية من الآخرين. وفي النهاية، يجتمع جميع القادة، ويحللون آراء بعضهم البعض، ويتخذون القرار النهائي. هذا يوازن الرؤية ويمنع الانحياز.

النتائج: تسريع المسار البطيء

اختبر البحث ASTRA على نماذج متنوعة (مثل تلك التي تتعرف على الصور أو تكتب النصوص) ووجد:

السرعة: حتى في حالات الاتصال البطيئة جداً (منخفضة حتى 10 ميجابت في الثانية، وهي أبطأ من العديد من شبكات الواي فاي المنزلية)، كان ASTRA أسرع بـ 2.64 مرة من تشغيل النموذج على جهاز واحد.
المقارنة: كان أسرع بما يصل إلى 15 مرة من الطرق السابقة التي حاولت تقسيم العمل عبر الأجهزة.
الدقة: على الرغم من ضغط البيانات بهذا الشكل الشديد، انخفضت دقة النموذج بأقل من 4% مقارنة بالنموذج الأصلي كامل الدقة.
المتانة: يعمل حتى لو كانت الشبكة غير مستقرة، أو في حالة فقدان الحزم (الرسائل المفقودة)، أو إذا كانت أجهزة الأصدقاء بسرعات مختلفة.

الملخص

ASTRA يشبه فريقاً من المحققين يحل لغزاً. بدلاً من أن يصرخ الجميع بملفات قضاياهم الكاملة لبعضهم البعض عبر خط هاتف سيء، يرسلون أدلة صغيرة مرقمة (بطاقات بريدية) يفهمها الجميع. إنهم يتدربون مع وجود "الضجيج" لضمان قدرتهم على التعامل مع الأدلة الضبابية، ويستخدمون عدة قادة فرق لضمان عدم سيطرة وجهة نظر واحدة. والنتيجة؟ يحلون اللغز بسرعة أكبر بكثير، حتى مع وجود اتصال سيء للغاية.

ملخص تقني: ASTRA – تسريع استنتاج المحولات (Transformer) بكفاءة اتصال عبر أجهزة متعددة

1. بيان المشكلة

أصبحت نماذج المحولات (Transformers) مركزية في الذكاء الاصطناعي الحديث في مجالات الرؤية واللغة، لكن حجمها المتزايد يخلق زمن انتقال (latency) محظوراً في الاستنتاج، لا سيما في التطبيقات التي تتطلب استجابة فورية. وبينما توجد تقنيات تحسين أحادية الجهاز (مثل التكميم والتقليم)، إلا أنها محدودة جوهرياً بسعة الجهاز. يوفر الاستنتاج متعدد الأجهزة مساراً نظرياً لتقليل زمن الانتقال خطياً عبر موازاة الحوسبة. ومع ذلك، تعتمد الأساليب الحالية متعددة الأجهزة (مثل توازي التوتر، وتوازي التسلسل، وتوازي الكتل) على اتصالات عالية النطاق الترددي بين الأجهزة.

حدد المؤلفون عنق زجاجة حرجًا تم إغفاله: في البيئات ذات النطاق الترددي المحدود (≤100 ميجابت في الثانية، وهو أمر شائع في شبكات Wi-Fi الداخلية أو شبكات الحافة)، يهيمن الاتصال بين الأجهزة على زمن انتقال الاستنتاج، حيث يمثل ما بين 58.6% إلى 93.5% من إجمالي الوقت. هذا العبء يلغي التحسينات النظرية للطرق الحالية، مما يجعلها غير عملية في عمليات النشر اللاسلكية أو الحافة حيث يكون النطاق الترددي غالباً أقل من 300 ميجابت في الثانية ومتغيراً للغاية.

2. المنهجية: إطار عمل ASTRA

ASTRA هو إطار عمل فعال من حيث الاتصال مصمم لتسريع استنتاج المحولات عبر أجهزة متعددة مع الحفاظ على الدقة. يدمج التوازي التسلسلي مع آلية انتباه مختلطة الدقة (Mixed-Precision Attention) مبتكرة. يتضمن سير العمل الأساسي تقسيم رموز المدخلات (tokens) عبر $N$ من الأجهزة، حيث يحتفظ كل جهاز نسخة كاملة من النموذج ومجموعة فرعية منفصلة من الرموز.

الابتكارات التقنية الرئيسية

أ. الانتباه مختلط الدقة (Mixed-Precision Attention)
لمعالجة عنق زجاجة الاتصال، يميز ASTRA بين التفاعلات المحلية وغير المحلية للرموز داخل طبقة الانتباه الذاتي:

الرموز المحلية (Local Tokens): تُحسب باستخدام تضمينات (embeddings) كاملة الدقة.
الرموز غير المحلية (Non-Local Tokens): يتم ترميزها باستخدام تكميم متجهي (Vector Quantization - VQ) منخفض البت قبل الإرسال.
بدلاً من إرسال التضمينات كاملة الدقة (مثل float32)، ترسل الأجهزة فقط مؤشرات المتجهات المكممة. يقوم الجهاز المستلم بإعادة بناء التضمينات التقريبية عبر "كتاب رموز" (codebook) مشترك. هذا يقلل الاتصال لكل رمز من $r \times D$ بت إلى $\log_2 K$ بت، محققاً نسب ضغط تصل إلى 2457.6×.

ب. التكميم المتجهي المعزز بالضجيج (NAVQ)
يؤدي التكميم الشديد إلى إدخال أخطاء التجزئة التي تضعف تعميم النموذج. يستخدم ASTRA تقنية NAVQ للتخفيف من ذلك:

أثناء التدريب، يتم حقن ضجيج غاوسي في التضمينات المكممة ( $\tilde{X} = \hat{X} + \lambda\xi$ )، حيث يتم أخذ الضجيج من توزيع بقايا التكميم.
هذه التقنية، المستوحاة من تقليل المخاطر المجاورة (Vicinal Risk Minimization)، تعيد الاستمرارية إلى الفضاء الكامن المنفصل، مما يشجع النموذج على التعميم عبر الاضطرابات الصغيرة ويقلل الحساسية تجاه حدود كتاب الرموز.
عند الاستنتاج، يتم حذف الضجيج، ويعمل النموذج بشكل حتمي.

ج. رموز الفئة الموزعة (Distributed Class Tokens)
في مهام التصنيف (مثل ViT)، يقوم رمز فئة واحد ( $CLS$ ) بتجميع المعلومات العالمية. في بيئة متعددة الأجهزة مع انتباه مختلط الدقة، سينظر رمز $CLS$ واحد إلى الرموز المحلية كاملة الدقة بينما ينظر فقط إلى الرموز غير المحلية المكممة، مما يخلق عدم تماثل في المعلومات.

يقوم ASTRA بتكرار رمز $CLS$ عبر جميع الأجهزة.
ينظر كل تكرار إلى الرموز المحلية كاملة الدقة والرموز غير المحلية المكممة.
يتم تجميع مخرجات جميع رموز الفئات الموزعة (على سبيل المثال، عبر تجميع المتوسط) قبل التنبؤ النهائي.
نظرياً، يقلل هذا من خطأ مخرجات الانتباه المتوقع بمعامل قدره $1/N$ مقارنة بنهج الرمز الواحد.

3. المساهمات الرئيسية

إطار عمل ASTRA: إطار عمل جديد لاستنتاج المحولات متعدد الأجهزة يقلل بشكل كبير من عبء الاتصال عبر الانتباه مختلط الدقة، مما يجعل الاستنتاج ممكناً في نطاقات تردد منخفضة تصل إلى 10 ميجبت في الثانية.
تقنيات الحفاظ على الدقة: تقديم التكميم المعزز بالضجيج ورموز الفئة الموزعة للحفاظ على دقة عالية تحت الضغط الشديد.
تقييم شامل: تجارب واسعة النطاق على نماذج الرؤية (ViT-Base) واللغة (GPT2, Llama-3-8B) عبر مهام الرؤية (CIFAR-100, ImageNet-1K) ومهام معالجة اللغة الطبيعية (Wikipedia, Wikitext-103).
تحليل التصميم: دراسات استئصال (ablation studies) تثبت فعالية كل مكون، بما في ذلك البراهين النظرية لتعزيز الضجيج ورموز الفئة الموزعة.

4. النتائج التجريبية

الدقة والضغط

مهام الرؤية: في ViT-Base، يحقق ASTRA دقة ضمن 3.58% من النموذج الأصلي حتى تحت ضغط 2457.6× (رموز 10-بت). مع 32 مجموعة تكميم، يصل إلى 91.64% في CIFAR-100 و80.28% في ImageNet-1K، وهو ما يطابق النموذج المرجعي (baseline) عن قرب.
مهام اللغة: في GPT2، يحافظ ASTRA على درجة تشتت (perplexity) تنافسية. بالنسبة لـ GPT2-M في Wikitext-103، تزداد درجة التشتت من 14.8 إلى 16.84 تحت ضغط 102.4×، مما يمثل زيادة بنسبة 4.4% فقط في الخسارة.
التعميم صفري المعرفة (Zero-Shot Generalization): تشير الورقة إلى انخفاض في الأداء في الإعدادات صفرية المعرفة (مثل GPT2-M على Wikitext-103 بدون ضبط دقيق)، وتعزو ذلك إلى تقليل تنوع التمثيلات الرمزية المنفصلة الذي يعيق التعميم خارج التوزيع.
عدم التجانس: يتكيف ASTRA مع بيئات الأجهزة غير المتجانسة (قدرات حوسبية مختلفة) عن طريق تخصيص المزيد من الرموز للأجهزة الأقوى، مما يحافظ على الدقة ضمن 1.43% من النموذج الأصلي.

زمن الانتقال والتسريع

كفاءة النطاق الترددي: يحقق ASTRA تسريعاً يصل إلى 2.64× مقارنة بالاستنتاج أحادي الجهاز، وما يصل إلى 15.25× مقارنة بالنماذج المرجعية السابقة متعددة الأجهزة (توازي التوتر، توازي التسلسل، توازي الكتل) عند نطاقات تردد منخفضة تصل إلى 10 ميجبت في الثانية.
المقارنة: عند 20 ميجبت في الثانية، يحقق ASTRA تسريعاً يتراوح بين 1.27 و2.74×، بينما غالباً ما تؤدي النماذج المرجعية الحالية إلى أداء أسوأ من الاستنتاج أحادي الجهاز بسبب هيمنة الاتصال.
القابلية للتوسع: يزدما مع عدد الأجهزة (حتى 8) وطول الرموز المدخلة، مما يثبت أن ASTRA يخفف بفعالية من عنق زجاجة الاتصال الذي يعيق الطرق الأخرى مع نمو طول التسلسل.
المتانة: يظل ASTRA فعالاً في ظل ظروف الشبكة غير المثالية، بما في ذلك فقدان 5% من الحزم وتتبع النطاق الترددي الديناميكي والمتغير زمنياً.

التوافق

ASTRA متوافق مع التكميم القياسي للنماذج. عند دمجه مع التكميم بـ 4-بت، يوفر تسريعاً إضافياً في زمن الانتقال يتراوح بين 1.35 و2.73× فوق التكميم أحادي الجهاز وحده مع الحفاظ على الدقة.

5. الأهمية والادعاءات

تدعي الورقة أن ASTRA يجعل استنتاج المحولات متعدد الأجهزة ممكناً في بيئات العالم الحقيقي محدودة النطاق الترددي (مثل أجهزة الحافة، وشبكات Wi-Fi الاستهلاكية) حيث تفشل الطرق الحالية. من خلال تقليل متطلبات النطاق الترددي اللازمة للتسريع من 500 ميجابت في الثانية إلى 10 ميجابت في الثانية فقط، يمكن لـ ASTRA نشر النماذج الكبيرة على أجهزة محدودة الموارد دون الحاجة إلى مجموعات خوادم عالية الأداء.

يؤكد المؤلفون أنه بينما يتطلب ASTRA ضبطاً دقيقاً (fine-tuning) لمواءمة وحدات VQ مع النموذج المدرب مسبقاً، فإن هذه التكلفة أقل بكثير من التدريب من الصفر (على سبيل المثال، 52 ساعة GPU لضبط Llama-3-8B مقابل 1.3 مليون ساعة GPU للتدريب المسبق). يضع هذا العمل ASTRA كحل عملي لتسريع الاستنتاج في البيئات الموزعة وغير المتجانسة والمحدودة النطاق الترددي، مما يسد الفجوة بين التوازي النظري وقيود النشر العملي.