💻 computer science

Unlocking the Edge deployment and ondevice acceleration of multi-LoRA enabled one-for-all foundational LLM

تقدم هذه الورقة إطار عمل مدركاً للعتاد يتيح النشر الفعال لنماذج LLaMA التأسيسية المدعومة بـ multi-LoRA على أجهزة Samsung Galaxy S24/S25 عبر دمج تبديل المهام الديناميكي، وفك التشفير متعدد المسارات، وفك التشفير الذاتي التخميني الديناميكي (Dynamic Self-Speculative Decoding) لتحقيق انخماثات كبيرة في الذاكرة وزمن الاستجابة مع الحفاظ على الدقة عبر لغات ومهام متعددة.

المؤلفون الأصليون: Sravanth Kodavanti, Sowmya Vajrala, Srinivas Miriyala, Utsav Tiwari, Uttam Kumar, Utkarsh Kumar Mahawar, Achal Pratap Singh, Arya D, Narendra Mutyala, Vikram Nelvoy Rajendiran, Sharan Kumar Allur, Eun

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sravanth Kodavanti, Sowmya Vajrala, Srinivas Miriyala, Utsav Tiwari, Uttam Kumar, Utkarsh Kumar Mahawar, Achal Pratap Singh, Arya D, Narendra Mutyala, Vikram Nelvoy Rajendiran, Sharan Kumar Allur, Euntaik Lee, Dohyoung Kim, HyeonSu Lee, Gyusung Cho, JungBae Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عقل روبوت فائق الذكاء ومتعدد اللغات (نموذج لغوي كبير أو LLM) يعيش في السحابة. إنه عبقري، لكنه ضخم، وبطيء الاستدعاء، ويتطلب اتصالاً بالإنترنت. الآن، تخيل تقليص حجم ذلك العقل ليناسب هاتفك الذكي، مما يجعله يعمل فوراً، وبخصوصية، ودون الحاجة لشبكة Wi-Fi. هذا هو التحدي الهندسي الهائل الذي تحله هذه الورقة البحثية.

لقد توصل الباحثون في سامسونج إلى كيفية حشر ذكاء اصطناعي يشبه "السكين السويسري" داخل هاتفك (تحديداً في Galaxy S24 وS25) يمكنه التعامل مع مهام مختلفة في وقت واحد، والتبديل بينها فوراً، وحتى الكتابة بـ "شخصيات" مختلفة في آن واحد.

إليك كيف فعلوا ذلك، مشروحاً من خلال تشبيهات بسيطة:

1. مشكلة "عقل واحد، قبعات متعددة"

عادةً، إذا أردت من روبوت أن يتحدث الفرنسية، ويكتب قصيدة، ويدقق قواعدك اللغوية، فقد تحتاج إلى ثلاثة روبوتات مختلفة أو ثلاث نسخ مختلفة من نفس الروبوت. هذا يستهلك مساحة كبيرة من هاتفك.

الحل: قاموا ببناء "عقل واحد ثابت" (النموذج الأساسي) وصنعوا ثماني "قبعات" مختلفة (تسمى LoRAs) يمكن ارتداؤها وخلعها فوراً.

الطريقة القديمة: لتبديل القبعات، كان عليك إيقاف الروبوت، وإخراج العقل بالكامل، واستبداله بآخر، ثم البدء من جديد.
الطريقة الجديدة: يحتفظ الروبوت بنفس العقل. أنت فقط تعطيه "قبعة" مختلفة (ملف بيانات صغير) أثناء تشغيله. سيعرف الروبوت فوراً: "أوه، أنا أرتدي قبعة 'الأسلوب المهذب' الآن"، أو "الآن أنا أرتدي قبعة 'مدقق القواعد'". لا إعادة تشغيل ولا إعادة تحميل.

2. "المطبخ المتوازي" (فك التشفير متعدد المسارات - Multi-Stream Decoding)

تخ den أنك طباخ (الذكاء الاصطناعي) وطلب منك زبون وصفة ما. لكنه يريد رؤية ثلاث نسخ في وقت واحد: واحدة "رسمية"، وواحدة "ودية"، وواحدة "مرحة".

الطريقة القديمة: يطبخ الطباخ النسخة الرسمية، ثم يقدمها. ثم ينظف مكان العمل ويطبخ النسخة الودية. ثم النسخة المرحة. هذا يستغرق وقتاً طويلاً.
الطريقة الجديدة: يدرك الطباخ أن الخطوة الأولى لجميع الوصفات هي نفسها (تقطيع البصل). لذا، يقطع البصل مرة واحدة، ولكن بعد ذلك يقسم الطبخ إلى ثلاث مقالي متوازية. يطبخ جميع الأساليب الثلاثة في نفس الوقت في تمريرة واحدة.
النتيجة: بدلاً من الانتظار 8 ثوانٍ للحصول على 8 أساليب مختلفة، تحصل عليها جميعها في ثانية واحدة. تسمي الورقة البحثية هذا "فك التشفير متعدد المسارات"، وهو ما يجعل الذكاء الاصطناعي أسرع بـ 6 مرات لهذه المهام.

3. لعبة التخمين بـ "الكرة البلورية" (فك التشفير التخميني - Speculative Decoding)

عندما يكتب الذكاء الاصطناعي جملة، فإنه عادة يكتب كلمة بكلمة، ويراجع عمله بعد كل كلمة. هذا بطيء، مثل كاتب يتوقف بعد كل كلمة ليفحص القاموس.

الطريقة الجديدة: أعطى الباحثون الذكاء الاصطناعي "كرة بلورية" (تقنية تسمى Dynamic Self-Speculative Decoding). ينظر الذكاء الاصطناعي للأمام ويخمن الكلمتين أو الثلاث القادمة فوراً.
العملية: يكتب كتلة الكلمات كاملة بسرعة. ثم يقوم بـ "فحص سريع" ليرى ما إذا كانت التخمينات صحيحة. إذا كانت كذلك، فهذا رائع! يستمر في العمل. إذا لم تكن كذلك، فإنه يصحح الكلمات الخاطئة فقط.
النتيجة: الأمر يشبه الكتابة باستخدام نص تنبؤي جيد جداً لدرجة أنه يكتب جملًا كاملة نيابة عنك، وأنت فقط تتحقق منها. هذا جعل الذكاء الاصطناعي أسرع بمقدار 2.3 مرة في توليد النصوص.

4. "تعبئة الحقيبة" (الكمية والتحسين - Quantization & Optimization)

نموذج الذكاء الاصطناعي الكامل يشبه حقيبة سفر ضخمة وثقيلة لا تتسع في حقيبة يد صغيرة (ذاكرة هاتفك).

الحيلة: لم يرمِ الباحثون الملابس (الذكاء)؛ بل قاموا فقط بطيها بشكل أكثر إحكاماً. لقد ضغطوا ذاكرة النموذج من تنسيق "32-بت" الثقيل إلى تنسيق "4-بت" خفيف الوزن (مثل تحويل معطف صوفي إلى طبقة حرارية رقيقة وعالية التقنية).
الأجهزة: قاموا أيضاً بإعادة ترتيب "المطبخ" داخل معالج الهاتف (NPU) بحيث يمكن للذكاء الاصطناعي استخدام أدوات الهاتف الموجودة (التي تُستخدم عادةً للصور) للقيام بالعمليات الحسابية بشكل أسرع بكثير.

الخلا الخط النهائي

من خلال الجمع بين هذه الحيل، تمكن الفريق من:

توفير المساحة: يتناسب الذكاء الاصطناعي مع هاتفك دون استهلاك كل مساحة التخزين لديك.
توفير الوقت: يستجيب فوراً، حتى عند التبديل بين اللغات أو المهام.
العمل دون اتصال: لا تحتاج إلى الإنترنت لاستخدام هذه الميزات الذكية.

باختصار: لقد حولوا سوبر كمبيوتر ضخماً، بطيئاً، ومعتمداً على السحابة، إلى مساعد رشيق، فوري، بحجم الجيب، يمكنه ارتداء العديد من القبعات والتحدث بلغات عديدة في آن واحد. هذه هي التقنية التي تدعم ميزات "Galaxy AI" في أحدث هواتف سامسونج.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "فتح آفاق النشر عند الحافة والتسريع على الجهاز للنماذج اللغوية الكبيرة التأسيسية متعددة الـ LoRA بنظام 'واحد للجميع'."

1. بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) على أجهزة الحافة المحمولة (تحديداً Samsung Galaxy S24/S25 مع شرائح Qualcomm SM8650/SM8750) عقبات هندسية كبيرة:

قيود الموارد: قيود صارمة على الذاكرة (RAM)، وزمن الاستجابة (Latency)، واستهلاك الطاقة.
عدم المرونة مقابل القدرة على التكيف: غالباً ما تستخدم النماذج اللغوية الكبيرة في جانب الخادم الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA للتكيف مع مهام محددة. ومع ذلك، يتطلب النشر على الأجهزة عادةً رسوم بيانية للاستنتاج (inference graphs) مجمدة لضمان ضمانات الأداء.
الصراع: تتطلب النهج التقليدية إعادة تجميع (recompiling) أو إعادة تكميم (re-quantizing) النموذج لكل مهمة جديدة أو محول LoRA، وهو أمر غير ممكن للتطبيقات المحمولة التي تعمل في الوقت الفعلي ومتعددة حالات الاستخدام.
اختناقات زمن الاستجابة: إن توليد تنويعات أسلوبية متعددة (مثل: رسمي مقابل مرح) أو تشغيل مهام متعددة بالتتابع يضاعف من زمن الاستجابة. كما أن فك التشفير التخميني (speculative decoding) القياسي يتطلب غالباً نماذج "مسودة" منفصلة، مما يستهلك ذاكرة نادرة.

2. المنهجية

يقترح المؤلفون إطار عمل مدركاً للأجهزة (hardware-aware) يتيح رسمًا بيانيًا واحدًا مجمدًا للاستنتاج يمكنه التعامل ديناميكيًا مع محولات LoRA والمهام المتعددة دون الحاجة لإعادة التجميع. يدمج الحل أربعة ابتكارات أساسية:

أ. تبديل وقت التشغيل لـ Multi-LoRA (رسم بياني واحد للجميع)

بدلاً من دمج أوزان LoRA بشكل ثابت أو الحفاظ على رسوم بيانية متعددة، يعامل المؤلفون أوزان LoRA كـ مدخلات وقت التشغيل.

الآلية: يتم تجميع الرسم البياني للنموذج اللغوي الأساسي مع "أماكن محجوزة" (placeholders) لأوزان LoRA. في وقت التشغيل، يتم تمرير أوزان LoRA المحددة (للمهام/اللغات المختلفة) كمدخلات جنباً إلى جنب مع بيانات الرموز (tokens).
الفائدة: يسمح هذا بالتبديل الديناميكي للمهام (مثل الانتقال من "الترجمة" إلى "التلخيص") فورياً دون الحاجة لإعادة تحميل النموذج أو إعادة تجميع الرسم البياني، مما يقلل بشكل كبير من بصمة الذاكرة ومتطلبات التخزين.

ب. تحسينات البنية والتكميم (Quantization)

لجعل النموذج يتناسب مع وحدات المعالجة العصبية (NPUs) في الهواتف المحمولة:

توازي الانتباه (Attention Parallelism): يتم تفكيك آلية الانتباه متعدد الرؤوس (MHA) إلى عمليات انتباه أحادية الرأس (SHA) متوازية لتعزيز الاستفادة من نوى الـ NPU غير المتجانسة.
التحويل من الطبقات الخطية إلى التلافيفية (Linear-to-Convolutional): يتم إعادة تفسير الطبقات الخطية الكثيفة كعمليات تلافيف (convolutions) بمقاس $1\times1$ . يستفيد هذا من نوى التلافيف المحسنة للغاية (Winograd, tiling) المتوفرة أصلاً في وحدات المعالجة العصبية للهواتف المحمولة والمصممة لمهام الرؤية الحاسوبية.
التكميم مختلط الدقة (Mixed-Precision Quantization):
- الأوزان: مكممة إلى INT4 (لكل قناة/per-channel).
- التنشيطات (Activations): مكممة إلى INT8 (لكل تنسور/per-tensor).
- التدريب: يستخدم التدريب الواعي بالتكميم (QAT) للحفاظ على الدقة رغم انخفاض الدقة الرقمية.

ج. توليد الرموز المتزامن (Concurrent Token Generation - CTG)

لمعالجة زمن استجابة توليد مخرجات أسلوبية متعددة (مثل: 8 نبرات مختلفة لـ "الرد الذكي"):

الآلية: بد instead من تشغيل النموذج 8 مرات بالتتابع، يستخدم النظام مخطط فك تشفير مقنع (masked decoding scheme). يقوم بتعديل أخذ عينات الرمز الأول لدفع مسارات متوازية متعددة ضمن تمريرة أمامية واحدة (forward pass).
الكفاءة: تشترك جميع المسارات في نفس ذاكرة التخزين المؤقت (KV-cache) وتنسيق التنسور. يقلل هذا من زمن الاستجابة بمقدار يصل إلى 6 أضعاف بالنسبة للتنويعات الأسلوبية مقارنة بالاستنتاج المتسلسل.

د. فك التشفير التخميني الذاتي الديناميكي (Dynamic Self-Speculative Decoding - DS2D)

لتسريع توليد الرموز دون عبء الذاكرة الناتج عن نموذج مسودة منفصل:

الآلية: يتم ضبط النموذج باستخدام ضبط البادئة (Prefix Tuning) ليصبح "شبه تلقائي التتابع". يقوم بإضافة "تضمينات التنبؤ" (forecast embeddings) إلى المطالبة (prompt)، مما يسمح له بالتنبؤ بـ $1+m$ من الرموز في خطوة واحدة (رمز واحد تم التحقق منه + $m$ من رموز المسودة).
التحقق القائم على الشجرة: تشكل رموز المسودة المولدة هيكلاً شجرياً. تقوم خطوة التحقق بقبول أو رفض هذه الرموز بناءً على قيم الـ logits الخاصة بالنموذج.
التحسين: يتم تحسين تكوين الفروع (عدد الرموز المتوقع التنبؤ بها) لكل حالة استخدام لزيادة معدلات القبول مع الحفاظ على توافق أحجام الدفعات (batch sizes) مع قيود القوى الرقمية (power-of-2) لوحدة الـ NPU (مثل 32).

3. المساهمات الرئيسية

تبديل LoRA في وقت التشغيل: إطار عمل مبتكر يتيح للرسم البياني المجمد الواحد تحميل محولات LoRA المتعددة ديناميكياً كمدخلات، مما يلغي الحاجة لإعادة تجميع النموذج.
بنية مدركة للأجهزة: تحويلات (MHA $\to$ SHA، و Linear $\to$ Conv) مصممة خصيصاً لمعالجات Qualcomm NPU لتعظيم الإنتاجية.
الاستنتاج متعدد المسارات المتزامن: طريقة لتوليد مخرجات أسلوبية متعددة في آن واحد في تمريرة واحدة، مما يحقق تقليلاً في زمن الاستجابة بمقدار 6 أضعاف.
فك التشفيد التخميني الخالي من المسودة: نهج "ذاتي التخمين" (DS2D) يستخدم ضبط البادئة الداخلي لتسريع فك التشفير بما يصل إلى 2.3 ضعف دون الحاجة لنموذج مسودة منفصل يستهلك الكثير من الذاكرة.
النشر التجاري: الدمج الناجح لهذا الإطار في سلسلة Samsung Galaxy S24 و S25، مع دعم 9 لغات و8 حالات استخدام متميزة.

4. النتائج

تم تقييم النظام على أجهزة Samsung Galaxy S24 (SM8650) و S25 (SM8750):

مكاسب الأداء:
- الذاكرة: تقليل ذروة استخدام الذاكرة بمقدار 4–6 أضعاف مقارنة بالنهج الأساسية.
- زمن الاستجابة: حقق تقليلاً في زمن الاستجابة يصل إلى 6 أضعاف لتوليد الأنماط المتعددة، وتسريعاً بمقدار 2.3 ضعف في وقت فك التشفير باستخدام DS2D.
- الإنتاجية (Throughput): رفع معدل توليد الرموز إلى 41.32 رمز/ثانية لنموذج 1B وتحسين معدل الرموز/ثانية بشكل كبير لنموذج 3B.
الدقة:
- حافظ على دقة عالية عبر 9 لغات (الكورية، الإنجليزية، الألمانية، الإسبانية، الفرنسية، الإيطالية، البرتغالية، الصينية، اليابانية) و 8 مهام (التصحيح، الأسلوب، الرد الذكي، التلخيص، إلخ).
- أظهرت النماذج المكممة (INT4/INT8) دقة نسبية (RA) تتجاوز غالباً 97-100% مقارنة بنماذج FP32 الكاملة (على سبيل المثال، 99.6% RA لتصحيح اللغة الكورية).
القابلية للتوسع: أثبت نجاح التوسع من نموذج بـ 1 مليار معلمة إلى نموذج بـ 3 مليارات معلمة باستخدام تحسين DS2D.

5. الأهمية

الجدوى التجارية: يثبت هذا العمل أن الذكاء الاصطناٍ التوليدي المعقد متعدد المهام يمكن أن يعمل بالكامل على الجهاز دون الاعتماد على السحابة، مما يعالج مخاوف الخصوصية ويمكّن الوظائف دون اتصال بالإنترنت.
تحول في النموذج (Paradigm Shift): إنه ينتقل من نموذج "نموذج واحد لكل مهمة" أو "الدمج الثابت" إلى رسم بياني للاستنتاج ديناميكي ومدفوع بالمدخلات، مما يضع معياراً جديداً لنشر الذكاء الاصطناعي عند الحافة.
الاستدامة: من خلال التحسين للأجهزة الطرفية، فإنه يقلل من تكلفة الطاقة والحوسبة المرتبطة بالاستنتاج السحابي للنماذج اللغوية الكبيرة.
التأثير المستقبلي: يوفر الإطار مخططاً لتنفيذ النماذج التأسيسية القابلة للتكيف على الأجهزة ذات الموارد المحدودة، مما يمهد الطريق لمساعدين أكثر تطوراً يعملون بالذكاء الاصطناعي على الأجهزة.

الملاحظات حول القيود

أبعاد LoRA: يجب أن تتشارك جميع محولات LoRA في أبعاد متطابقة لتناسب الأماكن المحجوزة في الرسم البياني الثابت.
تضمينات التنبؤ الثابتة: في DS2D، تكون تضمينات التنبؤ ثابتة وليست مشروطة بالتسلسلات المتطورة للمدخلات، مما قد يحد من معدلات القبول للمدخلات شديدة التباين.
الأنماط الثابتة: يعتمد التوليد المتزامن على متغيرات أسلوبية محددة مسبقاً؛ أما الأنماط الدينمايكية التي يحددها المستخدم فتتطلب إعادة تجميع.