Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge
تقدم هذه الورقة QUAD، وهو إطار عمل موحد يتيح استنتاجاً فعالاً لنماذج الرؤية التوليدية متعددة المهام على الأجهزة الطرفية من خلال معاملة أوزان LoRA كمدخلات وقت التشغيل وتوظيف التدريب الواعي بالكمية لتحقيق تخفيضات كبيرة في بصمة الذاكرة وزمن الاستجابة مع الحفاظ على جودة بصرية عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فنانًا فائق الذكاء يعيش داخل هاتفك الذكي. هذا الفنان موهوب للغاية ويمكنه القيام بأشياء كثيرة: إزالة السياح غير المرغوب فيهم من صور عطلاتك، أو تغيير خلفية صورة "سيلفي" إلى شاطئ، أو تحويل رسم تخطيطي بسيط إلى لوحة واقعية.
ومع ذلك، هناك مشكلة. هذا الفنان ضخم الحجم. لكي يتمكن من العمل، يتعين عليك عادةً حمل حقيبة ظهر عملاقة مليئة بالأدوات الثقيلة.
الطريقة القديمة: مشكلة "فنان واحد، حقيبة ظهر واحدة"
في الماضي، إذا كنت تريد من هاتفك القيام بثلاث مهام مختلفة (مثل تحرير الصور، وتوليد الفنون، وإزالة الأشياء)، كان عليك تدريب ثلاث نسخ منفصلة من هذا الفنان.
- المشكلة: للانتقال من وضع "محرر الصور" إلى وضع "مولد الفنون"، كان على هاتفك تفريغ حقيبة الظهر الثقيلة الأولى وتحميل حقيبة أخرى ثقيلة بنفس القدر.
- النتيجة: امتلأت مساحة تخزين هاتفك (ROM) بنسخ مكررة من عقل الفنان. وكان التبديل بين المهام بطيئًا لأن الهاتف كان يضطر للتوقف، وحزم الأمتعة، وتفريغ معدات جديدة في كل مرة. كان الأمر يشبه محاولة تغيير محرك السيارة في كل مرة تريد فيها الذهء إلى البقالة بدلاً من الذهاب إلى المنتزه.
الحل الجديد: "عقل واحد، ملابس متعددة"
ابتكر الباحثون في سامسونج نظامًا ذكيًا جديدًا يسمى QUAD (التكميم الموحد مع التقطير التكيفي). وإليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. "الملابس الجاهزة للارتداء" (LoRA كمدخلات)
بدلاً من بناء فنان جديد لكل مهمة، أبقوا على فنان واحد فقط (النموذج الأساسي) ومنحوه خزانة ملابس خاصة.
- الطريقة القديمة: كانت ملابس الفنان مخيطة بشكل دائم على جسده. ولتغيير الأسلوب، كان عليك إعادة بناء الشخص بالكامل.
- الطريقة الجديدة: يرتدي الفنان بدلة أساسية محايدة. أوزان "LoRA" هي بمثابة ملابس سحرية قابلة للفصل (مريلة طباخ، مئزر رسام، سترة مصور).
- كيف يعمل: عندما تريد تعديل صورة، يرتدي الهاتف فورًا "زي المحرر". وعندما تريد توليد فن، يرتدي "زي الفنان". العقل الأساسي لا يتغير أبدًا؛ هو فقط يستبدل الأدوات التي يستخدمها. وهذا يعني أنك تحتاج فقط لتخزين نسخة واحدة من الفنان، مما يوفر مساحة هائلة.
2. "المترجم العالمي" (التكميم الموحد)
هذا هو الجزء الصعب: الهواتف الرقمية (خاصة الرقائق الموجودة بداخلها) تتحدث لغة مبسطة تسمى "التكميم" (استخدام أرقام أقل لتوف توفير الذاكرة).
- المشكلة: عادةً ما تتحدث "ملابس المحرر" لهجة مختلفة قليلاً عن "ملابس الفنان". إذا حاولت إجبارهم على التحدث بنفس اللغة المبسطة، فقد يرتبك الفنان ويبدأ في رسم صور غريبة.
- الحل (QUAD): ابتكر الباحثون "مترجمًا عالميًا". لقد علموا جميع الملابس المختلفة التحدث بنفس اللهجة المبخرة نفسها قبل أن تغادر المصنع.
- التشبيه: تخيل تدريب مجموعة من الممثلين الذين يتحدثون لهجات مختلفة (فرنسية، إسبانية، إيطالية) ليؤدوا جميعًا مسرحية باستخدام إشارات اليد فقط. إنهم يتدربون معًا حتى يفهم الجميع الإشارات تمامًا. الآن، يمكن للمخرج (الهاتف) التبديل بين الممثلين فورًا دون أن يرتبك أحد أو يحتاج لإعادة تعلم النص.
3. "وقت التشغيل خفيف الوزن" (شاحنة التوصيل)
أخيرًا، بنوا شاحنة توصيل صغيرة وفعالة (مجموعة البرامج) تعمل على هاتفك.
- نظرًا لأن الفنان والملابس الآن متوافقان تمامًا ويتحدثان نفس اللغة، فإن الشاحنة لا تحتاج إلى التوقف وإعادة تحميل المحرك بالكامل. إنها فقط تستبدل الزي في جزء من الثانية.
لماذا يهم هذا؟ (النتائج)
باستخدام نظام "عقل واحد، ملابس متعددة" هذا:
- التخزين: يحتاج هاتفك إلى مساحة أقل بـ 6 مرات لتخزين كل هذه الميزات. بدلاً من 15 جيجابايت من الفوضى، تسع في 2.6 جيجابايت فقط.
- السرعة: التبديل بين المهام أسرع بـ 4 مرات. أنت لا تنتظر الهاتف "ليحمل" تطبيقًا جديدًا؛ بل هو فقط يرتدي أداة جديدة فورًا.
- الجودة: لا تزال الصور تبدو مذهلة. "المترجم العالمي" يضمن أن الفنان لا يفقد موهبته لمجرد أنه يتحدث لغة أبسط.
باختصار
تتعلق هذه الورقة البحثية بجعل الذكاء الاصطنا في هاتفك أذكى وأخف وزنًا. بدلاً من حمل مكتبة من الكتب الثقيلة والمنفصلة لكل مهمة، أنشأوا كتابًا رئيسيًا واحدًا بـ فصول مغناطيسية قابلة للتبديل تتحدث جميعها نفس اللغة. وهذا يسمح لهاتفك بأداء مهام الذكاء الاصطنا المعقدة فورًا، دون نفاذ الذاكرة أو البطارية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.