💻 computer science

FTerViT: Fully Ternary Vision Transformer

تقدم هذه الورقة FTerViT، وهو نموذج Vision Transformer ثلاثي القيم بالكامل (fully ternarized) يقوم بتكميم جميع الأوزان ومعلمات التقييس (normalization parameters) لتحقيق ضغط كبير في الذاكرة وتمكين النشر الفعال على الأجهزة في المتحكمات الدقيقة مع الحفاظ على دقة تنافسية في مجموعة بيانات ImageNet-1K.

المؤلفون الأصليون: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً ومثقفاً للغاية (Vision Transformer أو ViT) يمكنه النظر إلى صورة وإخبارك بدقة ما هي. هذا الأمين ذكي للغاية، لكنه يحمل مكتبة ضخمة من الكتب في رأسه. إذا حاولت وضع هذا الأمين في حقيبة ظهر صغيرة (مثل المتحكم الدقيق - Microcontroller الموجود في ساعة ذكية أو كاميرا رخيصة)، فإن الحقيبة ستتمزق لأن الكتب ثقيلة جداً وتأخذ مساحة كبيرة.

عادةً، لكي يتمكن المهندسون من وضع ذكاء اصطناعي متطور داخل جهاز صغير، يحاولون تقليص حجم الكتب. قد يقومون بتحويل النص إلى رمز أقصر، لكنهم غالباً ما يتركون الصفحات الأكثر أهمية ودقة (مثل الغلاف، والفهرس، والملخص النهائي) بتنسيقها الأصلي الضخم. تجادل الورقة البحثية بأن هذا يشبه محاولة وضع موسوعة ثقيلة في جيب عبر تقليص الفصول الوسطى فقط؛ فالغلاف والفهرس لا يزالان ثقيلين جداً.

إليك ما فعله مؤلفو FTerViT لحل هذه المشكلة:

1. قاموس "الألوان الثلاثة"

بدلاً من استخدام أرقام معقدة (مثل 3.14159...) لتخزين المعلومات، أجبر المؤلفون الذكاء الاصطناوي على استخدام ثلاث رموز بسيطة فقط: -1، و0، و+1.

فكر في الأمر كقاموس حيث يتم استبدال كل كلمة بنقطة حمراء أو خضراء أو زرقاء.
من خلال استخدام هذه الخيارات الثلاثة فقط، يمكنهم حزم المعلومات بإحكام شديد. الأمر يشبه طي خريطة عملاقة لتصبح مربعاً صغيراً.
هم يسمون هذا Ternary (أي "ثلاثي").

2. الأجزاء "الهشة"

المحاولات السابقة لتقليص هذه النماذج من الذكاء الاصطناعي توقفت عند حد معين. لقد قاموا بتقليص "الدماغ الرئيسي" (المُشفّر - Encoder)، لكنهم تركوا "تضمين الرقعة" (Patch Embedding - كيف يرى الذكاء الاصطناعي اللمحة الأولى للصورة)، و"تطبيع الطبقة" (LayerNorm - كيف يوازن الذكاء الاصطناعي أفكاره)، و"المصنف" (Classifier - صانع القرار النهائي) بتنسيقها الأصلي الثقيل.

أدرك المؤلفون أنه في الجهاز الصغير، هذه الأجزاء "المتبقية" الثقيلة هي التي تشغل أكبر مساحة، رغم أنها قليلة العدد.
يعد FTerViT أول نموذج يقوم بتقليص كل شيء، بما في ذلك هذه الأجزاء الهشة، إلى التنسيق البسيط (-1، 0، +1).

3. خدعة "المعلم والتلميذ"

تقليص دماغ عملاق إلى دماغ صغير يؤدي عادةً إلى جعله ينسى كيفية التفكير، مما يتسبب في ارتكاب أخطاء سخيفة. ولإصلاح ذلك، استخدم المؤلفون تقنية تسمى Knowledge Distillation (تقطير المعرفة).

تخيل رئيس طهاة (الذكاء الاصطناعي الأصلي الثقيل) يعلم طباخاً مبتدئاً (الذكاء الاصطناعي الصغير المتقلص).
بدلاً من مجرد إخبار الطباخ المبتدئ "هذه قطة"، يوضح له رئيس الطهاة كيف يرى هذه القطة: "انظر إلى الأذنين، والشاربين، وشكل الجسم".
يتعلم الطباخ المبتدئ من خلال تقليد طريقة تفكير "الرئيس"، وليس مجرد الإجابة النهائية. سمح هذا للذكاء الاصطناعي الصغير بالبقاء ذكياً حتى بعد تقليصه إلى أصغر حجم ممكن.

4. النتيجة: ذكاء اصطناعي ذكي في كاميرا بـ 10 دولارات

اختبر المؤلفون هذا على شريحة متحكم دقيق شائعة ورخيصة جداً تسمى ESP32-S3 (الموجودة في الأجهزة التي تكلف حوالي 10 دولارات).

قبل: كان الذكاء الاصطناعي الأصلي بحجم 88.3 ميجابايت. كان كبيراً جداً بحيث لا يمكنه حتى الاستقرار على الشريحة.
بعد: نموذج FTerViT الجديد الخاص بهم يبلغ حجمه 5.81 ميجابايت فقط. إنه يناسب الشريحة تماماً.
الأداء: على الرغم من صغر حجمه، إلا أنه لا يزال ذكياً جداً. فهو يحدد الصور بشكل صحيح بنسبة تقارب 79.6% من المرات. وهذا أفضل بكثير من المحاولات السابقة للتقليص، والتي كانت تنخفض غالباً إلى 74% أو أقل.

5. لماذا يهمك الأمر في جيبك؟

تظهر الورقة البحثية أنك لست بحاجة إلى كمبيوتر خارق لتشغيل رؤية ذكية. يمكنك تشغيلها على جهاز بذاكرة 8 ميجابايت (حوالي حجم ملف نصي صغير).

السرعة: نظرًا لأن البيانات صغيرة جدًا، لا يحتاج الجهاز إلى العمل بجهد كبير لجلب المعلومات. لذا فهو يعمل بشكل أسرع ويستهلك بطارية أقل.
الكفاءة: قام المؤلفون ببناء "محرك" مخصص (برمجيات) يشغل هذا الذكاء الاصطناعي الصغير بالكامل على الشريحة، دون الحاجة إلى الاتصال بالإنترنت أو بخادم سحابي.

باختة القول: تقدم الورقة طريقة لتقليص أكثر نماذج الذكاء الاصطناعي تقدماً في رؤية الصور إلى حجم حصاة صغيرة، مما يسمح لها بالعمل على أجهزة رخيصة تعمل بالبطارية، والتي كانت ضعيفة سابقاً عن التعامل معها. لقد فعلوا ذلك عن طريق تبسيط الرياضيات لتقتصر على ثلاثة أرقام فقط واستخدام "معلم" لتعليم النموذج الصغير كيفية التفكير بشكل صحيح.

ملخص تقني: FTerViT: محول الرؤية ثلاثي القيم بالكامل (Fully Ternary Vision Transformer)

بيان المشكلة

تعد محولات الرؤية (Vision Transformers - ViTs) نماذج قوية لتصنيف الصور، لكنها غير مناسبة بشكل عام للأجهزة من فئة المتحكمات الدقيقة (Microcontrollers) بسبب بصمتها الذاكرية الضخمة. يتطلب نموذج ViT مدمج قياسي مثل DeiT-Small حوالي 88.3 ميجابايت بدقة FP32، بينما توفر وحدات المتحكمات الدقيقة (MCUs) النموذجية بضعة ميجابايت فقط من ذاكرة الوصول العشوائي الخارجية (RAM). هذا التفاوت يمنع نشر تطبيقات الرؤية التي تعمل دائماً ومنخفضة الطاقة على الأجهزة الطرفية دون الحاجة إلى معالجة سحابية.

بينما يوفر التكميم ثلاثي القيم (حصر الأوزان في المجموعة $\{-1, 0, +1\}$ ) ضغطاً نظرياً بمقدار 16 ضعفاً مقارنة بـ FP32، فإن الطرق المتطورة الحالية تكتفي بتكميم طبقات مشفر المحول (Transformer Encoder) فقط. فهي تحتفظ بطبقات تضمين الرقع (Patch Embedding)، ومعاملات تسوية الطبقة (LayerNorm)، ورؤوس التصنيف (Classifier Heads) بدقة كاملة (FP32) أو بأعداد صحيحة أقل دقة (INT8). وفي النماذج المدمجة، تصبح هذه المكونات المتبقية ذات الدقة الكاملة هي العائق الرئيسي، حيث تستهلك ما يصل إلى 38% من حجم النموذج رغم أنها تمثل جزءاً صغيراً من المعلمات. علاوة على ذلك، أدت المحاولات السابقة لتكميم هذه المكونات الحساسة بالكامل (مثل TerViT) إلى انخفاض كبير في الدقة (يصل إلى 22.4 نقطة مئوية)، ويرجع ذلك أساساً إلى الحساسية المعروفة للطبقات الأولى والأخيرة تجاه التكميم.

المنهجية

يقترح المؤلفون FTerViT، وهو أول محول رؤية ثلاثي القيم بالكامل حيث يتم تقييد جميع مصفوفات الأوزان ومعاملات التسوية إلى $\{-1, 0, +1\}$ . يتكون النهج من ركيزتين رئيسيتين: عوامل تشغيل ثلاثية مبتكرة وبروتوكول تدريب متخصص.

1. العناصر الأولية الثلاثية (Ternary Primitives)

لإزالة اختناقات FP32، استبدل المؤلفون المكونات القياسية بوحدات ثلاثية مخصصة:

TernaryBitLinear: يُستخدم للطبقات كاملة الاتصال. يقوم بتكميم الأوزان إلى $\{-1, 0, +1\}$ باستخدام مقياس المتوسط المطلق لكل تنسور (per-tensor absolute mean) والتقريب المكبوت (clamped rounding). كما يتم تكميم التنشيطات إلى أعداد صحيحة 8-بت باستخدام مقياس الحد الأقصى المطلق لكل توكن (per-token absolute max scaling).
TernaryBitConv2d: مصمم خصيصاً لطبقة تضمين الرقع (Patch Embedding). يقوم بتطبيق مقياس لكل قناة (per-channel scaling) للتعامل مع تباين أحجام المرشحات، مما يعالج حساسية طبقة تضمين الرقع التي حددتها الدراسات السابقة كأكثر المكونات حرجاً.
TernaryLayerNorm: يقوم بتكميم المعلمات التآلفية القابلة للتعلم ( $\gamma$ و $\beta$ ) لطبقة LayerNorm باستخدام نفس مخطط الـ $absmean$. تظل الإحصائيات لكل توكن (المتوسط والتباين) والانحيازات (biases) بدقة FP32 لأن عدد معاملاتها ضئيل، وتكميمها من شأنه تدمير المعلومات الموضعية.

2. بروتوكول التدريب

يتم تدريب النموذج باستخدام استراتيجية تقطير المعرفة (Knowledge Distillation - KD) ثنائية المرحلة:

المرحلة 1 (التدريب): يتم تهيئة الطالب ثلاثي القيم من معلم مدرب مسبقاً بدقة FP32 ويتم تدريبه باستخدام تقطير التكميم الواعي (QAD) بمعدل تعلم قدره $10^{-4}$ (تناقص جيب التمام - cosine decay) لمدة 250 حقبة (epoch). تستخدم دالة الخسارة فقط حد تباعد KL الأمامي بين لوجيتات (logits) الطالب والمعلم، لتجنب تداخل الإنتروبيا المتقاطعة (cross-entropy) مع KL في الشبكات منخفضة البت.
المرحلة 2 (الاستعادة): مرحلة ضبط دقيق خفيفة حيث يتم إعادة تشغيل معدل التعلم عند $10^{-5}$ (تناقص جيب التمام) لمدة 10 حقبات. تسمح هذه المرحلة بإعادة معايرة المقاييس واستعادة الدقة المفقودة أثناء مرحلة التشبع الأولية في المرحلة الأولى.

المساهمات الرئيسية

أول محول رؤية ثلاثي القيم بالكامل: أثبت المؤلفون أن أكثر مكونات الـ ViTs هشاشة (تضمين الرقع، وطبقات LayerNorm، ورأس التصنيف) يمكن تكميمها بنجاح إلى $\{-1, 0, +1\}$ عند تدريبها باستخدام تقطير المعرفة، مما يدفع حدود ما كان يعتبر سابقاً قابلاً للتكميم.
عوامل تشغيل مبتكرة: تقديم TernaryBitConv2d مع مقياس لكل قناة و TernaryLayerNorm للتعامل مع الحساسية الخاصة لغير طبقات المشفر.
استراتيجية التدريب: استراتيجية تدريب بسيطة وفعالة من مرحلتين (تدريب بمعدل تعلم عالٍ يليه استعادة بمعدل تعلم منخفض) تتيح تقارباً أسرع ودقة نهائية أعلى بكثير مقارنة بأساليب ViT ثلاثية القيم السابقة.
التنفيذ على الجهاز: أول تنفيذ مستقل بلغة C لمحول رؤية ثلاثي القيم على متحكم ESP32-S3 ثنائي النواة محدود الموارد (مع 8 ميجابايت من ذاكرة PSRAM).

النتائج التجريبية

تم تقييم الطريقة على ImageNet-1K وغيرها من المعايسات:

الدقة والضغط:
- FTerViT-DeiT-III-S (384 $\times$ 384): يحقق دقة top-1 بنسبة 82.43% بحجم 6.09 ميجابايت (ضغط بمقدار 14.6 $\times$ )، بفقدان 2.42 نقطة مئوية فقط مقارنة بمعلم الـ FP32 الخاص به. ويتفوق على طرق ViT ثلاثية القيم السابقة (مثل TerViT) بما يصل إلى 8 نقاط مئوية.
- FTerViT-DeiT-III-S (224 $\times$ 224): يحقق دقة top-1 بنسبة 79.64% بحجم 5.81 ميجابايت.
- FTerViT-DeiT-S (224 $\times$ 224): يحقق دقة top-1 بنسبة 77.47% بحجم 5.81 ميجابايت، متفوقاً على TerViT-DeiT-S بمقدار 3.27 نقطة مئوية.
- معايير CIFAR: تحقق متغيرات DeiT-Tiny نسبة 97.43% (CIFAR-10) و 86.01% (CIFAR-100) مع تخزين قدره 1.53 ميجابايت فقط.
تحليل حساسية المكونات:
- تؤكد تحليلات Taylor من الدرجة الأولى وتحليلات Hessian-trace أن طبقات LayerNorm وتضمين الرقع يهيمنان على أهمية النموذج (34-39% و 4.6% على التوالي) رغم أنهما يشغلان أقل من 0.2% من المعلمات. وهذا يفسر سبب ترك الطرق السابقة لهما بدقة أعلى، ولماذا يعد نجاح تكميمهما أمراً بالغ الأهمية.
النشر على الجهاز (ESP32-S3):
- يتسع نموذج 5.81 ميجابايت بالكامل في ذاكرة 8 ميجابايت من PSRAM الخاصة بـ ESP32-S3، مما يترك حوالي 4.5 ميجابايت لملفات الكاميرا وذاكرة التخزين المؤقت للشاشة (LCD).
- الأداء: تستغرق عملية التمرير الأمامي (forward pass) 21.06 ثانية.
- الكفاءة: مقارنة بـ FP32، فإن الاستدلال ثلاثي القيم المعبأ (packed 2-bit) أسرع بمقدار 1.71 $\times$ (804 مللي ثانية مقابل 1376 مللي ثانية لطبقة معينة) ويقلل من استهلاك الطاقة فوق حالة الخمول بنسبة 55% (59 مللي جول مقابل 130 مللي جول).

الأهمية

يزعم البحث أن FTerViT يقلص بشكل كبير الفجوة بين دقة الـ ViT القياسية وقيود الذاكرة الصارمة للنشر على مستوى المتحكمات الدقيقة. من خلال النجاح في تكميم الهيكل بالكامل، بما في ذلك طبقات تضمين الرقع وطبقات التسوية التي كانت تُعتبر سابقاً "غير قابلة للمس"، مكن المؤلفون من نشر نماذج رؤية عالية الدقة على متحكمات دقيقة تجارية منخفضة التكلفة (10 دولارات). يؤكد العمل أنه مع استراتيجية التدريب الصحيحة (تقطير المعرفة بنفس الهيكل ومرحلة الاستعادة ثنائية المرحلة)، يمكن إدارة حساسية هذه المكونات، مما يجعل محولات الرؤية ثلاثية القيم بالكامل حقيقة عملية للذكاء الاصطنا edge. ويشير المؤلفون إلى أن الفجوة في الدقة بالنسبة لـ FP32 تتناسب عكسياً مع سعة النموذج، حيث تعاني النماذج الأكبر (DeiT-III-S384) من فقدان نسبي أقل في الدقة مقارنة بالنماذج الأصغر.