ملخص تقني: KLAS - استخدام التشابه لربط الشبكات العصبية لتحسين المقايضة بين الدقة والكفاءة

1. بيان المشكلة

يواجه نشر نماذج المحولات الرؤيوية (ViTs) والشبكات العصبية الالتفافية (CNNs) الضخمة والمُدربة مسبقاً تحدياً جوهرياً: تتراوح البيئات المتنوعة من خوادم سحابية قوية إلى أجهزة طرفية محدودة الموارد، مما يتطلب اختيار نماذج مرنة ضمن ميزانيات حوسبة محددة. وبينما تحاول عملية البحث عن البنية العصبية (NAS) موازنة الدقة والكفاءة، فإن عمليات NAS التقليدية "واحد لواحد" مكلفة حوسبياً، كما أن نهج "واحد لمتعدد" أو "صفر-إطلاق" (zero-shot) غالباً ما يقتصر على مساحة تصميم نموذج واحدة، مما يفشل في الاستفيد من المخزون الغني للنماذج المدربة مسبقاً الموجودة بالفعل.

يقدم "ربط النماذج" (Model stitching) بديلاً واعداً عبر دمج كتل من نماذج "مرتكزة" (anchor models) مختلفة لتكوين شبكات متداخلة. ومع ذلك، تعتمد طرق الربط "متعدد لمتعدد" الحالية، مثل SN-Net، على استدلالات ساذجة (مثل "الربط الأقرب" للمرتكزات المتجاورة أو الاقتران الثابت للكتل). وغالباً ما تؤدي هذه الاستدلالات إلى مقايضات غير مثالية بين الدقة والكفاءة وتفتقر إلى القدرة على التعميم عبر عائلات النماذج المختلفة. علاوة على ذلك، فإن مساحة البحث لتكوينات الربط واسعة جداً ($O(k^2n^2)$ لـ $k$ من النماذج بعمق $n$)، مما يجعل البحث الشامل غير ممكن. تكمن المشكلة الجوهرية في غياب طريقة منهجية ومؤتمتة لتحديد تكوينات الربط المتوافقة التي تعظم الأداء دون تكبد تكاليف تدريب عالية.

2. المنهجية: إطار عمل KLAS

يقترح المؤلفون KLAS (الربط القائم على تباعد KL بناءً على المرتكزات)، وهو إطار عمل يؤتمت اختيار الربط من خلال الاستفادة من التشابه بين التمثيلات الوسيطة للنماذج المدربة مسبقاً.

المفهوم الجوهري: تباعد KL كمقياس للتشابه

يفترض KLAS أن الربط الناجح يعتمد على كل من التشابه التمثيلي (المحاذاة الهندسية للتنشيطات) والتشابه الوظيفي (الحفاظ على المعلومات ذات الصلة بالمهمة وحدود القرار). ويجادل المؤلفون بأن تباعد كولباك - ليبلر (KL divergence) مناسب بشكل فريد لالتقاط كليهما:

• المحاذاة التمثيلية: يقيس المسافة الإحصائية بين توزيعات التنشيط، مما يشير إلى ما إذا كان يمكن لتحويل خفيف الوزن رسم خرائط تنشيطات المصدر إلى تنشيطات الهدف.
• المحاذاة الوظيفية: يقيم مدى قدرة مخرجات كتلة المصدر على الحفاظ على حدود قرار النموذج المستهدف، مما يضمن احتفاظ الشبكة المربوطة بأداء المهمة النهائية مع حد أدنى من الضبط الدقيق.

وعلى عكس مقاييس مثل توافق النواة المركزية (CKA)، أو متوسط مربع الخطأ (MSE)، أو الإنتروبيا المتقاطعة (CE)، والتي غالباً ما تفشل في التنبؤ بنجاح الربط، يقيس تباعد KL مباشرةً مدى توافق توزيعات الاحتمالات الناتجة عن المسابر الخطية (linear probes).

خوارزمية KLAS

يعمل إطار العمل في مرحلتين رئيسيتين:

1. اختيار المرتكزات:

   • يحسب KLAS تباعد KL بين توزيعات احتمالات "softmax" لآخر الكتل في النماذج المرشحة المدربة مسبقاً.
   • تُعتبر النماذج ذات تباعد KL المنخفض في الكتلة الأخيرة مرتكزات متوافقة، حيث تشترك في حدود قرار وتوزيعات ثقة للفئات متشابهة. وهذا يستبدل استدلال "الربط الأقرب" المستخدم في الأعمال السابقة.

2. اختيار الكتل:

   • بمجرد اختيار المرتكزات، يقوم KLAS بتقييم أزواج الكتل باستخدام درجة ربط $\Gamma(i, j)$ معرفة كالتالي:
     $$\Gamma(i, j) = \frac{\Theta(P^f_i, P^g_j)}{\Theta(P^g_j, P^g_{j+1})}$$
     حيث أن:
     • $\Theta(P^f_i, P^g_j)$ هي مسافة التنشيط بين المرتكزين (تباعد KL بين الكتلة $i$ من المصدر والكتلة $j$ من الهدف).
     • $\Theta(P^g_j, P^g_{j+1})$ هي سعة الكتلة داخل المرتكز نفسه (تباعد KL بين الكتل المتتالية في المرتكز المستهدف).
   • توازن هذه الدرجة بين عبء التحويل على طبقة الربط الافتراضية وبين قدرة الكتلة المستهدفة على استيعاب الاختلافات التوزيعية.
   • الشبكة المسبارية (ProbeNet): لتقييم هذه الدرجات بكفاءة دون تدريب طبقات ربط كاملة، يستخدم KLAS بنية موحدة تسمى ProbeNet. حيث يتم إرفاق مسابر مصنف خطي بكل كتلة من النماذج المرتكزة وتدريبها معاً في تمريرة أمامية-خلفية واحدة. وهذا يكبد تكلفة ضئيلة لمرة واحدة (على سبيل المثال، 0.25 يوم من وحدة معالجة الرسومات لنموذج Swin-B) مقارنة بتدريب مسابر فردية.

3. اختيار التكوين:

   • يتم تصفية تكوينات الربط المرشحة بناءً على عتبة قابلة للضبط $\tau$ بالنسبة للدرجة الدنيا ضمن "أوعية العمليات الحسابية" (FLOPs buckets). وهذا يضمن وجود جبهة باريتو (Pareto front) كثيفة من النماذج القابلة للنشر عبر طيف الدقة والكفاءة.

3. المساهمات الرئيسية

1. تحديد محدودية الاستدلالات: يوضح البحث أن الاستدلالات الساذجة (مثل تلك الموجودة في SN-Net) ليست مثالية عالمياً، وغالباً ما تفوت تكوينات "الربط البعيد" المتفوقة (مثل ربط Swin-Ti مباشرة بـ Swin-B) التي تتجاهلها الاستدلالات.
2. مقياس تشابه منهجي: تقديم تباعد KL كمقياس لاختيار الربط يلتقط كلاً من المحاذاة التمثيلية والوظيفية دون الحاجة إلى إنشاء أو تدريب طبقات الربط.
3. إطار عمل KLAS: إطار عمل عام ومنخفض التكلفة لأتمتة اختيار المرتكزات والكتل عبر عائلات النماذج المتنوعة (ViTs، CNNs، وLLMs).
4. التحقق التجريبي: تجارب شاملة تظهر تحسينات مستمرة على النماذج المرجعية عبر مجموعات بيانات متعددة (ImageNet-1K, CIFAR-100, ADE20K, TruthfulQA) وبنيات مختلفة.

4. النتائج التجريبية

قيم المؤلفون KLAS مقابل SN-Net والنماذج المرجعية الأخرى تحت نفس ظروف الضبط الدقيق (50 حقبة للرؤية، و10 حقب للنماذج اللغوية الكبيرة).

• المقايضة بين الدقة والكفاءة:

  • ImageNet-1K: يحقق KLAS دقة أعلى في Top-1 بنسبة تصل إلى 1.21% عند نفس التكلفة الحسابية، أو تقليلاً بمقدار 1.33 ضعف في العمليات الحسابية (FLOPs) عند الدقة المتساوية مقارنة بـ SN-Net.
  • درجات AUC: في عائلة Swin، حقق KLAS مساحة تحت المنحنى (AUC) بلغت 0.8950، متفوقاً بشكل كبير على SN-Net (0.8345) ومقاييس التشابه الأخرى مثل CKA (0.8124).
  • تعدد البنيات: نجح KLAS في ربط ResNet-18 مع Swin-B، متفوقاً على نماذج الاستدلال المتتالي بنسبة 2-3% في دقة Top-1 عند مستويات FLOPs مماثلة.

• التنبؤ الكثيف (التقسيم الدلالي):

  • في مجموعة ADE20K باستخدام Mask2Former، حققت التكوينات المختارة بواسطة KLAS زيادة تصل إلى +0.9% في mIoU فوق نماذج SN-Net عند ميزانيات FLOPs مماثلة.

• النماذج اللغوية الكبيرة (LLMs):

  • باستخدام مرتكزات Llama 1B و3B على اختبار TruthfulQA، تفوقت النماذج المربوطة بواسطة KLAS على ESTA (منهج ربط LLM القائم على الاستدلال) بما يصل إلى 0.017 في ROUGE-1 و 0.033 في ROUGE-2، رغم امتلاكها عدد معاملات أقل في بعض التكوينات.

• فعالية المقياس:

  • نجح تباعد KL في استعادة 88.9% من تكوينات ربط Swin Ti-B القابلة للتطبيق، بينما استعاد CKA نسبة 5.5% فقط، واستدلالات SN-Net نسبة 61.1%.

5. الأهمية والادعاءات

يدعي البحث أن KLAS يعالج الفجوة الحرجة في ربط النماذج من خلال استبدال الاستدلالات العشوائية بنهج منهجي قائم على التشابه. وتكمن أهميته في:

• القدرة على التعميم: يعمل عبر عائلات بنيوية متنوعة (Transformers، CNNs، الهجينة) وأنماط مختلفة (رؤية، لغة)، متجاوزاً قيود الطرق المقتصرة على عائلات محددة.
• كفاءة التكلفة: يولد جبهة باريتو مستمرة من النماذج القابلة للنشر بتكاليف حسابية إضافية ضئيلة (فقط تدريب المسابر وضبط طبقة الربط)، متجنباً التكاليف الباهظة لعمليات البحث عن البنية العصبية (NAS) التقليدية.
• التحسين المنهجي: من خلال التقاط الاختلافات التوزيعية صراحةً عبر تباعد KL، يتيح KLAS اكتشاف تكوينات ربط غير بديهية وعالية الأداء (مثل "الربط البعيد") التي تفقدها الطرق الاستدلالية.

يخلص المؤلفون إلى أن KLAS يوفر حلاً قوياً ومؤتمتاً لتحسين المقايضة بين الدقة والكفاءة في سيناريوهات النشر، مما يستفيد بفعالية من النظام البيئي الحالي للنماذج المدربة مسبقاً دون الحاجة للتدريب من الصفر.