ملخص تقني: المشفرات التلقائية المتناثرة (SAEs) تُمكّن من الضبط الدقيق القوي والقابل للتفسير لنماذج CLIP

بيان المشكلة

تُظهر نماذج الرؤية واللغة ضخمة الحجم سابقة التدريب، مثل CLIP، أداءً مذهلاً في مهام التعلم الصفري (zero-shot) والمتانة تجاه تغيرات التوزيع. ومع ذلك، فإن الضبط الدقيق (fine-tuning) لهذه النماذج لتحسين الأداء داخل التوزيع (ID) في المهام اللاحقة غالباً ما يؤدي إلى تدهور في المتانة خارج التوزيع (OOD). هذه الظاهرة، المعروفة باسم "الانجراف التمثيلي" (representational drift) أو "قمع الميزات" (feature suppression)، تحدث لأن الضبط الدقيق القياسي يشوه فضاء التمثيل المسبق التدريب، مما يؤدي إلى استبدال الميزات ذات المعنى الدلالي بضجيج خاص بالمهمة أو اتجاهات عشوائية.

تحاول طرق الضبط الدقيق القوية الموجودة معالجة هذا التوازن، لكنها تواجه قيوداً كبيرة:

• WiSE-FT: يقوم بمتوسط الأوزان بين النموذج صفر المعرفة والنموذج المضبوط دقيقاً. ورغم فعاليته، إلا أنه غالباً ما يتجاهل مشفر النصوص ويعتمد على الاستيفاء البسيط، مما يوفر تحكماً محدوداً في أي الميزات يتم الحفاظ عليها.
• الأساليب الموجهة بالنصوص (مثل FLYP وStarFT): تقوم هذه الأساليب بضبط كل من مشفري الرؤية والنصوص، أو حقن ميزات اصطناعية وتصورات خارجية في مطالبات النصوص. تفرض هذه الأساليب تعقيداً حوسبياً وتعتمد على هندسة بيانات خارجية، مما يعقد عملية الضبط الدقيق.

التحدي الجوهري هو تحقيق ضبط دقيق قوي يحسن الأداء داخل التوزيع (ID) دون التضحية بالتعميم خارج التوزيع (OOD)، مع القيام بذلك بطريقة فعالة حوسبياً تعمل حصرياً على النمط البصري وتوفر قابلية التفسير حول كيفية تكيف النموذج.

المنهجية: SAE-FT

يقترح المؤلفون SAE-FT (الضبط الدقيق باستخدام المشفر التلقائي المتناثر)، وهو إطار عمل للتنظيم يقيد عملية الضبط الدقيق ضمن نطاق الميزات القابل للتفسير للنموذج المسبق التدريب. تعتمد الطريقة على فرضية التمثيل الخطي (Linear Representation Hypothesis)، التي تفترض أن المفاهيم عالية المستوى يتم تشفيرها كاتجاهات خطية في فضاء التنشيط.

المكونات الأساسية

1. تدريب المشفر التلقائي المتناثر (SAE):

   • يتم تدريب Top-k SAE بشكل غير مُشرف على التمثيلات البصرية المجمدة ($r_0$) لنموذج CLIP المسبق التدريب (صفر المعرفة).
   • يقوم الـ SAE بتفكيك التمثيلات الكثيفة متعددة المعاني (polysemantic) إلى أساس متناثر وفائق الاكتمال لميزات ذات معنى دلالي ($s$).
   • يتم تجميد أوزان الـ SAE بعد التدريب وتعمل كقاموس ثابت للميزات القابلة للتفسير.

2. استراتيجية التنظيم:
   أثناء الضبط الدقيق لمشفر الرؤية ($f_{ft}$)، يتم تقييد النموذج لضمان بقاء التحديثات على التمثيلات ($r_{ft}$) ضمن النطاق الدلالي للـ SAE المسبق التدريب. تجمع دالة الخسارة الإجمالية بين خسارة الإنتروبيا المتقاطعة القياسية ($L_{CE}$) وحدّي تنظيم محددين:

   • عقوبة المحاذاة المتبقية ($L_{resid}$): تضمن أن التغيير في التمثيل ($\Delta r = r_{ft} - r_0$) يمكن إعادة بنائه بواسطة فك ترميز الـ SAE. هذا يجبر التحديثات على أن تكون قابلة للتعبير كتركيبة خطية من الميزات الدلالية المتعلمة، مما يمنع النموذج من الانجراف نحو اتجاهات هندسية عشوائية متعامدة مع القاموس.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • عقوبة الحفاظ على الميزات ($L_{add}$): تمنع صراحةً تنشيط الميزات التي كانت غير نشطة في نموذج صفر المعرفة. هذا يمنع "إضافة" مفاهيم دلالية جديدة قد تكون زائفة.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     حيث $m_k$ هو مؤشر للميزات النشطة في نموذج صفر المعرفة.

3. التدريب والاستدلال:

   • الـ SAE لا يتم تحديثه أثناء الضبط الدقيق ولا يُستخدم أثناء الاستدلال. إنه يعمل فقط كقيد هندسي خلال حلقة التدريب.
   • تعمل الطريقة حصرياً على مشفر الرؤية باستخدام إعداد الإنتروبيا المتقاطعة برأس خطي، مما يتجنب تعقيد هندسة البيانات من جانب النص.

المساهمات الرئيسية

1. إطار عمل SAE-FT: استراتيجية ضبط دقيق مبتكرة تقيد تحديثات التمثيل ضمن النطاق المفسر للنموذج الأساسي. تضمن أن التكيف يحدث عبر إعادة وزن المفاهيم الدلالية الموجودة بدلاً من استبدالها، مما يمنع النسيان الكارثي للمعرفة العامة.
2. الأداء والكفاءة: تُظهر التجارب المكثفة أن SAE-FT يضاهي أو يتجاوز أفضل النتائج الحالية (SOTA) في المتانة على ImageNet ومعايير تغير التوزيع. والأهم من ذلك، أنه يحقق ذلك دون الحاجة لزيادات في جانب النصوص أو تصورات محقونة، مما يجعله أكثر كفاءة حوسبياً وأسهل في النشر من الأساليب الموجهة بالنصوص.
3. الرؤية الآلية: يوفر الإطار تحليلاً دقيقاً للحفاظ على الميزات. فهو يوضح صراحةً أن الضبط الدقيق القوي يتضمن إعادة وزن الميزات الموجودة (مثل تضخيم "السلم" و"الطلاء الأحمر" لشاحنة إطفاء) بدلاً من تعلم تمثيلات جديدة تماماً، مما يوفر رؤية شفافة لعملية التكيف.

النتائج التجريبية

قيم المؤلفون SAE-FT على نموذج OpenAI ViT-B/16 عبر عدة معايير:

• ImageNet وتغيرات التوزيع: حقق SAE-FT دقة بنسبة 82.9% على ImageNet (مما يجعله يضاهي SOTA) وأعلى متوسط دقة (64.6%) عبر معايير تغير التوزيع (ImageNet-R, A, S, V2). وقد تفوق على طرق مشفر الرؤية فقط الأخرى مثل CAR-FT و WiSE-FT.
• النقل للمهام اللاحقة: عند تقييمه على CIFAR-10، وCIFAR-100، وCaltech-101، وSTL-10 دون مزيد من الضبط الدقيق، حقق SAE-FT أعلى متوسط دقة نقل (87.8%)، مما يشير إلى أن تمثيلاته تتعمم بفعالية على مهام متنوعة.
• معايير iWilds: في مجموعات بيانات العالم الحقيقي خارج التوزيع (iWildCam و FMoW)، حقق SAE-FT أفضل أو أقرب أداء إلى الأفضل، خاصة في دقة أسوأ مجموعة (worst-group accuracy) ودرجات F1 الكلية لـ OOD، متفوقاً على تنظيم L2 وطرق الضبط الدقيق القوية الأخرى.
• المقارنة بالنماذج المرجعية: بينما نجحت طرق التنظيم العامة (L1, L2, PCA) أيضاً في تحسين المتانة عبر الحد من الانجراف الهندسي، وفر SAE-FT تحكماً فائقاً في تغييرات ميزات محددة. لقد حقق دقة متوسطة أعلى قليلاً من هذه النماذج المرجعية، لكنه قدم ميزة متميزة تتمثل في العمل ضمن أساس ميزات متعلم وذي معنى دلالي.

الأهمية والادعاءات

يزعم البحث أن SAE-FT يمثل خطوة مهمة للأمام في جعل الضبط الدقيق قوياً وقابلاً للتفسير.

• القابلية للتفسير: على عكس تنظيم المعيار (norm regularization) القياسي الذي يعامل جميع الاتجاهات بالتساوي، يسمح SAE-FT للباحثين بتحليل الميزات الدلالية التي يتم الحفاظ عليها، أو إعادة وزنها، أو قمعها بشكل مباشر. يوضح المؤلفون أن النموذج يصحح التصنيفات الخاطئة (مثل التمييز بين السفينة القرصانية والسفينة الشراعية) عن طريق تضخيم الميزات ذات الصلة بالمهمة مع الاحتفاظ بمفردات الميزات الأصلية.
• الكفاءة: من خلال العمل حصرياً على النمط البصري وتجنب التلاعبات المعقدة لجانب النصوص أو استخدام نماذج LLM خارجية، يوفر SAE-FT مسار عمل مبسط للضبط الدقيق القوي.
• آلية النجاح: يجادل المؤلفون بأن نجاح SAE-FT ينبع من قدرته على إجبار النموذج على التركيز على مجموعة فرعية أكثر ندرة وصلة من الميزات الموجودة مسبقاً. هذا يمنع "شلل" ميزات النماذج التأسيسية الذي يحدث عادةً أثناء الضبط الدقيق القياسي، مما يحافظ على المعرفة العامة للنموذج مع شحذ التمايزات الخاصة بالمهمة.

يخلص العمل إلى أن التنظيم القابل للتفسير يمكن أن يمكّن الضبط الدقيق الفعال دون محو المفاهيم المتعلمة للنماذج سابقة التدريب، مما يقدم بديلاً واعداً لاستراتيجيات الضبط الدقيق القوي المعقدة المعتمدة على النصوص.