💻 computer science

The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models

تقترح الورقة البحثية إطار عمل GRACE، وهو إطار توحيد لضبط النماذج اللغوية الرؤية بدقة، والذي يعالج المقايضة بين دقة التوزيع الداخلي، والتعميم خارج التوزيع، والمتانة ضد الهجمات العدائية من خلال تنظيم انحناء فضاء المعلمات وثبات فضاء الميزات بشكل مشترك لتحقيق نهايات صغرى أكثر تسطحاً وتمثيلات مستقرة.

المؤلفون الأصليون: Shivang Chopra, Shaunak Halbe, Chengyue Huan, Brisa Maneechotesuwan, Zsolt Kira

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shivang Chopra, Shaunak Halbe, Chengyue Huan, Brisa Maneechotesuwan, Zsolt Kira

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "هندسة المتانة" (The Geometry of Robustness) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "شد الحبل ثلاثي الأطراف"

تخيل أن لديك طالباً نابغاً ومطلعاً (وهو نموذج الرؤية واللغة، مثل CLIP) قد درس مكتبة العالم بأكملها. هو بارع في التعرف على الأشياء التي رآها من قبل (التوزيع الأصلي - In-Distribution) ويمكنه تخمين كيف قد تبدو الأشياء الجديدة (خارج التوزيع - Out-of-Distribution).

ومع ذلك، عندما تحاول تعليم هذا الطالب موضوعاً جديداً محدداً (مثل تحديد سلالات الكلاب بدقة)، تواجه مشكلة محبطة. لا يمكنك جعله بارعاً في كل شيء في آن واحد:

إذا جعلته "مثالياً بزيادة" (الضبط الدقيق القياسي - Standard Fine-tuning): سيصبح مذهلاً في الموضوع الجديد ولكنه يصبح هشاً. أي خدعة صغيرة أو صورة مرسومة بشكل غريب (هجوم عدائي - Adversarial Attack) ستجعله يرتبك تماماً.
إذا جعلته "مدرباً على مواجهة العدائية" (القوة الغاشمة - Brute Force): ستعلمه تجاهل الخدع والصور الغريبة، ولكن في هذه العملية، سينسى كيفية التعرف على الأشياء العادية ويفقد قدرته على التخمين بشأن المواضيع الجديدة.
إذا جعلته "محافظاً" (التركيز على التعميم - Generalization-focused): سيظل آمناً وجيداً في تخمين المواضيع الجديدة، لكنه سيظل عرضة للخداع من قبل المتربصين.

لفترة طويلة، اعتقد الباحثون أنه يجب عليك اختيار اثنين فقط من هذه الثلاثة. لم يكن بإمكانك الحصول على الجميع.

الرؤية الثاقبة: الأمر يتعلق بـ "الشكل" و"التوازن"

أدرك مؤلفو هذه الورقة أن المشكلة ليست فقط في ماذا يتعلم الطالب، بل في كيفية تعلمه. لقد نظروا إلى "شكل" عقل الطالب (الرياضيات وراء النموذج) ووجدوا فشلين هندسيين:

مشكلة "القمة الحادة": تخيل أن معرفة الطالب هي عبارة عن تضاريس. التدريب القياسي يدفع الطالب للوصول إلى قمة جبل حاد يشبه الإبرة. إنها أعلى نقطة، ولكن إذا دفعته ولو دفعة بسيطة (اضطراب طفيف)، فسوف يسقط من المنحدر. إنه غير مستقر.
مشكلة "الشمع المذاب": تخيل أن فهم الطالب للأشياء (مثل "القطة") هو شكل مصنوع من الشمع. عندما تريه قطة تحت المطر، أو قطة رسمها طفل، أو قطة بمرشح (فلتر)، فإن الشمع يذوب ويتغير شكله. شكل "القطة" لم يعد يشبه شكل "القطة" الذي تعلمه في الفصل.

الحل: GRACE (النحات الذكي)

يقترح المؤلفون طريقة جديدة تسمى GRACE (المتانة المتوافقة مع غرام عبر تقدير الانحناء التكيفي). فكر في GRACE كأنه نحات ماهر يصلح عقل الطالب بطريقتين محددتين:

1. تسطيح الجبل (استراتيجية "الهضبة")

بدلاً من ترك الطالب يتسلق قمة إبرة حادة، تدفعه GRACE للجلوس على هضبة واسعة ومسطحة.

التشبيه: تخيل الوقوف على إبرة حادة مقابل الوقوف على طاولة واسعة ومسطحة. إذا أعطاك شخص دفعة خفيفة (هجوماً)، فقد تترنح على الإبرة وتسقط. لكن على الطاولة المسطحة، يمكنك التمايل كثيراً ومع ذلك تظل واقفاً.
كيف يفعلون ذلك: يستخدمون تقنية تسمى LAR-AWP. تخيل أن الطالب يرتدي نظارات خاصة تسم تجعله يرى "النتوءات" في عقله الخاص. إذا كان جزء من عقله "متعرجاً" جداً (حاداً)، فإن النظارات تخبره بضرورة تنعيمه. يفعلون ذلك طبقة تلو الأخرى، مع التركيز فقط على الأجزاء التي تحتاج إلى تنعيم، حتى لا يهدروا الطاقة.

2. الحفاظ على صلابة الشمع (استراتيجية "القالب الصلب")

تضمن GRACE أن يظل فهم الطالب لـ "القطة" بنفس الشكل، بغض النظر عن كيفية تقديم القطة.

التشبيه: تخيل أن لدى الطالب قالباً ذهنياً لـ "القطة". سواء كانت القطة حقيقية، أو صورة، أو رسماً، فإن القالب يظل صلباً. يتعلم الطالب أن كل هذه المدخلات المختلفة يجب أن تتناسب في نفس القالب.
كيف يفعلون ذلك: يستخدمون فقدان محاذاة حجم غرام (Gram-Volume Alignment Loss). هذه طريقة رياضية متطورة لقول: "تحقق مما إذا كانت المسافة بين فكرة 'القطة الحقيقية'، وفكرة 'القطة المخادعة'، وفكرة 'القطة الغريبة' صغيرة". إذا ابتعدت الأفكار عن بعضها، يقوم النظام بدفعها لتعود معاً. هذا يجبر الطالب على الحفاظ على خريطته الذهنية متسقة.

النتيجة: نموذج "اليونيكورن" (Unicorn)

عندما اختبروا هذه الطريقة الجديدة، وجدوا أنهم استطاعوا أخيراً الفوز في شد الحبل.

الضبط الدقيق القياسي: جيد في الاختبار، سيء في مواجهة الخدع.
التدريب العدائي: جيد في مواجهة الخدع، سيء في الاختبار.
GRACE: جيد في الاختبار، و جيد في مواجهة الخدع، و جيد في المواضيع الجديدة.

في تجاربهم، حسنت GRACE دقة النموذج في الاختبارات القياسية بنسبة 10.8% وقدرته على مقاومة الخدع بنسبة 13.5%، مع الحفاظ على قدرته على تخمين الأشياء الجديدة جيدة كما كانت تقريباً.

ملخص في جملة واحدة

GRACE هي طريقة تدريب جديدة تمنع نماذج الذكاء الاصطناعي من كونها "مثالية هشة"، وذلك عبر تعليمها الوقوف على أساس مسطح ومستقر والحفاظ على خرائطها الذهنية صلبة، مما يسمح لها بأن تكون ذكية، وآمنة، وقادرة على التكيف في آن واحد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "هندسة المتانة: تحسين انحناء مشهد الخسارة ومحاذاة ماني فولد الميزات من أجل الضبط الدقيق المتين لنماذج الرؤية واللغة."

1. بيان المشكلة

تمتلك نماذج الرؤية واللغة (VLMs) مثل CLIP قدرات قوية في التعلم الصفري (zero-shot)، لكنها تواجه مقايضة ثلاثية الأبعاد حرجة عند ضبطها دقيقًا للمهام اللاحقة:

دقة التوزيع الداخلي (ID): الأداء على توزيع بيانات التدريب.
التعميم خارج التوزيع (OOD): الأداء على تحولات التوزيع الطبيعية (مثل الرسومات التخطيطية أو النسخ الفنية).
المتانة ضد الهجمات العدائية (Adversarial Robustness): المقاومة ضد الهجمات القائمة على التدرج (مثل PGD).

عادةً ما تحل استراتيجيات الضبط الدقيق المتينة الموجودة محورين فقط من هذه المحاور الثلاثة على حساب المحور الثالث:

الأساليب التي تركز على التعميم (مثل WiSE-FT وTPGM) تحافظ على أداء ID/OOD ولكنها تظل عرضة للهجمات العدائية.
أساليب التدريب العدائي (مثل TeCoA وFARE) تحسن المتانة ولكنها غالبًا ما تؤدي إلى تدهور دقة ID وOOD بسبب الإفراط في التكيف مع أنماط هجوم محددة أو الابتعاد كثيرًا عن "مانيفولد" (manifold) ما قبل التدريب.

حدد المؤلفون أن هذه المقايضة تنبع من فشلين هندسيين في مشهد التحسين الخاص بالنموذج:

النهايات الصغرى الحادة وغير المتناحية (Sharp, Anisotropic Minima): يتقارب النموذج نحو مناطق حادة في فضاء المعلمات، مما يجعله حساسًا لاضطرابات الأوزان.
عدم استقرار ماني فولد الميزات (Feature Manifold Instability): تتشوه تمثيلات الميزات بشكل كبير تحت تأثير تحولات التوزيع أو الهجمات، مما يكسر المحاذاة بين المدخلات النظيفة، ومدخلات OOD، والمدخلات العدائية.

2. المنهجية: إطار عمل GRACE

يقترح المؤلفون إطار عمل GRACE (المحاذاة عبر غرام لتقدير الانحناء التكيفي)، وهو إطار عمل موحد للضبط الدقيق يستند إلى نظرية Robust PAC-Bayes. يقوم GRACE بتنظيم انحناء فضاء المعلمات وثبات ماني فولد الميزات بشكل مشترك باستخدام ثلاثة مكونات أساسية:

أ. الأساس النظري

بناءً على حد (bound) من نوع PAC-Bayesian، يتم تفكيك المخاطر المتينة إلى ثلاثة حدود يجب تقليلها في آن واحد:

(أ) القرب من التوزيع السابق (Proximity to Prior): إبقاء الأوزان المضبوطة دقيقًا قريبة من أوزان ما قبل التدريب ( $\|\theta - \theta_0\|^2$ ) للحفاظ على المعرفة الصفرية.
(ب) حدة فضاء المعلمات (Parameter-Space Sharpness): تقليل أثر مصفوفة هسيان ( $\text{Tr}(\nabla^2 R)$ ) لإيجاد نهايات صغرى أكثر تسطحًا.
(ج) استقرار ماني فولد الميزات (Feature-Space Stability): تقليل التفاوت بين النطاقات ( $d_{H\Delta H}$ ) لضمان اتساق الميزات عبر نطاقات ID وOOD والنطاقات العدائية.

ب. المكونات الأساسية

الضبط الدقيق باستخدام LoRA (التحكم في القرب):
- الآلية: يستخدم GRACE تقنية (Low-Rank Adaptation) لتحديث فضاء فرعي منخفض الرتبة فقط من الأوزان الأصلية المجمدة. هذا يتحكم ضمنيًا في حد تباعد KL، مما يضمن بقاء النموذج قريبًا من ماني فولد ما قبل التدريب ويمنع النسيان الكارثي.
اضطراب الأوزان العدائي منخفض الرتبة والتكيفي عبر الطبقات (LAR-AWP):
- الآلية: بدلاً من الاضطرابات الموحدة، يقوم GRACE بحقن اضطرابات أوزان عدائية في فضاء LoRA الفرعي.
- التكيف: من المهم أن رتبة (rank) الاضطراب يتم تكييفها لكل طبقة بناءً على تقديرات الانحناء المحلي (باستخدام وسيط Gauss-Newton المستمد من تدرجات الدفعة الصغيرة).
- الهدف: الطبقات ذات الانحناء العالي (المناطق الحادة) تتلقى رتب اضطراب أعلى لإجبار المُحسِّن على التوجه نحو نهايات صغرى أكثر تسطحًا، بينما تتلقى الطبقات المسطحة حدًا أدنى من الاضطراب. هذا يعالج الطبيعة غير المتناحية لمشاهد خسارة نماذج الرؤية واللغة.
خسارة محاذاة حجم غرام (Gram-Volume Alignment Loss):
- الآلية: لكل مدخل، يحسب النموذج مصفوفة غرام ( $3 \times 3$ ) باستخدام تضمينات الميزات من ثلاث حالات: نظيفة (Clean)، عدائية (Adversarial/PGD)، ومضطربة بواسطة LAR-AWP (اضطراب الوزن).
- الهدف: تقلل الخسارة من حجم متوازي الأضلاع الذي تشكله هذه المتجهات الثلاثة ( $L_{GV} = \sqrt{|\det(G)|}$ ).
- الهدف: هذا يجبر تمثيلات الميزات على البقاء متسقة (حجم منخفض) عبر المدخلات النظيفة، والعدائية، والمضطربة بالأوزان، مما يضمن عدم انهيار أو تشتت ماني فولد الميزات تحت تأثير التحولات.

هدف التدريب:
$\mathcal{L}_{GRACE} = \mathcal{L}_{task} + \lambda_{LAR} \mathcal{L}_{LAR-AWP} + \lambda_{GV} \mathcal{L}_{GV}$

3. المساهمات الرئيسية

التحليل الهندسي: تقدم الورقة تحليلًا نظريًا وتجريبيًا يربط فشل متانة نماذج الرؤية واللغة بالنقاط الحادة وتشويه ماني فولد الميزات. كما تصنف الأساليب الحالية حسب الحدود الهندسية التي تفشل في تحسينها.
إطار عمل موحد (GRACE): يقدم أول إطار عمل يحسن بالتزامن دقة ID، والتعميم OOD، والمتانة العدائية من خلال التحكم المشترك في انحناء المعلمات وثبات الميزات.
التكيف عبر الطبقات: يقترح آلية LAR-AWP مبتكرة تعدل رتب الاضطراب ديناميكيًا بناءً على انحناء كل طبقة، مما يوفر نهجًا أكثر كفاءة واستهدافًا لتسطيح مشهد الخسارة مقارنة بالأساليب الموحدة.
تنظيم حجم غرام: يقدم بديلًا قابلًا للاشتقاق لاستقرار ماني فولد الميزات يعمل على محاذاة التضمينات النظيفة والعدائية والمضطربة بالأوزان.

4. النتائج التجريبية

أُجريت التجارب على CLIP ViT-B/32 و ViT-B/16 مع ضبطها دقيقًا على ImageNet-1K، وتم تقييمها عبر مقاييس ID، وOOD (ImageNet-V2, -R, -S)، والعدائية (ImageNet-A, A-Plus, AutoAttack).

مكاسب الأداء:
- دقة ID: حقق GRACE نسبة 74.21% (مقابل 74.86% للضبط الدقيق العادي)، محافظًا على دقة قريبة من أحدث المعايير للبيانات النظيفة.
- المتانة العدائية: حقق 25.44% دقة عدائية على ImageNet (مقابل 0% للضبط الدقيق العادي وحوالي 22% لأساليب التدريب العدائي المتخصصة).
- التعميم OOD: حافظ على متوسط دقة OOD بنسبة 57.01%، وهو ما يضاهي خط الأساس للتعلم الصفري (57.4%) ويتفوق على أساليب التدريب العدائي التي غالبًا ما تنخفض دون 40%.
- المتوسط التوافقي (Harmonic Mean): حقق GRACE متوسطًا توافقيًا بنسبة 39.69%، متفوقًا بشكل كبير على أفضل طريقة تالية (PMG-AFT بنسبة 32.85%) وجسر الفجوة بين استراتيجيات المتانة المتخصصة.
التحليل المقارن:
- على عكس WiSE-FT (جيد في OOD، سيء في العدائية) أو TeCoA (جيد في العدائية، سيء في OOD)، نجح GRACE في موازنة المحاور الثلاثة بنجاح.
- تؤكد دراسات الاستئصال (Ablation Studies) أن كلاً من LAR-AWP (التحكم في الانحناء) وGram-Volume (محاذاة الميزات) ضروريان؛ حيث يؤدي حذف أي منهما إلى انخفاض كبير في مقاييس متانة محددة.
الكفاءة: GRACE أسرع بمقدار 1.4 مرة من أساليب الضبط الدقيق العدائي السابقة مع تحقيق أداء أعلى إجماليًا، كما هو موضح في تحليل جبهة باريتو (Pareto frontier).

5. الأهمية

يؤسس هذا العمل الضبط الدقيق الموجه هندسيًا كنموذج عام للمواءمة المتينة متعددة الوسائط. ومن خلال إثبات أن المقايضة بين الدقة، والتعميم، والمتانة هي مسألة قابلة للحل من خلال التحسين المشترك لانحناء مشهد الخسارة ومحاذاة ماني فولد الميزات، يقدم GRACE حلاً مبدئيًا لنشر نماذج الرؤية واللغة في البيئات الواقعية عالية الخطورة حيث تشكل كل من تحولات التوزيع الطبيعية والهجمات العدائية مصدر قلق. تعمل الطريقة بفعالية على حل "الثلاثية" (trilemma) التي حدت سابقًا من نشر النماذج التأسيسية المتينة.