📊 statistics

Post-Training Augmentation Invariance

تقدم هذه الورقة إطار عمل لما بعد التدريب يقوم بإلحاق شبكات مهايئة خفيفة الوزن وقابلة للتدريب بنماذج مدربة مسبقاً ومجمدة لتحقيق ثبات تعزيزي قوي (على سبيل المثال، تجاه الدوران والضجيج) دون تدهور الأداء الأصلي، وذلك باستخدام خسائر ماركوف-واسرشتاين وارتباط واسرشتاين مبتكرة تتفوق على الطرق الحالية مثل SimCLR وHSIC.

المؤلفون الأصليون: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

نُشر 2026-04-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Keenan Eikenberry, Lizuo Liu, Yoonsang Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ناقد فن عبقري وعالمي يُدعى F. لقد قضى هذا الناقد سنوات في دراسة ملايين اللوحات وطور قدرة مذهلة على التعرف على الأشياء والأساليب والتفاصيل. ومع ذلك، هناك مشكلة: F جامد بعض الشيء. إذا أريته لوحة لقطة، سيتعرف عليها ببراعة. لكن إذا أريته اللوحة نفسها وهي مائلة بزاوية 90 درجة، أو مغطاة بقليل من الضجيج (static noise)، فسيصاب بالارتباك وقد يعتقد أنها كائن مختلف تماماً.

في عالم الذكاء الاصطناعي، يمثل F نموذجاً مدرباً مسبقاً (مثل DINOv2 أو CLIP). إنه بالفعل مدرب و"مجمد" (أي أن دماغه لا يمكن تغييره دون عملية إعادة تدريب ضخمة ومكلفة).

المشكلة هي: كيف نجعل هذا الناقد الجامد مرناً بما يكفي للتعامل مع الصور المدوّرة أو المشوشة دون تدمير قدرته الأصلية المثالية على التعرف على الصور "الطبيعية"؟

تقترح هذه الورقة حلاً ذكياً: لا تعيد تدريب الناقد، فقط أعطه نظارات ذكية.

الفكرة الجوهرية: "المحول" (The Adapter)

بدلاً من محاولة إعادة تدريب النموذج الضخم والمكلف F (وهو ما يشبه محاولة إعادة تعليم بروفيسور حاصل على الدكتوراه أساسيات الرياضيات)، نقوم بإضافة شبكة صغيرة وخفيفة الوزن تسمى المحول (لنسمها E).

فكر في E كزوج من النظارات الذكية التي يرتديها F.

المدخلات: تأتي صورة ما.
النظارات (E): تمر الصورة عبر النظارات أولاً. إذا كانت الصورة مائلة، تقوم النظارات بـ "المعالجة المسبقة" لها ببراعة بحيث تبدو "طبيعية" للناقد. وإذا كانت مشوشة، تقوم النظارات بتصفية الضجيج.
الناقد (F): يرى الناقد الصورة المعالجة ويعطي حكمه المعتاد والمثالي.
النتيجة: يعمل النظام على كل من الصور الطبيعية والغريبة، وتظل معرفة الناقد الأصلية سليمة.

التحدي: لا تُفسد النظارات!

هنا تكمن الحيلة. إذا قمت فقط بتدريب النظارات لتصحيح الصور المدوّرة، فقد تتسبب بالخطأ في تشويه الصورة لدرجة أن الناقد لن يعود قادراً على التعرف على الصور الأصلية غير المدوّرة. أنت لا تريد للنظارات أن تحول قطة طبيعية إلى كلب لمجرد جعلها تبدو "مستقيمة".

احتاج المؤلفون إلى طريقة لتدريب هذه النظارات لتكون ثابتة (تتجاهل الدوران/الضجيج) وفي الوقت نفسه متماثلة هندسياً (تحافظ على الشكل والعلاقات الأصلية للبيانات).

الوصفتان السريتان (دوال الخسارة - Loss Functions)

لتدريب هذه النظارات، ابتكر المؤلفون "وصفتين" رياضيتين جديدتين (دوال خسارة) لتوجيه عملية التعلم. قارنوا بينهما وبين وصفتين شائعتين موجودتين بالفعل (SimCLR و HSIC) ووجدوا أن الوصفات الموجودة فشلت فشلاً ذريعاً.

1. وصفة "المرساة" (Markov-Wasserstein Minimization)

التشبيه: تخيل أنك تحاول تعليم راقص أداء حركة معينة بغض النظر عن إيقاع الموسيقى.
كيف تعمل: تقول للراقص: "عندما تكون الموسيقى طبيعية، قف في مكانك تماماً (لا تتحرك). وعندما تكون الموسيقى سريعة (معدلة)، تحرك إلى نفس المكان كما لو كانت الموسيقى طبيعية".
السحر: تستخدم هذه الوصفة مفهوماً يسمى النقل الأمثل (Optimal Transport) (فكر فيه كأكثر الطرق كفاءة لنقل الأثاث من غرفة إلى أخرى). إنها تجبر النسخة "المدوّرة" من الصورة على أن تُسقط في نفس الموقع تماماً في عقل الناقد كما تفعل النسخة "الطبيعية"، لكنها تمنع النظارات بصرامة من بعثرة مواقع الصور "الطبيعية".
النتيجة: يرى الناقد القطة المدوّرة على أنها نفس القطة، ولا تزال القطة الأصلية معترف بها بشكل مثالي.

2. وصفة "الارتباط" (Wasserstein Correlation Maximization)

التشبيه: تخيل أن لديك خريطة لمدينة. تريد التأكد من أنه مهما قمت بتدوير الخريطة، فإن المسافة بين معلمين (مثل المكتبة والمنتزه) تظل كما هي.
كيف تعمل: تحاول هذه الوصفة تعظيم "الارتباط الإحصائي" بين المدخلات والمخرجات مع ضمان الحفاظ على بنية الخريطة (المسافات بين النقاط). الأمر يشبه قول: "تأكد من أن الصورة المدوّرة والصورة الأصلية هما صديقان مقربان في عقل الناقد، ولكن لا تجعلهما ينسيان من هم أصدقاؤهما الآخرون".
ميزة إضافية: هذه الوصفة بارعة جداً في الحفاظ على البنية لدرجة أنها يمكنها أيضاً تقليص حجم البيانات (Dimensionality Reduction). يمكنها أخذ صورة ضخمة ومعقدة وضغطها إلى نسخة أصغر وأبسط دون فقدان التفاصيل المهمة.

ماذا حدث عندما اختبروا ذلك؟

اختبر المؤلفون هذه "النظارات" على عدة نماذج ذكاء اصطناعي شهيرة (DINOv2, CLIP, SwAV) باستخدام مجموعة بيانات STL10 (وهي مجموعة من صور الحيوانات والأشياء).

سيناريو "ما قبل": بدون النظارات، إذا قمت بتدوير صورة، تنخفض دقة الذكاء الاصطناعي من 98% إلى 71%. لقد أصابه الارتباك.
سيناريو "ما بعد": مع نظارات "المرساة" الجديدة (MaWa)، تعامل الذكاء الاصطناعي مع الصور المدوّرة بدقة 94%، مع الاحتفاظ بدقة 98% على الصور الطبيعية.
سيناريو "الضجيج": عندما أضافوا ضجيجاً (Static Noise) إلى الصور، انخفضت دقة الذكاء الاصطناعي بدون نظارات إلى 58%. ومع النظارات، قفزت إلى 86%.

الوصفات "السيئة" (لماذا فشلت SimCLR و HSIC)

حاول المؤلفون استخدام طريقتين أخريين (SimCLR و HSIC) لتدريب النظارات.

التشبيه: تخيل أنك تحاول إصلاح النظارات من خلال إخبار الراقص "بأن يجمع كل القطط معاً وكل الكلاب معاً".
النتيجة: بينما جعل هذا الطريقة جيدة في التجميع، إلا أنها قامت بـ بعثرة الخريطة تماماً. لقد شوهت النظارات الصورة الأصلية لدرجة أن الناقد لم يعد قادراً على التعرف على الصور الأصلية غير المدوّرة. لقد دُمرت "بنية" البيانات.
الدرس المستفاد: لا يمكنك مجرد استخدام تقنيات "التجميع" القياسية لهذه المهمة؛ أنت بحاجة إلى طرق تحترم هندسة البيانات الأصلية.

الاستثناء الوحيد: الناقد "المُشرف عليه" (Supervised)

كانت هناك حالة واحدة فشلت فيها وصفة "المرساة": عندما كان الناقد هو ResNet50 المُشرف عليه (نموذج تم تدريبه بواسطة البشر باستخدام التصنيفات/Labels).

لماذا؟ هذا النموذج تعلم بالفعل أن يكون حساساً لتفاصيل محددة للغاية. النسخة "المدوّرة" من صورة ما كانت مختلفة جداً عن النسخة "الأصلية" في عقل هذا النموذج، لدرجة أن النظارات لم تستطع إيجاد طريقة لربطهما معاً دون كسر الأصل.
الخلاصة: تعمل هذه الطريقة بشكل أفضل مع النماذج التي تعلمت الميزات من تلقاء نفسها (Self-Supervised) بدلاً من النماذج التي تم توجيهها بشدة بواسطة التصنيفات البشرية.

الملخص

هذه الورقة تشبه المحول العالمي لنماذج الذكاء الاصطناعي.

المشكلة: نماذج الذكاء الاصطناعي المدربة مسبقاً رائعة ولكنها هشة؛ فهي تفشل عندما تكون الصور مدوّرة أو مشوشة.
الحل: لا تعد تدريب النموذج الضخم. فقط أضف طبقة "محول" صغيرة وخفيفة الوزن.
الابتكار: ابتكروا قاعدتين رياضيتين جديدتين (تعتمدان على نقل البيانات بكفاءة) لتدريب هذا المحول بحيث يصلح الصورة دون تشويه معرفة النموذج الأصلية.
النتيجة: تصبح نماذج الذكاء الاصطناعي مرنة تجاه الدورات والضجيج، حيث تحافظ على دقتها في المدخلات الغريبة مع بقائها مثالية في المدخلات الطبيعية، وكل ذلك دون تكلفة إعادة تدريب النموذج الهائل.

إنها طريقة لجعل الذكاء الاصطناعي "مرناً" دون كسر "ذاكرة العضلات" لديه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ثبات التعزيز بعد التدريب" (Post-Training Augmentation Invariance) للباحثين كينان إيكنبيري، ليزيو ليو، ويونسانغ لي.

1. بيان المشكلة

تتناول الورقة فجوة حرجة في تعلم الآلة الحديث: ثبات التعزيز بعد التدريب (Post-Training Augmentation Invariance).

السياق: توفر النماذج سابقة التدريب واسعة النطاق (مثل DINOv2، CLIP، SwAV) سمات قوية عامة الأغراض، لكنها ليست ثابتة بطبيعتها تجاه عمليات تعزيز محددة (مثل الدورات العشوائية، الضجيج، أو التحويلات التآلفية/Affine transformations) التي قد تكون حاسمة للمهام اللاحقة.
التحدي: إعادة تدريب النماذج التأسيسية من الصفر أمر مكلف حوسبياً للغاية. وغالباً ما يؤدي الضبط الدقيق (Fine-tuning) القياسي إلى تشويه الفضاء الكامن (Latent Space) السابق التدريب، مما يؤدي إلى تدهور الأداء على التوزيع الأصلي غير المعزز.
الهدف: تطوير إطار عمل لإضافة خصائص الثبات إلى شبكة سابقة التدريب مجمدة (Frozen) دون إفساد قدراتها الحالية أو البنية الهندسية لفضاؤها الكامن. يجب أن يكون الحل خفيف الوزن وقابلاً للتطبيق بعد مرحلة التدريب.

2. المنهجية

يقترح المؤلفون إطار عمل يعتمد على المشفرات المعززة (Augmented Encoders) ودالتين لخسارة (Loss functions) مبتكرتين مشتقتين من نظرية النقل الأمثل (Optimal Transport).

أ. المفاهيم الجوهرية

المشفرات المعززة ( $E_T$ ): بدلاً من استخدام مشفر حتمي، يصيغ المؤلفون العملية كمشفر احتمالي يقوم بخرائط المدخل $x$ إلى توزيع فوق الأكواد الكامنة. يتشكل هذا التوزيع عن طريق تشفير رؤى معززة متعددة لـ $x$ .
تعريف الثبات: يعرفون الثبات بصيغة $(t, \mu_X, F, \mathcal{V})$ $(t, μ_{X}, F, V)$ -invariance. يكون لشبكة التكيف (Adapter) $E_\theta$ $E_{θ}$ الملحقة بمشفر مجمد $F$ $F$ ثبات إذا كان:
1. الشبكة المركبة $E_\theta \circ F$ تنتج نفس التمثيل الكامن للمدخل ورؤاه المعززة (الثبات).
2. يحافظ المحول (Adapter) على البنية المترية لتوزيع السمة الأصلي $F_\sharp \mu_X$ حتى خريطة $V$ في فئة مسموح بها (على سبيل المثال، التحويلات المتساوية/Isometries). يضمن هذا بقاء السمات الأصلية قابلة للاستخدام للمهام الأخرى.

ب. دوال الخسارة المقترحة

تقدم الورقة هدفين تدريبيين لشبكة التكيف خفيفة الوزن $E_\theta$ (وهي عبارة عن طبقة MLP ذات طبقة مخفية واحدة):

تقليل ماركوف-واسرشتاين (Markov-Wasserstein - MaWa):
- الآلية: هي خسارة متوسط مربعات (MSE) مرتكزة. تتعامل مع المشفر كـ "نواة ماركوف-واسرشتاين".
- الهدف: تقلل المسافة بين توزيع الرؤى المعززة المشفرة وتوزيع الرؤى النظيفة (غير المعززة) المشفرة، مع تثبيت الرؤية النظية عند الهوية (Identity).
- الصيغة:
  $\mathcal{L}_{MaWa} = \frac{1}{N} \sum_{i=1}^N \left( \frac{1}{s+1} \| (E_\theta \circ F)(x_i) - F(x_i) \|^2 + \frac{1}{s+1} \sum_{k=1}^s \| (E_\theta \circ F)(t(a_i^k, x_i)) - F(x_i) \|^2 \right)$
- الميزة الرئيسية: مصطلح "الارتكاز" (Anchoring) يمنع انهيار الفضاء الكامن (وهو نمط فشل شائع في خسائر الثبات الساذجة) من خلال إجبار الشبكة على الحفاظ على السمة الأصلية $F(x_i)$ للمدخلات غير المعززة.
تعظيم ارتباط واسرشتاين (Wasserstein Correlation - WaCo):
- الآلية: تعمل هذه الخسارة على تعظيم ارتباط واسرشتاين بين توزيع المدخلات وتوزيع التعزيز المشفر.
- الهدف: تشجع التوزيع المشترك لـ (المدخل، المعزز-المشفر) ليكون بعيداً قدر الإمكان عن توزيع الضرب (الاستقلال)، مع مراعية التطبيع. هذا يجبر المشفر على رسم خرائط للرؤى المعززة لنفس المدخل إلى نفس النقطة في الفضاء الكامن.
- الميزة الرئيسية: على عكس MaWa، لا تتطلب WaCo بالضرورة شبكة مجمدة $F$ للارتكاز ضدها، وتسمح بـ تقليل الأبعاد مع الحفاظ على الثبات. وهي تعمل كتحويل متساوي (Isometry) محلي تقريبي.

ج. الخطوط المرجعية للمقارنة (Baselines)

يقارن المؤلفون طرقهم مقابل:

SimCLR: دالة تعلم تبايني (Contrastive Learning) قياسية.
تعظيم HSIC: معيار استقلال يعتمد على النواة (Kernel) يُستخدم غالباً في تعلم التمثيلات.
التدريب من البداية للنهاية (EC): تدريب مصنف مباشرة على البيانات المعززة دون استخدام محول (Adapter).

3. المساهمات الرئيسية

إطار عمل رسمي: أول تعريف رياضي دقيق لثبات التعزيز بعد التدريب الذي يتطلب صراحةً الحفاظ على البنية المترية لتمثيل ما قبل التدريب.
المشفرات المعززة: تقديم المشفرات الاحتمالية ككائن أساسي للدراسة في التعلم القائم على التعزيز.
دوال خسارة مبتكرة: اقتراح تقليل MaWa وتعظيم WaCo، اللذين يستفيدان من النقل الأمثل (Optimal Transport) لتحقيق الثبات دون إفساد البنية.
التحقق التجريبي: إثبات أن محولات MLP بسيطة (طبقة مخفية واحدة) يمكن أن تحقق ثباتاً شبه مثالي على الشبكات المجمدة، متفوقة على عمليات الضبط الدقيق المعقدة أو النهج التبايني.

4. النتائج التجريبية

أُجريت التجارب على STL10، و TinyImageNet، وعدة نماذج سابقة التدريب (DINOv2، SwAV، CLIP، ResNet50).

الأداء على الثبات:
- الدوران (Rotation): في STL10 مع DINOv2، انخفضت دقة النموذج المرجعي ( $C \circ F$ ) إلى 71% على الصور المدورة. حقق محول MaWa ( $C \circ E_\theta \circ F$ ) دقة 94%.
- الضجيج (Noise): انخفضت دقة النموذج المرجعي إلى 58%؛ ورفعها MaWa إلى 86%.
- التعميم: عملت الطريقة باستمرار عبر مختلف النماذج (Transformers و ResNets) وأنواع التعزيز (الدوران، التحويلات التآلفية، الضجيج، والقص/Crop).
الحفاظ على البنية (نتيجة حاسمة):
- MaWa و WaCo: حافظت هذه الطرق على الهندسة المترية للفضاء الكامن الأصلي. بالنسبة لـ MaW على DINOv2، كانت العلاقة بين المسافات في المدخلات والمخرجات شبه متساوية (Isometric) حيث ( $R^2 = 0.96$ , NRMSD = 0.02).
- SimCLR و HSIC: أدت هذه الطرق إلى إفساد الفضاء الكامن. حققت بعض الثبات ولكنها دمرت البنية المترية ( $R^2 \approx 0.04$ )، مما جعل السمات غير صالحة للمهام اللاحقة التي تعتمد على الهندسة الأصلية.
حالات الفشل:
- في حالة ResNet50 الخاضعة للإشراف، فشل MaWa بسبب ارتفاع "معدلات التصادم" (حيث تتداخل السمات المعززة لفئات مختلفة في الفضاء الكامن). ومع ذلك، ظلت WaCo قوية في هذا الوضع، مما يشير إلى أنها أكثر مرونة في سيناريوهات التصادم العالي.
تقليل الأبعاد: نجحت WaCo في تقليل أبعاد سمات DINOv2 (من 384 إلى 96) مع الحفاظ على الثبات والدقة التنافسية.

5. الأهمية والاستنتاج

الكفاءة: لا تتطلب الطريقة أي ضبط دقيق (Fine-tuning) للنموذج ضخم الحجم سابق التدريب. يتم فقط تدريب محول صغير جداً (طبقة مخفية واحدة)، مما يجعلها منخفضة التكلفة حوسبياً وقابلة للتوسع.
الأمان: على عكس الضبط الدقيق أو التعلم التبايني، الذي يمكن أن "يكسر" السمات السابقة التدريب، يضمن هذا النهج الحفاظ على القدرات الأصلية للنموذج (الحفاظ على البنية).
تعدد الاستخدامات: تتيح استخدام النماذج التأسيسية القوية في السيناريوهات التي تتطلب ثباتاً معيناً (مثل التصوير الطبي الذي يتطلب ثبات الدوران، أو صور الأقمار الصناعية التي تتطلب الثبات التآلفي) دون الحاجة لإعادة تدريب النموذج الأساسي.
الرؤية النظرية: تسلط الورقة الضوء على أن أهداف النقل الأمثل (خاصة تلك التي تحافظ على البنية المترية) مناسبة بشكل فريد للتكيف بعد التدريب، بينما تعتبر طرق المعلومات المتبادلة أو التباينية أفضل لتعلم التمثيلات من الصفر ولكنها تفشل في الحفاظ على البنية الموجودة مسبقاً.

باختصار، تقدم الورقة حلاً دقيقاً رياضياً ومثبتاً تجريبياً "لإصلاح" النماذج سابقة التدريب لتلبية احتياجات تعزيز محددة دون التضحية بفوائدها العامة، وذلك باستخدام محولات خفيفة الوزن مدربة على دوال نقل أمثل مبتكرة.