💻 computer science

Embedding Shift Dissection on CLIP: Effects of Augmentations on VLM's Representation Learning

تتقصى هذه الدراسة تأثير تسع عمليات تعزيز شائعة للصور على تحولات تضمين نموذج CLIP باستخدام مقاييس تشابه ومسافة متنوعة، كاشفةً أن الضجيج، وتحويلات المنظور، وتغيير المقياس تسبب التغيرات الأكثر حدة، مما يوفر رؤى تأسيسية لتحسين متانة النماذج اللغوية البصرية وقابلية تفسيرها الآلية.

المؤلفون الأصليون: Ashim Dahal, Saydul Akbar Murad, Nick Rahimi

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ashim Dahal, Saydul Akbar Murad, Nick Rahimi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج CLIP (النموذج الذكي الذي يمثل قلب هذه الدراسة) كأنه ناقد فني فائق الذكاء حفظ ملايين الصور وأوصافها. هذا الناقد لا "يرى" الصورة فحسب، بل يترجم كل صورة إلى شفرة سرية فريدة (تُسمى "التضمين" أو embedding) تلتقط جوهر ما تدور حوله الصورة.

لقد طرح الباحثون في هذه الورقة سؤالاً بسيطاً ولكنه عميق: "ماذا يحدث لهذه الشفرة السرية إذا عبثنا بالصورة؟"

لقد أخذوا 9 طرق مختلفة لـ "العبث" بالصورة — مثل التغبيش (التمويه)، أو إضافة ضجيج (static noise)، أو قلب الصورة، أو مطّها — وراقبوا كيف تتغير شفرة الذكاء الاصطناعي. أرادوا معرفة: هل سيظل الذكاء الاصطناعي يتعرف على القطة، أم سيعتقد فجأة أنها كلب؟ هل تظل الشفرة كما هي، أم أنها تبتعد وتنزاح عن مسارها؟

إليك تفصيل نتائجهم، باستخدام تشبيهات من الحياة اليومية:

1. التجربة: اختبار "عملية التجميل"

تخيل الصورة الأصلية كأنها بورتريه لشخص ما. طبق الباحثون 9 "عمليات تجميل" مختلفة على هذا البورتريه:

عمليات التجميل "الخشنة": إضافة ضجيج عشوائي (static)، أو تغبيش الوجه، أو جعل الألوان غريبة (تلاعب بالألوان/color jitter).
عمليات التجميل "الهندسية": مطّ الوجه (elastic)، أو تغيير زاوية المنظور، أو التكبير والتصغير (zoom).
عمليات التجميل "البسيطة": قلب الصورة أفقياً أو جعلها أكثر سطوعاً أو قتامة.

ثم سألوا الذكاء الاصطناعي: "ما هي الشفرة السرية لهذه النسخة الجديدة؟" وقارنوا بينها وبين الشفرة الخاصة بالصورة الأصلية.

2. الاكتشاف الكبير: ليست كل عمليات التجميل متساوية

وجدت الدراسة أن الذكاء الاصطناعي حساس جداً لبعض التغييرات، لكنه عنيد جداً تجاه تغييرات أخرى.

التغييرات "الصادمة" (تأثير عالٍ):
- الضجيج (Static): تخيل أنك تأخذ صورة وتغطيها بضجيج التلفاز. كان هذا هو الأكثر ضرراً؛ فقد تسبب في بعثرة شفرة الذكاء الاصطناعي تماماً. لقد ارتبك الذكاء الاصطناعي لدرجة أنه بالكاد استطاع التعرف على الموضوع الأصلي.
- المنظور والمطّ: إذا أخذت صورة لوجه وشددته مثل قطعة "التوفي"، أو نظرت إليه من زاوية غريبة، فإن شفرة الذكاء الاصطناذي ستتغير بشكل كبير. الأمر يشبه النظر إلى صديق عبر مرآة ملاهي مشوهة؛ حيث يكافح الذكاء الاصطناعي لمطابقة الشكل المشوه مع ذاكرته.
- التغبيش وفقدان البكسلات: تغبيش الصورة أو قطع أجزاء منها (مثل قطعة من أحجية ناقصة) أدى أيضاً إلى إرباك شفرة الذكاء الاصطناعي.
التغييرات "غير الضارة" (تأثير منخفض):
- القلب والسطوع: إذا قلبت صورة أفقياً أو جعلتها أكثر سطوعاً قليلاً، فإن شفرة الذكاء الاصطناعي لم تتغير تقريباً. الأمر يشبه قول الذكاء الاصطناعي: "أوه، لا تزال هذه هي نفس القطة، لكنها تنظر في المرآة أو ترتدي نظارات شمسية فقط". الذكاء الاصطناعي بارع جداً في تجاهل هذه الحيل البسيطة.

3. كيف قاسوا "الانزياح" (Drift)

لم يعتمد الباحثون على التخمين؛ بل استخدموا مجموعة أدوات من "المساطر" لقياس مدى تحرك الشفرة بدقة:

خريطة الانتباه (نظرة الذكاء الاصطناعي): نظروا إلى أين كان الذكاء الاصطناعي ينظر في الصورة.
- تشبيه: في الصورة الأصلية، كانت "نظرة" الذكاء الاصطناعي مركزة بدقة على وجه الكلب. عندما أضافوا الضجيج، أصبحت النظرة مشتتة ومربكة، تنظر إلى أماكن عشوائية. وعندما غبّشوا الصورة، انتشرت النظرة، وعجزت عن إيجاد نقطة تركيز.
مسطرة "المسافة": قاسوا المسافة الرياضية بين الشفرة الأصلية والشفرة الجديدة.
- تشبيه: إذا كانت الشفرة الأصلية هي "المنزل"، والشفرة الجديدة هي "المنزل + ميل واحد"، فهذا انزياح صغير. أما إذا كانت الشفرة الجديدة هي "المنزل + 100 ميل"، فهذا انزياح هائل. الضجيج دفع الشفرة بعيداً بمقدار 100 ميل؛ بينما القلب لم يحركها سوى بضع بوصات.

4. لماذا يهمنا هذا؟

قد تتساءل: "وما الفائدة؟ لماذا نهتم إذا ارتبك الذكاء الاصطناعي بسبب الضجيج؟"

هذا أمر بالغ الأهمية لـ السلامة والثقة:

المتانة (Robustness): إذا استُخدم الذكاء الاصطناعي لقيادة سيارة أو لتشخيص مرض، فيجب أن يكون متيناً. إذا كان القليل من المطر (التغبيش) أو اتساخ الزجاج الأمامي (الضجيج) يجعل المنطق الداخلي للذكاء الاصطناعي ينهار، فهذا أمر خطير. هذه الدراسة تخبرنا بالضبط أي أنواع العبث هي التي "تكسر" عقل الذكاء الاصطناعي.
فهم العقل: من خلال رؤية كيفية انزياح الشفرة، نحن نتعلم كيف "يفكر" الذكاء الاصطناعي. اتضح أن الذكاء الاصطناعي تعلم تجاهل التغييرات البسيطة (مثل السطوع) ولكنه يعتمد بشكل كبير على التفاصيل الحادة والأشكال المحددة.

الخلاصة

هذه الورقة البحثية تشبه اختبار الجهد لعقل الذكاء الاصطناعي. إنها تظهر لنا أنه رغم ذكاء هذا النظام، إلا أن لديه نقاط ضعف محددة.

نقاط القوة: يتعامل مع عمليات القلب وتغيير السطوع بسهولة.
نقاط الضعف: يسهل تشتيته بواسطة الضجيج، أو التغبيش الشديد، أو التشوهات الغريبة.

من خلال فهم نقاط الضعف هذه، يمكن للعلماء بناء أنظمة ذكاء اصطناعي أفضل وأكثر أماناً، لا ترتبك عندما يصبح العالم الحقيقي فوضوياً بعض الشيء.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تشريح انزياح التضمين في نموذج CLIP: تأثيرات عمليات التعزيز على تعلم التمثيل في نماذج الرؤية واللغة (VLMs)."

١. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs)، ولا سيما نموذج التدريب التقابلي للصور والنصوص (CLIP)، تعميماً قوياً من خلال رسم خرائط للصور والنصوص في مساحة كامنة مشتركة. ومع ذلك، لا تزال الآليات الداخلية لكيفية تمثيل هذه النماذج للصور تحت تأثير التحويرات المختلفة غير مفهومة بشكل جيد.

الفجوة: يركز البحث الحالي حول قابلية تفسير CLIP بشكل أساسي على العلاقات بين النص والصورة أو تفسيرات الصور الفردية. وهناك نقص في التحليل المنهجي فيما يتعلق بكيفية قيام عمليات تعزيز الصور (مثل الضجيج، والتمويه، والتدوير) بتغيير التضمينات (embeddings) التي تعلمها النموذج.
السؤال الجوهري: هل تعمل عمليات التعزيز مجرد إضافة للضجيج، أم أنها تغير بشكل جوهري الفهم الدلالي وتمثيل الصورة داخل مساحة تضمين CLIP؟ وإذا كانت تغيرها، فإلى أي درجة، وأي عمليات التعزيز تسبب التغييرات الأكثر حدة؟

٢. المنهجية

أجرى المؤلفون تحليلاً منهجياً باستخدام نموذج CLIP base patch32.

مجموعة البيانات

المصدر: مجموعة فرعية من مجموعة بيانات Conceptual Captions.
النطاق: ١٣,٣١٢ صورة من مجموعة التحقق (validation set) للمقاييس الأساسية؛ وعينة فرعية مكونة من ٢,٠٠٠ صورة للمقاييس النوعية والمخصصة الإضافية.

سلسلة عمليات التعزيز (Augmentation Pipeline)

تم تطبيق تسع تقنيات شائعة لتعزيز الصور باستخدام مكتبة albumentations:
١. الضجيج الغاوسي (Gaussian Noise)
٢. التمويه الغاوسي (Gaussian Blur)
٣. تذبذب الألوان (Color Jitter)
٤. القياس (Scale)، التدوير (Rotate)، والإزاحة (Shift)
٥. الانعكاس الأفقي (Horizontal Flip)
٦. التحول المرن (Elastic Transform)
٧. تحول المنظور (Perspective Transform)
٨. العشوائية في السطوع والتباين (Random Brightness and Contrast)
٩. الحذف الخشن (Coarse Dropout) - إزالة كتل البكسلات.

مقاييس التقييم

تستخدم الدراسة نهجاً هجيناً من التحليل الإحصائي الكمي والتصور النوعي:

مسافة/تشابه التضمين:
- تشابه جيب التمام (Cosine Similarity): يقيس التشابه الزاوي بين التضمينات الأصلية والمعززة.
- مسافة L2 (المسافة الإقليدية): تقيس حجم الإزاحة في المساحة المتجهة.
- المسافة الزوجية وتجميع الشجرة (Dendrogram Clustering): استُخدمت لتجميع عمليات التعزيز بناءً على مدى تشابه طريقة إزاحتها للتضمينات.
المقاييس الهيكلية ومقاييس الانتباه:
- إزاحة خريطة الانتباه (Attention Map Shift): تحلل التغيرات في خرائط الانتباه للطبقة الأخيرة (نوعياً).
- تشابه الرقع (Patch Similarity): يقارن بين رقع الصور المتقابلة بين النسخة الأصلية والمعززة.
- الحفاظ على الحواف (Edge Preservation): يقيس الاحتفاظ بهياكل الحواف (باستخدام تدرجات شبيهة بـ Sobel).
- الحفاظ على التفاصيل (Detail Preservation): يحلل الانحراف المعياري للرقع لتحديد ما إذا كانت التفاصيل الدقيقة قد فُقدت.
- تقدير كثافة النواة (KDE): يصور توزيع مسافات L2.

٣. المساهمات الرئيسية

١. التشريح المنهجي لتأثير التعزيز: تقدم الورقة أول تحليل كمي شامل لكيفية تأثير تسع عمليات تعزيز محددة بشكل فردي على مساحة تضمين CLIP.
٢. مجموعة مقاييس متعددة الأبعاد: تقدم مزيجاً مبتكراً من المقاييس (بما في ذلك إزاحة الانتباه، وتشابه الرقع، والحفاظ على التفاصيل) المصممة خصيصاً لقياس انزياح التمثيل في نماذج الرؤية واللغة.
٣. تحديد الثبات مقابل الحساسية: تميز بوضوح بين عمليات التعزيز التي يظهر CLIP ثباتاً تجاهها (مثل الانعكاس الأفقي، والتباين في السطوع) وتلك التي تسبب انزياحاً دلالياً كبيراً (مثل الضجيج، وتحولات المنظور).
٤. التنفيذ مفتوح المصدر: أطلق المؤلفون الكود وسلسلة التحليل لتسهيل الأبحاث المستقبلية في التفسير الآلي (mechanistic interpretability) والدفاع ضد الهجمات العدائية.

٤. النتائج والاكتشافات الرئيسية

تصنيف تأثير عمليات التعزيز

تصنف الدراسة عمليات التعزيز إلى ثلاث فئات متميزة بناءً على تأثيرها على إزاحة التضمين:

١. تأثير عالٍ (إزاحة جذرية):

الضجيج (Noise): تسبب أكبر انحراف. وقد انفصل عن جميع عمليات التعزيز الأخرى في عملية التجميع، حيث لم يحافظ على سوى القليل جداً من التفاصيل التي يمكن للبشر فك تشفيرها، مما أدى إلى انهيار كامل للتمثيل الدلالي الأصلي.
تحول المنظور (Perspective Transform) و(الإزاحة/القياس/التدوير): تسببت هذه التشوهات الهندسية في تشتيت تركيز الانتباه بعيداً عن الموضوع الأساسي بشكل كبير، مما أدى إلى إزاحات كبيرة في التضمين.

٢. تأثير متوسط (تباين اللون/التفاصيل):

التمويه (Blur)، الحذف الخشن (Coarse Dropout)، وتذبذب الألوان (Color Jitter): أظهرت هذه العمليات تبايناً أعلى في كل من مسافة L2 وتشابه جيب التمام. وهي تضعف الحفاظ على الحواف والتفاصيل، مما يؤدي إلى إزاحات ملحوظة ولكنها أقل كارثية من الضجيج.

٣. تأثير منخفض (ثبات عالٍ):

الانعكاس الأفقي (Horizontal Flip)، السطوع/التباين، والتحول المرن: أظهرت هذه العمليات أدنى مستويات الإزاحة في التضمين. يبدي CLIP ثباتاً قوياً تجاه التحولات غير المرتبطة باللون والقلب المكاني البسيط، محتفظاً بتشابه عالٍ في جيب التمام ومسافة L2 منخفضة.

الملاحظات النوعية

خرائط الانتباه: تسبب الضجيج وتحولات المنظور في خرائط انتباه أكثر تنوعاً وتشتتاً. أما التمويه فقد أدى إلى إزالة "التركيز" على الكائن الرئيسي، مما زاد من انتشار الخريطة الحرارية.
التجميع (Clustering): كشف تحليل الشجرة (Dendrogram) أنه بينما يشكل الضجيج عنقوداً متميزاً خاصاً به، فإن عمليات أخرى مثل التمويه، والإزاحة/القياس/التدوير، وتحول المنظور تشكل مجموعات فرعية متقاربة، مما يشير إلى أنها تؤثر على مساحة التمثيل بطرق متشابهة.
عدم التماثل في التقييم: لاحظت الدراسة أن "الانعكاس الأفقي" سجل أداءً ضعيفاً في مقايسات "تشابه الرقع" للصور غير المتماثلة، لأن المقياس يقارن الرقعة $i$ بالرقعة $i$ (مكانياً)، بدلاً من مقارنتها بنظيرتها المنعكسة. يسلط هذا الضوء على قصور في مقاييس مطابقة الرقع القياسية لبعض التحولات.

٥. الأهمية والعمل المستقبلي

المتانة والدفاع: توفر هذه النتائج أساساً لفهم متانة نماذج الرؤية واللغة. إن معرفة عمليات التعزيز التي تسبب انزياحاً دلالياً أمر بالغ الأهمية لتطوير الدفاعات ضد الهجمات العدائية التي تتلاعب بالصور لخداع النماذج.
التفسير الآلي: تشير الدراسة إلى أن CLIP لا يعامل جميع التحولات البصرية بالتساوي، مما يشير إلى وجود آليات أساسية محددة في طبقات تمثيل الميزات الخاصة به.
الاتجاهات المستقبلية:
- التحليل على مستوى الطبقات: توسيع الدراسة لتحليل الإزاحات عبر طبقات مختلفة من الشبكة.
- المحاذاة عبر الوسائط: التحقيق فيما إذا كانت إزاحات التضمين ترتبط بكلمات مفتاحية نصية محددة تصف عملية التعزيز.
- التعميم: اختبار هذه النتائج على نماذج رؤية ولغة أخرى (مثل BLIP، Kosmos-2، Flamingo) وعلى تحولات أكثر تعقيداً مثل نقل الأسلوب (style transfer) أو تغير النطاق (domain shifts).

الخاتمة

تثبت هذه الورقة أن تعلم التمثيل في نموذج CLIP ليس ثابتاً بشكل موحد تجاه جميع عمليات تعزيز الصور. فبينما يتعامل النموذج بمتانة مع تغيرات الألوان والانقلابات البسيطة، فإنه شديد الحساسية للضجيج، والتشوهات الهندسية، والتحولات المدمرة للتفاصيل. إن تحليل "انزياح التضمين" هذا يعد خطوة حاسمة نحو جعل نماذج الرؤية واللغة أكثر قابلية للتفسير، وأكثر متانة، وأكثر أماناً ضد التلاعب العدائي.