💻 computer science

Suppressing Non-Semantic Noise in Masked Image Modeling Representations

تقدم هذه الورقة البحثية طريقة "إسقاط المشغولات الدلالية المتعامدة" (SOAP)، وهي طريقة لا تتطلب تدريباً وتُطبق بعد عملية التدريب (post-hoc)، تعمل على كبح الضجيج غير الدلالي في تمثيلات نمذجة الصور المقنعة لتحسين أداء الاستدلال في حالة الصفر (zero-shot inference).

المؤلفون الأصليون: Martine Hjelkrem-Tan, Marius Aasan, Rwiddhi Chakraborty, Gabriel Y. Arteaga, Changkyu Choi, Adín Ramírez Rivera

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Martine Hjelkrem-Tan, Marius Aasan, Rwiddhi Chakraborty, Gabriel Y. Arteaga, Changkyu Choi, Adín Ramírez Rivera

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية التعرف على الأشياء في الصور. تعرض عليه آلاف الصور للقطط والكلاب والسيارات، لكنك تغطي أجزاءً من الصور وتطلب من الروبوت تخمين ما هو مفقود. يُسمى هذا نمذجة الصور المقنعة (Masked Image Modeling - MIM). وهي طريقة شائعة جدًا لتعليم الذكاء الاصطناعي كيف "يرى" دون الحاجة إلى تسمية كل صورة من قبل البشر.

ومع ذلك، اكتشفت هذه الورقة البحثية مشكلة مخادعة: الروبوت يغش.

المشكلة: الروبوت ينظر إلى الخريطة، لا إلى الكنز

عندما يحاول الروبوت تخمين الأجزاء المفقودة من الصورة، فإنه يتعلم شيئين:

المحتوى: "هذه أذن قطة". (هذا أمر جيد!)
الموقع: "تلك القطعة تقع في الزاوية العلوية اليسرى". (هذا هو الغش!)

لأن الروبوت يحتاج إلى معرفة أين توجد القطعة ليعيد بناء الصورة بشكل مثالي، فإنه يصبح بارعًا جدًا في تذكر إحداثيات الشبكة لكل قطعة من قطع اللغز. يبدأ في التعامل مع "الزاوية العلوية اليسرى" كإشارة محددة، بغض النظر عما إذا كان هناك قط أو كلب هناك.

يسمي المؤلفون هذا "الضجيج غير الدلالي" (Non-Semantic Noise). الأمر يشبه محاولتك تعلم اللغة الفرنسية، لكن عقلك يستمر في التشتت بسبب حجم الخط للكلمات بدلاً من التركيز على المعنى الفعلي. الروبوت يركز بشدة على أين توجد الأشياء لدرجة أنه ينسى التركيز على ما هي تلك الأشياء.

التشبيه: "شبح الموقع"

تخيل أنك تنظر إلى صورة لشاطئ.

الإشارة الدلالية: الرمال، المحيط، وأشجار النخيل.
الضجيج غير الدلالي: شبكة خفية وغير مرئية متراكبة تقول "الصف 1، العمود 3".

في نماذج الذكاء الاصطنا هذه، تكون إشارة "الصف 1، العمود 3" صاخبة وساطعة لدرجة أنها تطغى على الشاطئ الحقيقي. عندما تطلب من الذكاء الاصطناعي العثور على "جسم بارز" (مثل شخص يقف على الشاطئ)، فإنه يصاب بالارتباك لأنه ينظر إلى خطوط الشبكة بدلاً من النظر إلى الشخص.

الحل: SOAP (سماعات إلغاء الضجيج)

ابتكر المؤلفون أداة ذكية ومجانية تسمى SOAP (الإسقاط المتعامد دلاليًا للآثار - Semantically Orthogonal Artifact Projection). فكر فيها كأنها سماعات إلغاء الضجيل لعقل الذكاء الاصطناعي.

إليك كيف يعمل الأمر، خطوة بخطوة:

العمل الاستقصائي (الدرجة):
أولاً، احتاجوا إلى طريقة لقياس مقدار "الغش" (الضجيج) الذي يقوم به الروبوت. عرضوا على الروبوت نوعين من الصور:
- صور حقيقية: مليئة بالقطط والسيارات والأشجار.
- ستاتيكية اصطناعية: مجرد تشويش تلفزيوني عشوائي وضجيج ملون (بدون معنى).
إذا تفاعل الروبوت بنفس الطريقة مع تشويش التلفاز كما يتفاعل مع صورة قطة، فهذا يعني أن الروبوت يتجاهل المحتوى الفعلي ويتفاعل فقط مع موقع الشبكة. وقد أعطوا هذا درجة: درجة عالية = الروبوت يتجاهل المعنى.
المرشح (الإسقاط):
بمجرد تحديد الإشارات "الصاخبة" التي تتعلق بالموقع فقط (الضجيج)، استخدموا خدعة رياضية تسمى SOAP لخفض تلك الإشارات المحددة إلى الصفر.

تخيل أن عقل الذكاء الاصطناعي هو محطة راديو تبث مزيجًا من الموسيقى (المعنى) والتشويش (الضجيج). تقوم أداة SOAP بالعثور على تردد التشويش وكتمه، مما يترك الموسيقى واضحة وعالية فقط.
النتيجة:
لم يضطروا لإعادة تدريب الروبوت. لقد قاموا فقط بإضافة هذا "المخمد" إلى النماذج الموجودة. وفجأة، أصبح الروبوتات أفضل بكثير في فهم ما هو موجود بالفعل في الصورة.

لماذا يهم هذا؟

قبل هذا الإصلاح، إذا أخذت نموذج ذكاء اصطناعي قويًا وطلبت منه القيام بمهمة جديدة لم يسبق له رؤيتها (مثل العثور على جسم معين في فيديو)، فإنه غالبًا ما يفشل لأنه كان مشغولًا جدًا بالنظر إلى "خطوط الشبكة".

باستخدام SOAP، يصبح الذك ফুল مستمعًا أفضل. يتوقف عن الهوس بـ أين توجد البكسل ويبدأ في الانتباه إلى ما هي تلك البكسل.

باختصة شديدة:

المشكلة: نماذج الذكاء الاصطناعي المدربة على ملء الصور المفقودة تصبح مدمنة على تذكر أين توجد الأشياء، مما يجعلها سيئة في فهم ما هي تلك الأشياء.
الإصلاح: أداة بسيطة ومجانية (SOAP) تعمل كمرشح، يزيل "هوس الموقع" من عقل الذكاء الاصطناعي.
النتيجة: يصبح الذكاء الاصطناعي أكثر ذكاءً، وأكثر دقة، وأفضل في فهم العالم الحقيقي، وكل ذلك دون الحاجة لإعادة تدريبه من الصفر.

الأمر يشبه إدراك أن نظام الملاحة (GPS) الخاص بك مهووس جدًا بإخبارك "انعطف يسارًا عند علامة الميل 42" لدرجة أنه نسي أن يخبرك "انعطف يسارًا عند مطعم البيتزا". تقوم أداة SOAP ببساطة بإيقاف تشغيل علامات المسافات حتى يتمكن الروبوت أخيرًا من رؤية البيتزا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "كبح الضوضاء غير الدلالية في تمثيلات نمذجة الصور المقنعة" (Suppressing Non-Semantic Noise in Masked Image Modeling Representations).

1. بيان المشكلة

أصبحت نمذجة الصور المقنعة (MIM) نموذجاً مهيمناً للتعلم الذاتي الموجه (SSL) في الرؤية الحاسوبية (مثل MAE، وDINOv2، وiBOT). ومع ذلك، حدد المؤلفون خللاً حرجاً: تسبب أهداف نمذجة الصور المقنعة (MIM) في احتفاظ التمثيلات بـ ضوضاء غير دلالية (non-semantic noise) كبيرة، وتحديداً المعلومات الموضعية (positional information).

السبب الجذري: لكي تتمكن نماذج الـ MIM من إعادة بناء الرقع (patches) المقنعة، يجب عليها تعلم موقع تلك الرقع ضمنياً. وبناءً على ذلك، "يغش" النموذج عبر تخصيص قدرة تمثيلية لترميز مواقع الرقع (مثل "أعلى اليسار"، "أسفل اليمين") بدلاً من التركيز فقط على المحتوى الدلالي.
النتيجة: تستمر هذه الضوضاء الموضعية حتى في المدخلات الخالية من المحتوى الدلالي. وبينما يساعد هذا في حل مهمة إعادة البناء (pretext reconstruction)، إلا أنه يقلل من جودة التمثيلات للمهام اللاحقة (خاصة التنبؤ الكثيف صفري الاستباق مثل التجزئة/segmentation)، لأن النموذج يعتمد على اختصارات مكانية بدلاً من الفهم الدلالي الحقيقي.
الفجوة: غالباً ما تكون تقنيات التخفيف الحالية (مثل إصلاحات انهيار الموضع أو رموز السجل/register tokens) معمارية أو تعتمد على التدريب. هناك نقص في الطرق التي لا تعتمد على النموذج (model-agnostic) والتي تُطبق بعد التدريب (post-hoc) لتشخيص وإزالة هذا النوع المحدد من الضوضاء دون الحاجة لإعادة التدريب.

2. المنهجية

تقترح الورقة نهجاً يتكون من ثلاث مراحل: التحليل، التشخيص، والتصحيح.

أ. التحليل عبر تحليل المكونات الرئيسية (PCA)

قام المؤلفون بتحليل فضاء تضمين الرقع (patch embedding space) لمختلف نماذج الـ MIM باستخدام PCA.

الملاحظة: تُظهر المكونات الرئيسية الرائدة (leading PCs) لنماذج الـ MIM انحيازاً موضعياً قوياً. على سبيل المثال، تنشط مكونات معينة باستمرار للرقع الموجودة في مناطق "اليسار/اليمين" أو "الأعلى/الأسفل" من الصورة، بغض النظر عن محتوى الصورة.
المقارنة: النماذج غير التابعة لـ MIM (مثل نماذج التعلم التبايني مثل DINO أو النماذج الخاضعة للإشراف مثل DeiT3) لا تُظهر هذا الانحياز الموضعي القوي في مكوناتها الرائدة.

ب. التشخيص: درجة الثبات الدلالي (SI Score)

لقياس مدى انتشار الضوضاء غير الدلالية، قدم المؤلفون درجة الثبات الدلالي (Semantic Invariance Score - SI).

المفهوم: يكون المكون "ثابتاً دلالياً" إذا أنتج أنماط تنشيط متشابهة لكل من الصور الحقيقية (المحتوى الدلالي) والصور الاصطناعية غير الدلالية (الضوضاء).
توليد البيانات الاصطناعية: قاموا بتوليد صور اصطناعية باستخدام مزيج من الضوضاء الوردية (pink noise)، والضوضاء البيضاء المعدلة، ومجالات التدرج منخفضة التردد لمحاكاة الخصائص الإحصائية للصور الطبيعية دون وجود معنى دلالي.
حساب المقياس:
1. حساب التنشيطات الثنائية لكل رمز (token) في الصور الحقيقية ( $X$ ) والاصطناعية ( $X^c$ ).
2. اشتقاق توزيعات بيرنولي التجريبية ( $P_d$ للصور الحقيقية، و $Q_d$ للصور الاصطناعية) لكل مكون رئيسي $d$ .
3. حساب درجة SI بناءً على التشابه بين $P_d$ و $Q_d$ .
4. الاستنتاج الرئيسي: تشير درجات SI العالية إلى أن المكون يستجيب بشكل متشابه للضوضاء والبيانات الحقيقية، مما يعني أنه يرمز لمعلومات غير دلالية (موضعية). وجد المؤلفون أن نماذج MIM تمتلك درجات SI قصوى أعلى بكثير من النماذج غير التابعة لـ MIM.

ج. التصحيح: إسقاط الآثار المتعامدة دلالياً (SOAP)

بناءً على درجات SI، اقترح المؤلفون طريقة SOAP، وهي طريقة لتنقية الضوضاء (denoising) تعمل بعد التدريب (post-hoc) ولا تتطلب تدريباً.

الآلية: تعمل SOAP في أساس PCA لتضمينات الرقع. فهي تحدد المكونات ذات درجات SI العالية (غير الدلالية) وتقوم بإسقاطها خارج التمثيل.
الصياغة الرياضية:
$\hat{z} = P_\phi z = (I - V W V^\top) z$
حيث $V$ هي المكونات الرئيسية (PCA components)، و $W$ هي مصفوفة أوزان قطرية.
دالة القياس (Scaling Function): لتجنب قمع المعلومات المفيدة، استخدم المؤلفون نافذة فيرمي (Fermi window) (بوابة سيجمويد) لتصفية الأوزان. يتم قمع المكونات التي تزيد درجات SI الخاصة بها عن عتبة معينة (وتتمتع برتبة عالية) بقوة فقط. يضمن هذا انتقالاً سلساً بدلاً من القطع الحاد.
الخصائص: تتميز SOAP بأنها مستقلة عن النموذج، ولا تتطلب أي تدريب، ويمكن إلحاقها كرأس خطي واحد (single linear head) بأي نموذج أساسي (backbone) مدرب ذاتياً.

3. المساهمات الرئيسية

التحليل المتعمق: أثبتت أن أهداف الـ MIM تنحاز بشكل فريد نحو ترميز الضوضاء الموضعية، وهي ظاهرة منتشرة عبر مختلف بنيات الـ MIM (سواء في الفضاء الكامن أو فضاء البكسل، وسواء استخدمت تمثيلات الموضع المضافة أو RoPE).
درجة الثبات الدلالي (SI Score): قدمت مقيساً مبتكراً لقياس المقايضة بين المحتوى الدلالي والضوضاء الموضعية، مما يسمح بتشخيص تمثيلات التعلم الذاتي دون إعادة التدريب.
طريقة SOAP: اقترحت استراتيجية بسيطة لتنقية الضوضاء بعد التدريب، تقوم بقمع الآثار غير الدلالية، مما يحسن الأداء في المهام المختلفة صفري الاستباق (zero-shot).
التحقق التجريبي: أظهرت أن SOAP تحسن الأداء باستمرار في المهام صفرية الاستباق، بينما تفشل الرؤوس القابلة للتعلم (linear probes) غالباً في كشف المشكلة لأنها يمكن أن تتكيف مع الضوضاء.

4. النتائج التجريبية

قيم المؤلفون طريقة SOAP على مجموعة واسعة من النماذج (MAE، DINOv2، DINOv3، iBOT، CAPI، I-JEPA) والخطوط المرجعية (DINO، DeiT3).

التجزئة البارزة صفرية الاستباق (TokenCut):
- أدى تطبيق SOAP على تضمينات الرقع إلى رفع الأداء بشكل كبير في مجموعات بيانات ECSSD وDUTS وDUT-OMRON.
- نماذج الـ MIM التي كانت تعاني سابقاً من ضعف الأداء مقارنة بـ DINO (بسبب الضوضاء الموضعية) حققت نتائج مساوية أو متفوقة بعد تصحيح SOAP.
- مثال: تحسن أقصى درجة F لنموذج DINOv2 في مجموعة بيانات ECSSD من 71.3 إلى 80.6.
تجزئة الدلالات عبر kNN (ADE20k، PascalVOC):
- أظهرت التضمينات المصححة تحسينات ثابتة في متوسط IoU ودقة البكسل عبر جميع نماذج الـ MIM.
- مثال: تحسن IoU لنموذج MAE في ADE20k من 11.88 إلى 12.65.
التصنيف عبر kNN (ImageNet):
- لوحظت تحسينات ولكنها كانت أصغر مما هي عليه في مهام التنبؤ الكثيف. وهذا أمر متوقع لأن التصنيف يعتمد أكثر على الدلالات العالمية وهو أقل حساسية للضوضاء الموضعية المحلية.
دراسات الاستئصال (Ablation Studies):
- دالة القياس (Scaling Function): أدى إزالة نافذة فيرمي (قمع جميع مكونات SI العالية) إلى تراجع الأداء، مما يؤكد الحاجة إلى قمع انتقائي سلس.
- الحساسية لمجموعة البيانات: ظل مقياس SI ثابتاً عبر مجموعات بيانات مختلفة (ImageNet، COCO، إلخ)، مما يثبت قوة المقياس.
- المقارنة مع RASA: تفوقت SOAP على RASA (وهي طريقة سابقة تتعلم التنبؤ بمواقع الرقع لإزالتها). SOAP تتفوق لأنها تقمع الضوضاء مباشرة دون الحاجة إلى تدريب إضافي.

5. الأهمية والخاتية

الرؤية الجوهرية: تكشف الورقة عن مقايضة جوهرية في الـ MIM: هدف إعادة البناء يحفز النماذج على ترميز الاختصارات الموضعية، مما يضر بالنقاء الدلالي للتمثيلات.
الأثر العملي: توفر SOAP حلاً خفيفاً و"جاهز للاستخدام" (plug-and-play) للممارسين الذين يستخدمون نماذج MIM مدربة مسبقاً. فهي تسمح بالتحسين الفوري لمهام التنبؤ الكثيف صفرية الاستباق دون التكلفة الحسابية لضبط المعلمات (fine-tuning) أو إعادة التدريب.
التحول المنهجي: تجادل الورقة بأن بروتوكولات صفرية الاستباق (مثل kNN وTokenCut) ضرورية لتشخيص جودة التمثيل، حيث يمكن للرؤوس القابلة للتعلم أن تخفي وجود الضوضاء غير الدلالية عن طريق الخطأ من خلال التكيف معها.

باخت ملخص، تحدد الورقة مشكلة "الضوضاء الموضعية" المنتشرة في نماذج الرؤية الحديثة، وتقدم طريقة رياضية رصينة لا تتطلب تدريباً (SOAP) لتنقية هذه التمثيلات، مما يؤدي إلى نماذج رؤية أكثر قوة وأمانة دلالية.