🤖 AI

Bidirectional Multimodal Prompt Learning with Scale-Aware Training for Few-Shot Multi-Class Anomaly Detection

تقترح الورقة البحثية إطار عمل AnoPLe، وهو إطار تعلم محفز متعدد الوسائط ثنائي الاتجاه وخفيف الوزن مع تدريب مدرك للمقياس، يحقق أداءً رائدًا في اكتشاف الشذوذ متعدد الفئات في ظل ظروف التعلم من أمثلة قليلة عبر إلغاء الحاجة إلى أوصاف نصية خاصة بكل فئة أو وحدات خارجية، مع التقاط الأنماط الطبيعية المشتركة عبر الفئات المتنوعة بفعالية.

المؤلفون الأصليون: Yujin Lee, Sewon Kim, Daeun Moon, Seoyoon Jang, Hyunsoo Yoon

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yujin Lee, Sewon Kim, Daeun Moon, Seoyoon Jang, Hyunsoo Yoon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مفتش مراقبة جودة في مصنع ضخم. هذا المصنع لا يصنع شيئًا واحدًا فقط؛ بل يصنع كل شيء، من المفكات إلى الأحذية الرياضية وصولاً إلى لوحات الدوائر الكهربائية.

مهمتك هي رصد العناصر "السيئة" (العيوب). ولكن هناك عقبة:

أنت جديد: لم ترَ سوى مثال واحد مثالي لكل قطعة (سيناريو "التعلم من أمثلة قليلة" - few-shot).
ليس لديك دليل إرشادي: لا تملك قائمة تصف شكل "المفك المكسور" أو "الحذاء المخدوش".
يجب أن تكون سريعًا: لا يمكنك إيقاف خط التجميع للتفكير طويلاً.

هذا هو بالضبط ما يحله بحث AnoPLe. وإليك كيف يعمل، مشروحًا ببساطة.

الطريقة القديمة: المفتش "المستعد أكثر من اللازم"

حاولت نماذج الذكاء الاصطناعي السابقة حل هذه المشكلة من خلال الطلب من خبير كتابة وصف تفصيلي لكل عيب محتمل.

المشكلة: إذا بدأ المصنع فجأة في صنع "بط مطاطي" بدلاً من "الأحذية الرياضية"، سيتعين على الخبير كتابة دليل كامل جديد. وإذا نسي الخبير وصف نوع معين من الخدوش، فسيفقد الذكاء الاصطناعي رصدها. الأمر يشبه محاولة حفظ قاموس لكل لغات العالم فقط لتكتشف خطأً مطبعيًا. إنها عملية بطيئة، مكلفة، وهشة.

الط الطريقة الجديدة: AnoPLe (المفتش "الحدسي")

ابتكر المؤلفون نظامًا يسمى AnoPLe. وبدلاً من حفظ قائمة بالعيوب، يتعلم النظام فهم مفهوم "الطبيعي" و"الغريب" من خلال التحدث مع نفسه بلغتين في آن واحد: النص والرؤية.

إليك الحيل السحرية الثلاث التي يستخدمها:

1. "المحادثة ثنائية الاتجاه" (Bidirectional Prompting)

تخيل أنك تحاول وصف "كرسي مكسور" لصديق لم يره من قبل.

جانب النص: تقول: "إنه كرسي". (هذا يعطي الفكرة العامة).
جانب الرؤية: تعرض صورة لكرسي بساق مفقودة.
السحر: في AnoPLe، يتحدث جزأا "النص" و"الصورة" في الذكاء الاصطناعي مع بعضهما البعض باستمرار.
- النص يقول: "تذكر، هذا كرسي".
- الصورة تقول: "لكن انظر، هذا الكرسي تحديدًا لديه ساق مفقودة".
- إنهما يصقلان بعضهما البعض. النص يساعد الصورة على فهم الفئة، والصورة تساعد النص على فهم الخلل المحدد. لا يحتاجان إلى قائمة مكتوبة مسبقًا عن "الكراسي المكسورة"؛ بل يستنتجان ذلك عبر مقارنة فكرة الكرسي مقابل واقع الصورة.

2. "عدسة الزووم" (Scale-Aware Training)

أحيانًا يكون العيب ضخمًا (صدع كبير)، وأحيانًا يكون صغيرًا جدًا (ذرة غبار).

المشكلة: ينظر الذكاء الاصطناعي القياسي إلى الصورة بأكملها (الرؤية الشاملة - Global View) وقد يغفل عن ذرة الغبار الصغيرة. أو ينظر عن قرب شديد (الرؤية المحلية - Local View) فيفقد الصورة الكلية.
الحل: أثناء التدريب، يتم عرض الشيء للـ AnoPLe وهو كامل وأيضًا وهو مكبر على أجزاء صغيرة.
التشبيه: فكر في الأمر كحارس أمن يتعلم رصد اللص من خلال مراقبة الحشد بأكمله وكذلك التركيز (الزووم) على الوجوه الفردية.
الجزء المذهل: عندما يحين وقت العمل الفعلي (الاستدلال - inference)، فإنه يحتاج فقط للنظر إلى الصورة كاملة. الأمر يشبه أن الحارس قد "حفظ" بالفعل التفاصيل الدقيقة للوجوه أثناء التدريب، لذا لا يحتاج للزووم بعد الآن. يمكنه رصد اللص فورًا من مسافة بعة.

3. "فحص الاتساق" (Alignment Loss)

يقوم الذكاء الاصطناعي بتخمينين:

"هل هذه الصورة بأكملها غريبة؟" (التخمين الشامل).
"هل هذه البكسل المحددة غريبة؟" (التخمين المحلي).

المشكلة: أحيانًا يعتقد الذكاء الاصطناعي أن الصورة بأكملها سليمة، لكن بكسل معين تالف، أو العكس.
الحل: يجبر AnoPLe هذين التخمينين على الاتفاق. إذا قال "البكسل": "أنا تالف"، يجب على "الصورة بأكملها" أن تقر بذلك. الأمر يشبه معلمًا يراجع واجب طالب: "لقد قلت أن الإجابة هي 5، لكن حساباتك تظهر 7. لنصحح ذلك لكي يتطابقا". هذا يجعل الذكاء الاصطناعي أكثر موثوقية.

لماذا يعد هذا أمرًا مهمًا؟

إنه سريع: لا يحتاج إلى إجراء حسابات ثقيلة وبطيئة أو البحث في قاعدة بيانات ضخمة من أوصاف العيوب. إنه يشبه عاملًا متمرسًا "يعرف" ببساطة أن هناك خطأ ما فورًا.
إنه مرن: إذا قدمت منتجًا جديدًا تمامًا (مثل "بطة مطاطية") لم يره الذكاء الاصطناعي من قبل، فلا يزال بإمكانه رصد العيوب لأنه يفهم مفهوم "كون الشيء بطة" و"كون الشيء مكسورًا" دون الحاجة إلى دليل جديد.
إنه يعمل في كل مكان: اختبر الورقة البحثية قدرته على قطع المصانع، بل إنه نجح حتى في الصور الطبية (مثل صور الرنين المغناطيسي للدماغ). إنه يشبه ميكانيكيًا يمكنه إصلاح السيارات، ولكنه أيضًا بارع في إصلاح الساعات لأنه يفهم مفهوم "التروس" و"الأجزاء المكسورة" بشكل عام.

الخلاصة

AnoPLe هو ذكاء اصطناعي ذكي وخفيف الوزن، يتعلم رصد العيوب من خلال إجراء محادثة بين "ما يسمى به الشيء" و"كيف يبدو الشيء". لا يحتاج إلى دليل، ولا يحتاج إلى آلاف الأمثلة، ولا يرتبك عندما يغير المصنع منتجاته. إنه المفتش الأمثل الذي "يتعلم أثناء العمل".

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم بالتحفيز متعدد الوسائط ثنائي الاتجاه مع التدريب المدرك للمقياس للكشف عن الشذوذ متعدد الفئات في ظل ظروف التعلم من أمثلة قليلة" (AnoPLe).

1. بيان المشكلة

تتناول الورقة مشكلة الكشف عن الشذوذ متعدد الفئات في ظل ظروف التعلم من أمثلة قليلة (Few-Shot Multi-Class Anomaly Detection)، وهي تحدٍ حاسم في عمليات الفحص الصناعي في العالم الحقيقي.

السياق: تتضمن البيئات الصناعية فئات عديدة من المنتجات مع تحديثات متكررة، مما يجعل من غير العملي جمع مجموعات بيانات ضخمة ومنسقة لكل فئة.
القيود:
- أمثلة قليلة (Few-Shot): تتوفر فقط عينات "طبيعية" معدودة لكل فئة للتدريب.
- متعدد الفئات (Multi-Class): يجب أن يتعامل نموذج واحد مع فئات كائنات متنوعة في آن واحد.
- ندرة البيانات: تختلف أنماط العيوب بشكل هائل عبر الفئات، بينما يظل مفهوم "الطبيعية" مفهوماً مشتركاً.
قصور الطرق الحالية:
- الاعتماد على الوصف: تعتمد مناهج نماذج الرؤية واللغة (VLMs) الحالية (مثل PromptAD وIIPAD) على أوصاف نصية مصاغة يدوياً لعيوب محددة (مثل "نسيج مكسور"). هذه الأوصاف يصعب توسيع نطاقها، وتتطلب معرفة الخبراء، وتسبب ارتباكاً دلالياً عند دمجها في مساحة موحدة متعددة الفئات.
- التكلفة الحسابية: الطرق التي تستخدم وحدات مساعدة ثقيلة (مثل Q-Formers) أو الاستدلال بنظام النافذة المنزلقة تكون مكلفة حسابياً وبطيئة للنشر في الوقت الفعلي.
- الارتباك الدلالي: يؤدي تجميع الفئات غير المتجانسة دون أساس دلالي سليم إلى تداخل التمثيلات الميزية، مما يقلل من دقة الكشف.

2. المنهجية: AnoPLe

يقترح المؤلفون AnoPLe، وهو إطار عمل خفيف الوزن وقابل للتوسع يلغي الحاجة إلى أوصاف العيوب المصاغة يدوياً والوحدات الخارجية. يعتمد الإطار على نموذج CLIP مدرب مسبقاً مع استراتيجية مبتكرة لتعلم التحفيز (Prompt Learning).

المكونات الأساسية:

التعلم بالتحفيز متعدد الوسائط ثنائي الاتجاه:
- التحفيزات النصية: بدلاً من وصف العيوب، يستخدم الفرع النصي أسماء الفئات كمرتكزات دلالية (مثل "برغي"، "زجاجة") مدمجة مع رمز [abnormal] موحد. هذا يتجنب الحاجة إلى أوصاف عيوب خاصة بكل فئة.
- التحفيزات البصرية: يتعلم الفرع البصري إشارات على مستوى الحالة مباشرة من الأدلة الصورية لالتقاط الانحرافات الدقيقة.
- الاقتران ثنائي الاتجاه: يستخدم الإطار إسقاطات خطية قابلة للتعلم ( $f_{v \to t}$ $f_{v \to t}$ و $f_{t \to v}$ $f_{t \to v}$ ) لدمج متجهات السياق النصي والبصري في كل طبقة من طبقات المشفر.
  - الآلية: توجه الدلالات الطبقية الميزات البصرية نحو هياكل مدركة للفئة، بينما تعمل الإشارات البصرية على مستوى الحالة على صقل التمثيلات النصية بتفاصيل ذات صلة بالعيوب. هذا يخلق تمثيلات مشروطة بالفئة ومستقلة عن نوع العيب.
التعلم بالتحفيز المدرك للمقياس:
- المشكلة: يعاني نموذج CLIP القياسي في التحديد الدقيق (على مستوى البكسل) لأنه يركز على الدلالات العالمية.
- الحل: تم تقديم بادئة (prefix) مدركة للمقياس وقابلة للتعلم ( $c$ ). أثناء التدريب، يرى النموذج صوراً كاملة وعينات مقصوصة محلية. تقوم البادئة بترميز هوية الدقة، مما يسمح للنموذج بتعلم تمثيلات موحدة تحترم كلاً من السياق العالمي والتفاصيل المحلية.
- كفاءة الاستدلال: عند الاختبار، تُستخدم البادئة العالمية فقط، مما يحافظ على التوافق مع الصورة الكاملة دون العبء الحسابي للاستدلال متعدد المقاييس.
المفكك الخفيف والمحاذاة:
- يقوم مفكك (Decoder) خفيف الوزن بتنقية تضمينات الرقع (patch embeddings) لنموذج CLIP لتوليد خرائط شذوذ على مستوى البكسل.
- فقدان المحاذاة ( $L_{align}$ ): يعمل فقدان تشابه جيب التمام على نشر أدلة الشذوذ المحلية (من لوغاريتمات البكسل) إلى الميزات العالمية. يضمن هذا الاتساق بين التنبؤات على مستوى البكسل ومستوى الصورة، مما يعزز قدرة النموذج على اكتشاف الشذوذ تحت قيود التعلم من أمثلة قليلة للغاية.
استراتيجية التدريب:
- الشذوذ الزائف: بما أن العيوب الحقيقية غير متوفرة، يقوم النموذج بمحاكاة العيوب عبر اضطرابات في مساحة البكسل وحقن الضجيج في المساحة الكامنة.
- بنك الذاكرة: أثناء الاستدلال، يُستخدم بنك ذاكرة بصري للميزات الطبيعية لحساب درجات الشذوذ القائمة على التشابه، والتي تُدمج مع الدرجات الموجهة بالتحفيز عبر المتوسط التوافقي.

3. المساهمات الرئيسية

إطار عمل موحد: يقترح AnoPLe، وهو أول إطار عمل يحل مشكلة MCAD في ظروف الأمثلة القليلة دون الاعتماد على أوصاف عيوب مصاغة من قبل الخبراء أو وحدات مساعدة ثقيلة (مثل Q-Formers).
التفاعل ثنائي الاتجاه: يقدم آلية مبتكرة للتعلم بالتحفيز ثنائي الاتجاه حيث تعمل الدلالات الطبقية والإشارات على مستوى الحالة على صقل بعضهما البعض، مما يؤدي بفعالية إلى تنظيم الفئات غير المتجانسة دون ارتباك دلالي.
التدريب المدرك للمقياس: صمم بادئة مدركة للمقياس وفقدان محاذاة يتيحان التحديد الدقيق والاتساق العالمي دون زيادة تكلفة الاستدلال.
القابلية للتوسع والتعميم: يثبت أن أسماء الفئات وحدها توفر انحيازاً استقرائياً كافياً للتعامل مع فئات متنوعة وأنواع عيوب غير مرئية، متفوقاً على النماذج المرجعية المعقدة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات اختبار صناعية رئيسية: MVTec-AD، و VisA، و Real-IAD، في ظروف 1-shot و 2-shot و 4-shot.

الأداء:
- MVTec-AD (1-shot): حقق 94.5% في Image-AUROC و 90.8% في Pixel-AUROC.
- VisA (1-shot): حقق 86.0% في Image-AUROC و 87.5% في Pixel-AUROC.
- Real-IAD (1-shot): حقق 81.2% في Image-AUROC و 88.8% في Pixel-AUROC.
- تفوق AnoPLe باستمرار أو عادل الطرق الرائدة (بما في ذلك IIPAD و PromptAD و INP-Former) مع كونه أكثر كفاءة بشكل ملحوظ.
الكفاءة:
- حقق سرعات استدلال بلغت 27.92 FPS (MVTec)، و 26.90 FPS (VisA)، و 29.64 FPS (Real-IAD)، متجاوزاً الطرق التي تتطلب نوافذ منزلقة أو تمريرات أمامية متعددة.
التعميم:
- الفئات غير المرئية: في تجارب "ترك فئة واحدة خارج الاختبار"، أظهر AnoPLe تراجعاً أقل بكثير في الأداء على الفئات غير المرئية مقارنة بالنماذج المرجعية القائمة على الرؤية فقط (INP-Former).
- العيوب غير المرئية: على عكس الطرق القائمة على الوصف (PromptAD) التي تفشل عند إزالة أوصاف العيوب المحددة، ظل AnoPLe مستقراً عند مواجهة أنواع عيوب جديدة.
النقل إلى المجال الطبي:
- تم اختباره على مجموعات بيانات طبية (Brain MRI، Liver CT، Retinal OCT) مع إعدادات 4-shot. حقق AnoPLe أداءً في الصدارة أو قريباً منها، مما أظهر قدرة قوية على النقل عبر المجالات دون ضبط خاص بكل مجال.

5. الأهمية

العملية للصناعة: من خلال إزالة الاعتماد على أوصاف العيوب المصاغة من قبل الخبراء والوحدات الثقيلة، يقدم AnoPLe حلاً قابلاً للنشر في البيئات الصناعية الديناميكية حيث تظهر منتجات وأنواع عيوب جديدة باستمرار.
تحول في النموذج المعرفي: ينقل التركيز من "وصف العيوب" إلى "تعلم هياكل الطبيعة المشتركة" عبر أسماء الفئات، مما يثبت أن المحفزات الدلالية خفيفة الوزن كافية للكشف عن الشذوذ متعدد الفئات والمعقد.
الكفاءة: يحقق الهيكل دقة تضاهى أحدث التقنيات مع حد أدنى من التكلفة الحسابية، مما يجعله مناسباً لأنظمة الفحص الصناعي في الوقت الفعلي.
إمكانية النقل عبر المجالات: يشير التطبيق الناجح على التصوير الطبي إلى أن الآلية الأساسية للإطار (تعلم الطبيعة المشتركة عبر التحفيز متعدد الوسائط) قابلة للتطبيق عالمياً بما يتجاوز التصنيع الصناعي.