🤖 machine learning

PASTA: Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation

تُعد PASTA خط معالجة خاضع للإشراف الضعيف يستفيد من تحليل ميزات محول الرؤية (Vision Transformer) والمطالبات النصية لنموذج Segment Anything Model 3 لتحقيق تقسيم آني على مستوى البكسل للأهداف والعيوب غير المرئية في البيئات الصناعية والزراعية، مما يقلل بشكل كبير من وقت التدريب مع التفوق على النماذج المرجعية المتخصصة في هذا المجال.

المؤلفون الأصليون: Melanie Neubauer, Elmar Rueckert, Christian Rauch

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Melanie Neubauer, Elmar Rueckert, Christian Rauch

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث PASTA، مترجم بلغة بسيطة مع بعض التشبيهات الإبداعية.

المشكلة الكبرى: الروبوت الذي يبحث عن "إبرة في كومة قش"

تخيل أنك روبوت تعمل في مصنع لإعادة التدوير أو في مزرعة. مهمتك هي الفرز من خلال كومة ضخمة من الأشياء.

في المصنع: تحتاج إلى التقاط قطع معينة من الفولاذ وتجاهل خردة النحاس (الشيء الشاذ/الخطأ).
في المزرعة: تحتاج إلى ري المحاصيل ولكن تجنب رش الأعشاب الضارة (الشيء الشاذ/الخطأ).

المشكلة هي أنك لا تعرف بعد كيف يبدو الشيء "السيئ". في الروبوتات العادية، يتعين عليك إظهار آلاف الصور لـ "النحاس السيئ" أو "الأعشاب الضارة" وتقول له: "هذا سيء، وهذا جيد". ولكن في العالم الحقيقي، "الشيء السيئ" يتغير دائمًا، ولا يمكنك التقاط صور لكل جسم غريب محتمل قد يظهر.

الروبوتات الموجودة حاليًا تشبه الطلاب الذين حفظوا الكتاب المدرسي فقط. إذا رأوا سؤالاً لم يحفظوه، فإنهم يفشلون.

الحل: PASTA (المحقق الذي يكتشف "الفروقات")

ابتكر المؤلفون طريقة جديدة تسمى PASTA (تجميع الرقع لتجزئة الأهداف والظواهر الشاذة). بدلاً من حفظ شكل "السيئ"، تتعلم PASTA شكل "الطبيعي" ثم تجد أي شيء لا يتناسب مع النمط.

فكر في الأمر كأنها لعبة "أوجد الفروق" بين صورتين:

الصورة (أ) (الكومة المختلطة): صورة لحزام ناقل عليه كل شيء (الأشياء الجيدة + الأشياء السيئة).
الصورة (ب) (المرجع النظيف): صورة للحزام الناقل بعد فرز الأشياء الجيدة منه، مما يترك فقط الخلفية "الطبيعية" والأشياء الجيدة.

تقوم PASTA بمقارنة هاتين الصورتين. إذا رأت نمطًا في الصورة (أ) مفقودًا تمامًا في الصورة (ب)، فإنها تصرخ: "آها! هذا هو الشيء الشاذ!"

كيف يعمل: وصفة الخطوات الثلاث

1. "العين الذكية" (محولات الرؤية - Vision Transformers)

أولاً، يستخدم النظام عين ذكاء اصطناعي فائقة الذكاء (تسمى محول الرؤية أو ViT) للنظر في الصور. بدلاً من النظر إلى الصورة بأكملها دفعة واحدة، يقوم بتقسيم الصورة إلى قطع أحجية صغيرة (رقع/Patches).

تشبيه: تخيل أنك تنظر إلى لوحة فسيفساء. بدلاً من رؤية الصورة كاملة، تنظر إلى بلاطات فردية. يقوم الذكاء الاصطناعي بتجميع البلاطات المتشابهة معًا. "هذه البلاطة تبدو كتربة"، "هذه البلاطة تبدو كورقة شجر"، "هذه البلاطة تبدو كمعدن لامع".

2. "عداد التكرار" (التجميع - Clustering)

يقوم الذكاء الاصطناعي بعدّ عدد المرات التي يرى فيها كل نوع من أنواع البلاطات.

البلاطات "الطبيعية": يرى بلاطات "التربة" و"الفولاذ" طوال الوقت في كل من الكومة المختلطة والمرجع النظيف. هذه هي الأهداف (Targets).
البلاطات "المفقودة": يرى بلاطات "النحاس" أو "الأعشاب الضارة" في الكومة المختلطة، لكنها نادرة أو مفقودة في المرجع النظيف.
المنطق: إذا ظهر نوع من البلاطات في الكومة الفوضوية ولكنه اختفى في الكومة النظيفة، فلا بد أنه "الشيء السيئ" الذي نبحث عنه.

3. "القلم السحري" (SAM 3)

حتى الآن، حدد الذكاء الاصطناعي فقط "البلاطات الغريبة". لكن الروبوت يحتاج إلى معرفة مكان الجسم بالضبط ليلتقطه.

المشكلة: "البلاطات" صغيرة وضبابية.
الحل: يستخدم النظام أداة تسمى SAM 3 (نموذج التجزئة لأي شيء). فكر في SAM 3 كقلم تحديد سحري يرسم حدودًا مثالية حول أي شيء تشير إليه.
الخدعة: يخبر النظام SAM 3: "ارسم حدودًا حول جميع الأجسام". ثم يتحقق من الحدود: "هل يحتوي هذا الجسم على الكثير من تلك 'البلاطات الغريبة' التي وجدناها سابقًا؟"
- نعم؟ حدده كـ شذوذ/خطأ (باللون الأحمر).
- لا؟ حدده كـ هدف (باللون الأزرق).

لماذا يعد هذا أمرًا هامًا؟

1. لا يحتاج إلى قاموس
الأساليب القديمة كانت تحتاج إلى قائمة محددة من الكلمات (مثل "عشب ضار"، "نحاس"). إذا عرضت عليها نوعًا جديدًا من الأعشاب لم تكن تعرفه، فإنها تفشل. PASTA لا تهتم بالأسماء؛ هي تهتم فقط بـ الأنماط. إذا بدا الشيء مختلفًا عن الخلفية، فهي تصنفه كشذوذ.

2. سريع وغير مكلف
تدريب الروبوت عادة ما يستغرق وقتًا طويلاً ويتطلب آلاف الصور المصنفة. PASTA تعتمد على "الإشراف الضعيف"، مما يعني أنها تحتاج فقط إلى مجموعتين من الصور: واحدة تحتوي على كل شيء، وأخرى تحتوي فقط على الأشياء "الجيدة".

النتيجة: لقد قلصوا وقت التدريب بنسبة 75%. إنه يشبه الانتقال من الدراسة للحصول على درجة الدكتوراه إلى تعلم مهارة جديدة في عطلة نهاية الأسبوع.

3. يعمل في كل مكان
لقد اختبروه على:

SteelDS: فرز خردة المعادن (صناعي).
PhenoBench: إيجال الأعشاب الضارة في المحاصيل (زراعي).
لقد نجح بشكل رائع في كليهما، مما يثبت أنه أداة عالمية، وليس مجرد أداة لوظيفة واحدة محددة.

الخلاصة

PASTA هو عقل روبوت ذكي ومرن يتعلم من خلال مقارنة المشاهد "الفوضوية" بالمشاهد "النظيفة". بدلاً من حفظ كل خطأ ممكن، يتعلم ما يبدو طبيعيًا ويكتشف فورًا أي شيء يكسر القواعد. إنه أسرع، وأرخص، وأكثر قدرة على التكيف من الطرق القديمة، مما يجعله مثاليًا للروبوتات التي تعمل في بيئات غير متوقعة مثل مصانع إعادة التدوير والمزارع.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PASTA: تجميع رقعات محول الرؤية (Vision Transformer) لتجزئة الأهداف والشوائب بضعف الإشراف."

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في التجزئة الضعيفة الإشراف للأجسام وكشف الشوائب في البيئات الصناعية والزراعية غير المنظمة (مثل إعادة تدوير المواد، والزراعة الدقيقة).

محدودية الطرق الحالية: تتطلب النماذج الخاضعة للإشراف التقليدية (مثل YOLO و Mask R-CNN) تعليقات توضيحية دقيقة على مستوى البكسل، وهو أمر غير عملي اقتصاديًا للأجسام النادرة (مثل سبائك معدنية معينة، أو أنماط ظواهر نباتية نادرة) أو الشوائب غير المعروفة.
التحدي الجوهي: في البيئات الديناميكية، تواجه الأنظمة الروبوتية أجسامًا غير موجودة في توزيع بيانات التدريب. غالبًا ما تفترض طرق كشف الشوائب غير الخاضعة للإشراف (مثل PatchCore) وجود مجموعة تدريب "نقية" خالية من الشوائب، وهو ما يفشل في السيناريوهات الواقعية حيث تتواجد الأهداف والشوائب معًا بشكل طبيعي في مجموعة أساس مختلطة (mixed baseline dataset).
الهدف: تطوير مسار مستقل عن المجال (domain-agnostic) يحدد ويجزئ الأهداف (الأجسام الطبيعية) والشوائب (الأجسام المجهولة/الدخيلة) باستخدام إشراف على مستوى الصورة فقط (مجموعتان من البيانات: مجموعة أساس مختلطة ومرجع "نظيف") دون الحاجة إلى أقنعة (masks) على مستوى البكسل.

2. المنهجية: مسار PASTA

يعمل إطار العمل المقترح PASTA (تجميع الرقع لتجزئة الأهداف والشوائب) عبر ثلاث مراحل متميزة، مستفيدًا من محولات الرؤية (ViT) ذاتية الإشراف ونموذج Segment Anything Model 3 (SAM 3).

المرحلة الأولى: إنشاء النموذج الأساسي (تعلم الميزات ضعيف الإشراف)

استخراج الميزات: يتم معالجة الصور المدخلة من مجموعة الأساس المختلطة ( $D_{T \cup A}$ ) بواسطة هيكل ViT مدرب مسبقًا (مثل DINOv3، CLIP، BioCLIP) لاستخراج تضمينات (embeddings) على مستوى الرقعة من الطبقة المخفية الأخيرة.
التجميع (Clustering): يتم تكميم هذه المتجهات الميزات المستمرة إلى وحدات دلالية منفصلة باستخدام تجميع K-Means للعينات الصغيرة (Mini-Batch K-Means). يقوم هذا بتجميع الأنماط البصرية المتشابهة (مثل التربة، أوراق المحاصيل، خردة المعادن) في $K$ من المجموعات (clusters).
توزيع المرجع: يتم حساب توزيع التكرار لهذه المجموعات ( $P_{T \cup A}$ ) عبر مجموعة البيانات المختلطة بأكملها.

المرحلة الثانية: تعريف فئة الشوائب (تحليل التوزيع)

مقارنة المرجع: تتم معالجة مجموعة بيانات مرجعية ثانية "خالية من الشوائب" ( $D_T$ ) باستخدام نفس مستخرج الميزات المجمد ونموذج التجميع لإنشاء توزيع الهدف ( $P_T$ ).
تحديد الشوائب: يتم تحديد الشوائب عبر الميزات المفقودة. يحسب النظام النسبة $R_i = P_T(k_i) / P_{T \cup A}(k_i)$ $R_{i} = P_{T} (k_{i}) / P_{T \cup A} (k_{i})$ لكل مجموعة.
- المجموعات التي تظهر نسبة منخفضة ( $R_i \approx 0$ ) تشير إلى نمط بصري موجود في الأساس المختلط ولكنه غائب في المرجع النظيف. يتم تمييز هذه المجموعات كـ مجموعات شوائب (Anomaly Clusters).
- المجموعات الموجودة في كلتا المجموعتين تُصنف كـ مجموعات أهداف (Target Clusters).

المرحلة الثالثة: تصنيف الأجسام المعزز بـ SAM 3 (دمج القناع والميزة)

التوجيه الدلالي (Semantic Prompting): لسد الفجوة بين التصنيف الخشن على مستوى الرقعة والتجزئة على مستوى البكسل، يتم توجيه SAM 3 بنصوص عامة خاصة بالمجال (مثل "نباتات" أو "أجسام على حزام ناقل") لإنشاء أقنعة مثالية منفصلة.
آلية التصويت: لكل قناع تم إنتاجه، يقوم النظام بتركيبه فوق خريطة المجموعات الخشنة. ويحسب نسبة مساحة القناع المغطاة بـ "مجموعات الشوائب".
التصنيف النهائي: إذا تجاوزت نسبة الشوذة العتبة المحددة ( $\gamma$ )، يتم تصنيف جسم الحالة بأكمله كشائبة؛ وإلا فإنه يُصنف كهدف.

3. المساهمات الرئيسية

التوجيه الدلالي المستقل عن المجال: يستبدل الاستدلالات اليدوية الصارمة (مثل مؤشر الأخضر الزائد المستخدم في الزراعة) بالتوجيه النصي مفتوح المفردات عبر SAM 3. وهذا يتيح تعميمًا قويًا عبر مجالات متنوعة (تدوير الصلب مقابل التنميط الظاهري للنباتات) دون الحاجة لإعادة هندسة مستخرجات الميزات.
اكتشاف الشوائب بدون تسميات (Label-Free): يقدم طريقة مبتكرة لتحديد الشوائب من خلال تحليل التباين في الأنماط (mode discrepancies) بين أساس مختلط ومرجع نظيف في فضاء ميزات Vi-T المكمم، مما يلغي الحاجة إلى تسميات صريحة للشوائب أو بيانات تدريب اسمية بحتة.
بنية هجينة: يجمع بين المتانة الدلالية لتحليل توزيع ميزات ViT والدقة الهندسية لـ SAM 3، محققًا تجزئة على مستوى البكسل دون الحاجة لبيانات تدريب على مستوى البكسل.
الكفاءة: أظهر انخفاضًا بنسبة 75.8% في وقت التدريب مقارنة بالنماذج الأساسية الخاصة بالمجال من خلال تقليل عدد رقع الميزات المستخرجة عبر التجريد الدلالي للأجسام.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات: SteelDS (فرز الصلب والنحاس الصناعي) و PhenoBench (تجزئة المحاصيل والأعشاب الضارة).

مقاييس الأداء (IoU):
- تجزئة الأهداف: حققت ما يصل إلى 88.3% IoU (في SteelDS Extended) و 86.2% IoU (في SteelDS) باستخدام CLIP ViT-B-32 LAION2b.
- تجزئة الشوائب: حققت ما يصل إلى 63.5% IoU (في SteelDS Extended) و 18.1% IoU (في PhenoBench). ورغم أن نتائج PhenoBench كانت أقل بسبب التشابه البصري العالي بين المحاصيل والأعشاب الضارة، إلا أن PASTA تفوق بشكل كبير على نموذج WaW (Weeds Are Weird) في اكتشاف الشوائب.
المقارنة مع النماذج الأساسية:
- تفوق على نموذج WaW المعاد بناؤه في تجزئة الأهداف عبر جميع مجموعات البيانات.
- تفوق على WaW في مهمة اكتشاف الشوائب الحرجة في مجموعة بيانات PhenoBench الصعبة.
- حقق أداءً مشابهًا لـ WaW في تجزئة الأهداف مع تقديم قدرة فائقة على التعميم.
الكفاءة:
- قلل وقت التدريب من ~2.8 ساعة (WaW) إلى 0.7 ساعة (PASTA) في PhenoBench.
- قلل استخراج رقع الميزات بنسبة 75.8% (من 64 ألف إلى 15 ألف رقعة) من خلال التركيز على حالات الأجسام بدلاً من أخذ عينات الشبكة الكثيفة.
رؤى دراسة الاستئصال (Ablation):
- اختيار الهيكل (Backbone): تفوقت النماذج ذاتية التقطير (DINOv3) عمومًا على النماذج التباينية (CLIP) في التمثيل الكثيف للميزات لاكتشاف الشوائب، خاصة في المجال الصناعي.
- المعلمات الفائقة (Hyperparameters): أظهرت معلمة كثافة الكرة (k_sphere) مقايضة: القيم الأكبر حسنت دقة الأهداف في البيئات الصناعية ولكنها أدت إلى تراجع في اكتشاف الشوائب في البيئات الزراعية حيث تتشابه الأهداف والشوائب بصريًا.

5. الأهمية والأثر

القابلية للتطبيق في العالم الحقيقي: يوفر PASTA حلاً قابلاً للتطبيق للفرز الروبوتي في إعادة التدوير والزراعة الدقيقة حيث تكون فئات الأجسام غير معروفة أو نادرة، وحيث يكون التوسيم (annotation) مستحيلاً.
القابلية للتوسع: من خلال إزالة الاعتماد على الاستدلالات الخاصة بالمجال والتوسيم الشامل، يمكن نشر إطار العمل بسرعة في بيئات جديدة باستخدام مجموعتين فقط من الصور (مختلطة ونظيفة).
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما تضيف مرحلة تحسين SAM 3 وقتًا إضافيًا عند الاستنتاج، فإن العمل المستقبلي يهدف إلى استبدال ذلك بتجميع على مستوى البكسل للحفاظ على حدود تجزئة حادة مع تقليل زمن التأخير (latency) بشكل أكبر.

باختصار، يمثل PASTA خطوة مهمة نحو الإدراك الروبوتي ضعيف الإشراف، حيث يوازن بنجاح بين الحاجة إلى تجزئة عالية الدقة والقيود العملية لندرة البيانات وتغير المجالات.