🤖 AI

BALD-SAM: Disagreement-based Active Prompting in Interactive Segmentation

تقدم هذه الورقة البحثية BALD-SAM، وهو إطار عمل مبني على أسس علمية يعمل على تكييف التعلم النشط البايزي من خلال عدم الاتفاق (Bayesian Active Learning by Disagreement) مع الاختيار المكاني للمطالبات في التجزئة التفاعلية، مما يُمكّن رأس تقدير عدم يقين خفيف الوزن على النماذج التأسيسية المجمدة ليتفوق بشكل كبير على التلقين البشري وتلقين النموذج المثالي (oracle) عبر مجالات متنوعة.

المؤلفون الأصليون: Prithwijit Chowdhury, Mohit Prabhushankar, Ghassan AlRegib

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Prithwijit Chowdhury, Mohit Prabhushankar, Ghassan AlRegib

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم الروبوت كيف "يرى" بشكل أفضل

تخيل أن لديك فنانًا آليًا ذكيًا للغاية يدعى SAM (نموذج التجزئة لأي شيء). لقد نظر SAM إلى 11 مليون صورة ويعرف كيف يرسم الخطوط المحيطة بأي شيء تقريبًا. ولكن، مثل أي فنان، قد يرتكب أخطاءً أحيانًا. قد يعتقد أن ذيل الطائر جزء من الشجرة، أو قد يغفل عن تفصيل صغير في مسح طبي.

عادةً، عندما يرتكب SAM خطأً، يجب على الإنسان التدخل، والإشارة إلى الخطأ، وقول: "لا، هذا ليس جزءًا من الطائر". تسمى هذه العملية التجزئة التفاعلية (Interactive Segmentation).

المشكلة: البشر مشغولون. إذا كان علينا الإشارة إلى كل خطأ يرتكبه SAM، فسيستغرق الأمر وقتًا طويلاً جدًا. كما أن البشر ليسوا جيدين في تخمين أين يجب الإشارة في المرة القادمة؛ فقد نشير إلى مكان لا يساعد حقًا في إصلاح المشكلة.

الحل: ابتكر مؤلفو هذه الورقة نظامًا جديدًا يسمى BALD-SAM. بدلاً من انتظار الإنسان ليخمن أين يشير، يعمل BALD-SAM مثل نظام GPS ذكي للإنسان. فهو يحسب بالضبط أي بقعة في الصورة، إذا تمت الإشارة إليها، ستعلم الروبوت أكثر وتصلح أكبر مشكلة.

الفكرة الجوهرية: استعارة "الروبوت المرتبك"

لفهم كيفية عمل BALD-SAM، تخيل أن SAM هو طالب يؤدي اختبارًا، وأنت المعلم.

الطريقة القديمة (التخمين العشوائي أو البشري): تنظر إلى ورقة اختبار الطالب. ترى خطأً. تشير إلى مكان عشوائي وتقول: "أصلح هذا". يقوم الطالب بالإصلاح، ولكن ربما لا يزال لا يفهم المفهوم. تستمر في التخمين.
طريقة BALD-SAM (استراتيجية "الاختلاف"):
- تخيل أن لديك 100 نسخة من هذا الطالب (لجنة). لقد درسوا جميعًا نفس الكتاب المدرسي (النموذج المدرب مسبقًا)، لكن لديهم تفسيرات مختلفة قليلاً للقواعد.
- عندما يرسم الطالب خطًا حول كلب، قد تختلف النسخ الـ 100. بعضهم يعتقد أن الأذن مشمولة، والبعض الآخر يعتقد أن الذيل مشمول.
- يبحث BALD-SAM عن البقعة التي يتجادل فيها الطلاب أكثر من غيرها.
- يقول للإنسان: "مهلاً، انظر هنا تمامًا! النسخ الـ 100 الخاصة بي لا تستطيع الاتفاق على ما إذا كانت هذه البكسل (pixel) جزءًا من الكلب أم من الخلفية. إذا أخبرتنا بالإجابة لهذا المكان المحدد، فسنتمكن جميعًا من التعلم بشكل أكبر."

يُسمى هذا التعلم النشط القائم على الاختلاف (Disagreement-Based Active Learning). إنه يشبه العثور على السؤال المحدد في الاختبار الذي، بمجرد الإجابة عليه، يزيل الارتباك عن الفصل بأكمله.

كيف يعمل (خدعة "الدماغ المجمد")

تذكر الورقة بعض الرياضيات الثقيلة (الاستدلال البايزي، تقريب لابلاتس)، ولكن إليك النسخة البسيطة:

المشكلة: SAM ضخم جدًا. لديه مئات الملايين من "الأعصاب" (المعلمات/Parameters). محاولة حساب عدم اليقين لكل هذه المعلمات تشبه محاولة حساب الطقس لكل ذرة في الغلاف الجوي؛ الأمر بطيء جدًا ومستحيل.
الخدعة: قرر المؤلفون تجميد دماغ SAM. لقد أبقوا جميع الأجزاء التي تقوم بالعمل الثق heavy lifting كما هي تمامًا (حتى يظل SAM ذكيًا ولا ينسى ما تعلمه).
الرأس الجديد: أضافوا "قبعة دماغية" صغيرة وخفيفة الوزن (رأس تنبؤ صغير) فوق SAM. هذا الجزء الصغير هو الوحيد الذي يتعلم ويرتبك.
النتيجة: يمكنهم بسهولة حساب المكان الذي يرتبك فيه "الرأس الصغير" دون كسر "الدماغ الكبير". وهذا يجعل النظام سريعًا بما يكفي للاستخدام في الوقت الفعلي.

الاستعارة: تخيل طباخًا ماهرًا (SAM) يعرف كيف يطبخ أي شيء. أنت لا تريد إعادة تدريب الطباخ على كيفية تقطيع البصل. بدلاً من ذلك، تمنحه فقط ملعقة مسطحة (spatula) صغيرة وقابلة للتعديل (الرأس البايزي) تساعده في تحديد كمية الملح التي يجب إضافتها بالضبط. أنت تعدل الملعقة فقط، وليس قاعدة معرفة الطباخ بالكامل.

لماذا يعد هذا أمرًا مهمًا؟

اختبر الباحثون هذا النظام على 16 نوعًا مختلفًا من الصور:

الطبيعة: كلاب، طيور، سيارات.
الطب: آفات جلدية، زوائد لحمية، موجات فوق صوتية للثدي.
تحت الماء: دلافين في مياه عكرة.
الجيوفيزياء (الزلزالية): طبقات الصخور تحت الأرض (تستخدم لاستكشاف النفط والغاز).

النتائج:

أسرع من البشر: في كثير من الحالات، عرف BALD-SAM مكان طلب المساعدة بشكل أفضل مما يمكن للخبير البشري فعله. لقد احتاج إلى نقرات أقل للحصول على الخط المحيط المثالي.
أفضل من "الأوراكل" (Oracle): "الأوراكل" هو نظام سحري يعرف الإجابة المثالية منذ البداية. ومن المثير للدهشة أن BALD-SAM تفوق على "الأوراكل" في بعض الصور الصعبة (مثل الكلاب وعلامات التوقف). هذا يعني أن النظام كان جيدًا جدًا في اختيار السؤال الصحيح لطرحه، مما جعله يتعلم بشكل أسرع من نظام يعرف الإجابة بالفعل.
يعمل في كل مكان: لقد عمل بنفس الكفاءة في الصور تحت الماء والخرائط الزلزالية كما عمل في صور القطط. وهذا يثبت أن الطريقة قوية وليست مجرد خدعة لنوع واحد معين من الصور.

الملخص في جملة واحدة

BALD-SAM هو مساعد ذكي يراقب نموذج ذكاء اصطناعي قوي، ويجد البقعة الدقيقة التي يكون فيها النموذج في غاية الارتباك، ويخبر الإنسان أن يشير إليها، مما يوفر الوقت ويخلق خطوطًا محيطة مثالية بنقرات أقل.

إنه يحول عملية "إصلاح أخطاء الذكاء الاصطناعي" من لعبة "التخمين والتحقق" إلى استراتيجية علمية دقيقة.

إليك ملخص تقني مفصل لورقة "BALD-SAM: Disagreement-based Active Prompting in Interactive Segmentation" (الترويج النشط القائم على عدم الاتفاق في التجزئة التفاعلية).

1. بيان المشكلة

تعتمد عملية تجزئة الصور التفاعلية، لا سيما مع النماذج التأسيسية مثل نموذج "تجزئة أي شيء" (SAM)، على التغذية الراجعة البشرية المتكررة. في سير العمل النموذجي، يقدم المستخدم مطالبات مكانية (نقاط أو صناديق) لتنقية قناع التجزئة. ومع ذلك، فإن سير العمل الحالي غير فعال لأنه يعتمد على الحدس البصري للمُدوّن (annotator) لتحديد مكان وضع المطالبة التالية.

تركز استراتيجيات الترويج المؤتمتة الحالية غالبًا على التوليد بـ "دفعة واحدة" (one-shot) أو "بدون دفعات" (zero-shot) (لتقليل التدخل البشري)، بدلاً من تحسين "الحوار المتكرر" بين الإنسان والنموذج. التحدي الجوهري الذي تعالجه هذه الورقة هو: كيف يمكن اختيار الموقع المكاني الأكثر إفادة للمطالبة التالية في حلقة تكرارية لتعظيم جودة التجزئة بأقل عدد من التفاعلات؟

يرى المؤلفون أن المطالبات ليست متساوية؛ فبعضها يحل غموضًا حرجًا (كسب معلومات عالٍ)، بينما البعض الآخر مكرر. الهدف هو الانتقال من الترويج البشري العشوائي إلى "الترويج النشط" (Active Prompting)، وهو نهج مبدئي حيث يختار النموذج الموقع الاستعلامي التالي بناءً على عدم اليقين.

2. المنهجية: BALD-SAM

يقترح المؤلفون BALD-SAM، وهو إطار عمل يكيف "التعلم النشط البايزي عن طريق عدم الاتفاق" (BALD) مع مشكلة اختيار المطالبة المكانية في التجزئة التفاعلية.

أ. الإطار المفاهيمي: الترويض النشط

يصيغ المؤلفون التجزئة التفاعلية كمسألة اختيار استعلام متسلسلة:

مجمع غير مُصنف: مجموعة جميع المواقع الممكنة للبكسلات داخل الصورة.
الاستعلام: مطالبة مستخدم (نقطة احتواء/استبعاد) في موقع محدد.
الهدف: اختيار الموقع $q_{t+1}$ الذي يعظم كسب المعلومات بالنظر إلى تاريخ المطالبات الحالي $S_t$ .
الاشتراط الديناميكي: على عكس التعلم النشط القياسي حيث يتم تحديث النموذج بعد كل تسمية، هنا يتغير السياق مع كل مطالبة تُضاف إلى المجموعة $S_t$ ، مما يتطلب إعادة حساب درجة الاستحواذ في كل تكرار.

ب. التنفيذ التقني

إن تطبيق التعلم النشبي البايزي على النماذج التأسيسية ذات المليارات من المعلمات مثل SAM هو أمر مستعصٍ حاسوبيًا إذا تم التعامل مع الشبكة بأكملها كعنصر غير يقيني. يحل BALD-SAM هذه المشكلة عبر "تحليل عامل لاحق جزئي" (partial posterior factorization):

العمود الفقري المجمد (Frozen Backbone): يتم تجميد نموذج SAM بالكامل (مشفر الصورة، مشفر المطالبة، ومفكك القناع) بأوزانه المدربة مسبقًا. هذا يحافظ على قدرات النموذج في "الدفعة الصفرية" وتمثيلاته المدربة مسبقًا.
رأس بايزي خفيف الوزن: يتم إضافة رأس تنبؤ صغير وقابل للتدريب (حوالي 35 ألف معلمة، يتكون من طبقتين تلافيفيتين مع إسقاط Dropout) فوق ميزات مفكك قناع SAM.
تقريب لابلابلاس (Laplace Approximation): بدلاً من الاستدلال البايزي الكامل، يستخدم المؤلفون تقريب لابلابلاس لتقدير توزيع الاحتمال اللاحق لمعلمات الرأس الخفيف ( $\theta_{head}$ $θ_{h e a d}$ ).
- يتم تقريب التوزيع اللاحق كالتوزيع الطبيعي: $p(\theta_{head} | D) \approx \mathcal{N}(\hat{\theta}_{head}, H^{-1})$ ، حيث $H$ هو هسيان (Hessian) اللوغاريتم السالب للاحتمال اللاحق.
أخذ العينات القائم على عدم الاتفاق (BALD):
- يقوم النظام بأخذ عينات من $K$ من مجموعات المعلمات من توزيع لابلابلاس اللاحق.
- تولد كل عينة خريطة احتمالية مختلفة (قناع تنبؤ).
- درجة BALD: يتم حساب المعلومات المتبادلة (Mutual Information - MI) بين التسمية ومعلمات النموذج لكل موقع بكسل مرشح. يتم حساب ذلك كفرق بين الاعتلاج التنبئي (إجمالي عدم اليقين) والاعتلاج المتوقع (عدم اليقين الأليوري - aleatoric uncertainty/المتوسط عبر العينات).
- الاختيار: يتم اختيار موقع البكسل الذي يسجل أعلى درجة MI (مما يشير إلى أقصى درجات عدم الاتفاق بين النماذج المحتملة) ليكون هو المطالبة التالية.

ج. سير العمل

يتم إدخال الصورة والمجموعة الحالية من المطالبات $S_t$ في نموذج SAM المجمد.
يقوم الرأس البايزي بتوليد مجموعة من تنبؤات الأقنعة عبر أخذ عينات مونت كارلو.
يتم حساب "خريطة عدم الاتفاق" (Disagreement Map).
يتم استعلام الموقع ذو أعلى درجة من عدم الاتفاق.
يقدم المستخدم (أو الخبير/Oracle) التسمية، ويتم تحديث $S_t$ ، وتتكرر الحلقة حتى يتم استيفاء معيار التوقف (مثل عتبة الاعتلاج أو الحد الأقصى للمطالبات).

3. المساهمات الرئيسية

صياغة الترويض النشط: تحدد الورقة التجزئة التفاعلية كمسألة تعلم نشط مكانية حيث يتم اختيار المطالبات كاستعلامات لتعظيم كسب المعلومات، مشروطة بتاريخ المطالبات المتطور.
إطار عمل بايزي قابل للتوسع (BALD-SAM): طريقة مبتكرة لتطبيق قياس عدم اليقين البايزي على النماذج التأسيسية عن طريق تجميد العمود الفقري ونمذجة عدم اليقين فقط على رأس خفيف الوزن. هذا يجعل BALD قابلاً للتطبيق على نماذج تحتوي على مئات الملايين من المعلمات.
تقييم شامل: تم تقييم الطريقة عبر 16 مجموعة بيانات متنوعة تشمل الصور الطبيعية (COCO)، التصوير الطبي (الموجات فوق الصوتية، الأورام، آفات الجلد)، التصوير تحت الماء، والبيانات الزلزالية.
دراسات استئصال (Ablation Studies) مكثفة: أجرى المؤلفون دراسة استئصال صارمة غطت 3 أعمدة فقارية لـ SAM (ViT-H, B, Tiny) و35 تكوينًا مختلفًا لتوزيع لابلابلاس اللاحق (تغيير أحجام المجموعات الفرعية وعدد العينات)، بإجمالي 38 إعدادًا متميزًا.

4. النتائج

تظهر التجارب أن BALD-SAM يتفوق بشكل كبير على النماذج المرجعية الحالية، بما في ذلك أخذ العينات العشوائي، وأخذ العينات القائم على الاعتلاج، والتدوين البشري، والطرق الهندسية ذات الدفعة الواحدة.

الهيمنة عبر المجالات: احتل BALD-SAM المرتبة الأولى أو الثانية في 14 من أصل 16 اختبارًا مرجعيًا. حقق المرتبة الأولى في جميع مجموعات البيانات الطبية وتحت الماء.
التفوق على البشر والخبراء (Oracles):
- في فئات الصور الطبيعية مثل الكلب (Dog) وعلامة التوقف (Stop Sign)، تفوق BALD-SAM حتى على الخبير (Oracle) (الذي لديه وصول إلى الحقيقة الأرضية) وعلى البشر من حيث ذروة $\Delta$ IoU (على سبيل المثال، 0.843 مقابل 0.604 لفئة الكلب).
- تفوق باستمرار على الترويج البشري بتباين أقل، مما يشير إلى استراتيجيات اختيار أكثر استقرارًا وموثوقية.
التفوق على طرق الدفعة الواحدة: في الأجسام ذات الحدود المعقدة أو الرفيعة (مثل ربطة العنق Tie، الطائر Bird)، حقق BALD-SAM IoU نهائيًا أعلى بكثير مقارنة بالنماذج الهندسية ذات الدفعة الواحدة (Saliency, K-Medoids, Shi-Tomasi). على سبيل المثال، في فئة "ربطة العنق"، وصل BALD-SAM إلى 0.845 IoU مقابل 0.649 لأفضل طريقة دفعة واحدة.
الأداء في البيانات الزلزالية: رغم أن IoU المطلق كان أقل في البيانات الزلزالية بسبب الفجوة النطاقية مع تدريب SAM على الصور الطبيعية، إلا أن BALD-SAM حقق ثاني أكثر المكاسب التكرارية كفاءة (بعد الخبير)، مما يثبت أن دالة الاستحواذ تعمم حتى عندما يعاني العمود الفقري.

5. الأهمية

كفاءة التدوين: يقلل BALD-SAM من العبء المعرفي على المدونين من خلال تحديد المناطق الأكثر أهمية للتصحيح تلقائيًا، مما يؤدي إلى تقارب أسرع نحو أقنعة عالية الجودة.
التأسيس النظري: يجسد الفجوة بين نظرية التعلم النشط (خاصة BALD) وتطبيقات النماذج التأسيسية، موفرًا طريقة مبدئية لقياس واستخدام عدم اليقين في النماذج في البيئات التفاعلية.
العملية: من خلال إبقاء النموذج التأسيسي مجمدًا، يعد النهج ممكنًا حاسوبيًا ويمكن نشره كوحدة "توصيل وتشغيل" (plug-and-play) لأي متغير موجود من SAM دون الحاجة لإعادة تدريب العمود الفقري الضخم.
الاستقلالية عن المجال: يشير نجاح الطريقة عبر مجالات مختلفة تمامًا (من الصور الطبيعية إلى المسوحات الزلزالية) إلى أن اختيار المطالبة القائم على المعلومات هو استراتيجية قوية للتجزئة التفاعلية، مستقلة عن الدلالات البصرية المحددة.

في الختام، يضع BALD-SAM معيارًا جديدًا للتجزئة التفاعلية من خلال استبدال اختيار المطالبة القائم على التقدير أو البشر بنهج تعلم نشط صارم رياضيًا وقائم على عدم اليقين، مما يعظم فائدة كل تفاعل بين الإنسان والنموذج.