💻 computer science

PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal

يُعد PANDORA إطار عمل مبتكر لإزالة الأجسام بنمط (zero-shot)، حيث يستفيد من حل التلاشي للانتباه على مستوى البكسل (Pixel-wise Attention Dissolution) والتوجيه بفك الارتباط الانتباهي الموضعي (Localized Attentional Disentanglement Guidance) لمحو الأجسام من الصور الطبيعية باستخدام نماذج الانتشار سابقة التدريب دون الحاجة إلى ضبط دقيق أو مطالبات نصية أو تحسين، محققاً بذلك دقة بصرية وملاءمة دلالية فائقتين مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

نُشر 2026-03-31

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dinh-Khoi Vo, Van-Loc Nguyen, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة جميلة لحديقة، ولكن هناك سلة مهملات قبيحة تقبع في منتصف حوض زهور. أنت تريد حذف سلة المهملات وجعل الزهور والعشب يملآن ذلك الفراغ بشكل طبيعي، كما لو لم تكن سلة المهملات موجودة أبدًا.

كان القيام بذلك باستخدام برامج الكمبيوتر القديمة يشبه محاولة إصلاح ثقب في جدار عن طريق لصق قطعة من ورق حائط من غرفة أخرى؛ فغالبًا ما كان يبدو الأمر مزيفًا، أو ضبابيًا، أو غير متناسق.

البرامج الأحدث (التي تُسمى "نماذج الانتشار" - Diffusion Models) تشبه الرسامين المهرة الذين يمكنهم تخيل كيف يجب أن يبدو المشهد. ولكن حتى هؤلاء الرسامين المهرة لديهم مشكلة: إذا قلت لهم "أزيلوا سلة المهملات"، فقد يصابون بالارتباك. قد يحاولون رسم سلة مهملات جديدة، أو قد يتركون أثرًا شبحيًا غريبًا للسلة القديمة لأنهم متمسكون جدًا بالصورة الأصلية.

PANDORA هي أداة جديدة تعالج هذا الأمر. إنها تشبه إعطاء الرسام الماهر مجموعة من التعليمات الخاصة التي لا تتطلب منه الذهاب إلى مدرسة الفنون (ضبط دقيق/Fine-tuning) أو قراءة قصيدة طويلة ومعقدة (أوامر نصية/Prompts). إنها تعمل فورًا، وبمجرد استخدامها.

إليك كيف يعمل PANDORA، باستخدام ثلاث استعارات بسيطة:

1. "حارس الذاكرة" (الحفاظ على الخلفية)

تخيل أن الذكاء الاصطناعي ينظر إلى الصورة بأكملة. إنه بحاجة لمعرفة الأجزاء التي يجب أن يبقيها كما هي تمامًا (الزهور، السماء) والأجزاء التي يجب تغييرها (سلة المهملات).

ما يفعله PANDORA: يضع لافتة "ممنوع اللمس" على الأجزاء التي تريد الاحتفاظ بها. إنه يقفل الخلفية في مكانها حتى لا يقوم الذكاء الاصطناعي بإعادة طلاء السماء أو جعل الأشجار ضبابية عن طريق الخطأ أثناء عمله على سلة المهملات.

2. قاعدة "التباعد الاجتماعي" (تفكيك الانتباه على مستوى البكسل)

هذه هي الخدعة السحرية. داخل عقل الذكاء الاصطناعي، يتحدث كل بكسل (نقطة لون) مع كل بكسل آخر. البكسلات التي تشكل سلة المهملات "تتحدث" بصوت عالٍ مع بعضها البعض، قائلة: "نحن سلة مهملات! نحن ننتمي لبعضنا البعض!"

المشكلة: إذا حاول الذكاء الاصطناعي مجرد مسح سلة المهملات، ستستمر تلك البكسلات في الهمس لبعضها البعض، مما يجعل سلة المهملات تظهر مجددًا أو تبدو غريبة.
ما يفعله PANDORA: يعمل كأنه حارس صارم في ملهى ليلي. ينظر إلى البكسلات داخل منطقة سلة المهملات ويقول لها: "توقفوا عن التحدث مع أصدقائكم الذين يجعلونكم تبدون كسلة مهملات!" إنه يقطع الاتصال بين تلك البكسلات وبقية الصورة.
النتيجة: بمجرد أن تصبح بكسلات سلة المهملات "معزولة اجتماعيًا"، لن تتمكن من الحفاظ على شكلها. ستتلاشى. ثم ينظر الذكاء الاصطناعي إلى الزهور والعشب المحيط ويقول: "حسنًا، بما أن سلة المهملات اختفت، فلنملأ هذا الفراغ بمزيد من الزهور".

3. "عجلة القيادة" (توجيه فك الارتباط الانتباهي الموضعي)

حتى بعد قطع الاتصالات، قد ينحرف الذكاء الاصطناعي مرة أخرى نحو رسم سلة مهملات لأن هذا ما رآه في الصورة الأصلية. الأمر يشبه قيادة سيارة تحاول باستمرار العودة إلى المسار الأصلي.

ما يفعله PANDƠA: يمسك بعجلة القيادة ويدفع "خيال" الذكاء الاصطناعي بلطف بعيدًا عن فكرة سلة المهملات ونحو فكرة حديقة فارغة ونظيفة. إنه يوجه عملية التفكير لدى الذكاء الاصطناعي ليبقى على مسار "الخلفية النظيفة" ولا يتوه بالخطأ إلى "منطقة سلة المهملات".

لماذا يعد هذا أمرًا هامًا؟

لا حاجة للتدريب: ليس عليك تعليم الذكاء الاصطناعي أي شيء. هو يعرف بالفعل كيف يرسم؛ PANDORA فقط يعطيه القواعد الصحيحة لهذه المهمة المحددة.
لا حاجة لكلمات سحرية: ليس عليك كتابة "أزل سلة المهملات، اجعلها تبدو واقعية". إنه يعمل ببساطة بناءً على الشكل الذي ترسمه.
يتعامل مع الحشود: إذا كان لديك صورة بها عشرة أشخاص واقفين بالقرب من بعضهم البعض وتريد إزالتهم جميعًا في وقت واحد، فإن الأدوات القديمة تصاب بالارتباك. يستطيع PANDORA إزالة حشد كامل في خطوة واحدة دون جعل الخلفية تبدو فوضوية.

باختصار: PANDORA هو أداة ذكية، لا تتطلب صيانة، تخبر الرسام الآلي بدقة كيف "يمحو" جسمًا ما عن طريق قطع روابطه الذهنية وتوجيه خياله، تاركًا لك صورة مثالية حيث لم يكن لهذا الجسم وجود أبدًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal" (باندورا: إبطال الانتباه على مستوى البكسل والتوجيه الكامن للإزالة الصفرية للأجسام).

1. بيان المشكلة (Problem Statement)

تعد عملية إزالة الأجسام من الصور الطبيعية مهمة صعبة في مجال تحرير الصور الدلالي. الهدف هو مسح المناطق غير المرغوب فيها بشكل انتقائي وإعادة بناء الفراغ بمحتوى يمتزج طبيعيًا مع دلالات المشهد والتدفق البصري.

قصور الطرق الحالية:
- الطرق القائمة على الرقع (Patch-based) أو شبكات GANs: غالبًا ما تؤدي إلى عدم اتساق في الأنسجة، وامتزاج غير طبيعي، وظهور عيوب صلبة (rigid artifacts).
- نماذج الانتشار المضبوطة دقيقًا (مثل Stable Diffusion Inpainting): رغم واقعيتها، إلا أنها تتطلب ضبطًا دقيقًا مكثفًا أو هندسة أوامر (prompt engineering)، وهو أمر غير عملي في البيئات ذات الموارد المحدودة ويحد من القدرة على التوسع. كما أنها غالبًا ما تعاني من الإزالة غير المكتملة أو تسبب ظهور عيوب.
- الطرق الصفرية (Zero-Shot Methods): تفشل الطرق الحالية (مثل CPAM و Attentive Eraser) غالبًا في التعامل مع إزالة أجسام متعددة، حيث تترك بقايا للأجسام بسبب ضعف الفصل بين المقدمة والخلفية، أو تتطلب ضبطًا يدويًا حساسًا.

2. المنهجية: إطار عمل PANDORA

PANDORA هو إطار عمل صفري (zero-shot) يعمل مباشرة على نماذج الانتشار مسبقة التدريب (تحديدًا Stable Diffusion) في تمريرة أمامية واحدة (single forward pass). وهو لا يتطلب أي ضبط دقيق، ولا أوامر نصية، ولا تحسينًا أثناء الاستدلال.

يتكون خط الإنتاج من ثلاث مراحل رئيسية:

أ. تكييف الحفاظ على الخلفية (Background Preservation Adaptation - BPA)

لضمان عدم تأثر الخلفية غير المقنعة، يستخدم PANDORA وحدة حفظ متكيفة من CPAM.

العملية: يتم عكس الصورة المدخلة إلى فضاء الضوضاء الكامن باستخدام DDIM inversion، وتُخزن حالات الكامن المتوسطة.
الآلية: خلال عملية إزالة الضوضاء (denoising)، يتم ربط ميزات الاستعلام ( $Q$ ) من الضوضاء الحالية مع ميزات المفتاح ( $K_i$ ) والقيمة ( $V_i$ ) المستخرجة من ضوضاء الكامن المخزنة للصورة الأصلية.
النتيجة: هذا يقيد الانتباه لطلبات الخلفية في مناطق الخلفية فقط، مما يحافظ على الدقة الهيكلية والبصرية خارج منطقة القناع.

ب. إبطال الانتباه على مستوى البكسل (Pixel-wise Attention Dissolution - PAD)

هذه هي الآلية الجوهرية لمحو الجسم عن طريق تعطيل روابطه الدلالية داخل طبقات الانتباه الذاتي (self-attention).

المفهوم: بدلًا من مجرد حجب المناطق، يقوم PAD بنشط بـ "إبطال" معلومات الجسم عن طريق إلغاء أقوى الارتباطات في تدفق الانتباه الذاتي.
الآلية:
1. حساب لوجيتات الانتباه ( $S$ ) بين ميزات الاستعلام ( $Q$ ) والمفاتيح المخزنة ( $K_i$ ).
2. تطبيق العتبة القائمة على المئوية (percentile-based thresholding): تحديد أكثر المفاتيح ارتباطًا (أعلى $k$ ) لكل بكسل استعلام مقنع.
3. الإبطال (Dissolution): تعيين درجات الانتباه لهذه الارتباطات (أعلى $k$ ) وللقناع نفسه إلى $-\infty$ .
4. إعادة الدمج: المنتج النهائي يمزج انتباه الجسم المُبطل مع انتباه الخلفية المحفوظ.
الأثر: هذا يقطع اتصال بكسلات الاستعلام المقنعة عن مناطق المقدمة المهيمنة، مما يجبر النموذج على إعادة بناء المنطقة المقنعة باستخدام سياق الخلفية المحيط فقط، مما يؤدي فعليًا إلى إزالة الجسم.

ج. توجيه فك الارتباط الانتباهي الموضعي (Localized Attentional Disentanglement Guidance - LADG)

تعمل هذه الوحدة على تحسين مسار إزالة الضوضاء في الفضاء الكامن لضمان إزالة نظيفة وقمع العيوب المتبقية.

المفهوم: آلية توجيه ذات بوابة مكانية تدفع توزيع الكامن بعيدًا عن المسار الأصلي (غير المشروط) خصيصًا داخل قناع الجسم.
الآلية:
- تقوم بحساب تنبؤ ضوضاء مرجح: خارج القناع، تحافظ على المسار المشروط (للحفاظ على دقة المشهد). داخل القناع، توجه الكامن نحو تنبؤ مشروط يختلف عن مسار الجسم غير المشروط.
- الصيغة: $\hat{\epsilon} = (1-M) \odot \epsilon_c + M \odot [\alpha_t \epsilon_c + (1-\alpha_t) \epsilon_u]$ ، حيث يتحكم $\alpha_t$ في درجة التوجيه.
الأثر: يسرع إزالة الجسم ويخفف من العيوب المتبقية، مما ينتج نتائج أكثر سلاسة ونظافة.

3. المساهمات الرئيسية

إطار عمل PANDORA: طريقة مبتكرة لإزالة الأجسام بصفرية (zero-shot) تستفيد من نماذج الانتشار مسبقة التدريب دون الحاجة لضبط دقيق أو أوامر نصية أو تحسين.
إبطال الانتباه على مستوى البكسل (PAD): تقنية تبطل معلومات الجسم عبر فصل بكسلات الاستعلام المقنعة عن أكثر مفاتيحها ارتباطًا في الانتباه الذاتي، مما يسمح بإزالة دقيقة وغير صلبة.
توجيه فك الارتباط الانتباهي الموضعي (LADG): استراتيجية توجيه تدفع الضوضاء الكامنة بعيدًا عن مناطق الأجسام مع الحفاظ على الخلفية، مما يحسن إعادة البناء للقضاء على العيوب.
مجموعة بيانات مرجعية جديدة: أنشأ المؤلفون مجموعة بيانات تحديّة تضم 75 عينة لجسم واحد، و17 عينة لأجسام متعددة، و94 عينة لأجسام متشابهة في الكتلة (مثل مجموعات الفاكهة أو الطيور) لتقييم سيناريوهات الإزالة المتنوعة.

4. النتائج التجريبية

قيم المؤلفون PANDORA مقابل أفضل الطرق الحالية (SOTA) مثل (LaMa, PowerPaint, SD2-Inpaint) والطرق الصفرية (CPAM, Attentive Eraser).

الأداء الكمي:
- حقق PANDORA أعلى درجات CLIP (مما يشير إلى إزالة دلالية فعالة للأجسام) بين الطرق الصفرية.
- حافظ على درجات تنافسية في FID و LPIPS و MSE، مما أظهر واقعية عالية للخلفية.
- دراسات الاستئصال (Ablation Studies): أدى إزالة PAD إلى انخفاض كبير في الأداء (إزالة غير مكتملة)، بينما أدت إزالة LADG إلى تقليل الدقة قليلاً (ظهور عيوب متبقية).
الأداء النوعي:
- نجح PANDORA في التعامل مع الأجسام المفردة، والأجسام المتعددة المتميزة، والأجسام "المتشابهة في الكتلة" (مثل سرب من الطيور) في تمريرة واحدة.
- بخلاف المنافسين، تجنب PANDORA العيوب المتبقية وعدم اتساق الأنسجة، حتى في المشاهد المعقدة.
دراسة المستخدم: في دراسة شملت 20 مشاركًا، حصل PANDORA على معدل تفضيل مستخدم (UPR) بنسبة 47.5%، متفوقًا بشكل كبير على جميع الطرق الأخرى (حيث كان أعلى منافس هو Attentive Eraser بنسبة 22%).

5. الأهمية

سهولة الوصول: من خلال إلغاء الحاجة إلى الضبط الدقيق أو هندسة الأوامر، يجعل PANDORA إزالة الأجسام عالية الجودة متاحة للبيئات ذات الموارد المحدودة وتطبيقات البحث الواسعة.
القابلية للتوسع: هو أول طريقة صفرية قادرة على التعامل بقوة مع إزالة الأجسام المتعددة والأجسام المتشابهة في الكتلة، وهي مهمة فشلت فيها الطرق السابقة.
الكفاءة: يجعل الاستدلال في تمريرة واحدة من PANDOMA فعالاً حاسوبيًا مقارًا بطرق التحسين التكرارية.
التعميم: تُظهر الطريقة قدرة قوية على التعميم عبر مختلف هياكل Stable Diffusion (v1.5 و v2.1).

القيود: تعتمد الطريقة على أقنعة ثنائية دقيقة؛ حيث يمكن للتقسيم غير الدقيق أن يضعف النتائج. قد تؤدي عتبة المئوية الثابتة لإبطال الانتباه أحيانًا إلى تصفية زائدة أو ناقصة، رغم أن النتائج التجريبية تشير إلى أن نطاق التثبيط بين 2-5% هو الأمثل. يهدف العمل المستقبلي إلى تقديم عتبات تكيفية واختيار تلقائي للمناطق.