💻 computer science

Prompt-SID: Learning Structural Representation Prompt via Latent Diffusion for Single-Image Denoising

يُعد Prompt-SID إطار عمل لتقليل الضوضاء في الصور الفردية يعتمد على التعلم الذاتي، وهو يستفيد من مولد تمثيل هيكلي قائم على الانتشار الكامن وآلية تدريب إعادة تشغيل المقياس للحفاظ على المعلومات الهيكلية التفصيلية دون الاعتماد على مجموعات بيانات مقترنة مكلفة.

المؤلفون الأصليون: Huaqiu Li, Wang Zhang, Xiaowan Hu, Tao Jiang, Zikang Chen, Haoqian Wang

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huaqiu Li, Wang Zhang, Xiaowan Hu, Tao Jiang, Zikang Chen, Haoqian Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة فوتوغرافية رائعة وعالية الدقة لأفق مدينة، ولكن أحدهم ألقى فوقها حفنة من البريق والرمال. هدفك هو تنظيف الصورة دون فقدان الحواف الحادة للمباني أو تفاصيل النوافذ. هذه هي مشكلة إزالة الضجيج من الصور (Image Denoising).

لفترة طويلة، تعلمت الحواسيب القيام بذلك من خلال النظر إلى صور "قبل وبعد" (التعلم الخاضع للإشراف). لكن الحصول على تلك الصور المثالية "بعد التنظيف" يشبه البحث عن وحيد قرن (Unicorn): أمر نادر، مكلف، وصعب المنال.

لذا، جرب الباحثون حيلة مختلفة: التعلم ذاتي الإشراف (Self-Supervised Learning). لقد علموا الكمبيوتر كيف يخمن الصورة النظيفة باستخدام الصورة "المتسخة" فقط. ومع ذلك، كان للخدع القديمة عيب رئيسي: كانت تشبه محاولة حل لغز (Puzzle) عبر رمي نصف القطع. لتجنب قيام الكمبيوتر بنسخ الصورة المتسخة كما هي (وهي مشكلة تسمى "تطابق الهوية" أو identity mapping)، كانوا يقومون بإخفاء بعض البكسلات أو تقطيع الصورة إلى قطع صغيرة منخفضة الدقة. ولكن من خلال فعل ذلك، فقدوا "الصورة الكبيرة" للهيكل، مما ترك النتيجة النهائية ضبابية أو ناقصة التفاصيل.

هنا يظهر Prompt-SID، وهو أسلوب جديد يعمل مثل مهندس معماري ذكي لا يتخلص أبداً من المخططات الهندسية.

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. مشكلة "القطع الصغيرة مقابل المخطط الهندسي"

تخيل أنك تحاول ترميم خريطة ممزقة.

الأساليب القديمة (جامع القطع): كانوا يقطعون الخريطة إلى مربعات صغيرة، ويخفون بعض المربعات، ثم يطلبون منك تخمين ما هو مفقود بناءً فقط على القطع المتبقية. قد تخمن لون المحيط، لكنك ستنسى على الأرجح أين كان يقع السلسلة الجبلية لأن القطع لم تظهر الشكل الكامل.
Prompt-SID (المهندس المعماري): لا يزال ينظر إلى القطع (الصورة منخفضة الدقة) لتعلم الضجيج، ولكنه يحتفظ أيضاً بـ مخطط سري (التمثيل الهيكلي) للخريطة الأصلية. هو لا يعرض المخطط مباشرة للعامل؛ بل يهمس بـ "روح" أو "جوهر" المخطط في أذن العامل.

2. "المهندس الهامس" (RG-Diff)

كيف يحصل الكمبيوتر على هذا "المخطط" دون مجرد نسخ الصورة المتسخة؟
بنى المؤلفون أداة خاصة تسمى RG-Diff (توليد تمثيل هيكلي عبر الانتشار). فكر في هذا كأنه مترجم سحري.

يأخذ الصورة المتسخة ويضغطها في "ملخص" تجريدي صغير للهيكل (مثل رسم تخطيطي بسيط لمخطط المبنى).
ثم يستخدم نموذج الانتشار (Diffusion Model) (وهو نوع من الذكاء الاصطناعي يتعلم تحويل الضجيج الساكن إلى صور واضحة، مثل كيفية نحت تمثال عبر إزالة الحجارة) لتنقيح هذا الرسم التخطيطي.
والأهم من ذلك، أنه يستخدم "القطع" (الأجزاء منخفضة الدقة والمتسخة) لتوجيه الرسم التخطيطي، مما يضمن أن الرسم يتوافق مع نمط الضجيج ولكنه في الوقت نفسه يزيل الضجيج.
النتيجة هي "أمر" (Prompt) نظيف وعالي المستوى (مجموعة من التعليمات) يقول: "مهلاً، هذا المبنى له زاوية حادة هنا، وسقف منحني هناك،" دون أن يعرض فعلياً الصورة المتسخة بكسل بكسل.

3. "المراقب مع الأمر" (المزيل - The Denoiser)

الآن، تبدأ طاقم التنظيف الرئيسي (المزيل/Denoiser، الذي يستخدم بنية Transformer) بالعمل.

بدلاً من مجرد التحديق في الصورة المتسخة، يتلقى "المراقب" الأمر (الرسم التخطيطي الهيكلي النظيف) من المترجم السحري.
يستخدم المراقب أداة خاصة تسمى الانتباه الهيكلي (SAM). تخيل المراقب وهو يرتدي نظارات تسلط الضوء على الخطوط الهيكلية المهمة (الحواف، الزوايا) وتتجاهل البريق (الضجيج).
يخبر الأمرُ المراقبَ: "ركز على هذه الخطوط؛ وتجاهل الضجيج هنا." وهذا يسمح للكمبيوتر بإعادة بناء الصورة بدقة عالية، مع الحفاظ على الحواف الحادة سليمة.

4. "البروفة" (إعادة العرض بمقاييس مختلفة - Scale Replay)

هناك عقبة أخيرة واحدة: لقد تدرب الكمبيوتر على "القطع" الصغيرة (منخفضة الدقة)، ولكنه يحتاج لتنظيف الصورة كاملة الحجم. عادةً ما يسبب هذا عدم تطابق (مثل عازف موسيقى يتدرب على بيانو لعبة صغيرة ثم يحاول العزف على بيانو كبير في حفلة موسيقية).

لحل هذه المشكلة، يستخدم Prompt-SID آلية إعادة عرض المقاييس (Scale Replay Mechanism).

فكر في الأمر كأنه بروفة (تدريب). بعد أن ينظف الكمبيوتر القطع الصغيرة، يحاول فوراً تنظيف الصورة كاملة الحجم دون تحديث ذاكرته (لا يوجد تعلم جديد، مجرد ممارسة).
يتحقق: "هل عملية تنظيفي للصورة الكبيرة تشبه عملية تنظيفي للصورة الصغيرة؟"
إذا بدت الصورة الكبيرة ضبابية أو خاطئة مقارنة بالصغيرة، فإنه يعدل استراتيجيته. هذا يضمن أن الكمبيوتر بارع في تنظيف الصورة كاملة الحجم تماماً كما هو بارع في تنظيف القطع الصغيرة.

لماذا يعد هذا أمراً مهماً؟

لا مزيد من القطع المفقودة: على عكس الأساليب القديمة التي كانت ترمي البكسلات، يستخدم Prompt-SID المعلومات من كل بكسل لإنشاء الأمر الهيكلي.
تفاصيل أفضل: نظرًا لامتلاكه "المخطط الهندسي"، فإنه لا يجعل حواف المباني أو الوجوه ضبابية.
يعمل في كل مكان: يعمل على الضجيج الاصطناعي (الناتج عن الكمبيوتر)، وضجيج الكاميرا في العالم الحقيقي، وحتى الصور العلمية المعقدة مثل التصوير المجهري الفلوري (رؤية الخلايا الصغيرة).

باختصار:
الأساليب القديمة حاولت إصلاح نافذة متسخة عبر النظر إلى نسخة ضبابية ومغطاة جزئياً منها. أما Prompt-SID، فينظر إلى النسخة الضبابية ليفهم طبيعة الاتساخ، ولكنه يولد أيضاً خريطة ذهنية نظيفة لشكل النافذة لتوجيه عملية التنظيف. إنه الفرق بين التخمين لما تبدو عليه الصورة، وبين امتلاك مجموعة واضحة من التعليمات حول كيفية ترميمها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Prompt-SID: تعلم التمثيل الهيكلي عبر التلقين من خلال الانتشار الكامن لإزالة الضجيج من صورة واحدة."

1. بيان المشكلة

تعد عملية إزالة الضجيج من الصور (Image denoising) أمراً بالغ الأهمية لمهام الرؤية الحاسوبية اللاحقة (التصنيف، الكشف، التجزئة). وبينما تحقق الطرق الخاضعة للإشراف أداءً عالياً، إلا أنها تعتمد على مجموعات بيانات مقترنة مكلفة (نظيفة/مشوشة) وتواجه صعوبة في التكيف مع العالم الحقيقي.
القيود الحالية للطرق ذاتية الإشراف/غير الخاضعة للإشراف:

فقدان معلومات البكسل: الطرق التقليدية مثل شبكات البقعة العمياء (مثل Noise2Void) أو أخذ عينات من الصور الفرعية (مثل متغيرات Noise2Noise) تتخلص من كمية كبيرة من بيانات البكسل أو تجعل البكسلات المركزية غير مرئية أثناء التدريب.
تدهور الهيكل: غالباً ما تؤدي عمليات خفض العينة (Downsampling) إلى تدمير التفاصيل الهيكلية الدقيقة وتسبب تدهوراً دلالياً (Semantic degradation).
رسم الخرائط المتطابقة (Identity Mapping): يمكن لاستراتيجيات القناع (Masking) البسيطة أن تؤدي بالنماذج إلى تعلم نسخ بكسلات المدخلات بدلاً من إزالة الضجيج منها.

التحدي الجوهري هو تطوير إطار عمل ذاتي الإشراف يحافظ على التفاصيل الهيكلية والمعلومات الدلالية دون الاعتماد على تسميات (Labels) نظيفة حقيقية أو المعاناة من فقدان المعلومات المتأصل في أخذ العينات الفرعية.

2. المنهجية: Prompt-SID

يقترح المؤلفون Prompt-SID، وهو إطار عمل ذاتي الإشراف لإزالة الضجيج من صورة واحدة يستفيد من تعلم التلقين (Prompt Learning) ونماذج الانتشار الكامنة (Latent Diffusion Models). تتكون البنية من ثلاثة مكونات:

أ. استراتيجية أخذ عينات التكرار المكاني (Spatial Redundancy Sampling Strategy)

بدلاً من التخلص من البكسلات أو استخدام البقع العمياء، تستخدم الطريقة استراتيجية أخذ عينات التكرار المكاني لتوليد أزواج تدريب من صورة مشوشة واحدة ( $x$ ):

يتم تقسيم الصورة إلى كتل $2 \times 2$ .
من كل كتلة، يتم أخذ عينات عشوائية لثلاثة بكسلات متجاورة لإنشاء ثلاث صور فرعية ( $m_1, m_2, m_3$ )، كل منها بدقة $1/4$ من الدقة الأصلية.
تعمل $m_1$ كمدخل، بينما تعمل $m_2$ و $m_3$ كأهداف لإعادة البناء، مما يضمن مساهمة جميع البكسلات في عملية التدريب دون حدوث "رسم خرائط متطابقة".

ب. انتشار توليد التمثيل الهيكلي (RG-Diff)

هذا هو الابتكار الأساسي لتوليد "التلقينات" (Prompts).

المشفر (PSE): يقوم مشفر بنية البكسل (Pixel Structure Encoder) بضغط كل من المدخل المنخفض الدقة ( $m_1$ ) وصورة المقياس الأصلي ( $x$ ) إلى تمثيلات هيكلية كامنة ( $c_{sub}$ و $c_{org}$ ).
عملية الانتشار: يعمل نموذج انتشار كامن في فضاء متجه أحادي البعد (1D vector space).
- العملية الأمامية (Forward Process): يتم إضافة الضجيج إلى التمثيل الهيكلي الأصلي $c_{org}(0)$ .
- العملية العكسية (Reverse Process): يحاول النموذج استعادة $c_{org}(0)$ باستخدام $c_{sub}$ (من الصورة منخفضة الدقة) كـ تلقين شرطي (Conditional Prompt).
الهدف: يتعلم نموذج الانتشار رسم خريطة التمثيل الهيكلي المتدهور للصورة منخفضة الدقة للعودة إلى التمثيل الهيكلي عالي الدقة للصورة الأصلية. هذا يسد الفجوة في المقياس ويستعيد التفاصيل الهيكلية المفقودة.

ج. وحدة الانتباه الهيكلي (SAM) و SPIformer

SPIformer: العمود الفقري الرئيسي لإزالة الضجيج هو متغير من محولات الرؤية (Vision Transformer - ViT).
SAM (وحدة الانتباه الهائلي): مدمجة في كتل المحول (Transformer blocks)، تأخذ SAM التلقين الهيكلي المستعاد ( $\hat{c}_{org}(0)$ $\overset{c}{^}_{or g} (0)$ ) من RG-Diff. وهي تستخدم آليات انتباه القنوات لدمج هذا التلقين مع خرائط الميزات.
- يوجه التلقين المحول للتركيز على القنوات التي تحتوي على تفاصيل هيكلية غنية ومعلومات دلالية مع كبح القنوات المشوشة.

د. آلية إعادة تشغيل المقياس (Scale Replay Mechanism)

لضمان تعميم النموذج من بيانات التدريب منخفضة الدقة إلى الاستدلال بالمقياس الأصلي:

حلقة التدريب: بعد معالجة الصور منخفضة الدقة، يقوم النموذج بعملية استدلال إضافية على الصورة المشوشة ذات المقياس الأصلي ( $x$ ).
قيد الخسارة: يتم خفض عينة الصورة التي تمت إزالة الضجيج منها (المقياس الأصلي) ومقارنتها بالأهداف منخفضة الدقة. هذا يمنع النموذج من تجاهل التفاصيل عالية الدقة ويخفف من فجوة النطاق (Domain gap) بين التدريب (منخفض الدقة) والاستدلال (عالي الدقة).

دالة الخسارة (Loss Function):
تجمع الخسارة الإجمالية بين ثلاثة حدود:

خسارة إعادة البناء ( $L_{rec}$ ): خسارة L2 بين الصور الفرعية التي تمت إزالة الضجيج منها والأهداف.
خسارة إعادة تشغيل المقياس ( $L_{sc}$ ): تضمن الاتساق بين إعادة البناء في المقياس الأصلي والمقياس المنخفض.
خسارة الانتشار ( $L_{diff}$ ): خسارة L1 تضمن أن التلقين الهيكلي المولد يطابق التمثيل الهيكلي الحقيقي.

3. المساهمات الرئيسية

إزالة الضجيج ذاتية الإشراف القائمة على التلقين: خط معالجة جديد يستخرج التمثيلات الهيكلية من الصور الأصلية لتوجيه استعادة المدخلات منخفضة الدقة، مما يتجنب فقدان معلومات البكسل.
RG-Diff (انتشار توليد التمثيل الهيكلي): أول تطبيق لنماذج الانتشار في إزالة الضجيج ذاتية الإشراف لتوليد التلقينات الهيكلية. وهي تستفيد من القدرة التوليدية للانتشار لتنقية التمثيلات الدلالية في الفضاء الكامن.
آلية إعادة تشغيل المقياس: استراتيجية تدريب تسد بفعالية فجوة المقياس بين نطاقات التدريب منخفضة الدقة والاستدلال عالي الدقة، مما يمنع رسم الخرائط المتطابقة للبكسلات.
وحدة الانتباه الهيكلي (SAM): آلية داخل بنية المحول تقوم بفك تشفير التلقينات الهيكلية لتعزيز دمج الميزات والحفاظ على التفاصيل.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات اصطناعية، وعالمية حقيقية، وبيانات تصوير فلوري.

مجموعات البيانات الاصطناعية (ضجيج Gaussian و Poisson):
- تفوقت على أفضل الطرق الحالية (SOTA) ذاتية الإشراف (N2V, NBR2NBR, B2U, ZS-N2N) على مجموعات Kodak, BSD300, و Set14.
- حققت تحسينات ثابتة تتراوح بين 0.21–0.34 ديسيبل مقارنة بـ NBR2NBR.
- تجاوزت بعض النماذج الخاضعة للإشراف (مثل U-Net) في إعدادات ضجيج محددة.
إزالة الضجيج في العالم الحقيقي (مجموعة بيانات SIDD):
- حققت 51.55 ديسيبل PSNR على مجموعة تحقق SIDD، متفوقة على SOTA السابق (B2U) بمقدار 0.19 ديسيبل وعلى NBR2NBR بمقدار 0.49 ديسيبل.
- أظهرت النتائج البصرية حفاظاً فائقاً على الحواف وتقليلاً في عدم توازن الألوان مقارنة بالمنافسين.
التصوير الفلوري:
- أظهرت قدرة قوية على التعميم على بيانات التجمعات العصبية ثلاثية الأبعاد.
- تفوقت على النماذج الخاضعة للإشراف عند سرعات مسح محددة (1 هرتز و 30 هرتز)، محققة نسبة إشارة إلى ضجيج (SNR) عالية.
الكفاءة: يحافظ النموذج على عدد بارامترات منخفض نسبياً (حوالي 6 ملايين بارامتر) مقارنة بنماذج المحولات الكبيرة لإزالة الضجيج.

5. الأهمية

تحول في النموذج (Paradigm Shift): الابتعاد عن استراتيجيات "البقعة العمياء" أو "القناع" التي تدمر المعلومات بطبيعتها، نحو نهج "تعلم التلقين" الذي يعيد بناء السياق الهيكلي المفقود.
الانتشار للرؤية منخفضة المستوى: نجاح في تطويع نماذج الانتشار الكامنة ليس لتوليد الصور، بل لـ تنقية التمثيل الهيكلي، مما يثبت فائدتها في مهام الاستعادة الحتمية.
القابلية للتطبيق العملي: من خلال حل مشكلة فجوة المقياس عبر "إعادة تشغيل المقياس"، يعد الأسلوب قوياً للتطبيقات الواقعية حيث لا تتوفر بيانات نظيفة عالية الدقة، مما يجعله مناسباً جداً للتصوير الطبي (الفلوري) والتصوير الفوتوغرافي.
رؤى من دراسة الاستبعاد (Ablation): أكدت التجارب أن إزالة تلقين الانتشار أو آلية إعادة تشغيل المقياس يؤدي إلى تدهور كبير في التفاصيل الدلالية والضبابية، مما يثبت ضرورة كلا المكونين.