Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries

ملخص تقني: تعلم خرائط مستويات التناثر المتكيفة مكانياً للقواميس الالتفافية التعسفية

بيان المشكلة
غالبًا ما تعمل طرق إعادة بناء الصور المتقدمة القائمة على التعلم، ولا سيما تلك المستندة إلى الشبكات العصبية العميقة، كـ "صناديق سوداء". فبينما تحقق أداءً تجريبيًا عاليًا، إلا أنها تفتقر في كثير من الأحيان إلى القابلية للتفسير، وضمانات التقارب، والمتانة ضد تحولات توزيع البيانات. وتحديدًا، تعاني الطرق الحالية التي تدمج تعلم القواميس مع التعلم العميق (مثل طريقة CDL-Λ المقترحة في [7]) من الصلابة الهيكلية. في العمل السابق، كانت الشبكة العصبية المسؤولة عن تقدير خرائط مستويات التناثر "مستقلة عن القاموس" (dictionary-agnostic)، مما يعني أنها لم تكن قادرة على التكيف مع قاموس التفافي مختلف عند الاستدلال. وقد أدى تغيير عدد المرشحات ($K$) أو ترتيب تبديلها إلى فقدان كبير في أداء إعادة البناء، مما حد من مرونة الطريقة وفائدتها العملية.

المنهجية
يقترح المؤلفون إطار عمل محسّن لطريقة CDL-Λ (تعلم القواميس الالتفافي مع خرائط $\Lambda$). تتضمن مشكلة إعادة البناء الأساسية حل مشكلة تصوير عكسية $y = Ax_{true} + e$ من خلال تقدير مكون مرشح عالي التردد للصورة. ويتم تحقيق ذلك عن طريق تمثيل الصورة كمزيج خطي من خرائط ميزات متناثرة تلتف (convolved) مع قاموس التفافي مدرب مسبقًا $D$. تُصاغ عملية إعادة البناء كمسألة تغاير (variational problem) منظمة بواسطة معيار $\ell_1$ الموزون، حيث تكون الأوزان عبارة عن خرائط مستويات تناثر متكيفة مكانياً ($\Lambda$).

يكمن الابتكار الرئيسي في تصميم الشبكة العصبية ($NET_\Theta$) المسؤولة عن تقدير خرائط $\Lambda$. قدم المؤلفون ثلاثة متغيرات هيكلية:

1. $V_1$ (الأساس): شبكة U-Net قياسية تأخذ الصورة المدخلة وتخرج $K$ من الخرائط. هذه النسخة مستقلة عن القاموس وثابتة لعدد محدد من المرشحات $K$.
2. $V_2$ (مدخل يعتمد على القاموس): شبكة U-Net تأخذ المدخل المحول بالقاموس ($D^T x_0$) كمدخل. ورغم أن هذا يجعل الشبكة مشروطة بالقاموس، إلا أنها تظل مرتبطة بعدد ثابت من المرشحات $K$.
3. $V_3$ (الهيكل المرن المقترح): تصميم مبتكر يحقق ثبات التبديل للمرشحات (filter-permutation invariance) والقدرة على التكيف مع عدد مرشحات تعسفي. ويتم ذلك من خلال:
   • إعادة تشكيل الموتر المدخل لنقل بُعد القنوات (الذي يمثل مرشحات القاموس) إلى بُعد الدفعة (batch dimension).
   • استخدام U-Net بنسبة 2 إلى 1 تعالج مساهمة كل مرشح بشكل مستقل ومتطابق.
   • إعادة تشكيل المخرج للعودة إلى الأبعاد الأصلية.
   • يسمح هذا لنفس أوزان الشبكة بتقدير خرائط التناثر لقواميس بأي عدد من المرشحات $K$ وأي ترتيب للمرشحات.

استراتيجية التدريب
لتدريب الشبكة على التعميم عبر قواميس مختلفة، استخدم المؤلفون مجموعة تدريب متنوعة تضم 96 قاموسًا التفافيًا مختلفًا مع أعداد متفاوتة من المرشحات ($K \in \{16, 32, 64, 128\}$) وأحجام نواة ($9\times9, 11\times11$). تقلل عملية التدريب من خطأ التربيع المتوسط (MSE) بين مخرج الشبكة والحقيقة الأرضية (ground truth). ونظرًا للتكلفة الحسابية لفك عملية خوارزمية FISTA (المستخدمة لحل مشكلة إعادة البناء) مع القواميس الكبيرة والشبكات العميقة، استخدم المؤلفون الانتشار العكسي المبتور (truncated backpropagation). حيث يتم تتبع التدرجات فقط للجزء الأخير من التكرارات المفكوكة، بينما تُحسب التكرارات الأولية بدون تتبع التدرجات لإدارة قيود الذاكرة.

المساهمات الرئيسية

1. هيكل مدرك للقاموس: تقديم $NET_\Theta$ V3، الذي يسمح باستخدام قواميس التفافية تعسفية عند الاستدلال دون الحاجة لإعادة التدريب، مما يعالج صلابة طرق القواميس المتعلمة السابقة.
2. ثبات التبديل: يضمن الهيكل أن أداء إعادة البناء ثابت بغض النظر عن ترتيب مرشحات القاموس، وهي خاصية لم تكن موجودة في النسخ السابقة.
3. المتانة تجاه تحولات التوزيع: تم تقييم الطريقة على بيانات خارج نطاق التوزيع (على سبيل المثال، التدريب على رنين الدماغ والاختبار على رنين الركبة)، مما أظهر متانة أكبر مقارنة بالنماذج العميقة القائمة كليًا على البيانات.
4. مرونة الاستدلال: القدرة على الانتقال إلى قاموس أكبر وأكثر تعبيرًا عند الاستدلال (مثل $K=128$) حتى لو لم يُستخدم أثناء التدريب، مما يؤدي إلى تحسين جودة إعادة البناء.

النتائج
تم تقييم الطريقة في مهام إعادة بناء الرنين المغناطيسي ذي المجال المنخفض (LF MRI) باستخدام كل من البيانات المحاكات استرجاعيًا (الدماغ والركبة) وبيانات دماغ حقيقية (in vivo) بوزن T2.

• ثبات التبديل: أكدت التجارب أنه بينما عانت النسختان $V_1$ و$V_2$ من انخفاض في الأداء عند تبديل مرشحات القاموس، حافظت $V_3$ على درجات ثابتة من SSIM وMSE.
• التعميم: عند اختبارها على بيانات ركبة خارج نطاق التوزيع (التدريب على بيانات الدماغ)، تقلصت الفجوة في الأداء بين CDL-$\Lambda$ والطرق العميقة الأخرى (MoDL, E2E VarNet, SRDenseNet) بشكل ملحوظ. عانت الطريقة المقترحة بشكل أقل من تحولات توزيع البيانات، ويُعزى ذلك إلى مكون إعادة البناء القائم على النموذج الذي يقلل الاعتماد على إحصائيات بيانات التدريب.
• التطبيق على البيانات الحقيقية (In Vivo): في البيانات الحقيقية، حيث لا توجد حقيقة أرضية، أنتجت الطريقة عمليات إعادة بناء قابلة للمقارنة مع طرق التعلم العميق الحديثة. ومن الجدير بالذكر أن استخدام قاموس أكبر ($K=128$) عند الاستدلال — رغم عدم استخدامه في التدريب — أدى إلى صور أكثر حدة مع مقاييس ضبابية أقل مقارنة باستخدام القواميس الأصغر.
• القابلية للتفسير: أظهرت خرائط مستويات التناثر التي أنتجتها الشبكة أنها تخصص أهمية متسقة لمرشحات محددة عبر مختلف متغيرات الشبكة، مما يؤكد قابلية تفسير التنظيم المتعلم.

الأهمية والادعاءات
يزعم البحث أن الإطار المقترح ينجح في سد الفجوة بين قابلية التفسير القائمة على النماذج والأداء القائم على البيانات. ومن خلال فصل شبكة تقدير التناثر عن تكوين القاموس المحدد، توفر الطريقة أداة مرنة لإعادة بناء الرنين المغناطيسي تكون أقل عرضة للفشل عند مواجهة تحولات في توزيع البيانات. ويرى المؤلفون أن تقليل الاعتماد على بيانات التدريب، الناجم عن مسألة التغاير الأساسية القائمة على النموذج، هو المحرك الرئيسي لهذه المتانة. علاوة على ذلك، فإن القدرة على استخدام قواميس أكبر عند الاستد