An Unconditional Representation of the Conditional Score in Infinite-Dimensional Linear Inverse Problems

ملخص تقني: تمثيل غير مشروط للدرجة الشرطية في المسائل العكسية الخطية في الفضاءات ذات الأبعاد اللانهائية

بيان المشكلة
تطورت نماذج الانتشار القائمة على الدرجة (Score-based Diffusion Models - SDMs) لتصبح أداة قوية لأخذ العينات من التوزيعات البعدية، مما يوفر توزيعات سابقة مرنة تتفوق على المنظمات التقليدية المصممة يدويًا. ومع ذلك، تواجه الطرق الحالية لأخذ العينات البعدي مقايضة حرجة بين الكفاءة الحسابية والقابلية للتوسع.

1. الطرق القائمة على التصحيح (مثل إضافة تدرجات الاحتمالية إلى الدرجة أو فرض اتساق البيانات) تتطلب تقييمات متكررة للمؤثر الأمامي $A$ أثناء عملية أخذ العينات. وهذا يمثل عائقًا حسابيًا لا يمكن تجاوزه للمسائل واسعة النطاق وعالية الأبعاد.
2. طرق التدريب الشرطي المباشر تتعلم دالة درجة مشروطة بالقياسات ($s(x, t; \mu_y)$). وبينما يتجنب هذا النهج التقييمات الأمامية أثناء أخذ العينات، فإنه يزيد بشكل كبير من أبعاد المدخلات للشبكة العصبية (من $x$ إلى $(x, y)$)، مما يستليزم بيانات تدريب مكثفة وبنى معقدة لتقريب الدرجة الشرطية بدقة، خاصة في البيئات ذات الأبعاد اللانهائية.

يعالج هذا العمل تحدي إجراء أخذ عينات بعدي فعال وقابل للتوسع في المسائل العكسية الخطية في الفضاءات ذات الأبعاد اللانهائية دون تكبد التكاليف العالية للتقييمات الأمامية عبر الإنترنت أو التعقيد العالي للتدريب الشرطي المباشر.

المنهجية: التمثيل غير المشروط للدرجة الشرطية (UCoS)
يقترح المؤلفون إطار عمل UCoS، الذي ينقل عبء التكييف من مرحلة أخذ العينات عبر الإنترنت إلى مرحلة التدريب خارج الإنترنت. الفكرة الجوهرية هي أنه بالنسبة للمسائل العكسية الخطية مع ضجيج غاوسي، يمكن اشتقاق دالة الدرجة الشرطية بالضبط من دالة درجة غير مشروطة لعملية انتشار معدلة وتعتمد على المهمة عبر تحويلات تآلفية.

• الأساس النظري:

  • يعمل الأسلوب في فضاء هيلبرت قابل للفصل $\mathcal{H}$، مما يضمن الثبات فيما يتعلق بالتقطيع (discretization).
  • بدلًا من تدريب شبكة لتقريب $s(x, t; \mu_y)$، يعرّف المؤلفون عملية انتشار جديدة $\tilde{X}_t$، وتوزيعها هو مزيج من التوزيع السابق ومصطلح غاوسي يعتمد على المؤثر الأمامي $A$.
  • أثبتوا (النظرية 3.7) أن الدرجة الشرطية الحقيقية $s(x, t; \mu_y)$ ترتبط بالدرجة غير المشرونة $\tilde{s}$ لهذه العملية الجديدة عبر المتطابقة التالية:
    $$s(x, t; \mu_y) = \lambda(t) \left( r(\xi_t(x, y)) - e^{-t/2}x \right)$$
    حيث $r$ هي نسخة محولة من الدرجة غير المشرونة، و$\lambda(t)$ هو قياس يعتمد على الزمن، و$\xi_t(x, y)$ هو تحويل تآلفي يتضمن القياس $y$ والمؤثر الملحق $A^*$.
  • والأهم من ذلك، أن المصطلح $A^*\Gamma^{-1}y$ (حيث $\Gamma$ هو تغاير الضجيج) يمكن حسابه مرة واحدة قبل بدء أخذ العينات. وبالتالي، فإن عملية أخذ العينات اللاحقة تتطلب فقط تقييم الشبكة المدربة $r_\theta$ وعمليات جمع متجه بسيطة، مما يلغي الحاجة إلى أي تطبيقات أخرى لـ $A$ أو $A^*$ خلال خطوات الانتشار العكسي.

• التنفيذ:

  • المرحلة خارج الإنترنت (Offline Phase): يتم تدريب شبكة عصبية (تحديدًا مُعامل نيورال فورييه - FNO) لتقريب الدالة $r$. يستخدم التدريب هدف مطابقة الدرجة لتقليل الضجيج (denoising score matching) على العملية المعدلة $\tilde{X}_t$. تتطلب هذه المرحلة الوصول إلى $A$ و $A^*$، ولكن لا تتطلب بيانات قياس محددة $y$.
  • المرحلة عبر الإنترنت (Online Phase): يتم توليد العينات البعدية عن طريق حل المعادلة التفاضلية العشوائية (SDE) في الوقت العكسي باستخدام الدرجة المحولة. العملية "خالية من المصفوفات" (matrix-free) وتتطلب فقط متجه الإزاحة المحسوب مسبقًا $A^*\Gamma^{-1}y$ وتقييم الشبكة.

المساهمات الرئيسية

1. متطابقة دقيقة في الأبعاد اللانهائية: يضع هذا العمل هوية نظرية دقيقة (النظرية 3.7) تربط الدرجة الشرطية بدرجة غير مشروطة تعتمد على المهمة في فضاءات هيلبرت ذات الأبعاد اللانهائية عبر تحويلات تآلفية. وهذا يعمم المبدأ إلى ما وراء تقطيعات محددة ذات أبعاد منتهية.
2. تحليل التقارب: يقدم المؤلفون حداً كمياً للخطأ (النظرية 4.1) لعملية التوليد، حيث يحدد بوضوح مساهمات الخطأ من فقدان التدريب، والتقطيع العددي، والتهيئة. وهذا يبرر تقارب الطريقة نحو مقياس التوزيع البعدي الحقيقي.
3. القابلية للتوسع والكفاءة: من خلال فصل التكييف عن حلقة أخذ العينات، يحقق UCoS الكفاءة الحسابية للطرق غير المشروطة (لا تقييمات أمامية أثناء أخذ العينات) مع الحفاظ على دقة الطرق الشرطية. كما يتجنب لعنة الأبعاد المرتبطة بتدريب الشبكات على الفضاء المشترك $(x, y)$.

النتائج التجريبية
يتحقق المؤلفون من صحة UCoS في ثلاث مسائل عكسية: ترميم الصور (inpainting)، والتصوير المقطعي المحوسب (CT) ذو الرؤية المتفرقة، وإزالة الضباب من الصور (deblurring).

• ترميم الصور (Prior Gaussian): في حالة يكون فيها التوزيع البعدي غاوسياً ويمكن حساب الدرجات في صيغ مغلقة، يؤدي UCoS أداءً مقارباً للطريقة الشرطية الدقيقة والطرق المرجعية الأخرى، مما يؤكد الهوية النظرية.
• التصوير المقطعي (CT) وإزالة الضباب (Priors learned): باستخدام مجموعات بيانات LIDC-IDRI و CelebA، تمت مقارنة UCoS بكل من SDE ALD، و Diffusion Posterior Sampling (DPS)، والطرق القائمة على الإسقاط (Proj)، وطرق التدريب الشرطي المباشر.
  • الدقة: يولد UCoH عينات ذات انحياز وانحراف معياري مشابه أو أفضل من الطرق غير المشرونة، ومتفوق بشكل ملحوظ على الطريقة الشرطية عند استخدام بنى ذات تعقيد منخفض (مثل 32 عقدة لكل طبقة).
  • الكفاءة: يحقق UCoS سرعة أخذ العينات الخاصة بالطريقة الشرطية (كلاهما يتجنب التقييمات الأمامية) ولكنه يتفوق بشكل كبير على طرق التصحيح (DPS, Proj, S SDE ALD) التي تتطلب تمريرات أمامية متكررة.
  • المتانة: يتدهور أداء الطريقة الشرطية بشكل ملحوظ مع قلة عدد معاملات الشبكة بسبب زيادة التعقيد في تقريب التوزيع المشترك، بينما يحافظ UCoS على جودة عالية حتى مع البنى الأكثر بساطة.

الأهمية والادعاءات
يزعم هذا العمل أن UCoS يقدم حلاً "يجمع بين أفضل ما في العالمين": فهو يلغي العائق الحسابي للتقييمات الأمامية للنموذج أثناء أخذ العينات (وهو قصور في طرق التصحيح) وفي الوقت نفسه يتجنب التعقيد العالي في أخذ العينات والمتطلبات الهيكلية للتدريب الشرطي المباشر.

يؤكد المؤلفون أن نهجهم ثابت تجاه التقطيع (discretization-invariant)، مما يجعله مناسبًا للمسائل العكسية ذات الأبعاد اللانهائية حيث غالبًا ما تفشل ضمانات الأداء في التقريبات ذات الأبعاد المنتهية العالية. ويقرون بأن الطريقة تعتمد على المهمة وتتطلب إعادة تدريب إذا تغير المؤثر الأمامي $A$، وأن التطابق الدقيق يعتمد على خطية النموذج الأمامي والطبيعة الغاوسية لدالة الاحتمالية (التي تسمح بخطوة "إكمال المربع"). يُقدم العمل كإثبات لمفهوم فئة جديدة من أخذ عينات الانتشار التي تنقل تعقيد التكييف إلى مرحلة التدريب دون إدخال أخطاء تقريب في الصيغة النظرية.