🤖 AI

Inference-Time Search Using Side Information for Diffusion-Based Image Reconstruction

تقترح هذه الورقة إطار عمل جديداً لا يتطلب تدريباً، يعزز إعادة بناء الصور القائمة على الانتشار لمختلف المسائل العكسية من خلال دمج معلومات جانبية متنوعة عبر البحث أثناء الاستدلال، مما يحسن الأداء باستمرار عبر العديد من الحلّال والمهام.

المؤلفون الأصليون: Mahdi Farahbakhsh, Vishnu Teja Kunde, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mahdi Farahbakhsh, Vishnu Teja Kunde, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: حل لغز باستخدام تلميح

تخيل أنك تحاول حل أحجية صور مقطوعة (Jigsaw puzzle) صعبة للغاية، ولكن شخصاً ما قد مزق معظم القطع وطمس القطع المتبقية. أنت تحاول تخمين كيف كان شكل الصورة الأصلية. هذا ما يسميه العلماء "المسألة العكسية" (Inverse Problem).

في عالم الذكاء الاصطناي، نماذج الانتشار (Diffusion Models) تشبه فنانين عباقرة شاهدوا ملايين الصور. هم بارعون في تخمين كيف قد تبدو القطعة المفقودة بناءً على تدريبهم. ومع ذلك، عندما تكون الأحجية مكسورة (مثل صورة ضبابية، أو مشوشة، أو مفقود منها أجزاء ضخمة)، فقد يخمن الذكاء الاصطناعي صورة تبدو منطقية (مثل وجه إنسان) ولكنها ليست الوجه الصحيح (أي ليس للشخص المطلوب).

تقدم هذه الورقة البحثية طريقة جديدة لمساعدة الذكاء الاصطناعي في حل الأحجية عبر إعطائه تلميحاً (يسمى "المعلومات الجانبية") واستراتيجية بحث لإيجاد أفضل إجابة.

المشكلة: الذكاء الاصطناعي يخمن في الظلام

يشرح المؤلفون أن طرق الذكاء الاصطناعي الحالية تحاول إعادة بناء الصور باتباع مسار رياضي. ولكن عندما تكون البيانات المدخلة سيئة (مثل صورة ضبابية جداً)، تكون هناك احتمالات كثيرة جداً للإجابات. قد يختار الذكاء الاصطناعي مساراً يؤدي إلى وجه عام بدلاً من الشخص المحدد الذي تبحث عنه.

عادةً، لإصلاح ذلك، سيتعين عليك إعادة تدريب الذكاء الاصطناعي ببيانات جديدة. لكن ذلك مكلف، وبطيء، ويتطلب كمية هائلة من الأمثلة المزدوجة (على سبيل المثال: صورة ضبابية بجانب صورة واضحة). أراد المؤلفون طريقة لإصلاح هذا دون إعادة تدريب الذكاء الاصطناعي.

الحل: "فريق البحث" مع تلميح

يقترح المؤلفون طريقة تسمى البحث أثناء الاستدلال (Inference-Time Search). وإليك كيف تعمل، مقسمة إلى جزأين:

1. التلميح (المعلومات الجانبية)

تخيل أنك تحاول العثด على صديق مفقود في مدينة مزدحمة.

بدون تلميح: تسأل الذكاء الاصطناعي: "كيف يبدو صديقي؟". يجيب الذكاء الاصطناي: "ربما شخص طويل القامة بشعر بني". يمكن أن يكون أي شخص.
مع تلميح: تعرض للذكاء الاصطناي صورة لصديقك من الأسبوع الماضي (صورة مرجعية) أو تخبره: "صديقي يرتدي قبعة حمراء" (وصف نصي).

توضح الورقة كيفية دمج هذا التلميح في عملية الذكاء الاصطناعي. وبدلاً من تدريب ذكاء اصطناعي جديد لفهم التلميح، يستخدمون نظام مكافأة (Reward System).

يقوم الذكاء الاصطناعي بتوليد بعض التخمينات.
ينظر "القاضي" (أداة مدربة مسبقاً) إلى التخمين والتلميح.
إذا تطابق التخمين مع التلميح (على سبيل المثال، إذا كان الوجه يشبه الصورة المرجعية)، يمنح القاضي درجة عالية (مكافأة).
إذا لم يتطابق، يحصل على درجة منخفضة.

2. البحث (فريق البحث)

بدلاً من ترك الذكاء الاصطناعي يقدم تخميناً واحداً ويأمل في الأفضل، يجعل المؤلفون الذكاء الاصطناعي يقوم بـ "فريق بحث".

تخيل أنك تبحث عن مفتاح محدد في غرفة مظلمة.

الطريقة القديمة (الأساس): ترسل شخصاً واحداً. يسلك مساراً، يجد مفتاحاً، ثم يعود به. إذا اختار المسار الخاطئ، ستحصل على المفتاح الخاطئ.
الطريقة الجديدة (البحث أثناء الاستدلال): ترسل 8 أشخاص (جسيمات) في نفس الوقت. جميعهم يبدأون في سلوك مسارات مختلفة.
- كل بضع خطوات، يتوقفون ويتحققون من "درجتهم" (مدى مطابقة مسارهم الحالي للتلميح).
- الأشخاص الذين لديهم أسوأ الدرجات يتم إرسالهم للمنزل.
- الأشخاص الذين لديهم أفضل الدرجات يتم استنساخهم (Cloning) حتى يتمكن المزيد من الناس من اتباع مسارهم الناجح.

تقدم الورقة طريقتين محددتين لتنظيم فريق البحث هذا:

البحث الجشع (Greedy Search): يسير الجميع بمفردهم حتى نقطة تفتيش محددة، ثم يتم استنساخ الأفضل منهم.
البحث المتكرر بنظام "التفرع والالتحام" (Recursive Fork-Join Search - RFJS): وهذه هي الطريقة النجم في الورقة. إنها تشبه شجرة العائلة.
- تخيل مجموعة كبيرة من الناس. كل ساعة، ينقسمون إلى مجموعات أصغر.
- داخل كل مجموعة صغيرة، يتم التحقق من الشخص الذي يؤدي بشكل أفضل ويتم استنساخه.
- لكن المجموعات تظل منفصلة لفترة من الوقت حتى لا يندفع الجميع نحو نفس الطريق المسدود.
- هذا يحافظ على تنوع البحث (استكشاف احتمالات مختلفة) مع الاستمرار في التركيز على أفضل الأدلة.

لماذا يعد هذا أمراً هاماً؟

تدعي الورقة تحقيق ثلاثة انتصارات رئيسية:

إنه يعمل دون إعادة تدريب: لا تحتاج لتعليم الذكاء الاصطناعي أي شيء جديد. فقط أعطه التلميح واتركه يبحث. إنه يعمل مع النصوص، الصور، أو حتى المسحات الطبية (مثل صور الرنين المغناطيسي).
إنه يجد الإجابة "الصحيحة"، وليس فقط الإجابة "الجيدة": في التجارب، لم يكتفِ الذكاء الاصطناعي بجعل الصورة تبدو أكثر وضوحاً، بل استعاد بالفعل هوية الشخص.
- مثال توضيحي: إذا كنت تقوم بترميم صورة ضبابية لمشهور، فإن الطرق القديمة قد تصنع وجهاً يبدو كشخص وسيم عام. أما الطريقة الجديدة فتجعل الوجه يبدو تماماً مثل ذلك المشهور.
إنه يتفوق على مجرد "زيادة القوة الحوسبية" وحدها: اختبر المؤلفون ما يحدث إذا قمت بتشغيل الذكاء الاصطناعي مرات أكثر دون استخدام التلميح. وجدوا أن توجيه المزيد من القوة الحوسبية للمشكلة بدون التلميح لم يساعد كثيراً. لكن إضافة التلميح والقيام بالبحث أحدث فرقاً هائلاً.

النتائج باللغة البسيطة

اختبر الفريق هذه الطريقة على:

إصلاح الوجوه: أخذ صورة ضبابية أو ناقصة الوجه واستخدام صورة مرجعية لاستعادة الهوية الصحيحة.
الدقة الفائقة (Super-resolution): تحويل صورة صغيرة ومبكسلة إلى صورة عالية الدقة باستخدام وصف نصي (مثل "كلب من فصيلة جولدن ريتريفر على بحيرة").
التصوير الطبي: إعادة بناء صور الرنين المغناطيسي (MRI) باستخدام نوع آخر من المسح كـ "تلميح".

في كل حالة، أنتجت طريقتهم صوراً تشبه "الحقيقة الأرضية" (Ground Truth) الأصلية أكثر من أفضل الطرق السابقة، على الرغم من أنهم لم يغيروا نموذج الذكاء الاصطناعي الأساسي.

الملخص

فكر في هذه الورقة كاستراتيجية جديدة للمحقق. بدلاً من الاعتماد على حدس واحد (طريقة الذكاء الاصطناعي القديمة)، يرسل المحقق فريقاً من المحققين (جسيمات البحث). يتحقق كل محقق من أدلته مقابل تلميح محدد (المعلومات الجانبية). يقوم الفريق باستمرار بمشاركة من يجد أفضل الأدلة ويرسل المزيد من المحققين في ذلك المسار. هذا يسمح لهم بحل اللغز (إعادة بناء الصورة) بشكل أسرع وأكثر دقة، دون الحاجة لإعادة تدريب المحقق على كيف يكون محققاً في المقام الأول.

ملخص تقني: البحث في وقت الاستدلال باستخدام المعلومات الجانبية لإعادة بناء الصور القائمة على الانتشار

صياغة المشكلة

برزت نماذج الانتشار (Diffusion models) كعوامل مساعدة قوية لحل المشكلات العكسية، مثل إعادة بناء الصور من ملاحظات جزئية أو مشوشة. ومع ذلك، فإن النهج الحالية تتجاهل عادةً المعلومات الجانبية (القياسات المساعدة المرتبطة إدراكياً بالإشارة المستهدفة، مثل الصور المرجعية، أو الأوصاف النصية، أو المسوحات الطبية التكميلية). في الإعدادات شديدة سوء التحديد (ill-posed) حيث تكون الملاحظات متدهورة بشدة، غالباً ما يفشل أخذ العينات من اللاحقة (posterior sampling) غير المقيد في استعادة الحقيقة الأرضية لأن العديد من عمليات إعادة البناء يمكن أن تفسر القياسات بشكل متساوٍ.

التحدي الجوهري الذي يتم معالجته هو كيفية الاستفادة من عامل انتشار غير مشروط (unconditional diffusion prior) مُدرب مسبقاً لحل المشكلات العكسية باستخدام معلومات جانبية في وقت الاستدلال دون الحاجة لإعادة التدريب. إن تدريب نموذج انتشار مشروط ( $p(X|Y, S)$ ) غالباً ما يكون غير عملي بسبب الحاجة إلى مجموعات بيانات ضخمة ومزدوجة، وعدم القدرة على التعميم على أنماط غير مرئية من المعلومات الجانبية، والتكلفة الحسابية للتدريب. علاوة على ذلك، تعاني طرق التوجيه القائمة على التدرج (gradient-based guidance) القياسية مع وظائف المكافأة غير القابلة للتفاضل أو "الصندوق الأسود" (black-box)، كما يمكن أن تكون هشة، مما يؤدي إلى تضخيم أخطاء الخطوات المبكرة.

المنهجية

يقترح المؤلفون إطار عمل "يعمل بمجرد التوصيل" (plug-and-play)، ولا يتطلب تدريباً، يدمج المعلومات الجانبية عبر البحث في وقت الاستدلال. تتكون المنهجية من مكونين رئيسيين: النمذجة والبحث الخوارزمي.

1. نمذجة المعلومات الجانبية عبر اللاحقات المائلة للمكافأة (Reward-Tilted Posteriors)

بدلاً من تعلم دالة درجة (score function) مشروطة، ينمذج المؤلفون اللاحقة $p_{X|S}$ كنسخة مائلة للمكافأة من العامل غير المشروط المُدرب مسبقاً $p_0$ . لقد قدموا دالة مكافأة $r(x_0; s)$ تقوم بتقييم مدى الاتساق بين إعادة البناء المرشحة $x_0$ والمعلومات الجانبية $s$ .

الهدف البديل: يتم تقريب التوزيع المشروط كـ $p_{0|S}(x_0|s) \propto p_0(x_0) \exp(r(x_0; s)/\tau)$ ، حيث $\tau$ هو معامل درجة الحرارة. هذا التجريد يفصل نموذج القياس عن المعلومات الجانبية، مما يسمح بدمج مستقل عن النمط (نص، صور، سمات).
التقريب: لجعل هذا الأمر قابلاً للتطبيق ضمن عملية الانتشار العكسي، اشتق المؤلفون تقريباً قابلاً للتطبيق لدالة الدرجة المشروطة. يقومون بتقريب دالة القيمة $V_t^\tau$ باستخدام مُقدّر من نوع DPS، مستبدلين التوقع فوق اللاحقة بالتقييم عند المتوسط المشروط $\hat{x}_{0|t,Y}$ .
ميزة خلوها من التدرج: بخلاف توجيه تدرج المكافأة (RGG)، الذي يتطلب الانتشار العكسي عبر شبكة المزالة للضجيج (حساب المشتقات من الدرجة الثانية) ويكون محدوداً بالمكافآت القابلة للتفاضل، يدعم هذا الإطار دوال مكافأة "الصندوق الأسود" غير القابلة للتفاضل.

2. خوارزميات البحث في وقت الاستدلال

مدفوعاً بالنجاحات في النماذج اللغوية الكبيرة (LLMs)، يستخدم الإطار البحث القائم على الجسيمات (particle-based search) لاستكشاف فضاء الحلول واختيار المسارات ذات المكافأة العالية. تم تقديم خوارزميتين محددتين:

البحث الجشع (Greedy Search - GS): نهج مونت كارلو المتسلسل (SMC) حيث تتطور الجسيمات بشكل مستقل ويتم إعادة أخذ عينات منها دورياً بناءً على مكافآتها. تحدث إعادة أخذ العينات كل $B$ خطوة، حيث يتم اختيار الجسيمات ذات المكافأة الأعلى لضمان الاستمرارية.
البحث المتكرر بنظام "الفرع والالتحام" (Recursive Fork-Join Search - RFJS): استراتيجية إعادة أخذ عينات هرمية مصممة لموازنة الاستكشاف والاستغلال بشكل أفضل. يتم تقسيم الجسيمات إلى مجموعات ديناميكية ذات أحجام متفاوتة. تُعاد أخذ عينات المجموعات الأصغر بشكل أكثر تكراراً (استكشاف محلي)، بينما تُعاد أخذ عينات المجموعات الأكبر بشكل أقل تكراراً (تنوع عالمي). هذا يحاكي الهياكل التعاونية (مثل الاجتماعات الصغيرة المتكررة مقابل المؤتمرات السنوية) لمنع التقارب المبكر (انهيار النمط/mode collapse) مع الاستمرار في استغلال المناطق ذات المكافأة العالية.

الإطار معياري ويمكن دمجه مع حلول الانتشار الحالية مثل DPS، و Blind DPS، و DAPS، و MPGD.

المساهمات الرئيسية

نمذجة مبتكرة: يقدم البحث تقريباً للاحقة مائلة للمكافأة يسمح بدمج أي معلومات جانبية في عوامل الانتشار غير المشروطة دون إعادة تدريب. هذا النهج متجذر نظرياً في تعظيم المكافأة المنظم بـ KL، ويوفر تقريبات قابلة للتطبيق مع حدود للخطأ.
ابتكار خوارزمي: يقترح المؤلفون البحث المتكرر بنظام "الفرك والالتحام" (RFJS)، وهو استراتيجية بحث مبتكرة في وقت الاستدلال توازن ديناميكياً بين الاستكشاف والاستغلال من خلال إعادة أخذ العينات الهرمية. يتفوق هذا النهج على البحث الجشع القياسي واستراتيجيات "أفضل من N" في الحفاظ على التنوع مع التقارب نحو حلول عالية الجودة.
القدرة على العمل مع مختلف الأنماط (Modality-Agnostic): يدعم الإطار أنماطاً متنوعة من المعلومات الجانبية (صور مرجعية، نصوص، مسوحات MRI تشريحية) ويعمل مع دوال مكافأة "الصندوق الأسود"، متجاوزاً قيود النماذج المشروطة التي تتطلب تدريباً.
التحقق التجريبي: أظهرت التجارطات الواسعة أن تعزيز الحلول القياسية بهذا الإطار يحسن باستمرار جودة إعادة البناء، لا سيما في السيناريوهات شديدة سوء التحديد.

النتائج التجريبية

تم تقييم الإطار عبر مشكلات عكسية خطية وغير خطية (تغطية الصندوق/box inpainting، تحسين الدقة/super-resolution، التغبيش الناتج عن الحركة/الغازي/غير الخطي، والتغبيش الأعمى) وأنواع متنوعة من المعلومات الجانبية.

المعلومات الجانبية الصورية: في مهام إعادة بناء الوجه (باستخدام صور مرجعية)، تفوقت طريقة RFJS المقترحة بشكل كبير على النماذج المرجعية (DPS, Blind DPS, DAPS, MPGD) في مقياس تشابه الوجه (FaceSimilarity - FS)، وهو مقياس يتوافق مع الإدراك البشري للحفاظ على الهوية. وبينما أظهرت المقاييس الكلاسيكية (PSNR, SSIM, LPIPS) تحسناً طفيفاً أو غير ثابت، فقد تم تعزيز الجودة الإدراكية والحفاظ على الهوية بشكل جوهري.
المعلومات الجانبية النصية: بالنسبة للمهام التي تتضمن أوصافاً نصية (مثل تحسين الدقة بمقدار 32 ضعفاً)، حققت الطريقة درجات أعلى في CLIPScore وتوافقاً أفضل مع النص مقارنة بالنماذج المرجعية. أظهرت النتائج النوعية استعادة محتوى ذي معنى إدراكي فشلت النماذج المرجعية في توليده.
التصوير الطبي: في إعادة بناء صور الرنين المغناطيسي (MRI) باستخدام تباينات تكميلية (PD و PDFS)، حسنت الطريقة من المعلومات المتبادلة الطبيعية (NMI) وحافظت على التفاصيل الهيكلية بشكل أفضل من ContextMRI.
القياس والمتانة:
- توسع الحوسبة: على عكس النماذج التي لا تملك معلومات جانبية، حيث لم يؤدِ زيادة عدد الجسيمات ( $N$ ) إلى مكاسب تذكر، أظهر الإطار المقترح تحسينات مستمرة في الجودة مع زيادة $N$ .
- المتانة: ظلت الطريقة فعالة حتى مع وجود معلومات جانبية متدهورة (مثل الصور المرجعية المغبشة) وفي حالات شديدة سوء التحديد (مثل الأقنعة الكبيرة، أو التغبيش الشديد).
- دراسة الاستبعاد (Ablation): أظهر الإطار حساسية منخفضة تجاه اختيار دالة المكافأة (طالما أنها تلتقط الاتساق) وطرف المعامل $B$ الخاص بإعادة أخذ العينات.

الأهمية والادعاءات

يزعم البحث أن أهميته الأساسية تكمن في توفير آلية مبدئية لا تتطلب تدريباً للاستفادة من المعلومات الجانبية للمشكلات العكسية القائمة على الانتشار.

التغلب على سوء التحديد: يرى المؤلفون أن المعلومات الجانبية حاسمة لحل الغموض في المشكلات شديدة سوء التحديد حيث تكون القياسات وحدها غير كافية.
كفاءة الحوسبة: يسلط العمل الضوء على أن توسيع حسابات وقت الاستدلال (زيادة $N$ ) يكون فعالاً فقط عندما يتم توجيهه بواسطة المعلومات الجانبية؛ فبدونها، تؤدي الحوسبة الإضافية إلى عوائد متناقصة.
الدقة الإدراكية: تتحدى النتائج الاعتماد على المقاييس الكلاسيكية القائمة على البكسل (PSNR, SSIM)، وتثبت أن الطريقة المقترحة تحقق دقة إدراكية ودلالية فائقة، وهو الهدف الحقيقي في العديد من المشكلات العكسية.
العمومية: من خلال تجنب الحاجة لإعادة التدريب أو بنيات شرطية محددة، يوفر النهج حلاً مرناً قابلاً للتطبيق في مجالات وأنماط مختلفة، مما يجعل الحلول القائمة على الانتشار أكثر موثوقية ودقة في التطبيقات الواقعية.

يشير المؤلفون بتواضع إلى أن خوارزميات البحث الخاصة بهم تفتقر إلى ضمانات المثالية الرسمية للموازنة بين الاستكشاف والاستغلال وتعتمد على قواعد تجريبية (heuristics) رصينة، مما يترك مجالاً للتحسينات النظرية المستقبلية.