Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

ملخص تقني مفصل لورقة بحثية بعنوان: "المقاييس النقطية مضللة: بروتوكول تقييم للمشكلات العكسية متعددة الوسائط"

بيان المشكلة

في عمليات إعادة البناء العلمي (مثل فيزياء الجسيمات، التصوير الطبي، والجيوفيزياء)، يهيمن حالياً على عملية التقييم المقاييس النقطية (pointwise metrics) مثل جذر متوسط مربع الخطأ (RMSE)، ومتوسط الخطأ المطلق (MAE)، ودقة الحدث الواحد. تعمل هذه المقاييس تحت افتراض ضمني مفاده أن الخطأ الأقل يعني إعادة بناء أفضل.

يجادل المؤلفون بأن هذا الافتراض يفشل بنيوياً في المشكلات العكسية ناقصة التحديد (under-constrained inverse problems) حيث يكون التوزيع اللاحق الشرطي $p(z|x)$ متعدد الأنماط (multimodal). في مثل هذه السيناريوهات، يكون المتنبئ الأمثل تحت معيار MSE هو التوقع الشرطي $E[z|x]$. وبالنسبة للتوزيعات اللاحقة متعددة الأنماط، غالباً ما يقع هذا التوقع في مناطق ذات كثافة احتمالية متلاشية (بين الأنماط). وبناءً على ذلك، فإن النماذج التي يتم تدريبها لتقليل الأخطاء النقطية تنتج تنبؤات "غير فيزيائية" فردياً، وعند تجميعها، تؤدي بشكل منهجي إلى ضغط الطيف الهامشي للمتغير الكامن $z$. هذا الضغط يشوه الذيول، والأنماط، وأشكال التوزيعات، وهي بالضبط الميزات التي تعتمد عليها القياسات العلمية اللاحسة.

الأساس النظري

تؤسس الورقة حجة نظرية بناءً على قانون التباين الكلي:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
يوضح المؤلفون أنه لأي مقدر نقطي $f_\theta(x)$ يتقارب مع المتوسط الشرطي $E[z|x]$، فإن تباين التنبؤات $\text{Var}[E[z|x]]$ يكون أقل تماماً من أو يساوي التباين الهامشي الحقيقي $\text{Var}[z]$، مع تحقق المساواة فقط إذا كان التوزيع اللاحق ذا عرض صفري.

• الاستنتاج: المقدرات النقطية تنتج بطبيعتها طيفاً هامشياً أضيق من الحقيقة. هذا ليس مجرد تباين، بل هو انحياز (bias)، مما يعني أنه لا يتلاشى بزيادة حجم البيانات.
• النتيجة: إن تقييم النماذج بالاعتماد فقط على المقاييس النقطية يكافئ فعلياً قمع بنية التوزيع اللاحق ويعاقب النماذج التي تحافظ عليها، مما يؤدي إلى استنتاجات علمية منحازة.

المنهجية: بروتوكول تقييم ثلاثي الأجزاء

لمعالجة أوجه القصور هذه، يقترح المؤلفون بروتوكول تقييم مكون من ثلاثة مقاييس، يستهدف كل منها قصوراً معيناً تغفله المقاييس الأخرى:

1. دقة التوزيع لكل حدث (CRPS):

   • يستخدم درجة الاحتمال المستمر المصنف (CRPS)، وهي قاعدة تسجيل سليمة تماماً (strictly proper scoring rule).
   • على عكس RMSE/MAE، يتم تقليل CRPS فقط عندما يتطابق التوزيع التنبئي مع التوزيع اللاحق الحقيقي. فهو يعاقب "انهيار التوزيع اللاحق" (التنبؤ بنقطة واحدة في فضاء متعدد الأنماط) بدلاً من مكافأته.
   • يختزل نفسه إلى MAE بالنسبة للمقدرات النقطية، مما يسمح بمقارنة عادلة بين نماذج الانحدار والنماذج التوليدية.

2. سلامة الطيف على مستوى المجتمع (Population-Level):

   • يقيم التوزيع الهامشي $p(z)$ عبر كامل مجموعة البيانات، وهو الكمية محل الاهتمام للفيزياء اللاحقة.
   • يستخدم إحصائية $\chi^2$ الموزعة على فئات (binned $\chi^2$) لمقارنة المدرج التكراري للقيم المتنبأ بها مقابل القيم الحقيقية.
   • يكتشف هذا المقياس الضغط المنهجي للميزات الطيفية (الذيول والأنماط) الذي تغفله المقاييس النقطية.

3. موثوقية عدم اليقين (المعايرة - Calibration):

   • يقيم ما إذا كان عرض التوزيع اللاحي المتنبأ به موثوقاً باستخدام التنبؤ المتوافق (conformal prediction) لإنشاء منحنيات التغطية.
   • النموذج المعاير بشكل مثالي ينتج منحنى تغطية يتتبع القطر (أي أن التغطية التجريبية تساوي مستوى الثقة الاسمي).
   • يميز هذا المقياس بين النماذج التي هي مجرد "حادة" (narrow) وتلك التي هي "حادة ومعايرة" في آن واحد.

المساهمات الرئيسية

1. البرهان النظري: أثبتت الورقة أن أي مقدر نقطي يقلل MSE أو MAE ينتج طيفاً هامشياً أضيق من الحقيقة طالما أن التوزيع اللاحي له تباين غير صفري، بغض النظر عن البنية أو حجم البيانات.
2. بروتوكول التقييم: قدمت بروتوكولاً موحداً (CRHS، سلامة الطيف، المعايرة) قابل للتطبيق عبر عائلات نماذج الانحدار، والمزيج (mixture)، والنماذج التوليدية.
3. التحقق التجريبي: أظهرت أن ترتيب النماذج ينعكس بين المقاييس النقطية والمقاييس التوزيعية في كل من الاختبارات الاصطناعية والواقعية.

النتائج التجريبية

الاختبار الأول: مشكلة عكسية اصطناعية

• الإعداد: مشكلة محكومة بتوزيع لاحق ثنائي النمط يمكن تحليله ( $x = z^2 + \epsilon$ ).
• النتائج:
  • حقق نموذج انحدار (Regression MLP) أدنى قيمة لـ RMSE، لكنه تسبب في انهيار الطيف الهامشي إلى نقطة عند الصفر (المتوسط الشرطي)، ففشل في تمثيل الحقيقة ثنائية النمط.
  • حققت النماذج التوليدية (Normalizing Flows، وMixture Density Networks) قيم RMSE أعلى، لكنها حققت درجات قريبة من المثالية في CRPS وسلامة الطيف ($\chi^2_{spec}$ قريب من درجات الحرية).
  • أدى حساب متوسط عينات الـ Normalizing Flow إلى استعادة الـ RMSE السيئ الخاص بنموذج الانحدار والتشوه الطيفي، مما يؤكد أن نموذج الانحدار هو ببساطة المتوسط الشرطي لنموذج الـ Flow.

الاختبار الثاني: فيزياء الجسيمات (إعادة بناء الكوارك العلوي - Top-Quark)

• الإعداد: إعادة بناء أزواج الكواركات العلوية من التحللات ثنائية الليبتون (مشكلة عكسية من متعدد إلى واحد تتضمن غموضاً تركيبياً ونيوترينوات مفقودة).
• النتائج:
  • المقاييس النقطية: حقق نموذج Transformer مدرب على MSE خالص أفضل RMSE. بينما حقق Transformer مدرب مع تنظيم MMD أداءً أسوأ قليلاً.
  • المقاييس التوزيعية: انعكس الترتيب. تفوق نموذج Discrete Normalizing Flow في مقاييس CRPS وسلامة الطيف. فشلت نماذج الـ Transformers، حتى مع تنظيم MMD، في تصحيح تعدد الأنماط لكل حدث، مما أدى إلى قيم $\chi^2_{spec}$ هائلة (أسوأ بعدة مراتب من نماذج الـ flows).
  • المعايرة: بينما ميزت مقاييس CRPS وسلامة الطيف بين بنيات الـ flows، ميزت المعايرة بين بنيتي الـ flow المختلفتين. الـ Discrete Flow (الذي يمتلك احتمالية دقيقة) كان معايرًا بشكل جيد، بينما الـ Continuous Flow (الذي يعتمد على احتمالية تقريبية عبر ODE) كان يعاني من نقص منهجي في التغطية، وهو تميز لم يكن مرئياً عبر CRPS وحده.

الأهمية والادعاءات

تدعي الورقة أن بروتوكول التقييم، وليس النموذج، هو ما يحدد الاستنتاج العلمي. فمن خلال الاعتماد على المقاييس النقطية، كانت الجماعة العلمية تفضل دون قصد النماذج التي لا يمكن لأطيافها المعاد بناؤها دعم القياسات اللاحقة.

• عدم الاتساق الهيكلي: يؤكد المؤلفون أن المقاييس النقطية غير متوافقة هيكلياً مع أهداف إعادة البناء العلمي في الإعدادات متعددة الأنماط.
• ضرورة البروتوكول: بروتوكول الخطوات الثلاث المقترح ضروري لكشف الفروق بين البنيات التي تبدو متطابقة تحت المقاييس القياسية (مثل التمييز بين exact و approximate likelihood في نماذج الـ flows عبر المعايرة).
• الشمولية في المجالات: تنطبق النتائج على أي مشكلة عكسية ذات تباين لا-صِفري في التوزيع اللاحي (مثل استعادة الطور - phase retrieval، أو الاستدلال الكوني)، وليس فقط على الاختبارات المحددة.

يخلص المؤلفون إلى أن التقييم الدقيق باستخدام هذا البروتوكول يجعل انحياز التقييم القائم على المقاييس النقطية وحدها مرئياً، مما يوفر للممارسين أساساً للمقارنة يمكن أن تستند إليه الاستنتاجات العلمية. ويشيرون إلى أنه بينما نتائجهم قوية، فإن القيم المطلقة للأداء مرتبطة بإعدادهم التجريبي، أما انقلاب الترتيب فهو النتيجة القوية والقابلة للتعميم.