Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates

ملخص تقني: تفكيك عدم اليقين المعرفي القابل للتفسير في النماذج التوليدية المتسلسلة عبر بدائل فوضى كثيرات الحدود

بيان المشكلة

تعد النماذج التوليدية المتسلسلة، مثل شبكات التدفق التوليدية (GFlowNets)، مركزية بشكل متزايد في الاكتشاف العلمي المدعوم بالذكاء الاصطناعي، والتحسين التوافقي، والتصميم البيولوجي. غالبًا ما تعمل هذه النماذج في ظل ظروف من عدم اليقين المعرفي (Epistemic Uncertainty)، وتحديدًا عندما تكون دالات المكافأة التي توجه عملية التوليد غير يقينية في حد ذاتها (على سبيل المثال، البدائل العصبية المدربة على بيانات تجريبية محدودة). وبينما تنجح الطرق الحالية مثل المجموعات العميقة (Deep Ensembles) والشبكات العصبية البايزية في قياس مقدار عدم اليقين في التنبؤ، إلا أنها تفشل في تقديم تفكيك قابل للتفسير لهذا النوع من عدم اليقين. وبناءً على ذلك، لا يمكن للممارسين تحديد أي مكونات محددة من عدم يقين المكافأة هي التي تقود قرارات توليدية معينة، ولا يمكنهم التمييز بين الإشارات الكيميائية القوية والآثار الإحصائية الناجمة عن تحيزات مجموعة التدريب.

المنهجية

يقترح المؤلفون إطار عمل للنمذجة البديلة ينشر عدم اليقين المعرفي عبر شبكات GFlowNets باستخدام توسيعات فوضى كثيرات الحدود (Polynomial Chaos Expansions - PCE). يتبع هذا النهج ثلاث مراحل:

1. تدريب المجموعة والبارامترية: يتم تدريب مجموعة متواضعة من شبكات GFlowNets تحت ظروف مكافأة متنوعة. يتم تمثيل فضاء دالة المكافأة في فضاء كامن منخفض الأبعاد $\mu \in \mathbb{R}^d$ باستخدام تحليل المكونات الرئيسية (PCA) أو التوسيعات التحليلية (مثل Karhunen–Loève). ويُفضل استخدام PCA لأن مكوناته المتعامدة تقرب مدخلات غاوسية مستقلة، وهو شرط مسبق لعملية تفكيك Sobol التحليلية الصالحة.
2. ملاءمة بديل PCE: لكل إجراء $k$ عند خطوة المسار $t$، يتم ملاءمة PCE لربط بارامترات المكافأة منخفضة الأبعاد $\mu$ بنسبة اللوغاريتم المحولة للاحتمالات الإجرائية (باستخدام تحويل نسبة اللوغاريتم المضافة بالنسبة لإجراء مرجعي). ويتم تقدير المعاملات عبر انحدار ريدج المنظم (Regularized Ridge Regression).
3. التفكيك التحليلي: تتيح معاملات PCE الملائمة حساب مؤشرات حساسية Sobol تحليليًا. وخلافًا لطرق مونت كارلو التي تتطلب تكاملًا مكلفًا، يتم اشتقاق هذه المؤشرات مباشرة من معاملات كثيرات الحدود، مما يوفر تفكيكًا دقيقًا قائمًا على التباين لكيفية مساهمة كل مكون من مكونات عدم يقين المكافأة في تباين توزيع السياسة (Policy Distribution).

يتضمن الإطار ضمانات تقارب رسمية للبديل ومؤشرات Sobol الخاصة به. وقد تم التحقق رسميًا من أربعة من أصل خمس خصائص رئيسية (تقارب PCE، تقارب مؤشر Sobol، الحفاظ على السيمبلكس/المنبسط، وحدود نشر عدم اليقين) في مساعد الإثبات Lean 4.

المساهمات الرئيسية

1. إطار عمل عام: طريقة فعالة حاسوبيًا لنشر وتفكيك عدم اليقين المعرفي في النماذج التوليدية الشرطية باستخدام بدائل PCE الملائمة لمجموعات صغيرة.
2. التحقق الرسمي: ضمانات تقارب نظرية للبديل ومؤشرات الحساسية الخاصة به، مع التحقق رسميًا من أربعة من خمسة نظريات باستخدام Lean 4.
3. تفكيك الحساسية القابل للتفسير: أول طريقة تحليلية لتفكيك عدم يقين السياسة في النماذج التوليدية، مما يكشف بالضبط عن أي مكونات للمكافأة تقود قرارات توليدية محددة. وهذه القدرة غير متوفرة في المجموعات العميقة القياسية، أو الشبكات العصبية البايزية، أو إسقاط مونت كارلو (Monte Carlo Dropout).
4. التحقق التجريبي: عروض توضيحية عبر سبع مهام متزايدة التعقيد، بما في ذلك ثلاث تطبيقات من العالم الحقيقي وأربع مهام تحقق اصطناعية.

النتائج والتطبيقات

تم تقييم إطار العمل في ثلاثة مجالات رئيسية من العالم الحقيقي:

• تحسين التفاعل الكيميائي (Buchwald–Hartwig): في مجموعة بيانات Doyle–Dreher، حلل الإطار اختيار المحفز، والقاعدة، وهاليد الأريل، والمادة المضافة. وكشف أن اختيار المحفز قوي (مؤشر Sobol منخفض، $D \approx 71$)، مما يشير إلى إشارة كيميائية حقيقية، بينما اختيار المادة المضافة هش (مؤشر Sobol مرتفع، $D \approx 179$، أي أعلى بـ 2.5 مرة)، مما يشير إلى القابلية للتأثر بتحيز مجموعة التدريب. وهذا يعالج مباشرة "جدل Chuang–Keiser" المتعلق بالآثار الإحصائية في متنبئات الإنتاجية.
• الاكتشاف السببي البايزي (إشارات بروتين Sachs): عند تطبيقه على شبكة Sachs، أظهر التحليل أنه بينما أظهرت جميع الحواف تباينًا عاليًا بسبب محدودية البيانات (200 ملاحظة)، فقد تفكك عدم اليقين إلى أنظمة متميزة. كانت حواف مسار MAPK مدفوعة بمكون رئيسي واحد من تباين التغاير، بينما كانت حواف مراكز PKA/PKC مدفوعة بمكون آخر. وهذا يوفر خريطة مستهدفة لتجارب الاضطراب.
• التصميم الجزيئي القائم على الشظايا: في مهمة تصميم تشبه خصائص العقاقير، قلب الإطار الافتراض التقليدي بأن الهياكل (Scaffolds) قوية والزينات (Decorations) هشة. أظهرت النتائج أن موضع الرابط (Linker position) كان المكون الأكثر هشاشة ($D \approx 28.2$)، بينما كانت مواضع الهيكل والزينة أكثر قوة. وهذا يشير إلى أن الجهود التجريبية يجب أن تعطي الأولوية لتنوع الروابط.

في المهام الاصطناعية (عالم الشبكة، الانحدار الرمزي، ونماذج الاستدلال للنماذج اللغوية الكبيرة)، حقق بديل PCE تغطية معايرة بنسبة 95% بين 0.97 و1.00 للخطوات المهيمنة. ومن الناحية الحسابية، قام البديل بتقييم 10,000 عينة سياسة في أجزاء من الثانية، مما وفر تسريعًا يتراوح بين $10^3$ إلى $10^4\times$ مقارنة بإعادة تدريب المجموعة بالكامل.

الأهمية والادعاءات

يزعم البحث أن هذا الإطار يقدم قدرة فريدة: تفكيك عدم اليقين القابل للتفسير. فبينما يمكن للطرق الأخرى أن تذكر أن هناك عدم يقين في التنبؤ، فإن هذا النهج يشرح لماذا من خلال عزو التباين إلى مكونات محددة للمكافأة. وهذا يسمح للعلماء بـ:

• التمييز بين الإشارات القوية والآثار الإحصائية في بيانات التدريب.
• تحديد أي أجزاء من فضاء التصميم (مثل الروابط مقابل الهياكل) تتطلب تحققًا تجريبيًا إضافيًا.
• تخصيص الموارد التجريبية بكفاءة عبر استهداف المصادر المحددة لعدم اليقين المعرفي.

يؤكد المؤلفون أن الطريقة مستقلة عن بنية GFlowNet وهدف التدريب. كما يشيرون إلى القيود، مثل الاعتماد على البنية منخفضة الرتبة في مشهد المكافأة ليكون PCA فعالًا، والحاجة إلى إعادة ملاءمة البديل لمسارات مختلفة (رغم عدم الحاجة لإعادة تدريب المجموعة). يضع هذا العمل نفسه كجسر بين هندسة قياس عدم اليقين الحاسوبية والذكاء الاصطنا التوليدي الحديث، موفرًا مسارًا قابلًا للتوسع لفهم "الصندوق الأسود" لاتخاذ القرار المتسلسل تحت ظروف عدم اليقين.