🤖 machine learning

Free Energy Manifold: Score-Based Inference for Hybrid Bayesian Networks

تقدم هذه الورقة "متعدد طيات الطاقة الحرة" (Free Energy Manifold - FEM)، وهو نموذج طاقة شرطي مُدرب بالدرجة (score-trained) يتيح استدلالاً فعالاً في الشبكات البايزية الهجينة عبر تمثيل العوامل الشرطية كأشكال تضاريسية للطاقة ومعالجة "أثر جسر النمط" (mode-bridge artifact) من خلال تنظيم الوادي لتحسين دقة التوزيع اللاحق بشكل كبير في الإعدادات متعددة الأنماط والتركيبية.

المؤلفون الأصليون: Cheol Young Park, Shou Matsumoto

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Cheol Young Park, Shou Matsumoto

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ضخم ومعقد، حيث تكون بعض قطعه عبارة عن فئات متميزة (مثل "أحمر"، "أزرق"، أو "أخضر")، بينما البعض الآخر عبارة عن أشكال مستمرة وسلسة (مثل درجة الحرارة، الارتفاع، أو السرعة). هذا هو بالضبط ما يحاول الشبكة البايزية الهجينة (Hybrid Bayesian Network) فعله: ربط أنواع مختلفة من المعلومات لاستنتاج القصة الأكثر احتمالاً وراء البيانات.

لفترة طويلة، كان حل هذه الألغاز يشبه محاولة وضع وتد مربع في ثقب مستدير. كانت الطرق القديمة جامدة للغاية (تفترض أن كل شيء عبارة عن منحنى جرس بسيط)، بينما كانت الطرق الجديدة فوضوية للغاية أو تتطلب الكثير من البيانات.

هنا يأتي دور إدارة الطاقة الحرة (Free Energy Manifold - FEM). فكر في FEM ليس كقطعة لغز جديدة، بل كـ غراء عالمي متغير الشكل يربط قطع اللغز معاً بشكل مثالي، بغض النظر عن مدى غرابة القطع.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. "خريطة الطاقة" (الفكرة الجوهرية)

تخيل أنك تتنزه في سلسلة جبال يملؤها الضباب. أنت تريد العثور على أعلى القمم (الإجابات الأكثر احتمالاً).

الطرق القديمة حاولت رسم خريطة عن طريق عدّ عدد المتنزهين في كل مكان. إذا كان المكان فارغاً، افترضوا أنه منحدر. فشلت هذه الطريقة إذا كانت الخريطة كبيرة جداً أو إذا كان المتنزهون قليلين.
FEM يبني "خريطة طاقة" ثلاثية الأبعاد سلسة. الطاقة العالية تعني "غير مرجح" (منحدر حاد)، والطاقة المنخفضة تعني "مرجح" (وادي أو قمة).
بدلاً من العدّ، يتعلم FEM شكل التضاريس. يمكنه التعامل مع الجبال التي تحتوي على قمتين (بيانات ثنائية المنوال) والتي كانت الطرق القديمة تسويها لتصبح تلة واحدة.

2. "السكين السويسري" (القابلية للتركيب)

عادةً، إذا أردت حل لغز يحتوي على ثلاثة أدلة مختلفة (الدليل 1، الدليل 2، الدليل 3)، فأنت بحاجة إلى ثلاثة خبراء مختلفين، كل منهم مدرب على دليل واحد فقط. وإذا حصلت على مزيج جديد من الأدلة، فستحتاج إلى خبير جديد.

FEM مختلف. فهو خبير واحد وحيد يمكنه التعامل مع أي مزيج من الأدلة.

الخدعة السحرية: لأن FEM يستخدم "الطاقة"، يمكنه ببساطة جمع خرائط طاقة الأدلة المختلفة معاً.
التشبيه: تخيل أن لديك ثلاثة تقارير طقس منفصلة (الرياح، المطر، الرطوبة). بدلاً من توظيف ثلاثة خبراء أرصاد جوية، يقوم FEM بأخذ "درجة السوء" للرياح، ويضيف إليها "درجة السوء" للمطر، ويضيف إليها "درجة السوء" للرطوبة. النتيجة تخبرك بإجمالي "سوء" الطقس.
النتيجة: تُظهر الورقة البحثية أن نموذج FEM واحد يمكنه حل 7 سيناريوهات ألغاز مختلفة (مزيج مختلف من الأدلة) بشكل أفضل من 7 نماذج متخصصة منفصلة مجتمعة. إنه مثل وجود طاهٍ واحد يمكنه طهي وجبة مثالية سواء أعطيته بيضاً فقط، أو خبزاً محمصاً فقط، أو كليهما، بينما يحتاج الطهاة الآخرون إلى وصفة محددة لكل مزيج.

3. مشكلة "وادي الشبح" (أثر جسر النمط)

هذا هو الاكتشاف الأهم في الورقة البحثية.

السيناريو: تخيل فئة من البيانات لها قمتان متميزتان (مثل قمتي جبل منفصلتين). في المنتصف، يوجد وادي.
الخطأ: لأن النموذج الحاسوبي "سلس" (مثل منحوتة طينية ناعمة)، فإنه ينشئ بالخطأ حافة منخفضة الطاقة تربط بين القمتين. هو يعتقد أن منتصف الوادي آمن تماماً مثل القمم.
العاقبة: عندما يُسأل النموذج عن نقطة في المنتصف تماماً (والتي لا ينبغي أن تنتمي لأي من القمتين)، فإنه يصبح مفرط الثقة. يقول: "أنا متأكد بنسبة 100% أن هذا هو القمة أ!" في حين كان يجب أن يقول: "ليس لدي أدنى فكرة".
الحل (تنظيم الوادي): وجد المؤلفون طريقة لوضع "مطب" في ذلك الوادي المزيف. إنهم يجبرون النموذج على الاعتراف بـ "مهلاً، منتصف هذا الوادي في الواقع فارغ/غير مرجح". وهذا ما يسمى تنظيم الوادي (Valley Regularization).
الأثر: بدون هذا الإصلاح، يكون النموذج أسوأ بـ 300 مرة في تخمين المنطقة الوسطى. ومع هذا الإصلاح، يصبح دقيقاً للغاية.

4. أين يتفوق وأين يخفق

الورقة البحثية صريحة جداً بشأن المجالات التي يتفوق فيها FEM والمجالات التي لا يتفوق فيها:

"العالم المفتوح" (حيث يتفوق FEM):
- القطع المفقودة: إذا كان لديك لغز ولكن ينقصك بعض الأدلة، فلا يزال بإمكان FEM تخمين الإجابة.
- السيناريوهات الجديدة: إذا أردت توليد بيانات جديدة (مثل "كيف سيكون الطقس إذا أصبح الجو أكثر حرارة؟")، يمكن لـ FEM القيام بذلك.
- الأشكال المعقدة: إذا كانت البيانات تحتوي على قمتين أو أشكال غريبة، فإن FEM يتعامل معها.
- التشبيه: FEM يشبه المحقق الذي يمكنه حل جريمة حتى لو كان بعض الشهود مفقودين، أو إذا كان المشتبه به يبدو مختلفاً عن المعتاد.
"العالم المغلق" (حيث يخفق FEM):
- إذا كنت تريد فقط النظر إلى صورة وقول "هل هذا قط أم كلب؟" (مهمة تصنيف بسيطة)، فإن FEM ليس الأداة الأفضل.
- التشبيه: مصنف "القط/الكلب" المتخصص (مثل الذكاء الاصطناعي القياسي) يشبه رجل الأمن الذي يتحقق من الهويات فقط. هم أسرع وأكثر دقة في تلك المهمة الواحدة. أما FEM فهو مثل المحقق الذي يعرف الحي بأكمله؛ هم أبطأ في مجرد التحقق من الهويات لكنهم أفضل بكثير في حل اللغز بأكمله.

ملخص النتائج

الاختبارات الاصطناعية: في الألغاز المصطنعة المصممة لتكون صعبة، كان FEM أكثر دقة بـ 60 إلى 172 مرة من الطرق القديمة.
البيانات الحقيقية: في مجموعة بيانات سرطان الثدي الحقيقية، كان FEM أفضل بـ 2.7 مرة في التنبؤ بالنتائج من الطريقة القياسية.
إصلاح "الجسر": عند اختباره خصيصاً على مشكلة "وادي الشبح"، كان FEM مع الإصلاح الجديد أفضل بـ 300 مرة من النسخة القياسية من نفس التقنية.

باختاً مختصراً: FEM هو طريقة جديدة لبناء "غراء ذكي" لألغاز البيانات المعقدة. إنه يعالج نقطة عمياء محددة حيث يصبح الذكاء الاصطناعي مفرط الثقة في المنتصف بين خيارين، ويسمح لنموذج واحد بالتعامل مع أنواع مختلفة من الأسئلة في وقت واحد، وهو أمر يتطلب عادةً بناء العديد من النماذج المنفصلة. إنه ليس بديلاً للمصنفات البسيطة للذكاء الاصطناعي، ولكنه أداة قوية للاستنتاج المعقد في العالم الحقيقي.

ملخص تقني: فضاء الطاقة الحرة للشبكات البايزية الهجينة

بيان المشكلة

لا يزال الاستدلال في الشبكات البايزية (BNs) التي تحتوي على متغيرات مختلطة (منفصلة ومستمرة) يمثل تحديًا كبيرًا، لا سيية عند معالجة أربعة أنماط محددة:

التكامل المشترك: ضرورة دمج عدة أوراق مستمرة تشترك في أب منفصل بشكل مشترك.
المتغيرات المربكة الخفية: كسر الاستقلال الشرطي (CI) بواسطة متغيرات غير مرصودة.
ندرة البيانات: عندما يتجاوز عدد تكوينات الآباء ( $K^{|Pa|}$ ) البيانات المتاحة، مما يؤدي إلى انفجار الجداول في الطرق التقليدية.
الاستعلامات التوليدية: تتطلب الأدلة المستمرة أخذ عينات من التوزيعات اللاحقة بدلاً من مجرد التقييم البسيط.

تفشل الأدوات القياسية في هذه السيناريوهات. فالنماذج الخطية-الغاوسية الشرطية (CLG) لا يمكنها تمثيل تعدد الأنماط (multimodality)؛ والشبكات البايزية الهيستوغرامية (Histogram-BNs) وجداول الاحتمالات الشرطية العصبية (Neural CPTs) تعاني من الانفجار التوافقي؛ كما تفشل تقديرات كثافة النواة (KDE) بسبب لعنة الأبعاد. وبينما تقدم نماذج الكثافة القائمة على الدرجات (Score-based generative models مثل NCSN) بديلًا بارامتريًا، إلا أنها تُصاغ عادةً كمقدرات كثافة عامة وليس كمكونات متخصصة لاستدلال الشبكات البايزية الهجينة. علاوة على ذلك، تظهر نماذج الطاقة الشرطية (CEBMs) الموجودة فشلًا محددًا في المعايرة عند تطبيقها على الفئات متعددة الأنماط، وهو ما يسميه المؤلفون "أثر جسر النمط" (mode-bridge artifact).

المنهجية: فضاء الطاقة الحرة (FEM)

يقترح المؤلفون فضاء الطاقة الحرة (FEM)، وهو شبكة طاقة شرطية مدربة بالدرجات $E_\theta(z_X^k, y, \sigma)$ مصممة خصيصًا لتكون عامل استدلال قابل للتركيب في الشبكات البايزية الهجينة. بخلاف مقدرات الكثافة الشرطية العامة، تم هندسة FEM لدعم أربعة أدوار استدلال متميزة ضمن كائن واحد متعلم:

1. البنية الهيكلية

المدخلات: تأخذ الشبكة تمثيلًا نموذجيًا (prototype embedding) للأب المنفصل المتعلم $\mu_X^k \in \mathbb{R}^d$ ، ودليلًا مستمرًا $y \in \mathbb{R}^D$ ، وتمثيل ضوضاء جيبية $\phi(\sigma)$ .
المخرجات: قيمة طاقة قياسية $E_\theta$ .
التدريب: يتم تدريب النموذج باستخدام مطابقة الدرجة لإزالة الضجيج (Denoising Score Matching - DSM) لتعلم دالة الدرجة $s = -\nabla_z E$ .

2. أربعة أدوار للاستدلال

التوزيع اللاحق المنفصل ( $P(X|y)$ ): يُحسب عبر دالة softmax فوق طاقات الفئات: $P(X=k|y) \propto P(X=k) \exp(-E_\theta(\mu_X^k, y, \sigma_{min}))$ .
العينات التوليدية ( $P(Y|X=x)$ ): يتم تحقيق ذلك عبر ديناميكيات لانجفان المبردة (annealed Langevin dynamics) على الدرجة المتعلمة.
التركيب متعدد الأوراق: تحت شرط الاستقلال الشرطي، يتم تشكيل الطاقات المشتركة عبر التراكم الجمعي ( $E_{total} = \sum E_i$ ). أما بالنسبة للأوراق التي تنتهك الاستقلال الشرطي، فإن FEM مشترك يستوعب هذا الاعتماد.
الاستدلال في حالة ندرة البيانات: يتم التعامل مع الآباء ذوي السعة العالية عبر تمثيلات نموذجية متعلمة $\mu_X^k$ ، مما يتجنب الجداول الصريحة $K^{|Pa|}$ .

3. أثر جسر النمط وتنظيم الوادي

حدد المؤلفون نمط فشل حرج في عوامل الطاقة العصبية الناعمة المطبقة على الفئات متعددة الأنماط. نظرًا لسلاسة الشبكات العصبية متعددة الطبقات (MLP)، يتشكل منحدر منخفض الطاقة بين نمطين لنفس الفئة ("جسر النمط"). وفي غياب بيانات التدريب في هذه المنطقة البينية، يصبح النموذج مفرط الثقة، حيث يتنبأ بفئة واحدة باحتمالية عالية حتى عند نقطة المنتصف حيث يكون التوزيع الحقيقي موحدًا.

لمعالجة ذلك، قدم المؤلفون تنظيم الوادي ( $L_{valley}$ )، والذي يعاقب النموذج على تخصيص طاقة منخفضة للنقاط الخارجة عن التوزيع والتي يتم أخذ عينات منها بانتظام بين أنماط الفئات. تم توصيف قوة التنظيم المثلى $\lambda^\star(D)$ كمنظر طبيعي غير رتيب ثلاثي المراحل مدفوع بـ:

فجوة طاقة الفئات المتقاطعة: خطية في البعد $D$ .
تشبع Softmax: أسي في فجوة الطاقة $\Delta E$ .
احتمالية صراع الأنماط: التثبيط عند الأبعاد المنخفضة $D$ حيث قد تصطدم العينات العشوائية بمجالات الأنماط المشروعة.

المساهمات الرئيسية

عامل درجات متوافق مع الشبكات البايزية: يصيغ FEM عامل طاقة شرطي مدرب بالدرجات كعامل لشبكة بايزية هجينة، مما يسمح بكل من الاستدلال اللاحق وتوليد العينات من كائن واحد.
الاستدلال القابل للتركيب: أثبت المؤلفون أنه يمكن استخدام عوامل الطاقة الشرطية كعوامل استدلال قابلة لإعادة الاستخدام عبر أوراق مستمرة متعددة عبر إضافة الطاقة، مما يعالج أنماط الأدلة التعسفية دون إعادة تدريب.
التمثيل المنفصل القابل للتوسع: استبدال الجداول الشرطية الصريحة بتمثيلات نموذجية متعلمة يسمح بالتعميم إلى تكوينات الآباء ذات السعة العالية والندرة.
توصيف جسر النمط: حدد البحث ووصّف رياضياً "أثر جسر النمط" — وهو فشل معايرة لاحق خاص بنماذج الطاقة المنفصلة الشرطية — واقترح تنظيم الوادي كحل مستهدف.
النطاق والحدود التجريبية: يقدم البحث توصيفًا تجريبيًا صارمًا لأداء FEM عبر مجموعات بيانات اصطناعية وواقعية، موضحًا بدقة أين يتفوق على النماذج المرجعية وأين تظل النماذج التمييزية متفوقة.

النتائج التجريبية

قيم المؤلفون FEM على اختبارات مرجعية هجينة بايزية (متعددة الأنماط ومتضاربة الارتباط) اصطناعية وعلى مجموعات بيانات UCI الواقعية.

الاختبارات الاصطناعية (D=5): يحقق FEM انخفاضًا في تباعد كولباك - ليبلر (KL divergence) يتراوح بين 60 إلى 172 ضعفًا مقارنة بأفضل النماذج المرجعية غير التابعة لـ FEM (CLG, KDE, KDE-product, Histogram-product).
إصلاح جسر النمط: في مقارنة مباشرة عند منتصف جسر النمط (حيث يكون التوزيع الحقيقي موحدًا)، يتفوق FEM مع تنظيم الوادي بمقدار 300 ضعف على CEBM القياسي و122 ضعفًا على MDN. يفشل كل من CEBM وMDN في المعايرة، مما ينتج عنه أخطاء KL عالية (17.32 و7.03 على التوالي) بسبب أثر جسر النمط.
التركيب متعدد الأوراق: في اختبار مرجعي بثلاث أوراق مستمرة، يتعامل عامل FEM واحد مع جميع الأنماط السبعة غير الفارغة للأدلة، متفوقًا على مجموعة من MLPs التمييزية المتخصصة بمقدار 5.3 ضعفًا عند استعلام حدود الأدلة الكاملة، رغم أن تلك الـ MLPs تمتلك سعة إجمالية أكبر بكثير.
البيانات الواقعية: في مجموعة بيانات سرطان الثدي من UCI ( $D=30$ )، يحقق FEM NLL أفضل بمقدار 2.7 ضعفًا من CLG.
العمومية: يتفوق FEM على CEBM في 9 من أصل 9 خلايا في شبكة ( $D, \text{mode-scale}$ )، مع نسب تحسن تتراوح من 3.6 إلى 770 ضعفًا.
القيود: في مهام التصنيف البحتة (MNIST)، تحتفظ النماذج التمييزية (MLPs) بتفوق ملحوظ في الدقة (97.6% مقابل 84.0%)، مما يؤكد أن FEM هو مكمل وليس بديلًا للمصنفات التمييزية في بيئات العالم المغلق.

الأهمية والادعاءات

يضع البحث FEM ليس كمقدر كثافة شرطي عام، بل كعامل استدلال متخصص للشبكات البايزية الهجينة. تكمن جدته الأساسية في:

دلالات الاستدلال: القدرة على إجراء الاستدلال المنفصل اللاحق، وأخذ العينات المستمرة، والتركيب متعدد الأوراق ضمن شبكة طاقة واحدة.
تصحيح الأثر: تحديد وتصحيح أثر جسر النمط، وهو نمط فشل محدد في استدلال الشبكات البايزية لم يتم توصيفه سابقًا في أدبيات CDE/EBM.
استدلال العالم المفتوح: يعالج FEM مساحة الاستدلال في "العالم المفتوح" (البيانات المفقودة، السيناريوهات التوليدية، المتغيرات المربكة الخفية، والمسائل العكسية) حيث تظهر أدوات الشبكات البايزية الهجينة الحالية (CLG, KDE) قيودًا.

يصرح المؤلفون صراحةً أن FEM ليس مقصودًا به منافسة النماذج التمييزية (MLPs) في اختبارات التصنيف ذات العالم المغلق. بدلاً من ذلك، يعمل كملحق مفقود لمهام الاستدلال الاحتمالي التي تتطلب نمذجة هيكلية مشتركة واستعلامات مرنة، مما يسد الفجوة التي تركتها الطرق التقليدية للشبكات البايزية الهجينة في الأبعاد العالية والأنماط المتعددة.