📊 statistics

Generative Bayesian Optimization: Generative Models as Acquisition Functions

تقدم هذه الورقة إطار عمل جديد للتحسين البايزي يستفيد من النماذج التوليدية المدربة مباشرة على قيم المنفعة لتعمل كدوال استحواذ، مما يتيح تحسيناً فعالاً للدفعات الكبيرة في الفضاءات عالية الأبعاد والتركيبية دون الاعتماد على النماذج البديلة التقليدية.

المؤلفون الأصليون: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rafael Oliveira, Daniel M. Steinberg, Edwin V. Bonilla

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أفضل وصفة لكعكة، ولكن لديك قاعدة صارمة للغاية: لا يمكنك تذوق الكعكة إلا عددًا محدودًا من المرات، وفي كل مرة تتذوقها، قد يكون الطعم مختلفًا قليلاً بسبب ضوضاء عشوائية (مثل يد مرتجفة أو درجة حرارة فرن مختلفة قليلاً). هذا هو جوهر مشكلة التحسين البايزي (Bayesian Optimization - BO): العثور على "أفضل" شيء في عالم ضخم وفوضوي مع تجارب قليلة جدًا.

تقليديًا، لحل هذه المشكلة، يستخدم العلماء نهج "الوسيط" المكون من خطوتين. أولاً، يقومون ببناء خريطة (نموذج إحصائي) لعالم الكعك بناءً على ما تذوقوه حتى الآن. ثم، يستخدمون هذه الخريطة لتخمين المكان الأفضل للتذوق التالي. وأخيرًا، يتعين عليهم حل لغز رياضي صعب لإيجاد القمة الدقيقة على تلك الخريطة.

المشكلة في الطريقة القديمة:
عندما تكون "الكعكة" في الواقع تصميمًا بروتينيًا معقدًا أو تسلسلًا نصيًا طويلاً، تصبح الخريطة ضخمة ومعقدة للغاية بحيث تصبح خطوة "الوسيط" بطيئة ومكلفة وعرضة للأخطاء. الأمر يشبه محاولة رسم خريطة مفصلة لقارة بأكملة فقط من أجل العثق على أفضل بقعة للنزهة.

الحل الجديد: GenBO (التحسين البايزي التوليدي)
تقدم هذه الورقة استراتيجية جديدة تسمى GenBO. بدلاً من بناء خريطة ثم البحث فيها، تقوم GenBO بتعليم "مولد إبداعي" (نوع من الذكاء الاصطناعي الذي يبتكر أشياء جديدة) كيفية تعلم صنع أفضل المرشحين بشكل مباشر.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المعلم "مختبر التذوق"

تخيل أن لديك فصلاً من الطلاب (نموذج الذكاء الاصطالي) يحاولون تعلم كيفية خبز الكعكة المثالية.

الطريقة القديمة: تعطي الطلاب كتابًا مدرسيًا (الخريطة) يصف الكعكات. يقرؤون الكتاب، ويحاولون فهم النظرية، ثم يخمنون ماذا سيخبزون.
طريقة GenBO: تتخطى الكتاب المدرسي تمامًا. أنت فقط تعطي الطلاب قائمة بالكعكات التي صنعوها ودرجة بسيطة: "جيدة"، "متوسطة"، أو "سيئة". تقول لهم: "اصنعوا المزيد من الكعكات التي تشبه تلك 'الجيدة'".

2. التعلم من "التفضيلات" (ارتباط DPO)

استعارت الورقة حيلة ذكية من طريقة تدريب النماذج اللغوية الكبيرة (مثل النموذج الذي تتحدث إليه الآن). عادةً، لتعليم الذكاء الاصطناعي أن يكون مفيدًا، نظهر له إجابتين: واحدة أحبها الإنسان والأخرى لم يحبها. يتعلم الذكاء الاصطناعي تفضيل الإجابة المحبوبة.

تقوم GenBO بشيء مشابه للتحسين:

تأخذ حلين مرشحين (على سبيل المثال، تسلسلين بروتينيين مختلفين).
تتحقق من أيهما كان أداؤه أفضل (امتلك درجة "منفعة" أعلى).
تخبر الذكاء الاصطناعي: "يجب أن تولد المزيد من الأشياء التي تشبه الفائز، وأقل من الأشياء التي تشبه الخاسر".
يتعلم الذكاء الاصطناعي هذا التفضيل مباشرة، دون الحاجة إلى خريطة معقدة في المنتصف.

3. خدعة "الكثافة"

فكر في الذكاء الاصطناعي كآلة تخرج مرشحين.

في الطريقة القديمة، تحاول الآلة العثور على أعلى قمة واحدة في جبل.
في GenBO، تتعلم الآلة نثر بذورها (المرشحين) بكثافة أكبر في الوديان حيث توجد الكعكات "الجيدة". هي لا تحتاج للعثور على القمة بالضبط؛ بل تحتاج فقط لمعرفة أين توجد المنطقة "الجيدة" حتى تتمكن من إسقاط دفعة كاملة من البذور هناك دفعة واحدة.

لماذا يعد هذا أمرًا هامًا؟

تدعي الورقة ثلاث مزايا رئيسية:

السرعة والنطاق: لأنها تتخطى خطوة "صنع الخريطة"، يمكنها التعامل مع دفعات ضخمة. تخيل أنك بحاجة لاختبار 1,000 وصفة كعكة في وقت واحد. الطريقة القديمة تعاني من ذلك؛ أما GenBO فتولد ببساطة 1,000 تنويعًا من المرجح أن تكون جيدة وترسلها للاختبار.
البساية: تستخدم نموذجًا واحدًا للقيام بالمهمة بأكملها. الطريقة القديمة استخدمت نموذجين (واحد للرسم والآخر للتوليد)، مما يعني أن الأخطاء في النموذج الأول كانت ستفسد الثاني. GenBO تزيل ذلك الوسيط.
التعامل مع التعقيد: تعمل بشكل رائع في المشكلات "التركيبية" (Combinatorial)—الأشياء حيث نقوم بخلط ومطابقة الأجزاء (مثل الحروف في كلمة أو الأحماض الأمينية في بروتين) بدلاً من مجرد تعديل قرص بسيط.

النتائج

اختبر المؤلفون هذا على نوعين من الألغاز:

تحسين النصوص: محاولة العث كلمة من 5 أحرف تكون الأقرب إلى "ALOHA".
تصميم البروتين: محاولة العثور على أفضل تسلسل من الأحماض الأمينية لجعل البروتين مستقرًا أو لزيادة مساحة سطحه.

في هذه الاختبارات، كان أداء GenBO يضاهي (وأحيانًا يتفوق على) الطرق المعقدة متعددة الخطوات، لكنها فعلت ذلك بسرعة أكبر بثلاث مرات لأنها لم تضع وقتها في بناء الخريطة الوسيطة.

الخلاصة

تجادل الورقة بأنك لست بحاجة إلى خريطة "بديلة" معقدة للعثور على الحل الأفضل. بدلاً من ذلك، يمكنك تدريب ذكاء اصطناعي توليدي لـ "يشعر" مباشرة بما يبدو عليه الحل الجيد من خلال النظر ببساة في أي المحاولات السابقة نجحت أكثر. إنه تحول من "رسم خرائط المنطقة" إلى "تعلم انطباع أفضل المواقع"، مما يسمح باكتشاف أسرع وعلى نطاق أوسع في مجالات معقدة مثل البيولوجيا والهندسة.

ملخص تقني: التحسين البايزي التوليدي (Generative Bayesian Optimization)

بيان المشكلة

يُعد التحسين البايزي (BO) نهجًا قياسيًا لحل مشكلات التحسين المعقدة ذات الصندوق الأسود (black-box) من خلال استخدام نماذج بديلة احتمالية، مثل العمليات الغاوسية (GPs)، لتعظيم معيار المنفعة المتوقعة المعروف باسم دالة الاستحواذ (acquisition function). ورغم فعاليتها، تواجه طرق التحسين البايزي التقليدية تحديات كبيرة في القابلية للتوسع في الإعدادات الدفعية (batch settings)، لا سيالما عند التعامل مع فضاءات التصميم عالية الأبعاد والتوليفية (combinatorial) (مثل تصميم البروتينات).

تعتمد طرق التحسين البايزي الدفعية الحالية غالبًا على بناء مجموعات مرشحة بشكل تدريجي عبر أخذ عينات من ملاحظات "خيالية" (fantasy observations)، وهي عملية تصبح غير قابلة للتنفيذ حسابيًا مع نمو أحجام الدفعات. وبدلاً من ذلك، فإن النهج التي تدرب النماذج التوليدية كأدوات توزيع مقترحة تستخدم عادةً عملية مكونة من مرحلتين: أولاً، ملاءمة نموذج بديل (انحدار أو تصنيف) لتقريب الدالة الهدف أو دالة الاستحواذ، ثم تدريب نموذج توليدي فوقه. وتؤدي هذه العملية المكونة من مرحلتين إلى تراكم أخطاء التقريب وزيادة التكاليف الحسابية. علاوة على ذلك، فإن العديد من النهج التوليدية الحالية متخصصة في دوال استحواذ معينة (مثل احتمال التحسن - Probability of Improvement) أو تتطلب نماذج مكافأة صريحة تزيد من مصادر الخطأ.

المنهجية

يقترح البحث التحسين البايزي التوليدي (GenBO)، وهو إطار عمل موحد يحول النماذج التوليدية مباشرة إلى أجهزة أخذ عينات للحلول المرشحة في التحسين البايزي الدفعي دون الحاجة إلى نماذج بديلة وسيطة. وتتمثل الفكرة الجوهرية في تدريب النموذج التوليدي لتقريب توزيع مستهدف تكون كثافته متناسبة مع دالة الاستحواذ في التحسين البايزي (المنفعة المتوقعة)، مما يؤدي فعليًا إلى إجراء استدلال مباشر على موقع الأمثل $x^*$ بدلاً من دالة الهدف $f$ .

يقدم الإطار استراتيجيتين رئيسيتين لتدريب النموذج التوليدي $q$ باستخدام قيم منفعة مشوبة بالضوضاء مستمدة من الملاحظات:

التعلم القائم على التفضيل (المستوحى من DPO):
مستوحى من "تحسين التفضيل المباشر" (DPO) المستخدم في النماذج اللغوية الكبيرة، يتبنى هذا النهج خسارة تباينية زوجية. وبدلاً من تدريب نموذج مكافأة وسيط، يتم تدريب النموذج التوليدي مباشرة على أزواج من المدخلات $(x_{i,1}, x_{i,2})$ وقيم المنفعة المقابلة لها $(u_{i,1}, u_{i,2})$ .
- خسارة التفضيل القوية (rPL): للتعامل مع الضوضاء المتأصلة في التقييمات ذات الصندوق الأسود (حيث قد تنقلب إشارة فروق المنفعة)، يستخدم المؤلفون نسخة قوية من خسارة DPO. تلغي هذه الخسارة الحاجة إلى نموذج مكافأة صريح ودالة تقسيم (partition function)، حيث تعمل مباشرة على تحسين النموذج التوليدي لتقريب التوزيع المستهدف $p^*_u(x) \propto p_0(x) \exp(\frac{1}{\eta} E[u(y)|x])$ .
التعلم القائم على التباعد (Divergence-Based Learning):
يدرب هذا النهج النموذج التوليدي على مطابقة التوزيع المستهدف مباشرة باستخدام تقليل التباعد.
- تباعد KL الأمامي (Forward KL): يقلل النموذج من تباعد كولباك - ليبلر (KL) بين المقترح والمستهدف. وقد اشتق المؤلفون هدف تدريب غير متحيز باستخدام أوزان أخذ العينات بالاستبدال (importance sampling weights).
- تباعد KL الأمامي المتوازن (Balanced Forward KL): لمعالجة مشكلة فشل الـ Forward KL القياسي في معاقبة المناطق ذات المنفعة الصفرية (على سبيل المثال، تحت عتبة التحسن)، تم تقديم نسخة متوازنة. تضيف هذه النسخة حد عقاب ناعم مشتق من تباعدات بريجمان (Bregman divergences)، مما يضمن عدم احتفاظ النموذج بكثافة احتمالية عالية في مناطق المنفعة المنخفضة.

يتميز الإطار بأنه قابل للتعميم على أي دالة استحواذ يمكن التعبير عنها كمنفعة متوقعة (مثل احتمال التحسن، أو التحسن المتوقع، أو التحسن المتوقع الناعم) ويدعم مختلف دوال المنفعة بما في ذلك متغيرات المتوسط والـ softplus.

المساهمات الرئيسية

إطار عمل أحادي النموذج: يلغي GenBO الحاجة إلى نماذج انحدار أو تصنيف وسيطة، مما يقلل من أخطاء التقريب والأعباء الحسابية عبر تدريب نموذج توليدي واحد مباشرة من الملاحظات المشوبة بالضوضاء.
ترميز المنفعة العام: يقوم النهج بترميز دوال المنفعة العامة مباشرة في أهداف التدريب للنماذج التوليدية، مما يتجاوز التغذية الراجعة القائمة على التفضيل ليشمل إشارات المكافأة العامة ودوال الخسارة.
التقارب النظري: يقدم البحث تحليلاً نظرياً يوضح أنه تحت افتراضات انتظام طفيفة (مثل النماذج التي تقع في فضاء Hilbert لإعادة الإنتاج)، تتبع سلسلة النماذج التولدية توزيعات تقترب تقاربيًا من التوزيع المستهدف الأمثل. ويثبت التحليل أن خطأ التقريب يتركز بشكل مشابه لطرق النواة (kernel methods).
القابلية للتوسع: تم تصميم النهج ليتوسع مع الدفعات الكبيرة والفضاءات التوليفية عالية الأبعاد حيث تواجه طرق التحسين البايزي التقليدية والأساليب التوليدية ذات المرحلتين صعوبات.

النتائج التجريبية

قيم المؤلفون GenBO في مهام تحسين التسلسل الصعبة، بما في ذلك تحسين النصوص (تقليل مسافة التعديل إلى "ALOHA") وتصميم البروتينات (تحسين الاستقرار ومساحة السطح المتاحة للمذيب، بالإضافة إلى دوال Ehrlich الاصطناعية).

الأداء: حققت متغيرات GenBO، وخاصة تلك التي تستخدم خسارة التفضيل القوية (rPL) وتباعد KL الأمامي المتوازن (bfKL)، أداءً تنافسيًا أو متفوقًا مقارنة بنماذج قوية مثل CbAS وVSD وLaMBO-2.
الكفاءة: أظهر GenBO تحسينات كبيرة في وقت التشغيل، حيث كان أسرع بنحو 3 مرات من VSD في مهام تحسين النصوص بسبب إلغاء خطوة ملاءمة النموذج البديل الوسيط.
المتانة: في مهام تصميم البروتينات، أظهرت متغيرات GenBO تقاربًا سريعًا في مهمة SASA، بينما تعاملت مع مهمة الاستقرار الأكثر صعوبة بشكل مشابه للطرق الأخرى. وأبرزت التجارب أن GenBO أقل حساسية لمخططات تلدين العتبة (threshold annealing) مقارنة بالنماذج الموجهة بالتصنيف.
توسع الدفعات: نجح النهج في التعامل مع أحجام دفعات كبيرة ( $B=128$ ) في فضاءات تسلسل البروتين عالية الأبعاد ( $M=64$ )، مما أظهر تحسينات رتيبة مع زيادة حجم الدفعة.

الأهمية والادعاءات

يزعم البحث أن GenBO يقدم بديلًا أبسط وأكثر قابلية للتوسع لطرق التوليد الموجه متعددة المراحل في عمليات الصندوق الأسود. ومن خلال إزالة النموذج البديل الوسيط، يختصر GenBO العملية إلى تعلم نموذج توليدي واحد، مما يقلل من الموارد الحسابية ويلغي مصدرًا من مصادر خطأ التقريب.

يضع المؤلفون GenBO كـ "وصفة عامة" توحد التحسين البايزي الخالي من الاحتمالية (likelihood-free BO) مع تقنيات النمذجة التوليدية الحديثة. ويؤكدون أنه بينما يركز الإطار حاليًا على دوال الاستحواذ التي يمكن التعبير عنها كمنفعات متوقعة، فإن الأسس النظرية تسمح بالتوسع ليشمل قواعد تسجيل (scoring rules) وأنواع نماذج أخرى (مثل نماذج الانتشار أو تطابق التدفق/flow matching). ويشير العمل إلى أن الاستدلال المباشر على الموقع الأمثل، المدفوع بعوامل الاحتمالية القائمة على المنفعة، يعد مسارًا فعالًا ومجدياً لتحسين فضاءات التصميم المعقدة وعالية الأبعاد.