🤖 machine learning

Elicitation-Augmented Bayesian Optimization

تقدم هذه الورقة إطار عمل للتحسين البايزي القائم على وجود الإنسان في الحلقة، والذي يستفيد من المقارنات الزوجية لاستخلاص المعرفة الضمنية للخبراء، مستخدماً دالة استحواذ على قيمة المعلومات مراعية للتكلفة للموازنة ديناميكياً بين الملاحظات المباشرة واستعلامات الخبراء لتحسين كفاءة العينات.

المؤلفون الأصليون: Alvar Haltia, Ville Hyvönen, Samuel Kaski

نُشر 2026-05-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alvar Haltia, Ville Hyvönen, Samuel Kaski

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أفضل مكان على الإطلاق لبناء حديقة جديدة في مدينة ضخمة يغلفها الضباب. أنت تريد الموقع الذي تتوفر فيه أكثر كمية من أشعة الشمس، وأفضل تربة، وأقل قدر من الضوضاء. لكن فحص هذه الظروف مكلف وبطيء: عليك إرسال فريق من العلماء للحفر فعلياً وقياس الشمس (لنسمِّ هذا "التقييم المباشر"). كل فحص يكلفك 5 دولارات.

ولكن لديك خبير محلي يعرف المدينة جيداً. لا يمكنه إعطاء أرقام دقيقة، لكن يمكنه بسهولة النظر إلى مكانين والقول: "أنا متأكد بنسبة 90% أن الموقع (أ) أفضل من الموقع (ب)". طلب رأي الخبير هذا سريع ورخيص، ويكلف دولاراً واحداً فقط.

المشكلة في الطرق القديمة

كانت الطرق السابقة لإيجاد أفضل موقع تعاني من خلل كبير: فقد افترضت أن الخبير يمكنه تقديم خريطة دقيقة أو رقماً محدداً (مثل "أفضل موقع هو عند خط عرض 45 درجة"). لكن في الواقع، غالباً ما يمتلك الخبراء البشريون "أحاسيس داخلية" أو "معرفة ضمنية". لا يمكنهم دائماً وضع رقم يعبر عن حدسهم، لكنهم بارعون جداً في مقارنة شيئين.

الحل الجديد: EA-BO

تقدم الورقة البحثية طريقة جديدة تسمى "التحسين البايزي المعزز بالاستنباط" (Elicitation-Augmented Bayesian Optimization - EA-BO). فكر في هذا كمدير مشروع ذكي يعرف كيف يمزج بين الفحوص العلمية المكلفة وآراء الخبراء الرخيصة لتوف توفير المال وإيجاد أفضل مكان بشكل أسرع.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. "اختبار التذوق" مقابل "تقرير المختبر"

التقييم المباشر (تقرير المختبر): هذه هي البيانات عالية الدقة والمكلفة. إنها تخبرك بالحقيقة المطلقة، لكنها بطيئة.
المقارنة الثنائية (اختبار التذوق): هذه هي البيانات الرخيصة والمشوبة بالضجيج. يتذوق الخبير نوعين من الحساء ويقول: "الحساء (أ) أفضل من الحساء (ب)". إنه ليس قياساً مثالياً، لكنه يعطيك تلميحاً قوياً.

2. مدير ميزانية ذكي

الابتكار الجوهري هو قاعدة "قيمة المعلومات المدركة للتكلفة". تخيل أن مدير المشروع لديه ميزانية ثابتة (مثلاً 150 دولاراً). عليه أن يقرر: هل أنفق 5 دولارات على اختبار مختبري، أم دولاراً واحداً على رأي الخبير الآن؟

في بداية اللعبة: لا يعرف المدير الكثير. تكون "اختبارات التذوق" الرخيصة للخبير ذات قيمة هائلة لأنها تستبعد المناطق السيئة بسرعة. ينفق المدير معظم الميزانية على هذه المقارنات الرخيقة لتضييق نطاق البحث.
في وقت لاحق من اللعبة: بمجرد أن يضيق المدير النطاق حول بضعة أماكن واعدة، لا تكفي المقارنات الرخيية للتمييز بين مكانين متشابهين جداً. الآن، ينتقل إلى "تقارير المختبر" المكلفة للحصول على الإجابة النهائية الدقيقة.

يقوم هذا الأسلوب تلقائياً بتحديد متى ينتقل من التخمينات الرخيصة إلى الحقائق المكلفة، دون الحاجة لأن يخبره الإنسان متى يفعل ذلك.

3. إنجاز "الغلاف المحدب" (Convex Hull)

تدعي الورقة البحثية أن هذه الطريقة جيدة جداً لدرجة أنها ترسم خطاً يربط بين أفضل أداء لـ "استخدام الخبراء فقط" و"استخدام المختبرات فقط".

إذا كانت المقارنات رخيصة، فهي تعمل كخبير في المقارنات.
إذا كانت المقارنات مشوبة بالضجيج أو مكلفة، فهي تعمل كخبير في اختبارات المختبر.
إنها لا تفعل أبداً ما هو أسوأ من أفضل طريقة منفردة؛ فهي تجد دائماً طريقة لدمجهما معاً لتحقيق أفضل نتيجة.

ما الذي اختبروه؟

اختبر الباحثون هذه الطريقة على عدة "مدن افتراضية" (معايير رياضية) ذات مستويات مختلفة من التعقيد.

النتيجة: وجدت EA-BO باستمرار حلولاً أفضل وبسرعة أكبر من الطرق التي استخدمت المختبرات فقط أو الخبراء فقط.
المقارنة: تفوقت على طريقة سابقة (CoExBO) حاولت أيضاً استخدام آراء الخبراء، لكن تلك الطريقة القديمة كانت أقل كفاءة في تحديد متى تستخدم الخبير مقابل المختبر.

الخلاصة

تقدم هذه الورقة أداة تساعدك على تحسين العمليات المكلفة من خلال الاستماع إلى الخبراء البشريين الذين لا يستطيعون إعطاء أرقام ولكن يمكنهم المقارنة بين الأشياء. إنها تتعامل مع "الحدس" لدى الخبير كبيانات صالحة، وتخلطها بالبيانات الصلبة، وتقرر تلقائياً الطريقة الأكثر فعالية من حيث التكلفة لاستخدام ميزانيتك للعثور على أفضل حل ممكن.

ملخص تقني: التحسين البايزي المعزز بالاستنباط (EA-BO)

بيان المشكلة

التحسين البايزي (BO) هو إطار عمل فعال من حيث كفاءة العينات لتحسين الدوال "الصندوق الأسود" (black-box) المكلفة. وبينما تهدف أساليب التحسين البايزي التي تشرك الإنسان في الحلقة (HITL) إلى تحسين كفاءة التكلفة عبر الاستفادة من الخبرة النوعية، تفترض الأساليب الحالية عادةً أن الخبراء يمكنهم تحديد معرفتهم بشكل صريح (على سبيل المثال، عبر تحديد التوزيعات المسبقة أو تحديد مواقع الاستعلام بدقة). ومع ذلك، فإن الخبرة البشرية غالباً ما تكون ضمنية ونوعية؛ فالبشر عادة ما يكونون أكثر موثوقية في ترتيب المرشحين (ranking) بدلاً من تعيين قيم عددية معايرة.

تعالج هذه الورقة تحدي دمج المعرفة الضمنية للخبير في التحسين البايزي عبر المقارنات الزوجية (مقارنة تصميمين) بدلاً من التحديد الكمي المباشر. وتتمثل المشكلة الجوهرية في تطوير طريقة يمكنها:

الجمع بين التقييمات المباشرة للدالة (عالية الدقة ومكلفة) والمقارنات الزوجية (منخفضة الدقة ومشوبة بالضجيج).
التعامل مع التحسين أحادي ومتعدد الأهداف تحت دالة منفعة (utility function) معلومة.
تخصيص ميزانية ثابتة ديناميكياً بين هذين المصدرين للمعلومات بناءً على تكلفتهما النسبية ومدى إفادتهما المعلوماتية.

المنهجية

1. النموذج البديل: عملية غاوس (GP) متفرقة ذات احتمالية مختلطة

يقترح المؤلفون نموذجاً بديلاً يعتمد على عملية غاوس (GP) يعامل كل من الملاحظات المباشرة والمقارنات الزوجية كأدلة مشوبة بالضجيج حول دالة الهدف $f$ .

الملاحظات المباشرة: يتم نمذجتها باستخدام احتمالية غاوس قياسية: $y = f(x) + \epsilon_{eval}$ .
المقارنات الزوجية: يتم نمذجتها باستخدام دالة ربط "بروبيت" (probit link function). يشير الحكم الثنائي $d \in \{0, 1\}$ إلى ما إذا كان $x$ قد تم ترتيبه أعلى من $x'$ بناءً على فرق المنفعة $\Delta = U(f(x)) - U(f(x'))$ . الاحتمالية هي $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$ .
الاستدلال: يستخدم النموذج الاستدلال المتغير المتفرق (SVGP) لتقريب التوزيع اللاحق (posterior). يمكن تفكيك حد الحد الأدنى لتباعد الإثبات (ELBO) إلى حدود منفصلة للملاحظات والمقارنات.
- حد الملاحظة يقبل حلاً غاوسياً مغلق الصيغة.
- يتضمن حد المقارنة توقعاً لـ $\log \Phi(\cdot)$ . بالنسبة لدوال المنفعة الخطية، يكون فرق المنفعة توزيعاً غاوسياً، مما يسمح بحساب التوقع عبر تربيع "غاوس-هيرميت" أحادي البعد. أما المنافع غير الخطية فيتم التعامل معها عبر مطابقة العزوم (moment matching).

2. دالة الاستحواذ: قيمة المعلومات (VoI) المدركة للتكلفة

تعتمد الطريقة استراتيجية "نظرة استباقية" (lookahead) قصيرة المدى لاختيار الإجراء التالي. تشمل فضاء الإجراءات كلاً من التقييمات المباشرة ( $x \in \mathcal{X}$ ) والاستعلامات الزوجية ( $(x, x') \in \mathcal{X}^2$ ).

الهدف: تعظيم القيمة المتوقعة للمعلومات مقسومة على التكلفة: $\frac{\alpha(a; D)}{c(a)}$ ، حيث $\alpha$ هي زيادة المنفعة المتوقعة و $c(a)$ هي التكلفة.
قيمة معلومات التقييم المباشر ( $\alpha_{eval}$ ): تختزل إلى "تدرج المعرفة" (Knowledge Gradient) للمنافع الخطية. ويتم تحسينها باستخدام إعادة صياغة "الخطوة الواحدة" (one-shot) مع نقاط خيالية (fantasy points).
قيمة معلومات المقارنة الزوجية ( $\alpha_{comp}$ ): اشتق المؤلفون تحديثاً لاحقاً خيالياً مغلق الصيغة تحت احتمالية "البروبيت" للأهداف متعددة المخرجات مع منفعة معلومة. وهذا يوسع "تدرج المعرفة للمقارنة الزوجية" (Wu and Gardner, 2026) إلى حالة المخرجات المتعددة. يتم حساب قيمة المعلومات (VoI) بدقة كأمل متوقع منفصل فوق النتيجة الثنائية، مما يتجنب تقريب "مونت كارلو" لخطوة المقارنة.
التحسين: يتم تحسين كلتا دالتي الاستحواذ بشكل مشترك مع المدخلات المرشحة باستخدام إعادة صياغة "الخطوة الواحدة" ومحسن Adam.

المساهمات الرئيسية

عملية غاوس متفرقة ذات احتمالية مختلطة: طريقة منهجية لتحديث التوزيع اللاحق لعملية غاوس عبر الربط بين احتمالية ملاحظة غاوسية واحتمالية مقارنة "بروبيت"، مما ينتج عنه ELBO قابل للتفكيك بحدود قابلة للحساب.
قاعدة استحواذ مدركة للتكلفة: اشتقاق تحديث متوسط لاحق مغلق الصيغة تحت احتمالية "البروبيت" للأهداف متعددة المخرجات، مما يتيح دالة استحواذ (VoI) مقسومة على التكلفة توازن بين التقييمات المباشرة والاستعلامات الزوجية دون جدولة يدوية.
إطار عمل موحد: خوارزمية واحدة (EA-BO) تتعامل مع التحسين أحادي ومتعدد الأهداف بشكل موحد عبر معاملة التصنيفات الزوجية كأدلة حول قيم دالة الهدف الملحوظة.

النتائج التجريبية

تم تقييم الطريقة، المسماة التحسين البايزي المعزز بالاستنباط (EA-BO)، على معايير قياسية لأحادية ومتعددة الأهداف (Branin, Hartmann6, BraninCurrin, VLMOP2) مع دوال منفعة خطية ودوال "تشيبوشيف" (Chebyshev).

الأداء مقابل المصدر الواحد: تقترب EA-BO من الغلاف المحدب (convex hull) لمسارات مصادر المعلومات الفردية.
- عندما تكون المقارنات الزوجية رخيصة (مثلاً، أرخص بـ 5 مرات من التقييمات)، تخصص EA-BO معظم الميزانية المبكرة للمقارنات، محققة تقارباً أولياً سريعاً مشابهاً لطرق المقارنة فقط (KG-Comp).
- مع زيادة حدة التوزيع اللاحق أو زيادة ضجيج المقارنات، تنتقل EA-BO نحو التقييمات المباشرة، مستردةً الدقة التقاربية للتحسين البايزي القائم على التقييم فقط (KG-Eval).
الأداء مقابل نماذج HITL المرجعية: تتفوق EA-BO بشكل كبير على CoExBO (Adachi et al., 2024)، وهي أقرب طريقة موجودة لـ HITL تستخدم المقارنات الزوجية. وخلافاً لـ CoExBO، التي تستخدم المقارنات لتوجيه اختيار المرشحين عبر نموذج مساعد، تدمج EA-BO هذه المقارنات مباشرة كأدلة احتمالية.
الحساسية:
- نسبة التكلفة: تتوقف EA-BO تلقائياً عن استخدام المقارنات عندما تصبح أكثر تكلفة من التقييمات، وتزيد من تخصيصها مع نمو نسبة التكلفة.
- الضجيج: تقوم الطريقة بتركيز المقارنات في البداية عندما تكون مفيدة معلوماتياً. ومع زيادة ضجيج المقارنة، تنتقل الخوارزمية تدريجياً نحو التقييمات المباشرة. ومن المثير للاهتمام أنه عند مستويات الضجيج المتوسطة، يحدث انخفاض غير رتيب في الأداء لأن الـ VoI الموجه (myopic) لا يزال يخصص قيمة إيجابية للمقارنات المشوبة بالضجيج قبل التخلي عنها تماماً عند المستويات العالية جداً من الضجيج.

الأهمية والادعاءات

تدعي الورقة أن EA-BO توفر إطار عمل قوياً وتكيفياً للاستفادة من الخبرة البشرية الضمنية في التحسين البايزي. تكمن أهميتها الأساسية في قدرتها على الموازنة التلقائية بين البيانات النوعية الرخيصة والمشوبة بالضجيج (التصنيفات) والبيانات الكمية المكلفة وعالية الدقة (التقييمات).

يذكر المؤلفون أن الطريقة:

تحسن كفاءة العينات بشكل كبير عندما تكون الاستعلامات الزوجية أرخص من التقييمات.
تستعيد أداء التحسين البايزي القياسي عندما تكون الاستعلامات الزوجية مكلفة للغاية أو مشوبة بالضجيح لدرجة تجعلها غير مفيدة.
تتجنب الحاجة إلى الجدولة اليدوية أو التبديل الهيورستي (heuristic) بين مصادر المعلومات.
توفر امتداداً منهجياً لمتدرجات المعرفة الزوجية في البيئات متعددة الأهداف.

وتقر الورقة بوجود قيود، وتحديداً افتراض أن الأحكام البشرية تخضع لدالة المنفعة الحقيقية $U \circ f$ (مع تجاهل أي انحرافات في النموذج الذهني للخبير) وضرورة معرفة دالة المنفعة $U$ مسبقاً قبل عملية التحسين. كما تم اقتراح أعمال مستقبلية لمعالجة دوال المنفعة القابلة للتعلم والارتباطات القابلة للتعلم بين النماذج الذهنية للخبراء والهدف الحقيقي.