🤖 machine learning

Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization

تقدم هذه الورقة "Kernel Discovery"، وهو إطار عمل تطوري مدفوع بنماذج اللغات الكبيرة يتغلب على قيود التصميم الآلي الحالي للنواة في التحسين البايزي عالي الأبعاد من خلال البحث في فضاء رياضي أوسع دون الاعتماد على الملاحظات الخام، محققاً أداءً فائقاً بمتوسط رتبة قدره 1.2 من أصل 17 في الاختبارات المعيارية.

المؤلفون الأصليون: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على الوصفة المثالية لكعكة، لكن المطبخ يحتوي على آلاف المكونات (الأبعاد) بدلاً من مجرد الدقيق والسكر. لا يمكنك تذوق كل التركيبات الممكنة لأن ذلك سيستغرق وقتاً طويلاً جداً. هذه هي معضلة التحسين البايزي عالي الأبعاد (High-Dimensional Bayesian Optimization): العثور على أفضل حل في مساحة ضخمة ومعقدة بعدد قليل جداً من المحاولات.

لحل هذه المشكلة، يستخدم العلماء "مخمّناً ذكياً" يسمى العملية الغاوسية (Gaussian Process - GP). فكر في العملية الغوسية كأنها طاهٍ يبني خريطة ذهنية للمطبخ بناءً على الكعكات التي تذوقتها بالفعل. الجزء الأهم في هذه الخريطة هو النواة (Kernel) — وهي قاعدة رياضية تحدد مدى تشابه مكونين (أو نقطتين في المطبخ) مع بعضهما البعض.

المشكلة: الطاهي عالق

لسنوات، كان تصميم "قواعد التشابه" هذه (النوى) للمطابخ الضخمة بمثابة كابوس:

الفخ اليدوي: كان على الخبراء ابتكار هذه القواعد يدوياً، وهو أمر بطيء وعرضة للخطأ.
فخ "المعلومات الزائدة": حاولت بعض المحاولات الأخيرة استخدام الذكاء الاصطناعي (النماذج اللغوية الكبيرة أو LLMs) للمساعدة، لكنها حاولت تغذية الذكاء الاصطناعي بكل البيانات الخام (آلاف الأرقام) دفعة واحدة. الأمر يشبه محاولة شرح وصفة معقدة لطاهٍ عبر الصراخ بقائمة تضم 10,000 مكون في وجهه. يصاب الطاهي بالارتباك، وينسى البداية، ويعجز عن إيجاد النمط.
فخ "القوالب الجاهزة": لم تستطع طرق الذكاء الاصطناعي الأخرى سوى خلط القواعد الموجودة بطرق بسيطة (الجمع أو الضرب)، مثل السماح لك فقط بخلط الدقيق والسكر ولكن دون السماح لك أبداً بابتكار توابل جديدة.

الحل: "اكتشاف النواة"

أدرك مؤلفو هذه الورقة البحثية أن طلب كتابة كود برمجي مباشرة من الذكاء الاصطناعي غالباً ما يؤدي إلى قيام الذكاء الاصطناي بمجرد إعادة تسمية المتغيرات أو إعادة كتابة نفس الرياضيات بخط مختلف (مثل قول "2+2" مقابل "1+1+2"). يبدو الأمر مختلفاً ولكنه يؤدي إلى نفس النتيجة تماماً.

لحل هذه المشكلة، صمموا خط تجميع من مرحلتين:

المهندس المعماري (المرحلة الأولى): أولاً، نطلب من الذكسا الاصطناعي أن يعمل كعالم رياضيات. بدلاً من كتابة كود، يقترح الذكاء الاصطناعي شكلاً رياضياً جديداً أو صيغة. إنه يشبه المهندس المعماري الذي يرسم مخططاً لقالب كعك من نوع جديد.
البنّاء (المرحلة الثانية): بعد ذلك، تأخذ دعوة ذكاء اصطناعي ثانية هذا المخطط وتحوله إلى كود حاسوبي فعلي وفعال.

هذا الفصل يجبر الذكاء الاصطناعي على التفكير في البنية بدلاً من مجرد نسخ قواعد الكتابة (Syntax). وهذا يسمح للنظام بابتكار أنواع جديدة تماماً من "قواعد التشابه" التي قد لا تخطر على بال البشر.

"اختبار التذوق" (الاختيار)

بمجرد أن يبتكر الذكاء الاصطناعي نواة جديدة، كيف نعرف أنها جيدة؟
عادةً، تختار الأنظمة النواة التي تناسب البيانات الحالية بشكل مثالي. لكن هذا يشبه طاهياً يحفظ مذاق الكعكات التي تذوقتها بالفعل، لكنه يفشل في خبز كعكة جديدة. هذا ما يسمى الفرط في التخصيص (Overfitting).

قدم المؤلفون "اختبار تذوق" جديداً يسمى LOO-CRPS.

التشبيه: تخيل أن الطاهي يتذوق كعكة، ثم يضعها جانباً ويحاول تخمين مذاقها دون النظر إليها مرة أخرى. إذا استطاع الطاهي التخمين بشكل صحيح، فإن الوصفة متينة. أما إذا كان يستطيع التخمين بشكل صحيح فقط لأنه حفظ لقمة معينة، فإن الوصفة سيئة.
هذه الطريقة تعاقب النوى شديدة التعقيد أو تلك التي تم حفظها عن ظهر قلب، مما يضمن اختيار القواعد التي يمكنها حقاً التعميم على مناطق جديدة من مساحة البحث.

النتائج: بطل جديد

اختبر الفريق هذا النظام في خمسة "مطابخ" مختلفة (اختبارات معيارية) ذات أبعاد تتراوح من 100 إلى أكثر من 6,000.

النتيجة: من بين 17 طريقة مختلفة (بما في ذلك القواعد اليدوية التقليدية ومحاولات الذكاء الاصطناعي الأخرى)، جاءت طريقتهم في المركز الأول بمتوسط ترتيب بلغ 1.2.
الاكتشاف: وجدوا أن أفضل النوى تضمنت التشويه الهندسي (Geometric Warping) (ثني المساحة مثل ورقة مطاطية) ودمج أفكار رياضية مختلفة بطرق غير متوقعة. على سبيل المثال، وجدوا نوى تعمل بشكل جيد حتى لو استخدمت قواعد "غير مستقرة" (Non-stationary) (قواعد تتغير حسب مكان وجودك في المطبخ)، وهو ما كان يُعت de سابقاً أنه أمر محفوف بالمخاطر.

الملخص

باختصار، تقول الورقة البحثية: "لا تطلب من الذكاء الاصطناعي مجرد كتابة كود بناءً على جدار من البيانات. بدلاً من ذلك، اطلب منه تصميم مخطط رياضي أولاً، ثم قم ببنائه. ولا تكتفِ باختيار القاعدة التي تناسب الماضي بشكل مثالي؛ بل اختر القاعدة التي تثبت قدرتها على تخمين المستقبل".

يسمح هذا النهج للحواسيب بابتكار "خرائط" أفضل تلقائياً لحل المشكلات المعقدة للغاية وعالية الأبعاد دون الحاجة إلى خبير بشري للقيام بالعمل الشاق.

ملخص تقني: الاكتشاف الآلي للنواة نحو فهم التحسين البايزي عالي الأبعاد

بيان المشكلة

يعد التحسين البايزي (BO) عالي الأبعاد أمراً بالغ الأهمية لتطبيقات مثل ضبط المعلمات الفائقة، والبحث في بنية الشبكات العصبية، وتصميم التسلسلات البيولوجية. ومع ذلك، يعاني التحسين البايزي من "لعنة الأبعاد"، حيث تجعل المسافات الكبيرة بين الملاحظات نمذجة النموذج البديل (surrogate modeling) صعبة وتؤدي إلى الإفراط في الاستكشاف عند حدود فضاء البحث.

بينما تشير الأعمال الحديثة إلى أن النوى البسيطة (مثل RBF أو Matérn) مع أولوية طول المقياس (lengthscale priors) المناسبة أو تحويلات المدخلات الهندسية يمكن أن تؤدي أداءً جيداً، فإن تحديد الأولويات أو التحويلات الفعالة لا يزال يتطلب هندسة يدوية مكثفة من قبل خبراء المجال. تواجه النهج المؤتمتة الحالية عائقين رئيسيين في الأبعاد العالية:

عائق التعبير (Expressive Bottleneck): تقتصر طرق البحث عن النواة الحالية على التركيبات الجمعية والضربية لنوى أساسية محددة مسبقاً، مما يحد من اكتشاف هياكل مبتكرة مناسبة للمشكلات عالية الأبعاد.
عائق الواجهة (Interface Bottleneck): تعتمد طرق التحسين البايزي القائمة على النماذج اللغوية الكبيرة (LLM) عادةً على الملاحظات الخام لتوجيه البحث. في الأبعاد العالية، يتجاوز حجم البيانات الرقمية الهائل حدود سياق النموذج اللغوي الكبير ويجعل استخراج الأنماط غير ممكن.

المنهجية: اكتشاف النواة (Kernel Discovery)

يقترح المؤلفون اكتشاف النواة، وهو إطار عمل تطوري مدفوع بالنماذج اللغوية الكبيرة مصمم لأتمتة تصميم نوى العمليات الغاوسية (GP) الفعالة للتحسين البايزي عالي الأبعاد. يعمل إطار العمل من خلال حلقة تكرارية تتضمن تهيئة الجمهرة، واكتشاف النواة، والتحقق، والاختيار.

1. خط أنابيب الاكتشاف ثنائي المراحل

للتغلب على محدودية توليد النماذج اللغوية الكبيرة لأكواد برمجية متنوعة تركيبياً ولكنها متطابقة وظيفياً، اعتمد المؤلفون نهجاً ذا مرحلتين:

المرحلة الأولى (الصياغة الرياضية): يتم توجيه نموذج لغوي كبير لاقتراح صيغ رياضية مبتكرة للنوى بناءً على جمعة من النوى الموجودة. ومن المهم أن هذه المرحلة لا تعتمد على الملاحظات الخام؛ بل تعتمد بدلاً من ذلك على قدرات الاستدلال الرياضي للنموذج اللغوي لتوليد صيغ مبتكرة هيكلياً. يتضمن الأمر (prompt) توجيهات محددة بشأن استراتيجيات الأبعاد العالية (مثل إسقاطات المدخلات، وتدرج الأبعاد) والقيود (مثل شبه الموجبية المحددة).
المرحلة الثانية (تحويل الكود): يقوم استدعاء ثانٍ للنموذج اللغوي بتحويل الصيغة الرياضية المقترحة إلى كود بايثون قابل للتنفيذ (تحديداً لإطار عمل GPyTorch).

2. تهيئة الجمعة والتطور

تبدأ العملية بجمعة أولية ( $P_0$ ) من النوى المعروفة بفعاليتها في الأبعاد العالية، بما في ذلك RBF، وMatérn52، وRational Quadratic (RQ)، وBOCK (النوى الأسطوانية)، وSL (النوى الخطية الكروية).

التركيب: بالإضافة إلى الاكتشاف ثنائي المراحل، يتضمن إطار العمل مرحلة تركيب حيث يقوم النموذج اللغوي بدمج أفضل النوى عبر الجمع أو الضرب.
التحقق: تخضع النوى المولدة حديثاً لاختبارين تجريبيين:
- التنفيذ المحايد ( $V_{agn}$ ): يضمن تشغيل الكود بشكل صحيح عبر مختلف أشكال المدخلات وأحجام الدفعات.
- شبه الموجبية المحددة ( $V_{psd}$ ): يتحقق من أن النواة تنتج مصفوفة تغاير (covariance matrix) صالحة عبر تفكيك تشوليسكي (Cholesky decomposition).
معيار الاختيار (LOO-CRPS): لاختيار أفضل نواة للدورة التالية من التحسين البايزي دون الإفراط في التخصيص (overfitting)، قدم المؤلفون درجة الاحتمال المستمر المتروكة خارج واحدة (LOO-CRPS). بخلاف الاحتمالية اللوغاريتمية الهامشية (MLL)، التي قد تفضل النوى شديدة التعقيد التي تفرط في ملاءمة البيانات الحالية، تقوم LOO-CRPS بمعاقبة الملاءمة المفرطة في الثقة من خلال تقييم التوزيعات التنبؤية على نقاط البيانات المستبعدة.

3. الحلقة التطورية

في كل دورة، يولد إطار العمل مرشحين جدد، ويتحقق منهما، ويختار النواة ذات أقل قيمة LOO-CRPS لتناسب النموذج البديل للعملية الغاوسية. بعد ذلك، يتم تعظيم دالة الاستحواذ (LogEI) لاقتراح نقطة الاستعلام التالية. يتم تحديث الجمعة عبر الاحتفاظ بأفضل $N$ من النوى ذات أقل قيم LOO-CRPS، مما يضمن تطور الجمعة نحو نماذج بديلة أكثر دقة وفعالية.

المساهمات الرئيسية

إطار عمل مبتكر: تقديم "اكتشاف النواة"، وهو أول إطار عمل تطوري مدفوع بالنماذج اللغوية الكبيرة يبحث في مساحة نواة أوسع تتجاوز مجرد التركيبات الجمعية/الضربية البسيطة، ويتجنب الاعتماد على الملاحظات الخام عالية الأبعاد.
تفكيك ثنائي المراحل: رؤية منهجية مفادها أن فصل الصياغة الرياضية عن توليد الكود يقلل من التكرار الوظيفي ويشجع على اكتشاف هياكل نوى مبتكرة حقاً.
مقياس اختيار قوي: اقتراح LOO-CRPS كمعيار اختيار للتخفيف من حدة الإفراط في التخصيص في عملية اختيار النواة، مما يعالج ضعفاً معروفاً في MLL في البحث الآلي عن النواة.
التحقق التجريبي: تقييم شامل على خمسة معايير مرجعية عالية الأبعاد (أبعاد تتراوح من 100 إلى 6,392)، مما أظهر أداءً متفوقاً على 16 طريقة أساسية، بما في ذلك النوى الأساسية، والطرق القائمة على البحث، وغيرها من طرق التحسين البايزي القائمة على النماذج اللغوية الكبيرة.

النتائج التجريبية

تم تقييم الطريقة على خمسة معايير مرجعية قياسية: Rover ( $D=100$ )، وMopta08 ( $D=124$ )، وLasso-DNA ( $D=180$ )، وSVM ( $D=388$ )، وHumanoid ( $D=6392$ ).

الأداء: حقق اكتشاف النواة متوسط رتبة 1.2 من أصل 17 طريقة عبر جميع المعايير، متفوقاً بشكل كبير على المنافس الثاني، البحث التركيبي (رتبة 4.4).
المقارنة مع الخطوط المرجعية:
- تفوق على جميع النوى الأساسية الثابتة (RBF، Matérn، إلخ).
- تفوق بشكل ملحوظ على الطرق القائمة على البحث مثل البحث الجشع (Greedy Search) والبحث التركيبي (Compositional Search)، مما يسلط الضوء على محدودية قصر مساحة البحث على التركيبات البسيطة.
- تفوق بشكل ملحوظ على الخطوط المرجعية القائمة على النماذج اللغوية الكبيرة مثل CAKE وARM وLMABO. ويعزو المؤلفون فشل CAKE إلى اعتماده على الملاحظات الخام كـ "سياق"، مما يؤدي إلى تدهور الأداء في الأبعاد العالية.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون (التهيئة، مرحلة الاكتشاف، أو مقياس LOO-CRPS) إلى تدهور الأداء، مما يؤكد ضرورة خط الأنابيب الكامل. كما أظهر النهج ثنائي المراحل قدرة على إنتاج نوى أكثر تنوعاً وظيفياً مقارنة بالتوليد المباشر للكود.

الأهمية والادعاءات

يزعم الورقة أن أتمتة تصميم النواة باستخدام نظام قادر على الاستدلال الرياضي يمكن أن يقلل بشكل كبير من حاجز الهندسة اليدوية في التحسين البايزي عالي الأبعاد.

ما وراء التركيبات: تثبت الدراسة أن النوى الفعالة للأبعاد العالية لا تقتصر على التركيبات البسيطة للنوى الأساسية. فالنوى المكتشفة غالباً ما تتضمن تحويلاً هندسياً معقداً (مثل تحويلات arctan) ومكونات غير ثابتة (non-stationary) لم تكن موجودة في الجمعة الأولية.
رؤية في التحسين البايزي عالي الأبعاد: من خلال تحليل النوى المكتشفة، يقدم المؤلفون رؤى جديدة حول ما يدفع النمذجة البديلة الفعالة. فقد وجدوا أن تركيبات النوى ذات التحويل الهندسي والمكونات غير الثابتة (مثل tanh-polynomials) يمكن أن تؤدي إلى تحسينات، مما يتحدى الحدس السائد بأن النوى البسيطة مع أولويات مقياس مدروس كافية.
القابلية للنقل: يظهر المؤلفون أن النوى المكتشفة في أحد المعايير (مثل SVM) يمكن أن تنتقل بفعالية إلى معايير أخرى، مما يشير إلى أن الهياكل المكتشفة تلتقط خصائص قابلة للتعميم في آفاق التحسين عالية الأبعاد.

يخلص المؤلفون إلى أنه بينما يقوم إطار عملهم الحالي بتحسين النوى لكل معيار على حدة، فإن النتائج تشير إلى أن اكتشاف النواة المدفوع بالنماذج اللغوية الكبيرة هو استراتيجية واعدة للتحسين البايزي عالي الأبعاد، مما يوفر مساراً لنمذجة بديلة أكثر تعبيراً وأتمتة.