🤖 machine learning

Dynamics Models for Offline Hyperparameter Selection in Real-World RL

تقدم هذه الورقة أول تطبيق واقعي لنماذج المعايرة غير المتصلة (offline calibration models) لاختيار المعلمات الفائقة في التعلم التعزيزي، مما يثبت فعاليتها في محطة بلدية لمعالجة المياه من خلال توليد مسارات طويلة الأمد وواقعية واستعادة اتجاهات حساسية ذات معنى في بيانات مستشعرات عالية الأبعاد وغير مستقرة.

المؤلفون الأصليون: Jordan Coblin, Han Wang, Martha White, Adam White

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jordan Coblin, Han Wang, Martha White, Adam White

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت القيام بمهمة معقدة، مثل قيادة سيارة أو إدارة محطة طاقة. لا يمكنك مجرد التخمين لإعدادات دماغه؛ بل يجب عليك ضبطها بدقة مثالية. يُسمى هذا "اختيار المعلمات الفائقة" (Hyperparameter Selection). عادةً ما يقوم العلماء بذلك عن طريق ترك الروبوت يتدرب في لعبة فيديو محاكية. ولكن ماذا لو كان العالم الحقيقي خطيرًا للغاية، أو مكلفًا، أو بطيئًا جدًا ليتم محاكاته؟ ماذا لو لم تتمكن من بناء لعبة فيديو مثالية لمحطة معالجة مياه لأن الفيزياء فيها فوضوية للغاية؟

هنا يأتي دور حيلة ذكية تسمى "نماذج المعايرة" (Calibration Models). فبدلاً من بناء عالم زائف من الصفر، تعمل هذه النماذج مثل مرآة تسافر عبر الزمن. فهي تنظر إلى مكتبة ضخمة من التسجيلات القديمة (البيانات غير المتصلة بالإنترنت/Offline Data) من النظام الحقيقي وتحاول التنبؤ بما سيحدث بعد ذلك إذا اتخذ الروبوت إجراءً معينًا. الهدف ليس أن تكون كرة بلورية مثالية تتنبأ بالمستقبل بدقة 100%؛ الهدف هو فقط أن تكون حكماً جيداً بما يكفي. إذا استطاع النموذج إخبارك بأي إعدادات للروبوت هي الأفضل في "عالم المرآة" الخاص به، فإن تلك الإعدادات نفسها يجب أن تعمل بشكل جيد عندما ترسل الروبوت أخيراً إلى العالم الحقيقي الفوضوي.

الورقة البحثية: مرآة لمحطات المياه

في هذه الورقة البحثية، قرر فريق من الباحثين اختبار فكرة "المرآة" هذه في العالم الحقيقي لأول مرة. لم يستخدموا لعبة فيديو بسيطة؛ بل ذهبوا إلى محطة بلدية لمعالجة المياه في درايتون فالي، ألبرتا. هذا المكان عبارة عن مزيج فوضوي من بيانات المستشعرات عالية الأبعاد، وتغيرات الطقس، والضجيج المستمر. أراد الباحثون معرفة ما إذا كان بإمكانهم استخدام "نموذج معايرة" للمساعدة في اختيار أفضل الإعدادات لوكيل ذكاء اصطناعي يتنبأ بما ستفعله مستشعرات المحطة لاحقاً.

التحدي: لعبة "التنبؤ بالخطوة التالية" (Nexting)
لم تكن المهمة هي التحكم في المياه (مثل فتح وإغلاق الصمامات). بدلاً من ذلك، كان على الذكاء الاصطناعي لعب لعبة تنبؤ تسمى "nexting". تخيل أنك تراقب ارتفاع مستوى نهر. مهمة الذكاء الاصطناعي هي النظر إلى البيانات الحالية وتخمين المسار المستقبلي الكامل لمستوى ذلك النهر لفترة طويلة قادمة. الأمر يشبه محاولة تخمين حبكة فيلم بمجرد النظر إلى دقائق معدودة منه. يحتاج الذكاء الاصطناعي إلى القيام بذلك بشكل صحيح حتى يتمكن، إذا استُخدم في النهاية للتحكم في المحطة، من معرفة ما يمكن توقعه.

التجربة: بناء المرآة
بنى الفريق أربعة أنواع مختلفة من "المرايا" (النماذج) لمحاكاة سلوك محطة المياه باستخدام سجلات المستشعرات لمدة عام كامل.

نماذج الجيران الأقرب (KNN): هؤلاء يشبهون أمين مكتبة يبحث عن الأيام الأكثر تشابهاً في الماضي في كتب التاريخ. إذا كان المصنع يتصرف بغرابة الآن، يبحث النموذج عن أيام في الماضي بدت تماماً مثل هذا الوقت ويقول: "حسناً، في تلك الأيام، ارتفع الضغط بهذا الشكل". لقد جربوا نسختين: إحداهما تعتمد فقط على الأرقام الخام (Euclidean)، والأخرى تنظر إلى البنية الأعمق للبيانات (Laplacian).
الشبكات العصبية: هذه هي عقول الذكاء الاصطناعي المعقدة والمعيارية (شبكة عصبية أمامية Feedforward NN ووحدة متكرنة بوابة GRU) التي تحاول تعلم قواعد محطة المياه من الصفر.

قاموا باختبار هذه النماذج عبر دفعها للأمام في الزمن لـ 30,000 خطوة (وقت طويل بالسنوات الحاسوبية) لمعرفة ما إذا كان بإمكانها توليد قراءات مستشعرات واقعية دون أن تنهار.

ماذا وجدوا؟
كانت النتائج مزيجاً من "واعد" و"الأمر معقد".

فاز أمناء مكتبة الـ KNN بالسباق الطويل: بدأت الشبكات العصبية (عقول الذكاء الاصطناعي المعقدة) في الانهيار وإعطاء إجابات غير منطقية بعد حوالي 50 إلى 100 خطوة. لم تستطع التعامل مع التنبؤ طويل المدى. ومع ذلك، كانت نماذج KNN، وخاصة نسخة Laplacian، أكثر استقراراً. استطاعت توليد مسارات طويلة تبدو واقعية وتشبه إلى حد كبير بيانات المستشعرات الحقيقية.
المرآة نجحت في الضبط: الاختبار الأهم كان ما إذا كانت المرآة ستساعد في اختيار "معدل التعلم" (Learning Rate) الصحيح (مدى سرعة تعلم الذكاء الاصطناعي). وجد الباحثون أن نماذج KNN استطاعت بنجاح تحديد معدلات التعلم الجيدة والسيئة، مما يطابق الاتجاهات المشاهدة في البيانات الحقيقية. وهذا يشير إلى أنه حتى لو لم يكن النموذج مثالياً، فهو جيد بما يكفي لإخبارك بالإعدادات التي يجب استخدامها.
سؤال "البيانات الضخمة": اختبروا أيضاً ما إذا كان استخدام عام كامل من البيانات (3.2 مليون عينة) بدلاً من أسبوع واحد سيجعل النموذج أفضل. كانت النتائج مختلطة. استطاع النموذج الكبير التقاط مجموعة أوسع من أحداث الطقس الغريبة، لكنه لم يتفوق باستمرار على النموذج الأصغر في كل اختبار. هذا يشير إلى أن امتلاك المزيد من البيانات يساعد، لكنه ليس عصا سحرية.
مشكلة "السفر عبر الزمن": حاول الباحثون معرفة ما إذا كان النموذج يمكنه التعامل مع "انزياح التوزيع" (Distribution Shift) — أي ماذا يحدث إذا تغيرت المحطة بسبب موسم جديد أو مستشعر معطل؟ وجدوا أن النموذج يعاني من أجل محاكاة مستقبل مختلف تماماً عن بيانات التدريب الخاصة به بشكل مثالي. وبينما استطاع محاكاة التغييرات العامة، لم يستطع التنبؤ بتغييرات محددة وفريدة بدقة دون مساعدة.

الخلاصة
تعتبر هذه الورقة البحثية بمثابة "إثبات مفهوم". فهي تظهر لأول مرة أنه يمكننا استخدام نماذج "المرآة" غير المتصلة بالإنترنت هذه في بيئة صناعية حقيقية وفوضوية للمساعدة في ضبط وكلاء الذكاء الاصطناعي. أثبت نهج KNN، الذي يعتمد على إيجاد لحظات ماضية متشابهة بدلاً من تعلم قواعد معقدة، أنه قوي بشكل مفاجئ للتنبؤات طويلة المدى.

ومع ذلك، فإن المؤلفين حذرون من تسمية هذه المشكلة كمسألة تم حلها. فهم يشيرون إلى أنه بينما يمكن لهذه النماذج الحفاظ على ترتيب الإعدادات الجيدة (إخبارك بأن "الخيار أ أفضل من الخيار ب")، إلا أنها لا تزال تواجه صعوبة في محاكة المستقبل بدقة إذا تغير العالم بطرق غير متوقعة. إنها خطوة صلبة للأمام، تظهر أنه يمكننا استخدام البيانات القديمة لإعداد الذكاء الاصطناعي للعالم الحقيقي، ولكن لا يزال هناك عمل يتعين القيام به لجعل هذه المرايا تعكس كل مستقبل ممكن بدقة.

ملخص تقني: نماذج الديناميكيات لاختيار المعلمات الفائقة (Hyperparameters) في التعلم التعزيزي خارج الإنترنت (Offline) في العالم الحقيقي

بيان المشكلة

غالباً ما يعوق نشر التعلم التعزيزي (RL) في الأنظمة الصناعية في العالم الحقيقي صعوبة اختيار المعلمات الفائقة (hyperparameters). تواجه الأساليب القياسية قيوداً كبيرة: فالمعلمات الفائقة الافتراضية نادراً ما تتوافق مع ديناميكيات النظام المحددة؛ والضبط القائم على المحاكاة يتطلب نماذج دقيقة غالباً ما تكون غير متوفرة؛ كما أن الضبط المباشر عبر الإنترنت (online) يكون غير ممكن في كثير من الأحيان بسبب التكلفة العالية، أو المخاطر، أو كثافة الوقت المطلوبة للتفاعلات في العالم الحقيقي.

بينما تم اقتراح "نماذج المعايرة" (calibration models) — وهي نماذج ديناميكيات يتم تدريبها على بيانات خارج الإنترنت لتكون بمثابة بيئات بديلة لاختيار المعلمات الفائقة (Wang et al., 2022) — إلا أنه تم تقييمها سابقاً فقط في نطاقات محاكاة بسيطة. ولا يزال من غير الواضح ما إذا كانت هذه النماذج قادرة على تقريب الديناميكيات المعقدة وغير المستقرة في العالم الحقيقي بفعالية للحفاظ على الترتيب النسبي لتكوينات المعلمات الفائقة. تعالج هذه الورقة الفجوة بين نماذج المعايرة النظرية وتطبيقها في بيئة صناعية حقيقية.

المنهجية

الإطار العملي: Data2Online

تستخدم الدراسة إطار عمل "Data2Online" (Wang et al., 2022). في هذا الإعداد، يتم تدريب نموذج معايرة $\hat{p}$ على سجلات خارج الإنترنت لتقريب ديناميكيات البيئة الحقيقية $p$ . لا يُستخدم النموذج لتحسين سياسة (policy) بشكل مباشر، بل يعمل كبيئة تقييم لاختيار المعلمات الفائقة ( $\lambda$ ) لوكيل سيتعلم لاحقاً عبر الإنترنت. الهدف هو ضمان أن المعلمات الفائقة المثلى التي يتم إيجادها في النموذج ( $\lambda^*_{model}$ ) تطابق تلك الموجودة في البيئة الحقيقية ( $\lambda^*_{env}$ ).

المهمة: التنبؤ بالقيم المستقبلية (Nexting Prediction)

المهمة المحددة التي تم تقييمها هي التنبؤ بالقيم المستقبلية (nexting prediction)، وهي مشكلة دالة القيمة العامة (GVF) (Modayil et al., 2012). بدلاً من التحكم في المنشأة، يقوم وكيل سلبي بالتنبؤ بمجموع القيم المستقبلية المخصومة لإشارات استشعار محددة (cumulants). يتم قياس الأداء بواسطة جذر متوسط مربع الخطأ (RMSE) بين القيم المتوقعة والعوائد التجريبية لأسلوب مونت كارلو، بدلاً من عائد التحكم.

بنيات نماذج المعايرة

يقيم المؤلفون عدة بنيات للنماذج:

الجار الأقرب (k-Nearest Neighbors - kNN): نهج غير معلمي يتجنب الاستقراء من خلال التنبؤ بالحالات والمكافآت التالية باستخدام الانتقالات الموجودة داخل مجموعة البيانات فقط. تم اختبار متغيرين:
- Euclidean kNN: يستخدم المسافة بين الحالة والفعل الخام.
- Laplacian kNN: يستخدم تمثيلاً لابتلاس (Laplacian) تقريبياً (Wu et al., 2018) لبناء مقياس مسافة حساس لبنية عملية ماركوف لاتخاذ القرار (MDP) الأساسية.
- التجميع (Ensembling): لمعالجة عدم اليقين المعرفي (epistemic uncertainty)، تم استخدام تجميع من نوع "Leave-One-Block-Out" (LOBO) لخمسة نماذج kNN. يتم تجميع الأداء عن طريق أخذ أسوأ تصنيف عبر النماذج لتوفير تقدير محافظ.
النماذج المرجعية المعلمية (Parametric Baselines): شبكة عصبية أمامية (Feedforward NN) ووحدة متكررة بوابية (GRU) تم تدريبهما لتقليل خسارة التنبؤ بالحالة التالية لخطوة واحدة.

مقاييس التقييم

جودة التدفق (Rollout Quality): مقارنة بصرية نوعية للمسارات طويلة الأمد (30 ألف خطوة) مقابل البيانات الحقيقية.
حساسية المعلمات الفائقة: مقارنة منحنيات حساسية معدل التعلم (NRMSE مقابل معدل التعلم) بين نموذج المعايرة وإعداد "الإنترنت" (البيانات المحجوبة التي تمت إعادة تشغيلها).
تحويل الزمن الديناميكي (Dynamic Time Warping - DTW): يُستخدم لقياس التشابه بين المسارات المولدة من النموذج والمسارات الحقيقية، مع مراعاة الاختلافات في السرعة، أو التوقيت، أو الطور.

الإعداد التجريبي

تطبق الدراسة هذه الأساليب على محطة معالجة مياه بلدية (WTP) في درايتون فالي، ألبرتا.

مجموعة البيانات: سجلات مستشعرات لأكثر من عامين (2022–2024) بتردد 1 هرتز، تم اختزالها إلى متجه ميزات مكون من 142 بُعداً.
المستشعرات: تم اختيار ثلاثة مستشعرات حرجة: ضغط الغشاء (PIT300)، ودرجة حرارة المدخل (TIT101)، وعكارة المدخل (TUIT101).
السيناريوهات:
1. القياسي (Standard): التدريب على شريحة لمدة أسبوع واحد (~350 ألف انتقال).
2. التوسع (Scaling): التدريب على سنة كاملة من البيانات (~3.2 مليون عينة بعد خفض العينات).
3. الضبط الدقيق (Fine-Tuning): تدريب مسبق لوكيل على 6 أشهر من البيانات واستخدام النموذج لاختيار معدلات التعلم للضبط الدقيق.
4. انزياح التوزيع (Distribution Shift): الاختبار على بيانات من أبريل، مايو، ويوليو 2023 لتقييم التعميم للتغيرات الموسمية وانزياح المستشعرات.

النتائج الرئيسية

1. التطبيق في العالم الحقيقي وجودة التدفق

تفوق kNN: نجحت نماذج kNN (سواء Euclidean أو Laplacian) في توليد تدفقات واقعية طويلة الأمد للمستشعر PIT300، حيث تشبه البيانات الحقيقية عن قرب. في المقابل، مالت النماذج المعلمية (NN و GRU) إلى الانهيار بعد 50-100 خطوة زمنية.
Laplacian مقابل Euclidean: أظهر Laplacian kNN محاذاة إجمالية أقرب لـ PIT300، رغم أن Euclidean kNN كان أكثر محاذاة مع منحنيات "الإنترنت" لـ TIT101 و TUIT101. يشير هذا إلى أن تمثيل Laplacian قد يتطلب ضبطاً خاصاً بديناميكيات المستشعر.

2. حساسية المعلمات الفائقة

الحفاظ على الترتيب: استعادت كلا نموذجي kNN ترتيب المعلمات الفائقة الصحيح (حساسية معدل التعلم) مقارنة بإعداد "الإنترنت".
فشل النماذج المعلمية: فشلت نماذج NN و GRU في الحفاظ على حساسية المعلمات الفائقة، وهو ما يتوافق مع جودة التدفق الضعيفة لديها.
الاستنتاج: يمكن لنماذج المعايرة دعم الاختيار خارج الإنترنت لمعدلات التعلم لوكلاء التنبؤ TD(0).

3. التوسع وانزياح التوزيع

حجم البيانات: سمح توسيع نموذج kNN إلى مجموعة بيانات لمدة عام (12-month kNN) بالتقاط نطاق أوسع من الديناميكيات مقارنة بنموذج الأسبوع الواحد. ومع ذلك، كانت النتائج الكمية باستخدام DTW مختلطة؛ حيث حقق نموذج الـ 12 شهراً أفضل أداء في TIT101، بينما كان نموذج الأسبوع الواحد أفضل في TUIT101.
الضبط الدقيق: في سيناريو الضبط الدقيق، كان نموذج 6-month kNN قادراً على عكس انزياح توزيع عام، مما أظهر أن أداء أصغر معدلات التعلم يتدهور كلما ابتعدت فترة النشر عن فترة التدريب، مما يشير إلى الحاجة لمزيد من التكيف. ومع ذلك، واجه النموذج صعوبة في التقاط الانزياحات المحددة، حيث أظهر عدم تطابق مع منحنيات حساسية "الإنترنت" لفترات النشر اللاحقة.
اختيار حالة البداية: أظهرت استراتيجيات اختيار حالات بدء التدفق (مثل اختيار أقرب الجيران من فترة النشر) فائدة محدودة مقارنة بالاختيار العشوائي في هذا الإعداد المحدد، مما يشير إلى أن اختيار حالة البداية المستهدف وحده ليس كافياً لمحاكاة انزياحات التوزيع التعسفية بالكامل.

الأهمية والادعاءات

تقدم هذه الورقة أول تطبيق لنماذج المعايرة للاختيار خارج الإنترنت للمعلمات الفائقة في بيئة صناعية حقيقية. تكمن أهميتها الأساسية في تقديم إثبات مفهوم بأن نماذج الديناميكيات خارج الإنترنت يمكن أن تدعم نشر التعلم التعزيزي في البيئات التي لا تتوفر فيها محاكيات أو تكون فيها التجارب عبر الإنترنت مكلفة.

يدعي المؤلفون بتواضع أنه بينما تثبت نتائجهم جدوى استخدام نماذج المعايرة لتوليد تدفقات واقعية واستعادة اتجاهات المعلمات الفائقة ذات المعنى، إلا أن هناك تحديات عملية كبيرة لا تزال قائمة. وتحديداً، تسلط الورقة الضوء على الأسئلة المفتوحة المتعلقة بـ:

الظروف التي تفشل فيها النماذج عند الاستقراء.
كيفية محاكاة انزياحات التوزيع المرتبطة بفترات نشر مستهدفة محددة بفعالية.
ضرورة دقة التنبؤ مقابل الحفاظ على ترتيب المعلمات الفائقة.
تطوير مقاييس أكثر إفادة من DTW لتقييم جودة التدفق طويل الأمد.

يعمل هذا العمل على سد الفجوة بين أبحاث نماذج المعايرة المحاكاتية وبين النشر في العالم الحقيقي، مؤكداً أنه بينما يعد النهج واعداً، فإن المزيد من البحث مطلوب لمعالجة قابلية التوسع وعدم الاستقرار في الأنظمة الصناعية المعقدة.