🤖 machine learning

Best Policy Learning from Trajectory Preference Feedback

تقدم هذه الورقة خوارزمية "أخذ العينات اللاحقة لتعلم التفضيلات" (PSPL)، وهي خوارزمية مبتكرة تجمع بين بيانات التفضيل غير المتصلة بالإنترنت والاستكشاف الصرف المتصل بالإنترنت لتحقيق أول ضمانات للندم البسيط البايزي لتحديد السياسة الأفضل في تعلم التعزيز القائم على التفضيل، مما يظهر أداءً فائقًا على القواعد المرجعية الحالية في مختلف الاختبارات المعيارية.

المؤلفون الأصليون: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية قيادة سيارة، لكن ليس لديك دليل تعليمات، ولا يمكنك سؤال الروبوت "ما هي المكافأة لهذا الإجراء؟" لأن الروبوت لا يفهم الأرقام. بدلاً من ذلك، عليك أن تتصرف كأب؛ تراقب الروبوت وهو يقود مسارين مختلفين، وتقول ببساطة: "لقد أعجبني المسار (أ) أكثر من المسار (ب)".

هذا هو التحدي الجوهري لـ التعلم المعزز من التغذية الراجعة البشرية (RLHF)، وهي تقنية تُستخدم لتدريب نماذج الذكاء الاصطناي (مثل روبوتات الدردشة أو مولدات الصور) لتتصرف بالطريقة التي يريدها البشر.

إليك تحليل بسيط لقصة الورقة البحثية، باستخدام تشبيهات من الحياة اليومية.

1. المشكلة: "المعلم السيئ" و"الخريطة المكسورة"

يعتمد تدريب الذكاء الاصطناعي حالياً في كثير من الأحيان على عملية مكونة من خطوتين، وهي عرضة للأخطاء:

نموذج المكافأة: أولاً، يحاول البشر كتابة "بطاقة تقييم" (صيغة رياضية) تتنبأ بمدى إعجاب الإنسان بمخرج معين.
التحسين (Optimization): يحاول الذكاء الاصطناعي تعظيم هذه الدرجة.

الفخ: البشر سيئون في كتابة بطاقات تقييم مثالية. أحياناً يجد الذكاء الاصطناعي ثغرة للحصول على درجة عالية دون أن يكون مفيداً حقاً (وهذا ما يسمى "اختراق المكافأة" أو reward hacking). أيضاً، البيانات المستخدمة لبناء بطاقة التقييم تلك غالباً ما تأتي من مجموعة معينة من الناس أو من وقت محدد، مما يجعلها منحازة. إذا لم يكن "المعلم" (المقيم البشري) خبيراً، فسوف يتعلم الذكاء الاصطناعي عادات سيئة.

2. الحل: "أخذ العينات اللاحقة لتعلم التفضيلات" (PSPL)

يقترح المؤلفون طريقة أذكى للتعلم تسمى PSPL. بدلاً من محاولة بناء بطاقة تقييم مثالية أولاً، يتركون الذكاء الاصطناعي يتعلم مباشرة من مقارنات "أ مقابل ب"، مع الاحتفاظ بـ "خريطة ذهنية" لما يعرفونه وما لا يعرفونه.

فكر في PSPL كـ محقق يمتلك كرة بلورية:

الأدلة غير المتصلة (ملفات القضايا القديمة): قبل أن يبدأ المحقق في التحقيق، يُعطى صندوقاً من ملفات القضايا القديمة (مجموعة بيانات غير متصلة/offline dataset). تحتوي هذه الملفات على مقارنات سابقة (على سبيل المثال: "في عام 2023، فضل الناس هذا المسار").
- التحول: المحقق يعرف أن هذه الملفات قد تكون من محقق "متواضع الكفاءة" (مقيم ذو كفاءة منخفضة). ربما كان المحقق القديم متعباً أو لا يعرف المدينة جيداً.
التحقيق الميداني (الدورية الجديدة): يخرج المحقق إلى الشارع لجمع أدلة جديدة. يجرب مسارين مختلفين، ويسأل مجموعة جديدة من الناس أيهما أفضل، ويقوم بتحديث خريطته.
الكرة البلورية (أخذ العينات اللاحقة - Posterior Sampling): المحقق لا يكتفي بمجرد تخمين "أفضل مسار" واحد. بدلاً من ذلك، يتخيل نسختين مختلفتين من الواقع في آن واحد.
- الواقع (أ): "ماذا لو كانت الملفات القديمة صحيحة في معظمها، والمدينة آمنة في الغالب؟"
- الواقع (ب): "ماذا لو كانت الملفات القديمة خاطئة، والمدينة في الواقع خطيرة؟"
- يحاول المحقق قيادة مسار يعمل بشكل جيد في كلا الواقعين. هذا يجبره على استكشاف المناطق التي لا يملك يقيناً بشأنها، بدلاً من مجرد الالتزام بما يعتقد أنه يعرفه.

3. السر الخفي: معرفة مدى "كفاءة" المُقيّم

تقدم الورقة البحثية مفهوماً ذكياً يسمى كفاءة المُقيّم (Rater Competence).

تخيل أنك تتعلم الطبخ.

السيناريو (أ): تحصل على ملاحظات من طاهٍ حائز على نجمة ميشلان. رأيه يعتبر ذهباً.
السيناريو (ب): تحصل على ملاحظات من طفل صغير يحب فقط الطعام الحار.

خوارزمية PSPL ذكية بما يكفي لتسأل: "إلى أي مدى يجب أن أثق في هذه التغذية الراجعة؟"

إذا كان المُقيّم خبيراً (كفاءة عالية)، فإن الذكاء الاصطناعي يعتمد بشدة على ملاحظاته.
إذا كان المُقيّم جاهلاً (كفاءة منخفضة)، فإن الذكاء الاصطناعي يعامل ملاحظاته كـ "ضجيج" ويعتمد أكثر على استكشافه الخاص.

تثبت الورقة البحثية رياضياً أنه حتى لو كانت البيانات غير المتصلة قادمة من مُقيّم "متوسط"، يمكن للذكاء الاصطناعي أن يتعلم السياسة الأفضل (أفضل مسار) من خلال الجمع بين تلك البيانات غير المثالية والاستكشاف الذكي عبر الإنترنت.

4. النسخة "المُدبّرة" (Bootstrapped) (لجعلها عملية)

النسخة المثالية من هذه الخوارزمية (PSPL) جميلة رياضياً ولكنها ثقيلة حسابياً — مثل محاولة حل مكعب روبيك بينما تقوم بالتلاعب بسلاسل حديدية.

لجعلها قابلة للاستخدام في العالم الحقيقي، ابتكر المؤلفون نسخة Bootstrapped PSPL.

التشبيه: بدلاً من حل مكعب روبيك بشكل مثالي، يأخذون لقطة سريعة للحالة الراهنة، يهزون المكعب قليلاً (بإضافة ضوضاء عشوائية)، ثم يحلون هذه النسخة المختلفة قليلاً. يفعلون ذلك عدة مرات.
النتيجة: هذا يخلق تقريباً "جيد بما يكفي" يعمل بسرعة على أجهزة الكمبيوتر ولكنه لا يزال يحتفظ بسحر استكشاف المجهول.

5. النتائج: هل نجح الأمر؟

اختبر المؤلفون هذا على:

ألعاب الفيديو: مثل Mountain Car (سيارة تصعد تلة) و RiverSwim (سمكة تحاول السباحة عكس التيار).
توليد الصور: تعليم الذكاء الاصطناعي توليد صور أفضل بناءً على تفضيلات البشر (باستخدام مجموعة بيانات "Pick-a-Pic").

النتيجة:
في كل اختبار، وجدت PSPL "السياسة الأفضل" (أفضل طريقة للقيادة، أو السباحة، أو توليد الصور) بشكل أسرع وبأخطاء أقل من الطرق الموجودة. لقد كانت بارعة بشكل خاص في التعامل مع المواقف التي كانت فيها البيانات الأولية منحازة أو عندما لم يكن المقيمون البشريون خبراء مثاليين.

ملخص

تتعلق هذه الورقة البحثية بتعليم الذكاء الاصطناعي التعلم من المقارنات ("أنا أفضل أ من ب") بدلاً من الدرجات. إنها تحل مشكلة "البيانات السيئة" باستخدام خدعة إحصائية ذكية (أخذ عينات من واقعين مختلفين) لمعرفة مدى الثقة في البيانات. الأمر يشبه امتلاك طالب يمكنه التعلم من كتاب مدرسي معيب ومن معلم واقعي في آن واحد، مع معرفة مقدار الاستماع لكل منهما، ليصبح الخبير النهائي.

إليك ملخص تقني مفصل لورقة البحث "Best Policy Learning from Trajectory Preference Feedback" من قبل Agnihotri وآخرون.

1. بيان المشكلة

تتناول الورقة مشكلة تحديد السياسة الأفضل (Best Policy Identification - BPI) ضمن إطار التعلم المعزز القائم على التفضيلات (Preference-based Reinforcement Learning - PbRL)، وتحديداً في الإعدادات التي يجب فيها على العميل التعلم من مزيج من بيانات التفضيلات غير المتصلة بالإنترنت (offline preference datasets) والاستكشاف الصافي عبر الإنترنت (online pure exploration).

السياق: يعتمد التعلم المعزز القياسي من التغذية الراجعة البشرية (RLHF) على تعلم نموذج مكافأة قياسي من التعليقات البشرية، وهو أمر عرضة للخطأ في التوصيف (misspecification) واختراق المكافأة (reward hacking). يوفر PbRL بديلاً قوياً باستخدام مقارنات ثنائية للمسارات (على سبيل المثال، "المسار أ أفضل من ب").
التحدي: في الممارسة العملية، غالباً ما يبدأ PbRL بمجموعة بيانات غير متصلة بالإنترنت من تفضيلات المسارات التي جمعها "مُقيّم" (بشري أو آلي) قد يكون لديه كفاءة دون المستوى المطلوب (ضوضاء، تحيز، أو خارج نطاق التوزيع). الهدف هو الاستفادة من هذه البيانات غير المثالية لـ "بدء تشغيل دافئ" (warm-start) لخوارزمية تعلم عبر الإنترنت تقوم بـ استكشاف صافٍ (التركيز على إيجاد السياسة المثلى بدلاً من تعظيم المكافأة التراكمية أثناء التعلم) لتحديد السياسة الأفضل بأقل قدر من الندم البسيط (simple regret).
الهدف: بالنظر إلى عملية ماركوف لاتخاذ القرار (MDP) مجهولة مع ديناميكيات انتقال ومكافآت غير معروفة، ومجموعة بيانات غير متصلة بالإنترنت من أزواج المسارات مع تفضيلات ثنائية، صمم خوارزمية تقلل من الندم البسيط البايزي بعد $K$ من حلقات العمل عبر الإنترنت.

2. المنهجية: أخذ العينات من اللاحقة للتفضيلات (Posterior Sampling for Preference Learning - PSPL)

يقترح المؤلفون خوارزمية PSPL، وهي خوارزمية مبتكرة مستوحاة من Top-Two Thompson Sampling. وبخلاف خطوط أنابيب RLHF القياسية التي تدرب نموذج مكافأة منفصل، تحافظ PSPL على نماذج لاحقة (posteriors) لكل من نموذج المكافأة وديناميكيات الانتقال.

أ. الإطار النظري

النمذجة:
- MDP: معرف كـ $M = (P_\eta, S, A, H, r_\theta, \rho)$ ، حيث $\eta$ ترمز للانتقالات و $\theta$ ترمز للمكافأة.
- نموذج التفضيل: يستخدم نموذج برادلي-تيلي (Bradley-Terry model) حيث يعتمد احتمال تفضيل مسار $\tau_1$ $τ_{1}$ على $\tau_0$ $τ_{0}$ على معاملات "كفاءة" المُقيّم $(\lambda, \beta)$ $(λ, β)$ .
  - $\beta$ : الإصرار/اليقين لدى المُقيّم (كلما زاد $\beta$ قل الضجيج العشوائي).
  - $\lambda$ : مدى معرفة المُقيّم بمتجه المكافأة الحقيقي $\theta$ (كلما زاد $\lambda$ كان تقدير المُقيّم $\vartheta$ أقرب إلى $\theta$ ).
- تضمين المسار (Trajectory Embedding): يتم رسم خرائط للمسارات إلى فضاء الميزات عبر $\phi(\tau)$ .
النماذج الأولية المستنيرة (Informed Priors):
- تبني الخوارزمية نماذج أولية مستنيرة لـ $\theta$ و $\eta$ من خلال التكييف مع مجموعة البيانات غير المتصلة بالإنترنت $D_0$ .
- يتضمن النموذج الأولي لـ $\theta$ احتمالية التفضيلات المرصودة بناءً على نموذج كفاءة المُقيّم.
- يتضمن النموذج الأولي لـ $\eta$ عدد عمليات الانتقال المرصودة في المسارات غير المتصلة بالإنترنت.
خطوات الخوارزمية (الخوارزمية 1):
- التهيئة: إنشاء نماذج أولية مستنيرة $\nu_1(\theta)$ و $\chi_1(\eta)$ من $D_0$ .
- الحلقة (لكل $k=1 \dots K$ ):
  1. أخذ العينات: سحب عينتين مستقلتين من المعلمات $(\hat{\theta}^{(0)}, \hat{\eta}^{(0)})$ و $(\hat{\theta}^{(1)}, \hat{\eta}^{(1)})$ من النماذج اللاحقة الحالية.
  2. حساب السياسات: اشتقاق سياسات $\pi^{(0)}$ و $\pi^{(1)}$ بناءً على هذه المعلمات المسحوبة (باستخدام تكرار القيمة أو البرمجة الخطية).
  3. الاستكشاف: تنفيذ كلتا السياستين لإنشاء مسارين $\tau^{(0)}$ و $\tau^{(1)}$ .
  4. التغذية الراجعة: استعلام المُقيّم عن تفضيل ثنائي $Y_k$ بين المسارين.
  5. التحديث: إضافة البيانات الجديدة إلى مجموعة البيانات وتحديث النماذج اللاحقة $\nu_{k+1}(\theta)$ و $\chi_{k+1}(\eta)$ .
- المخرج: إرجاع السياسة المشتقة من تقدير الحد الأقصى للاستدلال البايزي (MAP) بعد $K$ من الحلقات.

ب. التقريب العملي: Bootstrapped PSPL

بما أن تحديثات اللاحقة الدقيقة غير قابلة للحساب بسبب فقدان الترافق (conjugacy) في احتمالية برادلي-تيلي، يقدم المؤلفون Bootstrapped PSPL (الخوارزمية 2).

التقنية: يستخدم Bootstrap بايزي (Bayesian Bootstrapping) لتقريب عينات اللاحقة.
الآلية: بدلاً من حل اللاحقة تحليلياً، تقوم الخوارزمية بإدخال اضطراب على دالة الخسارة البديلة (المكونة من خسارة عبر الإنترنت، وخسارة غير متصلة بالإنترنت، وخسرة أولية) باستخدام أوزان عشوائية (Bernoulli للبيانات، و Gaussian للنماذج الأولية).
التحسين: حل الخسارة المضطربة لإيجاد تقدير نقطي (MAP)، والذي يعمل كعينة من توزيع اللاحقة التقريبي. يسمح هذا للخوارزمية بأن تكون قابلة للتنفيذ حسابياً للمشكلات عالية الأبعاد مثل توليد الصور.

3. المساهمات الرئيسية

أول إطار عمل لـ BPI في PbRL مع البيانات غير المتصلة بالإنترنت: تضع الورقة أول إطار رسمي لتحديد السياسة الأفضل في MDPs غير المعروفة باستخدام مزيج من تفضيلات المسارات غير المتصلة بالإنترنت والاستكشاف الصافي عبر الإنترنت.
الضمانات النظرية:
- توفر أول حدود للندم البسيط البايزي لـ PbRL.
- تشتق حداً للندم يعتمد صراحة على حجم مجموعة البيانات غير المتصلة بالإنترنت ( $N$ ) وكفاءة المُقيّم ( $\lambda, \beta$ ).
- توضح أنه عندما تؤول $N \to \infty$ ويقترب المُقيّم من كونه خبيراً ( $\lambda, \beta \to \infty$ )، فإن الندم البسيط يتقارب إلى الصفر بسرعة أسية.
الابتكار الخوارزمي: تقدم PSPL وتقريبها عبر Bootstrap، مما يدمج بفعالية جودة البيانات غير المتصلة بالإنترنت (كفاءة المُقيّم) في استراتيجية الاستكشاف عبر الإنترنت.
التحقق التجريبي: تُظهر أداءً متفوقاً على النماذج المرجعية (Baselines) مثل DPO و IPO و LPbRL و DPS في مهام التحكم والمهام التوليدية المعقدة.

4. النتائج التجريبية

قيم المؤلفون Bootstrapped PSPL على نوعين من الاختبارات المرجعية:

بيئات التحكم (MountainCar, RiverSwim):
- المقارنة: تمت مقارنة PSPL بكل من LPbRL و DPS.
- النتائج:
  - حققت PSPL باستمرار ندماً بسيطاً أقل من النماذج المرجعية.
  - كفاءة المُقيّم: تحسن الأداء بشكل ملحوظ مع زيادة كفاءة المُقيّم ( $\lambda, \beta$ ).
  - حجم البيانات غير المتصلة بالإنترنت: أدى زيادة حجم مجموعة البيانات غير المتصلة بالإنترنت ( $N$ ) إلى تقليل الندم، حتى مع وجود خبير "متوسط".
  - المتانة: ظلت الخوارزمية متينة حتى عند الخطأ في توصيف معاملات كفاءة المُقيّم المفترضة.
توليد الصور (مجموعة بيانات Pick-a-Pic):
- الإعداد: تم تطبيقها على توليد الصور من النص (نماذج الانتشار/Diffusion Models) باستخدام مجموعة بيانات Pick-a-Pic (أكثر من 500 ألف تفضيل بشري).
- الطريقة: تم التعامل مع سلسلة إزالة الضوضاء (denoising chain) كمسار. تم استخدام مجموعة من نماذج المكافأة الآلية (ImageReward, Aesthetic) لتقييم الأداء النهائي.
- النتائج: تفوقت PSPL على DPS في توليد صور ذات مكافآت نهائية أعلى. تعامل نهج Bootstrap بنجاح مع فضاء الحالة عالي الأبعاد لنماذج الانتشار حيث يستحيل أخذ عينات اللاحقة الدقيقة.

5. الأهمية والأثر

الربط بين التعلم غير المتصل بالإنترنت والتعلم عبر الإنترنت: تحل الورقة فجوة حرجة في RLHF من خلال توفير طريقة منهجية لاستخدام مجموعات بيانات التفضيلات غير المتصلة بالإنترنت الكبيرة، والتي قد تكون ضوضائية، لتمهيد الطريق (bootstrap) للتعلم عبر الإنترنت، بدلاً من معاملتها كبيانات ثابتة لتدريب نموذج مكافأة.
التركيز على الندم البسيط: من خلال استهداف الندم البسيط (إيجاد السياسة الأفضل) بدلاً من الندم التراكمي، يتماشى هذا العمل بشكل وثيق مع أهداف RLHF في العالم الحقيقي حيث يهم أداء النموذج النهائي أكثر من تكلفة الاستكشاف المتوسطة.
التعامل مع التغذية الراجعة غير المثالية: يسمح النمذجة الصريحة لكفاءة المُقيّم ( $\lambda, \beta$ ) للخوارزمية بوزن البيانات غير المتصلة بالإنترنت بشكل مناسب، مما يجعلها متينة تجاه التغذية الراجعة البشرية المتحيزة أو منخفضة الجودة، وهي مشكلة شائعة في المحاذاة (alignment) واسعة النطاق.
القابلية للتوسع: يجعل التقريب عبر Bootstrap النهج البايزي السليم نظرياً قابلاً للتطبيق على مهام الذكاء الاصماعي التوليدي الحديثة (مثل نماذج الانتشار)، متجاوزاً مجرد إعدادات Bandit الجدولية أو الخطية البسيطة.

باختصار، يوفر هذا العمل أساساً نظرياً وعملياً رصيناً لـ تعلم التفضيلات الهجين (غير المتصل بالإنترنت وعبر الإنترنت)، موضحاً أن دمج البيانات غير المتصلة بالإنترنت مع كفاءة المُقيّم المعروفة (أو المقدرة) يسرع بشكل كبير من تحديد السياسات المثلى في البيئات المعقدة وغير المعروفة.