🤖 machine learning

Leveraging Human Feedback for Semantically-Relevant Skill Discovery

تقدم الورقة البحثية "اكتشاف المهارات ذات الصلة دلالياً" (SRSD)، وهو نهج يعتمد على وجود الإنسان في الحلقة لتحسين كفاءة وتنوع اكتشاف المهارات غير الخاضع للإشراف في التعلم التعزيزي، وذلك عبر استخدام التسميات الدلالية البشرية لتوجيه تعلم سلوكيات أكثر مغزىً وصلة.

المؤلفون الأصليون: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يلعب كرة القدم.

إذا قلت للروبوت فقط: "استكشف وقم بأشياء مثيرة للاهتمام"، فقد يقضي ثلاث ساعات في تعلم كيفية الدوران في دوائر أو تحريك أصابع قدميه. هذه سلوكيات "متنوعة"، لكنها عديمة الفائدة في كرة القدم.

أما إذا حاولت تعليمه باستخدام "التفضيلات" — بسؤال الإنسان: "هل أعجبك هذه الحركة أكثر من تلك؟" — فإن الإنسان سيصاب بالإرهاق. الأمر يشبه لعب لعبة "ساخن أو بارد" لمدة عشر ساعات متواصلة. سيستغرق الأمر وقتاً طويلاً جداً لاكتشاف أن "الركل" أفضل من "الدوران".

تقدم هذه الورقة البحثية طريقة أذكى لتعليم الروبوتات تسمى SRSD (اكتشاف المهارات ذات الصلة دلالياً).

الفكرة الجوهرية: اختصار "التسمية"

بدلاً من لعب لعبة "ساخن أو بارد"، يقترح الباحثون طريقة تسمى التوسيم الدلالي (Semantic Labeling).

فكر في الأمر على هذا النحو: تخيل أنك مدرب يراقب لاعباً. بدلاً من قول "أفضل" أو "أسوأ" باستمرار، تقوم ببساطة بالإشارة وإعطاء الأشياء أسماءً. ترى لاعباً يركض فتقول: "هذا ركض". ترى لاعباً يركل الكرة فتقول: "هذه ركلة مرمى". إذا بدأ في تنظيف أنفه، تقول فقط: "هذا أمر غير ذي صلة".

من خلال إعطاء هذه السلوكيات أسماء (دلالات)، يوفر الإنسان قدراً هائلاً من المعلومات بجهد ضئيل جداً. فالروبوت لا يتعلم فقط أن حركة واحدة "أفضل"؛ بل يتعلم مفهوم "الركض" مقابل "الركل".

كيف يعمل "عقل" نظام SRSD

بنى الباحثون نظاماً يعمل في ثلاث خطوات رئيسية:

المستكشف (مرحلة الطفل الصغير): أولاً، يُسمح للروبوت بالتصرف كطفل صغير. يتحرك بشكل عشوائي ليرى ما يمكن لجسده فعله (هذا هو الجزء "غير الخاضع للإشراف"). يكتشف أنه يستطيع القفز، والشقلبة، والزحف.
المعلم (مرحلة التوسيم): يتدخل الإنسان هنا. بدلاً من مقارنة حركتين، ينظر الإنسان إلى مقطع فيديو ويخصص له تسمية: "ركض"، "قفز"، أو "غير ذي صلة".
الطالب (مرحلة التعلم): يبني الروبوت "متنبئاً دلالياً" — وهو في الأساس قاموس ذهني. يبدأ في إدراك: "آه، عندما أحرك ساقي بهذه الطريقة، يسميها الإنسان 'ركض'. يجب أن أفعل المزيد من ذلك!".

لماذا يعد هذا أمراً مهماً؟ (تأثير "السكين السويسري")

أثبتت الورقة البحثية شيئين رئيسيين:

إنه أسرع بكثير: الطرق التقليدية تصبح "مرتبكة" كلما أضفت أنواعاً أكثر من المهارات. إذا كان لديك 16 رياضة مختلفة لتعلمها، فإن الروبوت القائم على التفضيلات سيضيع في الحسابات. لكن روبوت SRSD يظل فعالاً لأنه يتعلم مجرد قائمة من الأسماء.
إنه أكثر تنوعاً: لأن الروبوت يُكافأ على اكتشاف أسماء جديدة (فئات دلالية جديدة)، فإنه لا يتعلم فقط عشر طرق مختلفة للركض للأمام. بل يتعلم الركض، والقفز، والشقلبة، والتوازن. إنه يبني "سكين سويسري" من المهارات بدلاً من مجرد سكين واحد حاد ومخصص لغرض واحد.

الخلاصة

أظهر الباحثون أنه من خلال معاملة ردود فعل الإنسان كـ تسمية للأشياء بدلاً من ترتيبها، يمكننا تعليم الروبوتات مجموعة واسعة ومفيدة ومنظمة من المهارات بكفاءة أكبر بكثير. إننا ننتقل من الروبوتات التي هي "نشطة عشوائياً" إلى الروبوتات التي هي "قادرة دلالياً".

ملخص تقني: الاستفادة من التغذية الراجعة البشرية لاكتشاف المهارات ذات الصلة دلاليًا

1. بيان المشكلة

يهدف اكتشاف المهارات غير الخاضع للإشراف في التعلم المعزز (RL) إلى تحفيز الوكلاء على تعلم مجموعة متنوعة من السلوكيات دون وظائف مكافأة صريحة. ومع ذلك، تعاني الطرق التقليدية غير الخاضعة للإشراف غالبًا من عيبين رئيسيين:

عدم المواءمة: قد تكتشف هذه الطرق سلوكيات متنوعة ولكنها غير آمنة، أو غير أخلاقية، أو غير ذات صلة بالسياق (على سبيل المثال، وكيل في محاكاة كرة قدم يتعلم "النوم" بدلاً من "الركل").
عدم كفاءة التغذية الراجعة: بينما تحاول الأساليب الحديثة القائمة على "التفضيلات" مواءمة المهارات مع الرغبات البشرية، إلا أنها تعتمد على المقارنات الثنائية. ومع زيادة عدد أنواع المهارات المتميزة (مثل الجري، والقفز، والمشي)، يزداد عدد المقارنات المطلوبة للتمييز بينها بشكل أسي، مما يجعلها غير فعالة للغاية في البيئات المعقدة متعددة المهارات.

2. المنهجية

يقترح المؤلفون اكتشاف المهارات ذات الصلة دلاليًا (SRSD)، وهو إطار عمل يعتمد على تدخل الإنسان في الحلقة (human-in-the-loop) وينتقل من التغذية الراجعة القائمة على التفضيل إلى التصنيف الدلالي.

أ. التصنيف الدلالي (آلية التغذية الراجعة):
بدلاً من مقارنة مسارين، يتم عرض جزء من مسار على مراقب بشري ويُطلب منه:

تحديد ما إذا كان السلوك ذا صلة بالسياق.
إذا كان ذا صلة، يتم تصنيفه ضمن فئة دلالية محددة (مثل "الجري").
إذا لم يكن ذا صلة، يتم تمييزه كـ "غير ذي صلة".
أثبت المؤلفون رياضياً أن هذا النهج يتوسع بمعدل $O(1)$ بالنسبة لعدد الفئات الدلالية، بينما تتوسع التغذية الراجعة القائمة على التفضيل بمعدل $O(1/|C|)$ ، مما يجعل التصنيف الدلالي أكثر كفاءة بشكل كبير بالنسبة لمساحات المهارات الكبيرة.

ب. إطار عمل SRSD:
يعمل الإطار على تحسين وظيفة مكافأة متعددة الأهداف:
$r_{SRSD} = r_{exploration} + r_{diversity} + w_t \cdot r_{relevance}$

الاستكشاف والتنوع ( $r_{exp}, r_{div}$ ): يستخدم اكتشاف المهارات التبايني (CSD) وتقدير الإنتروبيا القائم على الجسيمات لضمان استكشاف الوكيل لمساحة الحالة وتعلم مهارات يمكن تمييزها.
الصلة ( $r_{rel}$ ): يقوم متنبئ دلالي متعلم ( $q_\psi$ ) بتقدير احتمال انتماء المسار إلى فئة دلالية مرغوبة. يتم تدريب هذا المتنبئ عبر فقدان الإنتروبيا المتقاطعة (cross-entropy loss) على الملصقات البشرية.
الوزن الديناميكي ( $w_t$ ): يتم إدخال مكافأة الصلة تدريجيًا للسماي للوكيل بالاستكشاف قبل أن يتم تقييده بالأهداف الدلالية.

ج. الناقد التوزيعي (Distributional Critic):
للتعامل مع التعقيد والضوضاء الناتجة عن الجمع بين عدة وظائف مكافأة ذاتية، أدرج المؤلفون نقاد الكم المقطوع (TQC). يسمح هذا للوكيل بنمذجة التوزيع الكامل للعوائد، مما يدير بفعالية عدم اليقين العشوائي (aleatoric uncertainty) ويمنع المبالغة في تقدير القيمة الشائعة في التعلم المعزز متعدد الأهداف.

د. أخذ العينات النشط (Active Sampling):
لتعظيم فائدة ميزانية التغذية الراجعة البشرية المحدودة، طبق المؤلفون استراتيجية أخذ عينات نشطة. يضمن ذلك عدم إرهاق الإنسان بعينات "غير ذات صلة" وأن تظل مجموعة البيانات متوازنة عبر جميع الفئات الدلالية ذات الصلة.

3. المساهمات الرئيسية

التصنيف الدلالي: آلية جديدة وفعالة في التغذية الراجعة تستفيد من القدرات الإدراكية البشرية في التصنيف بدلاً من المقارنة.
إطار عمل SRSD: بنية مبتعة للتعلم بتدخل الإنسان تدمج الصلة الدلالية في حلقة اكتشاف المهارات غير الخاضعة للإشراف.
المنظور التوزيعي: تطبيق التعلم التوزيعي (TQC) للتخفيف من عدم اليقين عند التعلم من إشارات مكافأة ذاتية متعددة.
التحقق النظري والتجريبي: إثبات أن التصنيف الدلالي يتوسع بشكل أفضل من الطرق القائمة على التفضيل، واختبارات واسعة النطاق عبر مهام الحركة والتنقل.

4. النتائج

أداء متفوق: في التجارب باستخدام مجموعة DeepMind Control Suite (DMC) ومعايير URLB، تفوق SRSD باستمرار على النماذج المرجعية (LSD, CIC, ComSD, و HaSD) في تقييمات الصفر (zero-shot)، والقليل من الأمثلة (few-shot)، وضبط النموذج (fine-tuning).
التنوع الدلالي: تُظهر النتائج النوعية (مثل بيئات Cheetah و Walker) أن SRSD يكتشف مجموعة واسعة من السلوكيات المتميزة وذات المعنى (مثل الشقلبة الخلفية، الجري، والمشي) بدلاً من مجرد تنويعات على حركة واحدة.
القابلية للتوسع: في مهام التنقل ثنائية الأبعاد، حافظ SRSD على دقة واستدعاء عاليين حتى مع زيادة عدد القطاعات الدلالية إلى 16، بينما فشلت الطرق القائمة على التفضيل (HaSD) في تغطية المساحة الدلالية المطلوبة.
المتانة: أثبتت الطريقة متانتها تجاه "عدم عقلانية البشر" (الأخطاء، قصر النظر، وفقدان الذاكرة) وظلت فعالة حتى مع ميزانية محدودة جداً من التغذية الراجعة البشرية (40 ملصقاً فقط).

5. الأهمية

يمثل هذا العمل خطوة هامة نحو الوكلاء للأغراض العامة. من خلال الابتعاد عن المكافآت الصارمة والمحددة مسبقاً والتفضيلات الثنائية غير الفعالة، يوفر SRSD مساراً قابلاً للتوسع للبشر لتوجيه اكتشاف سلوكيات معقدة ومتنوعة ومناسبة للسياق. وهذا له آثار عميقة على الروبوتات والذكاء الاصطناዊ المتجسد (embodied AI)، حيث يجب على الوكلاء تعلم كيفية التنقل في بيئات غير متوقعة من خلال التفاعل مع المشرفين البشريين بطريقة طبيعية وفعالة.