🤖 machine learning

GRAIL: Goal Recognition Alignment through Imitation Learning

تقدم هذه الورقة البحثية إطار عمل GRAIL، وهو إطار للتعرف على الأهداف يستفيد من التعلم بالتقليد لتدريب سياسات موجهة نحو الأهداف من عروض توضيحية قد تكون غير مثالية، مما يحقق استدلالاً قوياً ودقيقاً للأهداف في البيئات غير المستقرة حيث تفشل الطرق التقليدية القائمة على السياسة المثالية.

المؤلفون الأصليون: Osher Elhadad, Felipe Meneguzzi, Reuth Mirsky

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Osher Elhadad, Felipe Meneguzzi, Reuth Mirsky

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث GRAIL: Goal Recognition Alignment through Imitation Learning (التعرف على الأهداف عبر محاذاة التعلم بالتقليد)، مقسماً إلى مفاهيم بسيطة مع تشبيهات إبداعية.

المشكلة الكبرى: افتراض "الروبوت المثالي"

تخيل أنك تحاول تخمين الوجهة التي يتجه إليها صديقك بناءً على مساره أثناء المشي.

الطريقة القديمة (الذكاء الاصطناعي القياسي): تفترض معظم أنظمة الذاء الاصطناعي أن الجميع عبارة عن "روبوتات مثالية". يفكرون قائلين: "إذا كان أقصر طريق إلى البقالة هو جهة الشمال، وصديقي يمشي جهة الشمال، فلا بد أنه ذاهب إلى البقالة".
الواقع: البشر ليسوا روبوتات مثالية. ربف يكون صديقك دائماً يختار المشي شمالاً للوصول إلى البقالة لأنه يحب المتنزه الموجود في ذلك الجانب، حتى لو كان المسار الشرقي مساوياً له في المسافة تقنياً. أو ربما كان يمر بيوم مليء بالتعثر فمشى بشكل متعرج.
الفشل: إذا عرف الذكاء الاصطناعي "الرياضيات المثالية" فقط، فسيصاب بالارتباك. سيرى صديقك يمشي شمالاً ويفكر: "حسناً، المكتب يقع أيضاً في جهة الشمال، فربما هو ذاهب إلى العمل؟" وسوف يغفل عن التفاصيل الدقيقة مثل حب صديقك لمسار المتنزه.

الحل: GRAIL (المحقق الذي يقلد)

قدم المؤلفون نظام GRAIL، وهو نظام جديد يتوقف عن محاولة أن يكون عبقرياً في الرياضيات ويبدأ في التصرف كـ مُقلد.

بدلاً من حساب المسار "المثالي"، يقوم GRAIL بمراقبة مجموعة من الأمثلة لأشخاص يذهبون إلى أماكن محددة، ويتعلم تقليد عاداتهم الدقيقة، بما في ذلك عيوبهم، وتحيزاتهم، وأخطائهم.

فكر في الأمر كالتالي:

الذكاء الاصطناعي القديم: نظام GPS يعرف أسرع طريق فقط.
GRAIL: مراقب (بطريقة علمية جيدة) شاهد شخصاً يمشي إلى البقالة 50 مرة، وتعلم: "أوه، هذا الشخص دائماً ينعطف يساراً عند المخبز، حتى لو كان ذلك المسار أطول قليلاً".

كيف يعمل (الخطوات الثلاث)

1. مرحلة التدريب (حصص التمثيل)

يقوم GRAIL بإعداد "حصة تمثيل" منفصلة لكل هدف محتمل.

إذا كانت الأهداف هي "البقالة"، "العمل"، و"النادي الرياضي"، فإنه يدرب ثلاثة وكلاء ذكاء اصطناعي مختلفين.
الوكيل (أ) يشاهد فيديوهات لأشخاص يذهبون إلى البقالة ويتعلم المشي تماماً مثلهم (باتخاذ مسار المتنزه).
الوكيل (ب) يشاهد فيديوهات لأشخاص يذهبون إلى العمل ويتعلم المشي مثلهم (باتخاذ طريق الطريق السريع).
الوكيل (ج) يتعلم مسار النادي الرياضي.
نقطة جوهرية: هؤلاء الوكلاء لا يتعلمون الوجهة فحسب؛ بل يتعلمون أسلوب المشي، بما في ذلك "التحيزات المنهجية" (مثل تجنب السلالم دائماً).

2. مرحلة المراقبة (لعبة "اكتشف المنتحل")

الآن، ترى شخصاً يمشي. أنت لا ترى سوى الخطوات الأولى من رحلته (مسار جزئي).

تسأل الوكيل (أ): "مهلاً، هل أسلوب المشي هذا يشبه شخصاً ذاهباً إلى البقالة؟"
تسأل الوكيل (ب): "هل هذا يشبه شخصاً ذاهباً إلى العمل؟"
تسأل الوكيل (ج): "هل هذا يشبه شخصاً ذاهباً إلى النادي الرياضي؟"

3. الحكم (النتيجة)

يعطي النظام درجة لكل وكيل بناءً على مدى قدرته على "تقليد" الشخص الذي تراقبه.

إذا كان الشخص يمشي بإيقاع "محب للمتنزه" محدد، فإن الوكيل (أ) (البقالة) سيقول: "مهلاً، هذا أنا! أنا أفعل ذلك أيضاً!" وسيحصل على درجة عالية.
الوكيل (ب) (العمل) سيقول: "لا، أنا لا أمشي بهذا الأسلوب".
الفائز: الهدف الذي يحصل على أعلى درجة هو تخمين الذكاء الاصطناعي.

لماذا هذا أفضل؟

اختبرت الورقة البحثية هذا في عالمين: لعبة تعتمد على الشبكة (MiniGrid) ومحاكاة لذراع روبوتية (PandaReach).

يتعامل مع العيوب "البشرية": عندما يمشي الناس بطريقة منحازة (مثل اتخاذ المسار الخلاب دائماً) أو يرتكبون أخطاء (سلوك غير مثالي)، يصاب الذكاء الاصطناعي القديم (الروبوت المثالي) بالارتباك ويخمن بشكل خاطئ. أما GRAIL فيصيب الهدف لأنه تعلم تلك "العيوب" أثناء التدريب.
- تشبيه: إذا رأيت شخصاً يتعثر في رباط حذائه، فإن الروبوت المثالي سيفكر: "هذا غريب، إنه لا يذهب إلى أي مكان". أما GRAIL فيفكر: "أوه، هذا هو بوب! إنه يتعثر في رباط حذائه في كل مرة يذهب فيها إلى المقهى. إنه بالتأكيد ذاهب إلى المقهى".
إنه سريع جداً:
- الطرق القديمة غالباً ما تضطر للتوقف و"التفكير" (تشغيل عمليات حسابية معقدة) في كل مرة ترى فيها شخصاً جديداً.
- GRAIL يشبه رد الفعل المنعكس. هو فقط ينظر إلى أسلوب المشي ويقول فوراً: "هذا هو رجل البقالة!". لا يحتاج للتوقف والحساب؛ بل يتعرف على النمط فوراً.
يعمل مع البيانات المشوشة: حتى لو كان الشخص يمشي بشكل غير منتظم (بسبب الضجيج أو الارتباك)، فإن GRAIL قوي وصامد. فهو يعلم أن "المشي المتذبذب" لا يزال جزءاً من نمط "الذهاب إلى البقالة" إذا كان ذلك ما رآه في التدريب.

الخلاصة

يغير GRAIL قواعد اللعبة في "التعرف على الأهداف" (تخمين ما يريد الشخص القيام به).

قبل: كنا نحاول تخمين الأهداف بافتراض أن الجميع هم علماء رياضيات منطقيون ومثاليون.
الآن: نحن نخمن الأهداف من خلال تعلم تقليد السلوك الفعلي، المليء بالانحيازات، والارتباك، والتعثر أحياناً للبشر الحقيقيين.

إنه الفرق بين المحقق الذي يعرف قوانين الفيزياء فقط (ويصاب بالارتباك من العيوب البشرية) والمحقق الذي يعرف العادات الشخصية للمشتبه به من الداخل والخارج. من خلال مواءمة الذكاء الاصطناعي مع السلوك البشري الحقيقي بدلاً من السلوك المثالي، يجعل GRAIL الذكاء الاصطناعي أفضل بكثير في فهمنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "GRAIL: محاذاة التعرف على الأهداف من خلال تعلم التقليد".

1. بيان المشكلة

التعرف على الأهداف (Goal Recognition - GR) هو مهمة استنتاج الهدف الضمني لوكيل ما من خلال تسلسل جزئي من الأفعال الملحوظة. وبينما تعد هذه المهمة بالغة الأهمية للتفاعل بين الإنسان والروبوت والتنسيق بين الوكلاء المتعددين، تعاني طرق التعرف على الأهداف الحالية من قصورين رئيسيين:

افتراض المثالية (The Optimality Assumption): تفترض معظم طرق التعرف على الأهداف الكلاسيكية وتلك القائمة على التعلم التعزيزي (RL) أن الوكلاء يتصرفون بشكل مثالي (على سبيل المثال، اتباع أقصر المسارات أو تعظيم دالة المكافأة). وهذا يفشل عندما يظهر الوكلاء تحيزات منهجية (مثل تفضيل المسارات ذات المناظر الطبيعية على أقصر المسارات) أو سلوكاً غير مثالي (ضجيج، أو قواعد استدلالية، أو قيود معرفية).
زمن الاستجابة الحسابي (Computational Latency): تتطلب العديد من الطرق تشغيل مخطط (Planner) أو عملية محاكاة للتعلم التعزيزي (RL rollout) لكل هدف مرشح أثناء مرحلة الاستدلال، مما يخلق اختناقات في التطبيقات التفاعلية في الوقت الفعلي.

تجادل الورقة بأن الوكلاء في العالم الحقيقي غالباً ما ينحرفون عن العقلانية المثالية بطرق يمكن التنبؤ بها، وأن أنظمة التعرف على الأهداف الحالية تفشل في المحاذاة مع هذه النماذج السلوكية الفعلية.

2. المنهجية: إطار عمل GRAIL

يقترح المؤلفون GRAIL (محاذاة التعرف على الأهداف من خلال تعلم التقليد)، وهو إطار عمل يعيد صياغة التعرف على الأهداف كـ مجموعة من مشاكل تعلم التقليد (Imitation Learning - IL). بدلاً من تعلم دالة مكافأة أو مخطط، يتعلم GRAIL سياسة (Policy) محددة لكل هدف مرشح مباشرة من مسارات العروض التوضيحية.

سير العمل الأساسي

يعمل إطار العمل في مرحلتين متمايزتين:

أ. تعلم السياسة في مرحلة عدم الاتصال (Offline Policy Learning - التدريب)
لكل هدف مرشح $g \in G$ ، يقوم النظام بتدريب سياسة مخصصة $\pi_g$ باستخدام مجموعة بيانات من العروض التوضيحية ( $D_g$ ) حيث كان الوكيل يسعى لتحقيق الهدف $g$ . يدعم إطار العمل ثلاثة ركائز لتعلم التقليد:

التقليد السلوكي (Behavioral Cloning - BC): تعلم تحت الإشراف على أزواج (الحالة-الفعل) لتعظيم احتمالية أفعال الخبير.
تعلم التقليد التنافسي التوليدي (Generative Adversarial Imitation Learning - GAIL): يستخدم التدريب التنافسي لمطابقة توزيع التغطية لسياسة المتعلم مع مسارات الخبير.
التعلم العكسي التنافسي لتعزيز المكافأة (Adversarial Inverse Reinforcement Learning - AIRL): يتعلم دالة مكافأة وسياسة في آن واحد لتفسير بيانات الخبير.

من الأهمية بمكان أن هذه السياسات تستوعب "البصمة" المحددة لسلوك الوكيل، بما في ذلك التحيزات والسمات غير المثالية، بدلاً من افتراض مسار نظري مثالي.

ب. الاستدلال بضربة واحدة عبر الإنترنت (Online One-Shot Inference - الاختبار)
عند ملاحظة مسار جزئي جديد $\tau_{obs}$ :

يقيم النظام المسار مقابل كل سياسة متعلمة $\pi_g$ في تمريرة أمامية واحدة (Single Forward Pass).
يحسب درجة التشابه $S_g(\tau_{obs})$ باستخدام مقياس متوسط متوسط الخطأ التربيعي (MSE) السالب:
$S_g(\tau_{obs}) = -\frac{1}{T} \sum_{t=0}^{T-1} \|\pi_g(s_t) - a_t\|^2$
(ملاحظة: يقيس هذا المقياس مدى مطابقة الفعل الذي تتنبأ به السياسة للفعل الملحوظ في كل خطوة).
يتم اختيار الهدف صاحب أعلى درجة: $\hat{g} = \arg\max_{g \in G} S_g(\tau_{obs})$ .

الابتكار الرئيسي: يلغي هذا النهج الحاجة إلى المخططات، أو عمليات محاكاة البيئة، أو نمذجة المكافآت في وقت الاستدلال، مما يتيح تعرُّفاً سريعاً "خالياً من المخططات".

3. المساهمات الرئيسية

صياغة مبتكرة: أول إطار عمل يعامل التعرف على الأهداف كمجموعة من مشاكل تعلم التقليد، مما يسمح للنظام بالتعلم مباشرة من العروض التوضيحية التي قد تكون غير مثالية أو متحيزة.
المحاذاة مع السلوك الحقيقي: من خلال تعلم السياسات مباشرة من البيانات، يستطيع GRAIL التقاط التحيزات المنهجية (مثل تفضيلات المسارات) التي تفوتها الطرق القائمة على التخطيط الأمثل.
الكفاءة: مرحلة الاستدلال خفيفة حسابياً، حيث تتطلب فقط تمريرة أمامية عبر الشبكات العصبية، مما يجعلها مناسبة للتطبيقات في الوقت الفعلي.
نهج موحد: يجسر الفجوة بين التعرف على الأهداف، والتعلم التعزيزي العكسي (IRL)، وتعلم التقليد (IL)، موضحاً أن خوارزميات تعلم التقليد يمكن إعادة توظيفها للاستدلال على الهدف بضربة واحدة دون استرداد صريح للمكافأة.

4. النتائج التجريبية

قيم المؤلفون GRAIL في مجالين: MiniGrid (الملاحة المنفصلة) و PandaReach (التحكم الروبوتي المستمر). وقارنوا متغيرات GRAIL (BC, GAIL, AIRL) مع خطوط الأساس المتطورة: GRAQL (القائم على Q-learning) و DRACO (القائم على PPO).

أبرز النتائج:

السلوك الأمثل ذو التحيز المنهجي: في السيناريوهات التي يتخذ فيها الوكلاء مسارات مثالية ولكن مع تحيزات ثابتة (مثل تفضيل مسار الحديقة)، حقق GRAIL درجات F1 شبه مثالية (1.0)، بينما عانى خط الأساس القائم على Q-learning (وهو GRAQL) (F1 $\approx$ 0.3–0.5) لأنه افترض مثالية موحدة.
السلوك غير المثالي: في ظل السلوك المليء بالضجيج أو المدفوع بالقواعد الاستدلالية، تفوقت متغيرات GRAIL باستمرار على خطوط الأساس، مظهرة تحسناً في درجة F1 يتراوح بين 0.1 إلى 0.3. كان BC-GRAIL فعالاً بشكل خاص في استيعاب الانحرافات المنهجية.
السلوك الأمثل: حتى في الإعدادات المثالية والنظيفة، ظل GRAIL تنافسياً، وغالباً ما يضاهي أو يتفوق قليلاً على طرق التعلم التعزيزي (RL)، خاصة مع زيادة عدد الأهداف المرشحة.
الكفاءة:
- التدريب: تدرب BC-GRAIL بسرعة أكبر بكثير من خطوط الأساس القائمة على RL (على سبيل المثال، حوالي 5 ثوانٍ لكل هدف في MiniGrid مقابل 300 ثانية لـ GRAQL).
- الاستدلال: كان استدلال GRAIL أسرع بشكل كبير من DRACO، حيث لم يتطلب أي تفاعل مع البيئة أو عمليات محاكعة.

5. الأهمية والآثار المترتبة

القوة تجاه بيانات العالم الحقيقي: يعالج GRAIL "فجوة الواقع" حيث نادراً ما يكون سلوك البشر والوكلاء مثالياً تماماً. إنه أول نظام للتعرف على الأهداف مصمم صراحة للتعامل مع التحيزات المنهجية وعدم المثالية دون اعتبارها ضجيجاً.
القابلية للتوسع: تجعل قدرة الاستدلال "بضربة واحدة" من GRAIL قابلاً للتطبيق في التطبيقات الحساسة للوقت مثل القيادة الذاتية أو الروبوتات المساعدة، حيث يعد زمن الاستجابة أمراً حاسماً.
المحاذاة الأخلاقية: من خلال استنتاج الأهداف بناءً على السلوك الملحوظ الفعلي بدلاً من النماذج العقلانية المثالية، يوفر GRAIL طريقة أكثر دقة وربما أكثر أماناً لمحاذاة أنظمة الذكاء الاصطناعي مع النوايا البشرية، مما يقلل من خطر إساءة تفسير التفضيلات البشرية.

القيود والعمل المستقبلي:
يفترض إطار العمل الحالي مجموعة مغلقة من الأهداف المرشحة المعروفة وديناميكيات بيئة ثابتة. يهدف العمل المستقبلي إلى توسيع GRAIL ليشمل التعرف على الأهداف في "المجموعات المفتوحة" (اكتشاف أهداف جديدة) والتعامل مع التحولات الديناميكية في بيئة العمل. بالإضافة إلى ذلك، يشير المؤلفون إلى أنه بينما تستخدم الدراسة الحالية بيانات اصطناعية، فإن تطبيق ذلك على مدخلات العالم الحقيقي المعقدة والمعتمدة على الإدراك يظل تحدياً.