⚡ electrical engineering

Physics-informed Goal-Conditioned Reinforcement Learning under Hybrid Contact Dynamics

تتناول هذه الورقة فشل أساليب التعلم المعزز الموجه بالأهداف والمستندة إلى الفيزياء في مهام التلاعب الغنية بالتلامس، وذلك عبر تقديم صياغات هرمية ومدركة للتلامس تطبق انحيازات استقرائية مستندة إلى الفيزياء بشكل انتقائي للتعامل مع الديناميكيات الهجينة ومناظر القيم غير المستمرة.

المؤلفون الأصليون: Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

نُشر 2026-06-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية تحريك صندوق عبر طاولة. في بعض الأحيان يكون الصندوق مستقراً في مكانه، ويتعين على الروبوت السير نحوه، ثم الإمساك به، وحمله. وفي أحيان أخرى، يكون الروبوت ممسكاً بالصندوق بالفعل.

هذه الورقة البحثية تتحدث عن تعليم الروبوتات كيفية تعلم هذه المهام باستخدام التعلم التعزيزي (Reinforcement Learning) (التجربة والخطأ)، ولكن مع حيلة خاصة: بدلاً من مجرد التخمين، يستخدم الروبوت الفيزياء لمساعدته في اكتشاف المسار الأفضل.

إليك تفصيل لما وجده المؤلفون وكيف قاموا بإصلاحه، باستخدام تشبيهات من الحياة اليومية.

المشكلة: الخريطة "التي تناسب الجميع"

كان الباحثون يستخدمون طريقة تسمى التعلم التعزيزي الموجه نحو الهدف والمعتمد على الفيزياء (Pi-GCRL). فكر في هذا كإعطاء الروبوت "خريطة ذكية" تخبره بمدى صعوبة الانتقال من النقطة (أ) إلى النقطة (ب).

في المهام البسيطة (مثل تحرك روبوت في غرفة فارغة)، تعمل هذه الخريطة بشكل رائع. فهي تفترض أنه إذا أردت الذهاب إلى مكان ما، يمكنك التحرك في أي اتجاه، وأن "التكلفة" (المجهود) هي نفسها في جميع الاتجاهات. الأمر يشبه المشي في حقل مفتع ومسطح حيث يمكنك الركض شمالاً، أو جنوباً، أو شرقاً، أو غرباً بنفس الكفاءة.

لكن الروبوتات التي تتعامل مع الأشياء مختلفة.
عندما لا يلمس الروبوت جسماً ما، يمكنه تحريك ذراعه بحرية، لكن الجسم يبقى ثابتاً في مكانه. لا يستطيع الروبوت "تحريك" الجسم مباشرة حتى يمسكه.

التشبيه: تخيل أنك تحاول تحريك أريكة ثقيلة.
- المرحلة الأولى (بدون تلامس): يمكنك المشي حول الأريكة بحرية، لكن لا يمكنك دفع الأريكة. إذا حاولت "دفع" الأريكة أثناء الابتعاد عنها، فإن الفيزياء تقول إن هذا مستحيل.
- المرحلة الثانية (عند التلامس): بمجرد الإمساك بالأريكة، يمكنك تحريكها. الآن، حركتك وحركة الأريكة مرتبطان ببعضهما البعض.

اكتشف المؤلفون أن "الخريطة الذكية" القديمة (معادلة إيكونال - Eikonal equation) كانت معطلة لهذا السيناريو. فقد حاولت إجبار الروبوت على الاعتقاد بأنه يستطيع تحريك الأري "حتى وهو لا يلمسها".

النتيجة: تشوهت الخريطة. أخبرت الروبوت: "يمكنك الوصول إلى الهدف عن طريق دفع الأريكة من عبر الغرفة"، وهو أمر مستحيل فيزيائياً. أدى ذلك إلى إرباك الروبوت وجعله يتعلم ببطء أكبر أو يفشل.

الحل: أداتان جديدتان

لإصلاح ذلك، قدم المؤلفون فكرتين جديدتين لجعل "خريطة" الروبوت تحترم قواعد التلامس.

1. البوصلة "المدركة للتلامس"

بدلاً من إخبار الروبوت بكيفية التحرك في كل الاتجاهات، تقوم هذه الطريقة الجديدة بالتحقق فقط من الاتجاهات التي يمكن للروبوت التحرك فيها في اللحظة الحالية.

التشبيه: تخيل أنك في متاهة بها باب مغلق. الخريطة القديمة قالت: "يمكنك المشي عبر الباب". أما الخريته الجديدة فتقول: "يمكنك المشي عبر الباب فقط إذا كان معك مفتاح (أو إذا كنت تمسك بمقبض الباب حالياً)".
كيف تعمل: إذا لم يكن الروبوت يلمس الجسم، تتجاهل الخريطة موقع الجسم عند حساب "المجهود" اللازم للتحرك. هي تهتم فقط بذراع الروبوت. وبمجرد أن يمسك الروبوت بالجسم، تُحدّث الخريطة لتشمل حركة الجسم أيضاً. هذا يمنع الروبوت من محاولة القيام بالمستحيل.

2. فريق "المدير والعامل" (التعلم الهرمي)

كان الإصلاح الثاني هو تقسيم المهمة إلى مستويين: مدير عالي المستوى وعامل منخفض المستوى.

المدير (عالي المستوى): هذا الجزء من الدماغ ينظر إلى الصورة الكبيرة. يقرر ما الذي يحتاج الروبوت لفعله بعد ذلك (على سبيل المثال: "اذهب إلى الجسم"، "أمسك به"، "حركه إلى الهدف"). هو لا يهتم بالتفاصيل الدقيقة للفيزياء.
العامل (منخفض المستوى): هذا الجزء يتولى عملية الحركة الفعلية. والأهم من ذلك، أن العامل ينظر فقط إلى الأشياء التي يمكنه التحكم فيها الآن.
- إذا لم يكن الروبوت يمسك الجسم، يتجاهل العامل موقع الجسم ويركز فقط على تحريك الذراع للوصول إلى الجسم.
- إذا كان الروبوت يمسك الجسم، يركز العامل على تحريك كليهما معاً.
التشبيه: فكر في موقع بناء. يخبر "المراقب" (المدير) "الطاقم" (العامل): "اذهب واحضر تلك العارضة". الطاقم لا يقلق بشأن محرك الرافعة أو نظام تحديد المواقع الخاص بالشاحنة؛ هم فقط يركزون على المهمة المحددة وهي الإمساك بالعارضة. من خلال فصل "الصورة الكبيرة" عن "الفيزياء المباشرة"، يتعلم الروبوت بسرعة أكبر بكثير.

ما الذي اختبروه؟

اختبر الفريق هذه الأفكار بثلاث طرق:

لعبة بسيطة في بُعد واحد: أنشأوا محاكاة صغيرة وبسيطة حيث يتعين على روبوت تحريك كتلة. وأظهروا أن الطريقة القديمة ارتبكت ورسمت خريطة مشوشة، بينما رسمت طريقتهم الجديدة خريطة نظيفة وصحيحة.
محاكاة معقدة: استخدموا ذراع روبوت افتراضي (UR5e) لتكديس مكعبات متعددة. وجدوا أن طرقهم الجديدة (خاصة فريق "المدير والعامل") كانت أفضل بكثير في تكديس المكعبات من الطرق القديمة، التي غالباً ما كانت تتعثر أو تفشل.
روبوت حقيقي: جربوا ذلك على ذراع روبوت حقيقي في مختبر. حتى مع كمية صغيرة من البيانات، كان الروبوت الذي يستخدم أساليبهم الجديدة ("المدركة للتلامس" و"الهرمية") أفضل بكثير في التقاط جسم ووضعه في منتصف الطاولة مقارنة بالطرق الأخرى.

الخلاصة

تدعي الورقة البحثية أنه عندما يتعين على الروبوتات لمس وتحريك الأشياء، لا يمكنك استخدام خريطة فيزيائية "تناسب الجميع". يجب أن تكون ذكياً بشأن متى يمكن للروبوت تحريك الجسم ومتى لا يمكنه ذلك.

من خلال بناء نظام يفهم "أنماط التلامس" هذه (اللمس مقابل عدم اللمس) وتقسيم التفكير إلى مخطط عالي المستوى ومتحكم منخفض المستوى، يمكن للروبوتات تعلم التعامل مع الأشياء بموثوقية أكبر بكثير.

ملاحظة: يذكر المؤلفون صراحة أنه بينما تعمل طريقتهم بشكل جيد في عمليات المحاكاة وفي البيئات المختبرية المنضبطة، إلا أنها لا تضمن بعد السلامة للبشر أو التعامل مع حدود القوة المعقدة تلقائياً. إنهم يعتبرون ذلك خطوة نحو تعلم أكثر أماناً ومتانة للروبوتات، ولكنه ليس حلاً نهائياً للسلامة.

ملخص تقني: التعلم المعزز الموجه بالأهداف والمستند إلى الفيزياء تحت ديناميكيات التلامس الهجينة

بيان المشكلة

يهدف التعلم المعزز الموجه بالأهداف (GCRL) إلى تعلم سياسات يمكنها التعميم عبر أهداف عشوائية باستخدام تغذية راجعة متفرقة. وبينما نجح التعلم المعزز الموجه بالأهداف والمستند إلى الفيزياء (Pi-GCRL) في تطبيق الانحيازات الاستقرائية المستوحاة من التحكم الأمثل (تحديداً قيود المعادلات التفاضلية الجزئية) في مجالات الملاحة والوصول إلى الأهداف الخالية من الأجسام، إلا أن تطبيقه على التلاعب الروبوتي الغني بالتلامس يظل إشكالياً.

في البيئات الغنية بالتلامس، تكون ديناميكيات النظام هجينة، حيث تتناوب بين الحركة في الفضاء الحر، والتفاعل بوساطة التلامس، ونقل الأشياء. وتؤدي هذه التحولات إلى تباين في القدرة على التحكم اعتماداً على النمط (mode-dependent controllability): حيث قد تكون بعض إحداثيات الحالة (مثل مواضع الأجسام) غير قابلة للتحكم محلياً في أنماط تلامس معينة (مثل عدم الإمساك بالجسم). ويجادل المؤلفون بأن طرق Pi-GCRL الحالية، التي تطبق عادةً تنظيم "إيكول" (Eikonal) على الحالة الكاملة، تفشل في هذه الإعدادات لأن الافتراضات الأساسية لمعادلة إيكول (الديناميكيات المتناحية والقدرة الكاملة على التحكم) تُنتهك. ويؤدي هذا عدم التوافق إلى تشويه دالة القيمة (value function)، مما يؤدي إلى معاقبة التغيرات الصالحة في الإحداثيات غير القابلة للتحكم وتدهور أداء السياسة.

المنهجية

يقترح الورقة تحليلاً مبدئياً لهذا النمط من الفشل ويقدم صيغتين متكاملتين لمعالجته: التنظيم المدرك للتلامس والتفكيك الهرمي.

1. التحليل النظري: عدم توافق "إيكول" (Eikonal Mismatch)

يصيغ المؤلفون فشل تنظيم "إيكول" للحالة الكاملة في الأنظمة الهجينة. يقومون بنمذجة التلاعب كنظام هجين حيث تتكون الحالة $s = (x, z)$ من إحداثيات قابلة للتحكم $x$ وإحداثيات غير قابلة للتحكم محلياً $z$ (مثل وضعية الجسم عند عدم الإمساك به).

توضح الخاصية 4.1 أنه إذا كانت التكلفة المثلى للوصول $d^*$ تعتمد على الإحداثيات غير القابلة للتحكم محلياً ( $\nabla_z d^* \neq 0$ )، فإن قيد "إيكول" للحالة الكاملة ( $\|\nabla_s d^*\| = 1$ ) يتعارض مع توصيف "هاميلتون-جاكوبي-بلمان" (HJB) المحلي.
يقوم قيد "إيكول" بتخصيص ميزانية التدرج بشكل خاطئ لاتجاهات لا يمكن فيها إجراء أي حركة فورية، بينما تقوم معادلة HJB بتقييد التدرجات فقط على طول الاتجاهات الممكنة.

2. تعلم القيمة المستند إلى الفيزياء والمدرك للتلامس

لحل عدم التوافق، يقترح المؤلفون استبدال قيد معيار التدرج للحالة الكاملة بـ قيد اتجاهي يتوافق مع الانتقالات الممكنة المرصودة.

بدلاً من معاقبة معيار التدرج الكامل، تقرب الطريقة اتجاه ديناميكيات الزمن المستمر باستخدام متجه الانتقال التجريبي $(s' - s)$ .
ينتج عن ذلك بقايا HJB مدركة للتلامس (المعادلة 4):
$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$
تضمن هذه الصيغة أن تدرجات القيمة مقيدة فقط على طول الاتجاهات التي يتم فيها رصد الحركة فعلياً، مما يتجاهل بفعالية الإحداثيات غير القابلة للتحكم خلال أنماط تلامس محددة.

3. التدفق الهرمي المستند إلى الفيزياء (Pi-H-Flow)

يقدم المؤلفون إطار عمل هرمي لتعزيز مواءمة التنظيم مع القدرة على التحكم:

السياسة عالية المستوى ( $\pi_{hi}$ ): يقوم نموذج قائم على التدفق (flow-based model) بتوليد أهداف فرعية $x_g$ في تمثيل قابل للتحكم $X$ (باستثناء إحداثيات وضعية الجسم). وهذا يفصل الاستدلال عالي المستوى المرتكز على الجسم عن التنفيذ منخفض المستوى.
السياسة منخفضة المستوى ( $\pi_{lo}$ ): تعمل بالكامل ضمن التمثيل القابل للتحكم $X$ ، حيث تربط الحالة الحالية والهدف بالأفعال الأولية.
التنظيم: تُطبق القيود المستندة إلى الفيزياء (Eikonal أو HJB) فقط في المستوى المنخفض ضمن $X$ ، حيث تكون الديناميكيات قابلة للتحكم بالكامل وافتراضات التناحي أكثر صحة.
يتم تدريب التدفق عالي المستوى لتوليد حالات مستقبلية قابلة للتحكم، بينما يستخدم المتعلم منخفض المستوى بقايا HJB المدركة للتلامس لتعلم دالة القيمة.

المساهمات الرئيسية

التحليل المبدئي: حددت الورقة وأثبتت أن تنظيم "إيكول" للحالة الكاملة غير متوافق بنيوياً مع ديناميكيات التلامس الهجينة بسبب الإحداثيات غير القابلة للتحكم محلياً، وهو أمر يختلف عن المشكلات الناتجة عن الديناميكيات غير المتناحية.
صيغ مبتكرة:
- بقايا مدركة للتلامس تقيد تدرجات القيمة فقط على طول اتجاهات الانتقال الممكنة.
- تفكيك هرمي يعزل الديناميكيات القابلة للتحكم من أجل التنظيم المستند إلى الفيزياء، ويفصلها عن متغيرات حالة الجسم.
التحقق التجريبي: تحقق المؤلفون من نهجهم عبر مهام التلاعب الموجهة بالأهداف في بيئة محاكاة (OGBench) وعلى روبوت UR5e حقيقي.

النتائج التجريبية

تم تقييم الطرق المقترحة على مجموعة OGBench (مهام إعادة ترتيب المكعبات المزدوجة والثلاثية والرباعية) ومهمة التقاط ووضع في العالم الحقيقي.

المحاكاة (OGBench):
- فشل النماذج المرجعية: فشلت طرق تنظيم "إيكول" القياسية (Eik-GCIVL, Eik-QRL) في التقارب بشكل موثوق، مما أكد عدم التوافق النظري.
- تحسن مدرك للتلامس: تفوق متغير HJB-GCIVL (الذي يستخدم HJB بدلاً من Eikonal) بشكل كبير على طرق "إيكول" للحالة الكاملة، خاصة في سيناريوهات تعدد الأجسام المعقدة.
- فائدة الهرمية: حقق الإطار الهرمي (Pi-H-Flow-HJB-GCIVL) أعلى معدلات نجاح وأسرع تقارب.
- الدراسة الاستئنافية (Ablation): أدى استخدام تمثيل "المفاصل + التلامسات" القابل للتحكم في المستوى المنخفض إلى تحسين الأداء باستمرار (زيادة 10-20% في معدل النجاح) مقارنة باستخدام الحالة الكاملة، مما يؤكد فائدة تفكيك الحالة.
تجارب العالم الحقيقي:
- تم التدريب على مجموعة بيانات غير متصلة (offline) مكونة من حوالي 60 ألف خطوة تم جمعها من سياسة MPC مكتوبة.
- حقق النموذج المقترح Pi-H-Flow-HJB-GCIVL أعلى معدلات نجاح (75% عند عتبة 10 سم، 60% عند 5 سم، 50% عند 3 سم)، متفوقاً على كل من النماذج المرجعية غير المستندة إلى الفيزياء والمتغيرات غير الهرمية المستندة إلى الفيزياء.
- أظهرت النتائج النوعية قدرة السياسة على التعافي من عمليات الإمساك غير المتوافقة واستخدام أنماط تفاعل بديلة (مثل تحريك الأجسام بالانزلاق).

الأهمية والادعاءات

تدعي الورقة أنها تقدم خطوة مبدئية نحو توسيع نطاق Pi-GCRL ليشمل التلاعب الغني بالتلامس. ومن خلال تحليل عدم التوافق الهندسي بين قيود "إيكول" والديناميكيات الهجينة، يوضح المؤلفون أن التطبيق الساذج للتحيزات المستندة إلى الفيزياء يمكن أن يكون ضاراً.

تكمن الأهمية في:

تصحيح خلل نظري: إثبات أن استمرارية ليبشيتز (التي يفرضها قيد "إيكول") غير كافية للأنظمة الهجينة، وأن القيود يجب أن تحترم القدرة المحلية على التحكم.
إطار عمل عملي: تقديم بنية هرمية قابلة للتوسع تجمع بين توليد الأهداف الفرعية القائم على التدفق وتعلم القيمة المدرك للتلامس.
القابلية للتطبيق في العالم الحقيقي: إثبات أن هذه الرؤى النظرية تترجم إلى تحسين الأداء على الروبوتات الفيزيائية باستخدام بيانات غير متصلة محدودة.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن الخوارزميات الحالية لا تزال تستهلك الكثير من البيانات وأن منظم HJB لا يضمن بطبيعته السلامة أو احترام حدود المحركات. ويقترحون أن العمل المستقبلي يجب أن يدمج نماذج فيزيائية أكثر صراحة وقيود سلامة.