🤖 machine learning

Aligning Flow Map Policies with Optimal Q-Guidance

تقدم هذه الورقة البحثية سياسات خريطة التدفق (Flow Map Policies)، وهي فئة جديدة من السياسات التوليدية التي تتيح توليد الإجراءات بسرعة في خطوة واحدة، وتقترح خوارزمية توجيه Q عبر خريطة التدفق (FLOW MAP Q-GUIDANCE - FMQ) مقترنة بالبحث الشعاعي الموجه بـ Q (Q-GUIDED BEAM SEARCH) لتحقيق أداء رائد في التعلم المعزز من التدريب غير المتصل إلى المتصل عبر المهام الروبوتية الصعبة.

المؤلفون الأصليون: Christos Ziakas, Alessandra Russo, Avishek Joey Bose

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Christos Ziakas, Alessandra Russo, Avishek Joey Bose

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية أداء مهام معقدة، مثل تكديس المكعبات أو المشي عبر متاهة. لديك مكتبة فيديو ضخمة لخبراء يقومون بهذه المهام بإتقان (هذه هي البيانات غير المتصلة بالإنترنت - offline). هدفك هو تعليم الروبوت كيفية التعلم من هذه الفيديوهات، ثم يصبح أفضل من خلال الممارسة في العالم الحقيقي (هذا هو الجزء المتصل بالإنترنت - online).

المشكلة هي أن أفضل "المعلمين" (نماذج الذكاء الاصطناعي) لهذه المهام المعقدة يشبهون الطهاة الدقيقين والبطيئين. فهم لا يكتفون فقط بالإمساك بسكين والتقطيع؛ بل يحاكون عملية الطهي بأكملها خطوة بخط line في عقولهم قبل القيام بأي حركة. هذا "المحاكاة الذهنية" تستغرق وقتًا طويلاً جدًا، مما يجعل الروبوت بطيئًا للغاية في الاستجابة في الوقت الفعلي.

تقدم هذه الورقة البحثية طريقة جديدة لتدريب هذه الروبات تسمى سياسات خريطة التدفق (Flow Map Policies)، وتحديدًا طريقة تسمى FMQ (توجيه Q عبر خريطة التدفق). إليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

1. "الطاهي المختصر" (سياسات خريطة التدفق)

يعمل طهاة الذكاء الاصطناعي التقليديون (يُطلق عليهم نماذج الانتشار أو مطابقة التدفق) عن طريق البدء بوعاء من الضوضاء العشوائية ثم "إزالة الضوضاء" منها خطوة بخطوة حتى تصبح حركة مثالية (مثل التقاط مكعب). هذا يشبه تحويل مسودة خشنة إلى لوحة فنية ببطء، لكنه يتطلب 10 أو 20 خطوة للقيام بحركة واحدة فقط.

لقد ابتكر المؤلفون سياسة خريطة التدفق. فكر في هذا كتعليم الطاهي كيف ينظر إلى المسودة الخشنة واللوحة النهائية، ثم يتعلم الطريق المختصر للقفز مباشرة من المسودة إلى الطبق الجاهز في قفزة واحدة. بدلًا من اتخاذ 20 خطوة صغيرة، يتعلم الروبوت القيام بقفزة واحدة ذكية وعظيمة. هذا يجعل الروبوت سريعًا بشكل مذهم.

2. "البوصلة" (توجيه Q)

بمجرد أن يصبح الروبوت سريعًا، يحتاج إلى أن يكون ذكيًا. في العالم الحقيقي، يحتاج الروبوت إلى التحسن بما يتجاوز مجرد نسخ الفيديوهات. يحتاج إلى معرفة أي حركة هي الأفضل في اللحظة الحالية.

عادةً، لإيجاد أفضل حركة، سيحاول الروبوت القيام بـ 32 قفزة مختلفة، ويسأل "حكمًا" (يُسمى الناقد - Critic) ليقيمها ويختار الأعلى منها. هذا يشبه سؤال حكم لتذوق 32 نوعًا مختلفًا من الحساء للعثور على الأفضل. إنه دقيق، لكنه لا يزال بطيئًا لأن عليك صنع 32 حساءً.

طريقة المؤلفين، FMQ، مختلفة. بدلًا من صنع 32 حساءً وتذوقها، هم يعطون الطاهي بوصلة مغناطيسية.

"الحكم" يشير إلى اتجاه أفضل حركة ممكنة (التدرج - gradient).
يقوم الروبوت بقفزته السريعة الواحدة ثم يقوم بتعديل بسيط ومدروس في ذلك الاتجاه.
السحر: أثبت المؤلفون رياضيًا أن هذا التعديل الواحد هو الطريقة المثالية لتحسين الحركة دون كسر قواعد التدريب الأصلية. الأمر يشبه معرفة الروبوت تمامًا كيف يعدل يده للإمساك بالكرة بشكل مثالي، دون الحاجة لرمي 32 كرة تدريب أولاً.

3. "منطقة الأمان" (منطقة الثقة)

عندما يبدأ الروبوت في الممارسة في العالم الحقيقي، قد يصبح متحمسًا جدًا ويحاول القيام بحركات جامحة وخطيرة لم يرها في فيديوهات التدريب.

لمنع ذلك، يستخدم المؤلفون منطقة ثقة (Trust Region). تخيل أن الروبوت مربوط بعمود بواسطة حبل. يمكنه التحرك بحرية داخل الدائرة التي يرسمها الحبل (منطقة الثقة)، لكن لا يمكنه الركض خارج الغابة.

"طول الحبل" ديناميكي. إذا كان الروبوت غير متأكد من حركة ما (الحكم مرتبك)، يصبح الحبل أقصر للحفاظ على سلامته.
إذا كان الروبوت واثقًا، يصبح الحبل أطول، مما يسمح له بالاستكشاف والتعلم بشكل أسرع.

4. خطوة "التلميع" (بحث الشعاع الموجه بـ Q)

حتى مع وجود الاختصار والبوصلة، أحيانًا يمكن للروبوت أن يؤدي بشكل أفضل إذا أخذ لحظة للتفكير قبل التصرف. أضاف المؤلفون خدعة أخيرة تسمى QGBS.

تخيل أن الروبوت قام بقفزته السريعة الواحدة. قبل أن يحرك ذراعه فعليًا، يسأل نفسه: "ماذا لو أخطأت قليلاً في قفزتي وحاولت مرة أخرى؟"

يقوم بإنشاء بعض النسخ "ماذا لو" من الحركة (مثل رسم بعض المتغيرات).
يستخدم البوصلة لاختيار أفضل نسخة.
يختار النسخة الأفضل على الإطلاق لتنفيذها.

يحدث هذا بسرعة كبيرة (في عقل الكمبيوتر) بحيث لا يبطئ الروبوت، ولكنه يحسن جودة الحركة بشكل كبير، خاصة في المهام الصعبة جدًا.

النتائج

اختبر المؤلفون هذا على 12 مهمة روبوتية مختلفة، من تكديس المكعبات إلى المشي عبر المتاهات.

السرعة: كانت طريقتهم أسرع بـ 2.77 مرة في التعلم من أفضل طريقة سابقة لأنها لم تكن بحاجة لمحاكاة 20 خطوة أو تجربة 32 خيارًا.
النجاح: نجحت بنسبة 21.3% أكثر من الطريقة الأفضل السابقة.
الكفاءة: حققت أفضل النتائج باستخدام أقل قدر من قوة الكمبيوتر خلال مرحلة التعلم.

باختًا، تُعلم هذه الورقة البحثية الروبوت كيف يتوقف عن محاكاة كل خطوة صغيرة وبدلًا من ذلك يتعلم القيام بقفزات ذكية وعظيمة. إنها تمنح الروبوت بوصلة لتصحيح مساره فورًا نحو أفضل حركة، وتحافظ على سلامته بحبل أمان ديناميكي، وتسمحه بعمل "تلميع ذهني" سريع قبل التصرف. النتيجة هي روبوت يتعلم بشكل أسرع، ويتحرك بذكاء أكبر، وينجح في مهامه بشكل أكثر تكرارًا.

ملخص تقني: مواءمة سياسات خرائط التدفق مع توجيه Q الأمثل

بيان المشكلة

تعد السياسات التوليدية القائمة على فئات نماذج تعبيرية، مثل نماذج الانتشار (diffusion models) ومطابقة التدفق (flow matching)، مناسبة جدًا لمشكلات التحكم المعقدة التي تتميز بتوزيعات أفعال متعددة الأنماط بشكل كبير. ومع ذلك، فإن قدرتها التعبيرية تترتب عليها تكلفة استدلال عالية: حيث يتطلب توليد فعل واحد عادةً محاكاة خطوات عديدة من العملية التوليدية (على سبيل المثال، حل معادلة تفاضلية عادية عددياً). هذا التأخير التراكمي يعيق النشر في البيئات الحقيقية والعمليات عبر الإنترنت (online).

بينما حاولت الجهود الأخيرة تعلم سياسات "خطوة واحدة" (one-step) غير متصلة بالإنترنت (offline) للتخفيف من هذا التأخير، إلا أن هذه النهج تظل غير كافية لتعلم التعزيز من النوع "من غير متصل بالإنترنت إلى متصل بالإنترنت" (offline-to-online RL). في المرحلة المتصلة بالإنترنت (online)، يجب أن تتحسن السياسة بما يتجاوز النموذج السلوكي الاستاتيكي. وتعتمد السياسات التوليدية الحالية ذات الخطوة الواحدة بشكل متكرر على إجراءات "التوليد ثم الاختيار" الاستكشافية (مثل أفضل $N$ من العينات) لتحيز الأفعال نحو قيم $Q$ الأعلى للمنتقد (critic). هذا النهج يلغي الميزة الحسابية لتوليد الخطوة الواحدة من خلال اشتراط إجراء العديد من عمليات تقييم السياسة والمنتقد لكل قرار، كما يفشل في ضمان التحسين المحلي الأمثل لأي قيمة محدودة لـ $N$ .

المنهجية

تقدم الورقة البحثية سياسات خرائط التدفق (Flow Map Policies)، وهي فئة جديدة من السياسات التوليدية المصممة لتوليد الأفعال بسرعة من خلال تعلم اتخاذ قفزات بأحجام تعسفية — بما في ذلك قفزات الخطوة الواحدة — عبر ديناميكيات التدفق للسياسات القائمة على التدفق الحالية.

1. سياسات خرائط التدفق (Flow Map Policies)

على عكس سياسات مطابقة التدفق القياسية التي تتعلم حقل سرعة لحظي $v_t$ ليتم دمجه عبر الزمن، تتعلم سياسات خرائط التدفق عامل قفزة بين زمنين $X_{r,t}$ يطور ديناميكيات الفعل بين أي نقطتين زمنيتين $r, t \in [0, 1]$ .

التعريف: تُعرف السياسة بخريطة تدفق $X_{r,t}$ بحيث يكون $X_{r,t}(a_r | s) = a_t$ .
البارامترية: يتم تمثيل الخريطة عبر متوسط سرعة الفعل $u_{r,t}$ ، حيث $X_{r,t}(a_r | s) = a_r + (t-r)u_{r,t}(a_r | s)$ .
أهداف التدريب: لتدريب خريطة التدفق على أزواج زمنية غير قطرية ( $r < t$ $r < t$ )، يفرض المؤلفون قواعد اتساق مشتقة من شرط قفزة خريطة التدفق وخاصية شبه المجموعة (semi-group property) للمعادلة التفاضلية العادية. ينتج عن ذلك ثلاثة أهداف لتقطير السياسة:
1. لاغرانجي (Lagrangian): يقوم بتقطير المشتق الزمني للخريطة.
2. أويلري (Eulerian): يقوم بتقطير التدرج المكاني والمشتق الزمني.
3. التقدمي (Progressive): يضمن الاتساق عبر القفزات المتوسطة.
  ملاحظة: تُظهر الورقة أن سياسات التدفق المتوسط (مثل MVP) هي حالة خاصة من الهدف الأويلري.

2. توجيه FMQ (Flow Map Q-Guidance)

من أجل التكيف المتصل بالإنترنت (online adaptation)، يصيغ المؤلفون المشكلة كمسألة تحسين منطقة الثقة (trust-region optimization) تعمل على تحسين قيمة $Q$ للمنتقد مع البقاء قريبًا من السياسة غير المتصلة بالإنترنت.

مشكلة التحسين: تعظيم $Q_\phi(s, a_1 + \Delta)$ بشرط $\|\Delta\|_2 \le \eta$ ، حيث $a_1$ هو الفعل الناتج عن خريطة التدفق غير المتصلة بالإنترنت.
الحل المغلق (Theorem 3.2): من خلال تقريب دالة $Q$ باستخدام توسيع تايلور من الدرجة الأولى، يستنتج المؤلفون إزاحة مستهدفة مثلى. السرعة المتوسطة المثلى $u^*_{r,1}$ هي:
$u^*_{r,1} = u^{off}_{r,1} + \eta \frac{\nabla_a Q_\phi(s, a_1)}{\|\nabla_a Q_\phi(s, a_1)\|_2}$
هدف التعلم: يتم تدريب السياسة على الانحدار تجاه هذا الهدف الأمثل باستخدام عامل إيقاف التدرج (stop-gradient)، مما يخلق هدف تعلم ذاتي التغذية (self-bootstrapped) يربط توزيع الفعل بتوجيه $Q$ دون الحاجة لشبكات تقطير.
منطقة الثقة التكيفية: للتعامل مع عدم يقين المنتقد، يتم جعل نصف القطر $\eta$ تكيفيًا لكل عينة بناءً على عدم الاتفاق بين مجموعة من التوأمين (twin-critic ensemble). يؤدي عدم الاتفاق العالي إلى تصغير منطقة الثقة، مما يعطي الأولوية للنموذج السلوكي السابق (offline prior).

3. بحث الشعاع الموجه بـ Q (Q-Guided Beam Search - QGBS)

لتحسين الأفعال بشكل أكبر أثناء الاستدلال دون تدريب إضافي أو محاكاة مكلفة للمعادلات التفاضلية العادية، يقدم المؤلفون QGBS.

الآلية: يجمع بين إعادة الضجيج العشوائية (stochastic renoising) (إفساد الفعل الحالي إلى حالة متوسطة $t' < 1$ بناءً على نسبة الإشارة إلى الضجيج) وبحث الشعاع (beam search).
العملية:
1. الاستكشاف: إعادة الضجيج للفعل الحالي لتوليد مجموعة من الحالات المتوسطة.
2. إزالة الضجيج والاختيار: استخدام خريطة التدفق لإزالة الضجيج من هذه الحالات للوصول إلى $t=1$ ، مما يولد عدة أفعال مرشحة.
3. الاستغلال: اختيار أفضل المرشحين بناءً على قيمة $Q$ للمنتقد، وتطبيق إزاحة منطقة الثقة المثلى (المعادلة 11)، والتكرار.
يسمح هذا بالتحسين المتكرر أثناء الاستدلال، مما يوازن بين الاستكشاف والاستغلال.

المساهمات الرئيسية

سياسات خرائط التدفق (Flow Map Policies): إطار عمل لتعلم سياسات الخطوة الواحدة كعوامل قفزة بين زمنين لسياسات التدفق التوليدية، مما يعمم السياسات الحالية للخطوة الواحدة.
الخوارزميات (FMQ & QGBS):
- FMQ: طريقة تكيف فعالة تستخدم توجيه $Q$ الأمثل المستمد من قيد منطقة الثقة، مما يلغي الحاجة إلى الاستدلالات التجريبية "أفضل $N$ من العينات" أثناء التدريب.
- QGBS: خوارزمية تحسين أثناء الاستدلال تجمع بين إعادة الضجيج، واختيار الشعاع، وتوجيه $Q$ لمنطقة الثقة.
الأداء المتفوق (State-of-the-Art): تحقق الطريقة أداءً فائقًا عبر 12 مهمة من مهام التحكم في الروبوتات (manipulation) والحركة (locomotion).

النتائج التجريبية

قيم المؤلفون FMQ و QGBS على 12 مهمة من OGBench و RoboMimic، مقارنة بالنماذج المرجعية بما في ذلك QC (مطابقة التدفق متعددة الخطوات) و MVP (أحدث سياسة تدفق متوسط خطوة واحدة).

الأداء: حققت FMQ معدل نجاح متوسط ربعي (IQM) يبلغ 0.91، متفوقة على MVP (0.75) بتحسن نسبي قدره 21.3% وعلى QC (0.86) بنسبة 5.8%.
الكفاءة: تعد FMQ أكثر كفاءة بحوالي 2.77 ضعفًا أثناء التكيف المتصل بالإنترنت مقارنة بـ MVP، حيث تصل إلى نفس أهداف النجاح بشكل أسرع بكثير.
توسع الاستدلال: أدى تطبيق QGBS على FMQ إلى تحسين الـ IQM إلى 0.93. ومن الجدير بالذكر أن QGBS حقق ذلك بعدد أقل من عمليات التقيامي الأمامي للشبكة (NFE) من عينات "أفضل 32" القياسية في بعض التكوينات، مما يثبت أن تنويع المرشحين عبر إعادة الضجيج أكثر كفاءة من مجرد زيادة عدد العينات.
المتانة: أظهرت الطريقة مكاسب خاصة في البيئات الصعبة (مثل cube-trl-t4 و amaze-gnt-t4) حيث واجهت النماذج المرجعية صعوبات، وحافظت على الاستقرار في مهام الحركة ذات المكافأة المتفرقة.

الأهمية

تدعي الورقة أنها تسد الفجوة بين القدرة التعبيرية للسياسات التوليدية ومتطلبات زمن الاستجابة المنخفض لتعلم التعزيز من النوع "من غير متصل بالإنترنت إلى متصل بالإنترنت". من خلال صياغة التكيف المتصل بالإنترنت كمسألة تحسين منطقة ثقة، استنتج المؤلفون هدف تعلم مغلق وصريح (FMQ) يربط الأفعال بتوجيه قيمة $Q$ دون العبء الحسابي للعينات التكرارية أو عدم مثالية الاختيار التجريبي. علاوة على ذلك، يوفر تقديم QGBS آلية لتحسين السياسات أثناء الاستدلال، مستفيدًا من أخذ العينات العشوائية وبحث الشعاع لتحسين الأداء دون تكاليف تدريب إضافية. يوضح العمل أن سياسات الخطوة الواحدة التوليدية، عندما يتم توجيهها بشكل صحيح بواسطة تدرجات $Q$ المثلى، يمكن أن تتفوق على كل من نماذج الانتشار متعددة الخطوات والسياسات الحالية للخطوة الواحدة في مهام التحكم المستمر المعقدة.