🤖 AI

Temporal Action Representation Learning for Tactical Resource Control and Subsequent Maneuver Generation

تقدم هذه الورقة TART، وهو إطار عمل لتعلم تمثيل الأفعال الزمنية يستخدم التعلم التبايني وكتب الرموز المكممة المنفصلة لالتقاط التبعيات السببية بين استخدام الموارد والمناورات بشكل فعال، مما يمكّن الوكلاء المستقلين من توليد سلوكيات متعددة الأنماط وسياقية في البيئات محدودة الموارد.

المؤلفون الأصليون: Hoseong Jung, Sungil Son, Daesol Cho, Jonghae Park, Changhyun Choi, H. Jin Kim

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hoseong Jung, Sungil Son, Daesol Cho, Jonghae Park, Changhyun Choi, H. Jin Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة فيديو عالية المخاطر حيث تكون شخصيتك طيار مقاتل أو عداء في متاهة. لديك مشكلتان كبيرتان:

لديك ذخيرة ووقود محدودان. (قيود الموارد)
الموقف يتغير لحظياً. (بيئات ديناميكية)

تحاول معظم أنظمة الذكاء الاصطناعي للروبوتات حل هذه المشكلة عن طريق اختيار إجراء (مثل "إطلاق صاروخ") ثم اختيار الحركة التالية فوراً (مثل "الدوران يساراً"). إنهم يعاملون هذه كخطوات منفصلة. لكن في الحياة الواقعية، ما تفعله الآن يغير ما يمكنك فعله لاحقاً. إذا أطلقت صاروخاً، فلا يمكنك إطلاق صاروخ آخر فوراً، كما يجب أن يتغير مسار طيرانك لتوجيه الصاروخ نحو الهدف. إذا نفد منك الوقود، فلا يمكنك الطيران بسرعة بعد الآن.

يقدم هذا البحث ذكاءً اصطناعياً جديداً يسمى TART (التمثيل الزمني للأفعال للتحكم التكتيكي في الموارد وتوليد المناورات اللاحقة). فكر في TART كأنه لاعب شطرنج محترف لا ينظر فقط إلى النقلة التالية، بل يفهم "قصة" اللعبة.

إليك كيف يعمل TART، مشروحاً عبر تشبيهات بسيطة:

1. المشكلة: الروبوت "أحادي الخطوة"

تخيل روبوتاً يشبه كلب الروبوت الذي يعمل بلا تفكير.

السيناريو: يرى جداراً.
الإجراء: يقرر أن "يقفز" (باستخدام شحنة من البطارية).
الخطوة التالية: يختار اتجاهاً عشوائياً للجري.
الخلل: هو لا يدرك أنه بسبب استخدامه للبطارية للقفز، لا يمكنه القفز مرة أخرى لفترة من الوقت، وأنه يحتاج للركض تحديداً إلى حيث هبط من القفزة. إنه يعامل "القفزة" و"الجري" كشيئين غير مرتبطين تماماً. يؤدي هذا إلى سلوك أخرق وغير فعال.

2. الحل: "الكود التكتيكي" لـ TART

TART مختلف. بدلاً من مجرد الاستجابة، يتعلم الأنماط أو التكتيكات.

فكر في TART كأنه طيار مخضرم لديه "ورقة غش" ذهنية من الأنماط التكتيكية.

ورقة الغش (الكود): بدلاً من تذكر كل حركة صغيرة جداً، يقوم TART بتجميع المواقف المتشابهة في "أنماط".
- النمط أ: "لقد أطلقت صاروخاً للتو؛ الآن أحتاج للمراوغة والدوران للعودة."
- النمط ب: "أنا منخفض الوقود؛ أحتاج للانزلاق وتوفير الطاقة."
- النمط ج: "أنا عالق في متاهة؛ أحتمال استخدام قوتي الخاصة لكسر الجدران."

3. كيف يتعلم: المحقق "المسافر عبر الزمن"

كيف يتعلم TART هذه الأنماط؟ يستخدم تقنية تسمى التعلم التبايني (Contrastive Learning).

تخيل أنك تشاهد فيلماً، لكنك لا ترى سوى لحظة التشويق (اللحظة الحالية) والنهاية (النتيجة المستقبلية).

اللعبة: يُعرض على TART مشهد حيث يطلق الروبوت صاروخاً. ثم يحاول تخمين كيف سيبدو شكل الطيران في الـ 5 ثوانٍ القادمة.
الاختبار: يُعرض عليه الـ 5 ثوانٍ الحقيقية التالية (النهاية الصحيحة) وعدة نهايات مزيفة (مستقبلات خاطئة).
الدرس: عليه أن يتعلم أن يقول: "آه! عندما أطلق صاروخاً، فإن المستقبل الحقيقي هو دوران حاد لليسار، وليس خطاً مستقيماً."
من خلال القيام بذلك ملايين المرات، يتعلم الرابط السببي: "الفعل (س) يسبب المستقبل (ص)."

4. السحر: تعدد الأنماط (الـ "اختر مغامرتك الخاصة")

أحياناً، يمكن لفعل واحد أن يؤدي إلى العديد من النتائج الجيدة.

السيناريو: أنت تطلق صاروخاً.
الخيار أ: العدو يتجه يساراً، لذا يجب أن تتجه أنت يميناً.
الخيار ب: العدو يتجه يميناً، لذا يجب أن تتجه أنت يساراً.

الذكاء الاصطناعي القديم عادة ما يختار مساراً واحداً متوسطاً (والذي قد يكون سيئاً لكلا الخيارين). ومع ذلك، يتعلم TART أن "إطلاق صاروخ" يفتح قائمة من الخيارات الصالحة. إنه يبقي خياراته مفتوحة، مستعداً لاختيار الأفضل بناءً على ما سيفعله العدو بالفعل. إنه مثل عازف الجاز الذي يعرف تتابع الألحان (قيد الموارد) ولكنه يستطيع الارتجال في معزوفات مختلفة (مناورات) اعتماداً على الجمهور.

5. النتائج: الفوز باللعبة

اختبر الباحثون TART في عالمين:

في متاهة: كان لدى الروبوت عدد محدود من شحنات "كسر الجدران". تعلم TART توفيرها لأضيق النقاط واستخدامها بالضبط عند الحاجة للكسر، بدلاً من إهدارها. لقد حل المتاهة بشكل أسرع من أي ذكاء اصطوي آخر.
في القتال الجوي: كان على طائرة مقاتلة من طراز F-16 إدارة الصواريخ والمشعاعات الدفاعية. تعلم TART أن إطلاق صاروخ يتطلب مسار طيران متابع محدد لضمان الإصابة. لقد فاز في المزيد من المعارك الجوية واستخدم ذخائره بكفاءة أكبر من المنافسين.

ملخص

TART مثل استراتيجي ذكي يفهم "تكلفة" كل حركة.

هو لا يفكر فقط: "سأطلق النار."
بل يفكر: "أنا أطلق النار. هذا يستهلك ذخائري. وبما أنني نفدت من الذخيرة، يجب علي الآن الطيران بهذا النمط المحدد للنجاة والفوز."

من خلال تعلم هذه القصص الزمنية (كيف يؤثر الماضي على المستقبل)، يجعل TART الروبوتات ليست مجرد مستجيبة، بل بارعة تكتيكياً، حتى عندما تعمل بميزانية محدودة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم تمثيل الإجراءات الزمني للتحكم التكتيكي في الموارد وتوليد المناورات اللاحقة" (TART).

1. بيان المشكلة

غالبًا ما تعمل الأنظمة الروبوتية ذاتية القيادة تحت قيود صارمة للموارد (مثل البطارية المحدودة، أو الذخيرة، أو ميزانيات الحوسبة) في بيئات ديناميكية. التحدي الجوهري الذي تعالجه الورقة هو اتخاذ القرار التكتيكي تحت قيود الموارد ضمن فضاءات الإجراءات الهجينة.

فضاء الإجراءات الهجين: تتضمن المشكلة مزيجًا من الإجراءات المنفصلة (استخدام الموارد، مثل إطلاق صاروخ، أو استخدام قوة دفع) والإجراءات المستمرة (المناورات، مثل التحكم في الطيران، أو التوجيه).
الفجوات الرئيسية في الأساليب الحالية:
1. التبعية السببية: غالبًا ما تفشل أساليب التعلم المعزز (RL) السابقة للإجراءات الهجينة في التقاط الرابط السببي بين قرار المورد المنفصل وتأثيره على جدوى وتحسين المناورات المستمرة اللاحقة.
2. تعدد الأنماط (Multi-modality): غالبًا ما تسمح السيناريوهات التكتيكية بمسارات مناورة مستقبلية متعددة وصحيحة لنفس القرار المنفصل اعتمادًا على السياق. تميل أساليب التعلم المعزز القياسية إلى التقارب نحو سياسة مهيمنة واحدة، متجاهلة هذا التنوع.
3. التماسك الزمني: غالبًا ما تعامل الأساليب الحالية الإجراءات كأحداث أحادية الخطوة بدلاً من كونها تسلسلات مترابطة زمنيًا، مما يؤدي إلى الفشل في نمذجة التبعيات التكتيكية طويلة المدى.

2. المنهجية: إطار عمل TART

يقترح المؤلفون إطار TART (تعلم تمثيل الإجراءات الزمني للتحكم التكتيكي في الموارد وتوليد المناورات اللاحقة). يتعلم TART تمثيلًا كامنًا مهيكلًا يوحد التحكم في الموارد وتوليد المناورات.

أ. الهدف الجوهري: تعظيم المعلومات المتبادلة

يهدف TART إلى تعلم تمثيلات (state-action) تلتقط المعلومات التنبؤية التي تربط سجل الحالة + القرار المنفصل الحالي بـ تسلسل المناورة المستمرة المستقبلية.

الهدف: تعظيم المعلومات المتبادلة (MI) بين السياق (سجل الحالة $z_{t-K+1:t}$ والقرار المنفصل $u_{t,d}$ ) والمسار المستمر المستقبلي ( $u_{t:t+K-1,c}$ ).
الصياغة: $J_{TART} = I(u_{t:t+K-1,c}; [z_{t-K+1:t}, u_{t,d}])$ .
الضمان النظري: يثبت المؤلفون أنه تحت افتراضات قياسية، يؤدي تعظيم هذا الهدف إلى كفاية $Q^*$ المشتركة (Joint $Q^*$ -sufficiency)، مما يعني أن التمثيلات المتعلمة تحفظ معلومات كافية لتقييم قيم الإجراءات المثلى دون فقدان.

ب. التعلم التبايني باستخدام InfoNCE

بما أن حساب المعلومات المتبادلة (MI) المباشر غير قابل للحل حسابيًا، يستخدم TART حداً أدنى قابلاً للتطبيق عبر خسارة InfoNCE:

السياق ( $h_t$ ): يتم تشفيره من سجل الحالة والقرار المنفصل.
المستقبل ( $p_t$ ): يتم تشفيره من تسلسل المناورة المستمرة اللاحقة.
دالة الخسارة: يتم تدريب النموذج لمواءمة السياق مع المستقبل الصحيح (الزوج الإيجابي) مع إبعاده عن مسارات المستقبل الأخرى في الدفعة (الأزواج السلبية). هذا يفرض التماسك الزمني.

ج. التكميم المتجهي (VQ) للأنماط التكتيكية

للتعامل مع تعدد الأنماط وإنشاء استراتيجيات قابلة للتفسير، يتم تكميم التمثيلات الكامنة المستمرة في قاموس رموز تكتيكي منفصل ( $\mathcal{C} = \{c_1, ..., c_M\}$ ).

العملية: يتم رسم تضمين السياق $h_t$ إلى أقرب مدخل في القاموس $c_{i_t}$ عبر طريقة الجار الأقرب لـ $\ell_2$ .
النتيجة: هذا يخلق "نمطًا تكتيكيًا" منفصلاً ( $q_t$ ) يمثل نمطًا تكتيكيًا متكررًا (مثل "المطاردة الهجومية" أو "المراوغة الدفاعية").

د. السياسة الهجينة المفككة

يشترط رمز التكتيك المتعلم $q_t$ شبكة السياسة، التي يتم تفكيكها إلى فاعلين (Actors):

الفاعل المنفصل ( $\pi_d$ ): يختار إجراء المورد (مثل إطلاق صاروخ) بناءً على الحالة.
الفاعل المستمر ( $\pi_c$ ): يولد المناورة المستمرة بناءً على الحالة، والإجراء المنفصل، و رمز التكتيك المكمم $q_t$ .

التدريب: يستخدم الإطار سير عمل يعتمد على السياسة (on-policy) باستخدام PPO، حيث يتم دمج تعلم التمثيل (التباين + VQ) مع تحسين السياسة بشكل متداخل.

3. المساهمات الرئيسية

إطار عمل TART: إطار عمل جديد لتعلم التمثيل مصمم خصيصًا لفضاءات الإجراءات الهجينة، والذي ينمذج صراحةً التبعية السببية بين استخدام الموارد المنفصل وتوليد المناورات المستمرة.
المحاذاة الزمنية وتعدد الأنماط: الجمع بين التعلم التبايني (للمحاذاة الزمنية) والتكميم المتجهي (للتجميع متعدد الأنماط) يسمح للوكيل بتعلم سلوكيات تكتيكية متنوعة وواعية بالسياق بدلاً من سياسة حتمية واحدة.
الأساس النظري: توسيع مفاهيم كفاية $Q^*$ لتشمل إعدادات الإجراءات الهجينة، مما يوفر تبريرًا نظريًا لاستخدام هذه التمثيلات في أساليب تعتمد على القيمة (Value-based) أو (Actor-Critic).
التحقق التجريبي: تجارب واسعة النطاق في مجالين متميزين أظهرت أداءً متفوقًا على النماذج المرجعية الحالية.

4. النتائج التجريبية

قيم المؤلفون TART في مجالين: الملاحة في المتاهة (إجراءات محدودة للتعزيز/الاختراق) والقتال الجوي عالي الدقة (طائرة F-16 مع صواريخ ودفاعات).

مقاييس الأداء:
- الملاحة في المتاهة: حقق TART أعلى معدل نجاح (يصل إلى 97.2% في المستوى السهل، و 72.8% في المستوى الصعب) مقارنة بالنماذج المرجعية مثل HyAR و HPPO و PDQN. كما أظهر وقتًا أقل للوصول إلى الهدف (TTG) وتغطية مسارات أكثر كفاءة، خاصة في السيناريوهات "الصعبة" التي تحتوي على عوائق ديناميكية حيث استخدم بفعالية إجراء "الاختراق" لحل حالات الجمود.
- القتال الجوي: تفوق TART على جميع النماذج المرجعية في السيناريوهات السهلة والمتوسطة والصعبة (متوسط معدل النجاح 87.2% مقابل 77.4% لأفضل نموذج مرجعي). والأهم من ذلك، حقق هذه المكاسب دون هدر الموارد، محافظًا على مستويات منخفضة أو مماثلة لعدد الطلقات لكل عملية إقصاء (SPE) ووقت الإقصاء (TTE).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة خسارة التباين ( $L_{NCE}$ ) إلى تدهور الأداء وزيادة التباين، مما يثبت ضرورة المحاذاة الزمنية.
- أدى إزالة خسارة التكميم المتجهي ( $L_{VQ}$ ) إلى تقليل القدرة على التعامل مع السلوكيات متعددة الأنماط، مما يؤكد قيمة الأنماط التكتيكية المنفصلة.
التحليل النوعي:
- أظهرت الخرائط الحرارية أن وكلاء TART يسلكون مسارات أكثر مباشرة ويحلون حالات الجمود بكفاءة.
- في القتال، أظهر TAV تنسيقًا واعيًا بالسياق، مثل إطلاق صاروخ وتنفيذ مناورة مراوغة محددة فورًا (التبعية السببية)، أو التبديل بين الأنماط الهجومية والدفاعية بناءً على الرمز التكتيكي.

5. الأهمية والخاتمة

تعالج هذه الورقة اختناقًا حرجًا في نشر الروبوتات ذاتية القيادة في السيناريوهات التكتيكية الواقعية: عدم قدرة أساليب التعلم المعزز الحالية على تنسيق استخدام الموارد المحدودة مع المناورات المستمرة المعقدة بفعالية.

الأهمية: يثبت TART أن تعلم تمثيلات تكتيكية زمنية مجزأة يسمح للوكلاء بالتفكير في عواقب استهلاك الموارد. إنه يتجاوز مجرد اختيار الإجراء إلى التخطيط الاستراتيجي، مما يمكن الوكلاء من أن يكونوا أكفاء في استخدام الموارد ومرنين تكتيكيًا في آن واحد.
العمل المستقبلي: يخطط المؤلفون لتوسيع هذا إلى قيود الأجهزة في العالم الحقيقي (الطاقة، عرض النطاق الترددي) وإعدادات التعلم متعدد الوكلاء/التعلم مدى الحياة.

باختصار، يوفر TART حلاً قويًا لمشكلات التحكم الهجين من خلال توحيد إدارة الموارد المنفصلة والتحكم المستمر عبر تمثيل زمني متعدد الأنماط ومتعلم، متفوقًا بشكل كبير على نماذج التعلم المعزز للهياكل الهجينة الحالية.