🤖 machine learning

Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking

تقترح هذه الورقة إطاراً بايزياً لتتبع الأهداف المتعددة النشط يعالج أوجه القصور في سياسات الانتشار الحالية من خلال صياغة اختيار الخبير كمسألة "بانديت سياقي" (contextual bandit) غير متصلة بالإنترنت، وذلك باستخدام نموذج "الطبقة الأخيرة البايزي المتغير" لتقدير عدم اليقين التنبؤي ومعيار "الحد الأدنى من حد الثقة" (Lower Confidence Bound) لاختيار استراتيجية الخبير الأكثر موثوقية بمتانة لتكييف توليد الإجراءات.

المؤلفون الأصليون: Haotian Xiang, Qin Lu, Yaakov Bar-Shalom

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haotian Xiang, Qin Lu, Yaakov Bar-Shalom

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قائد طائرة درون صغيرة تحلق داخل مستودع ضخم ومظلم مليء بالصناديق المتحركة ("الأهداف"). مهمتك هي مراقبة أكبر عدد ممكن من الصناديق. ولكن هناك عقبة: كاميرا الطائرة لها رؤية ضيقة للغاية، حيث لا يمكنك رؤية سوى ما يقع أمامك مباشرة.

هذا يخلق معضلة مستمرة:

هل أبقى في مكاني وأراقب الصناديق التي أراها بالفعل؟ (هذا هو الاستغلال - تحقيق أقصى استفادة مما أعرفه بالفعل).
أم أطير بعيداً نحو الزوايا المظلمة لأجد صناديق جديدة لم أرها بعد؟ (هذا هو الاستكشاف - البحث عن المجهول).

إذا قمت بأحدهما فقط، فستفقد الكثير. وإذا حاولت القيام بالاثنين معاً دون خطة، فقد ينتهي بك الأمر بالطيران في دوائر مفرغة ومشوشة.

المشكلة في الطريقة القديمة

في الماضي، حاول العلماء تعليم الطائرات بدون طيار حل هذه المعضلة باستخدام "سياسات الانتشار" (Diffusion Policies). فكر في "سياسة الانتشار" كأنها مُرتجل مبدع. أنت تعرض عليها آلاف الفيديوهات لطائرات أخرى وهي تحلق، وهي تتعلم "ارتجال" مسار الطيران. إنها بارعة في تعلم العديد من أساليب الطيران المختلفة (مثل عازف جاز يمكنه العزف بسرعة، أو ببطء، أو بأسلوب فوضوي).

ومع ذلك، كان للطريقة القديمة عيب: لقد تركت اختيار أي أسلوب يجب استخدامه للصدفة العشوائية.
تخيل أن الطائرة تقوم بالارتجال، وفجأة قررت بشكل عشوائي أن تعزف "الجاز" (استكشاف) بينما كان ينبغي عليها عزف "الموسيقى الكلاسيكية" (تتبع). الأمر يشبه طباخاً يقرر عشوائياً إضافة الملح أو السكر إلى الحساء دون تذوقه أولاً. أحياناً ينجح الأمر، ولكن في كثير من الأحيان يتسبب في فوضى عارمة. لم تكن الطائرة تعرف لماذا اختارت حركة معينة، لذا لم تكن متأكدة مما إذا كانت تلك الحركة فكرة جيدة للموقف الحالي.

الحل الجديد: "لجنة الخبراء البايزية"

ابتكر مؤلفو هذه الورقة نظاماً أكثر ذكاءً. بدلاً من ترك الطائرة تخمن، منحوها لجنة من ثلاثة مدربين متخصصين (خبراء) وحكماً ذكياً.

الثلاثة مدربون (الخبراء):
- المدرب المستكشف: يطير دائماً نحو الزوايا الأكثر ظلاماً والتي لم تُستكشف بعد.
- المدرب المتتبع: يلتصق دائماً بالقرب من الصنوف التي يمكنه رؤيتها بالفعل.
- المدرب الهجين: يتنقل بين الاثنين اعتماداً على مدى اضطراب الرؤية.
الحكم الذكي (المُحدد البايزي):
هذا هو الجزء السحري. قبل أن تتخذ الطائرة أي حركة، ينظر الحكم إلى الموقف الحالي ("حالة الاعتقاد").
- يسأل كل مدرب: "إذا توليت القيادة الآن، ما مدى جودة أدائك؟"
- اللمسة الإبداعية: الحكم لا يكتفي بطلب تخمين، بل يطلب درجة ثقة. فهو يدرك متى يكون المدرب في حالة تخمين أعمى لأنه لم يواجه موقفاً كهذا من قبل.

استراتيجية "التشاؤم" (شبكة الأمان)

إليك الجزء الأكثر ذكاءً في طريقتهم، والذي يسمى الحد الأدنى لثقة النطاق (LCB).

تخيل أنك تراهن على سباق خيول.

المدرب (أ) يقول: "سأفوز بنسبة 90% من المرات!" (لكنه لم يسبق له السباق في مضامير طينية من قبل، لذا فإن ثقته مهتزة).
المدرب (ب) يقول: "سأفوز بنسبة 80% من المرات." (لقد سبق له السباق في مضامير طينية مئات المرات، لذا فهو واثق جداً).

النظام التقليدي قد يختار المدرب (أ) لأن نسبة 90% تبدو أفضل. لكن هذا النظام التشاؤمي الجديد يقول: "انتظر، المدرب (أ) يخمن فقط. إذا أخطأ، سنخسر خسارة كبيرة. المدرب (ب) أكثر أماناً. لنختر المدرب (ب)."

يقوم النظام عمداً بفرض عقوبات على المدربين الذين يفتقرون إلى اليقين. إنه يختار المدرب الذي يمتلك أفضل أداء مضمون في أسوأ الحالات. هذا يمنع الطائرة من الثقة في مدرب قد يكون محظوظاً فحسب.

كيف يعمل الأمر في الواقع

الطائرة تنظر حولها: ترى بعض الصناديق وبعض الزوايا المظلمة.
الحكم يفحص المدربين:
- "أيها المدرب المستكشف، كيف تشعر؟" -> "أنا بخير، لكني لست متأكداً بشأن هذه الزاوية تحديداً." (ثقة منخفضة).
- "أيها المدرب المتتبع، كيف تشعر؟" -> "أنا في أفضل حالاتي! لقد رأيت هذا النمط بدقة من قبل." (ثقة عالية).
القرار: يختار الحكم "المدرب المتتبع" لأنه، رغم أن "المستكشف" قد يكون أفضل، إلا أن "المتتبع" موثوق في هذه اللحظة.
الإجراء: تنتقل الطائرة إلى وضع "التتبع" وتطير بسلاسة لإبقاء الصناديق في مجال رؤيتها.

لماذا هذا مهم؟

اختبرت الورقة هذا في محاكاة حاسوبية لمستودع.

الطريقة القديمة (الارتجال العشوائي): شعرت الطائرة بالارتباك، وفقدت الأهداف، وطارت بشكل غير فعال.
الطريقة الجديدة (الاختيار البايزي للخبراء): عرفت الطائرة تماماً متى تبحث عن أهداف جديدة ومتى تلتزم بالأهداف التي لديها. لقد تتبعت المزيد من الأهداف، وارتكبت أخطاء أقل، وطارت بكفاءة أكبر.

الخلاصة

تعلم هذه الورقة الروبوتات كيف تتوقف عن التخمين وتبدأ في التحقق من ثقتها. بدلاً من مجرد "تجربة الأشياء"، تسأل الروبوتات نفسها: "هل أعرف حقاً ما أفعله هنا؟" إذا كانت الإجابة "لست متأكداً"، فإنها تنتقل إلى استراتيجية تعرفها جيداً. إنه الفرق بين سائق متهور ينحرف عشوائياً وبين سائق محترف يعرف تماماً متى يزيد السرعة ومتى يبطئ بناءً على ظروف الطريق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "سياسة الانتشار مع اختيار الخبراء البايزي للتتبع النشط متعدد الأهداف" (Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking).

1. بيان المشكلة

يتضمن التتبع النشط متعدد الأهداف (AMTT) روبوتًا متنقلاً يتنقل في بيئة ذات مجال رؤية (FoV) محدود لتتبع أهداف متعددة متحركة. التحدي الجوهري يكمثل في معضلة الاستكشاف والاستغلال (Exploration-Exploitation Dilemma):

الاستكشاف (Exploration): يجب على الروبوت البحث في المناطق غير المرصودة للعثور على أهداف جديدة أو مفقودة.
الاستغلال (Exploitation): يجب على الروبوت تتبع الأهداف المكتشفة حاليًا لتقليل عدم اليقين في تقدير الحالة.

محددات النهج الحالية:

السياسات أحادية النمط (Unimodal Policies): غالبًا ما تؤدي الطرق التقليدية (مثل التعلم المعزز العميق القياسي أو التعلم بالتقليد القائم على الانحدار) إلى متوسط عبر استراتيجيات سلوكية مختلفة، مما يؤدي إلى "انهيار النمط" (Mode Collapse) غير الأمثل، حيث يفشل الروبوت في الالتزام بفعالية إما بالاستكشاف أو الاستغلال.
الاختيار الضمني في سياسات الانتشار (Implicit Selection in Diffusion Policies): بينما يمكن لسياسات الانتشار (مثل MATT-Diff) تمثيل توزيعات العمل متعددة الأنماط بشكل طبيعي، إلا أنها تعتمد على الضجيج العشوائي (Stochastic Noise) أثناء عملية إزالة الضجيج (Denoising) لاختيار نمط سلوكي ضمني. وهذا يفتقر إلى آلية مبدئية لاختيار الاستراتيجية الواعية بعدم اليقين (Uncertainty-aware) بناءً على حالة الاعتقاد الحالية للروبوت.
البوابات الحتمية (Deterministic Gating): تستخدم أساليب "خليط الخبراء" (Mixture-of-Experts - MoE) الحديثة بوابة "softmax" لتوجيه المدخلات إلى خبراء محددين. ومع ذلك، فإن هذه الأساليب توفر فقط تقديرات نقطية دون تحديد كمي لعدم اليقين (Uncertainty Quantification)، مما يجعلها عرضة للالتزام المفرط بالخبراء عندما يواجه الروبوت حالات خارج نطاق التوزيع التدريبي.

2. المنهجية

يقترح المؤلفون إطار عمل يفصل بين اختيار الاستراتيجية وتوليد الإجراء، حيث يتم التعامل مع اختيار الخبير كمسألة "بانديت سياقي غير متصل" (Offline Contextual Bandit Problem).

أ. بنية النظام

مخططو الخبراء (Expert Planners): يقوم ثلاثة مخططات قائمة على القواعد بتوليد بيانات توضيحية تغطي أنماطًا مختلفة:
- $\pi_1$ (الاستكشاف): استكشاف قائم على الحدود (Frontier-based exploration).
- $\pi_2$ (هجين): يتنقل بين التتبع والاستكشاف بناءً على عدم يقين تغاير الهدف (Target Covariance Uncertainty).
- $\pi_3$ (قائم على الوقت): يتتبع لفترة زمنية محددة قبل البدء بالاستكشاف.
سياسة الانتشار (مولد الإجراءات): يقوم نموذج احتمالي لانتشار إزالة الضنو (DDPM) بتوليد تسلسلات الإجراءات. وهو مشروط بـ:
- ميزات الملاحظة: يتم ترميزها عبر شبكة CNN وTransformer (Performer) من الخرائط ذات المنظور الذاتي والاعتقادات حول الأهداف.
- تضمين الخبير (Expert Embedding): متجه متعلم يمثل الخبير المختار ( $k$ ).
محدد الخبراء البايزي (موجه الاستراتيجية): بدلاً من أخذ العينات العشوائية أو بوابات softmax، يستخدم النظام نموذج "الطبقة الأخيرة المتغيرة بايزي" (Variational Bayesian Last Layer - VBLL) للتنبؤ بأداء كل خبير.

ب. الإطار البايزي

صياغة البانديت السياقي غير المتصل (Offline Contextual Bandit Formulation): تتم صياغة المشكلة كاختيار "ذراع" (خبير) بناءً على "سياق" (حالة الاعتقاد الحالية) لتعظيم المكافأة (الخطأ في التتبع بالسالب). نظرًا لأن النموذج يتم تدريبه "غير متصل"، فإنه لا يمكنه جمع ملاحظات جديدة، مما يستلزم نهجًا متشائمًا (Pessimistic).
الطبقة الأخيرة المتغيرة بايزي متعددة الرؤوس (Multi-Head VBLL):
- يقوم مشفر ميزات مشترك بالتغذية إلى $K$ من الرؤوس المنفصلة للانحدار (رأس لكل خبير).
- يقوم كل رأس بنمذجة المكافأة $r_k$ كدالة خطية للميزات مع وجود "توزيع قبلي غاوسي" (Gaussian Prior) على الأوزان.
- يتم تدريب النموذج لتعظيم "الحد الأدنى من دليل الإمكانية" (ELBO)، مما يوفر كلاً من التقدير النقطي (المكافأة المتوقعة) وعدم اليقين التنبئي (التباين) في تمريرة أمامية واحدة.
الاختيار المتشائم (LCB):
- لتجنب الالتزام المفرط بالخبراء ذوي التنبؤات غير الموثوقة (التباين العالي)، يستخدم النظام معيار "حد الثقة الأدنى" (Lower Confidence Bound - LCB):
  $LCB_k = \hat{r}_k - \lambda \cdot \sigma_k$
  حيث $\hat{r}_k$ هو متوسط المكافأة المتوقع، و $\sigma_k$ هو الانحراف المعياري التنبئي، و $\lambda$ هو معامل التشاؤم.
- يتم اختيار الخبير صاحب أعلى درجة LCB. وهذا يقلل بطبيعته من قيمة الخبراء ذوي التباين العالي، مفضلًا أولئك الذين يتمتعون بأداء متوقع عالٍ وثقة عالية في آن واحد.

3. المساهمات الرئيسية

تحديد الفجوة: تسليط الضوء على أن سياسات الانتشار الحالية تفتقر إلى آليات للتكيف مع الاستراتيجية الواعية بعدم اليقين، وتعتمد بدلاً من ذلك على الضجيج العشوائي لاختيار النمط.
صياغة مبتكرة: صياغة اختيار الخبير لسياسات الانتشار كمسألة "بانديت سياقي غير متصل"، مما يربط بين أدبيات البانديت غير المتصل والتحكم القائم على الانتشار.
خوارزمية عملية: تطوير طريقة تجمع بين Multi-Head VBLL لتقدير عدم اليقين في تمريرة واحدة، وLCB للاختيار المتشائم. هذا يتجنب التكلفة الحسابية لطرق التجميع (مثل MC Dropout) مع توفير تقدير قوي لعدم اليقين.
مكاسب الأداء: أثبتت التجارب أن الاختيار الصريح والواعي بعدم اليقين يتفوق بشكل كبير على الاختيار العشوائي الضمني وطرق البوابات الحتمية.

4. النتائج التجريبية

أُجريت التجارب في بيئات داخلية ثنائية الأبعاد (2D) تحاكي الواقع مع 3 إلى 6 أهداف متحركة.

المقاييس: جذر متوسط مربع الخطأ (RMSE)، واللوغاريتم السالب للاحتمالية (NLL)، والاعتلاج (Entropy) (الأقل هو الأفضل).
النتائج الرئيسية:
- مقابل الاختيار الضمني: تفوقت طريقة VBLL المقترحة بشكل كبير على خط الأساس MATT-Diff غير المشروط (الذي يستخدم الاختيار العشوائي الضمني) عبر جميع المقاييس.
- مقابل البوابات الحتمية: تفوقت VBLL على كل من اختيار MoE (بوابة softmax) وانحدار MLP (التنبؤ بالمكافأة الحتمي). وهذا يؤكد أن تحديد كمية عدم اليقين أمر بالغ الأهمية؛ فمجرد التنبؤ بالمكافآت دون حساب عدم اليقين يؤدي إلى قرارات دون المستوى.
- مقابل الخبراء الثابتين/العشوائيين: تفوق استراتيجية الاختيار التكيفي على سياسات الخبراء الثابتة والاختيار العشوائي، مما يثبت أن التبديل المعتمد على السياق يتفوق على الاستراتيجيات الثابتة.
- دراسات الاستئصال (Ablation Studies):
  - الجشع (Greedy) مقابل LCB: أدى استخدام التنبؤ المتوسط (Greedy) إلى أداء مشابه للنماذج الحتمية، مما يؤكد أن عقاب عدم اليقين (التشاؤم) هو المحرك الرئيسي للتحسن.
  - طرق تقدير عدم اليقين (UQ): تفوقت VBLL على MC Dropout (الذي يتطلب 20 تمريرة أمامية) وعلى Neuralbandit، حيث قدمت دقة أفضل مع زمن انتقال (Latency) أقل بكثير (تمريرة واحدة).
- الكفاءة: كان وقت الاستدلال لـ VBLL (16.25 مللي ثانية) مقارباً لسياسة الانتشار الأساسية (15.21 مللي ثانية) وأسرع بكثير من مخططات RRT* القائمة على القواعد (184.12 مللي ثانية).

5. الأهمية

يعالج هذا العمل قصوراً حرجاً في الروبوتات القائمة على التعلم: عدم القدرة على الاختيار الموثوق بين استراتيجيات سلوكية متميزة في بيئات غير مؤكدة. من خلال دمج الاستدلال البايزي في حلقة اختيار الخبراء لـ سياسة الانتشار، قدم المؤلفون حلاً قوياً وفعالاً من الناحية الحسابية للتتبع النشط.

يضمن هذا النهج أن الروبوت لن يتبع بشكل أعمى استراتيجية قد تكون غير موثوقة عندما تكون حالة الاعتقاد لديه غامضة. بدلاً من ذلك، فإنه يختار بحذر الخبير الذي يمتلك الأداء المتوقع الأكثر موثوقية. هذا الإطار قابل للتعميم على مهام الروبوتات الأخرى متعددة الأنماط حيث يعتمد الأمان والموثوقية على تحديد النمط السلوكي المناسب تحت ظروف عدم اليقين.