🤖 AI

Hide-and-Seek in Trajectories: Discovering Failure Signals for VLA Runtime Monitoring

تقدم هذه الورقة البحثية **Hide-and-Seek**، وهو إطار عمل خاضع لإشراف تقريبي يعمل على تحديد تموضع الأفعال الدالة على الفشل وتوليد إشارات فشل مهيكلة زمنياً لنماذج الرؤية واللغة والأفعال (VLA) باستخدام تسميات على مستوى المسار فقط، مما يتيح كشفاً قوياً للفشل في الوقت الفعلي دون الحاجة إلى إعادة أخذ عينات مكلفة أو تسميات على مستوى الخطوة.

المؤلفون الأصليون: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seongheon Park, Wendi Li, Changdae Oh, Samuel Yeh, Zsolt Kira, Michael Hagenow, Sharon Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا القيام بالأعمال المنزلية، مثل ترتيب الأطباق أو طهي وجبة. أنت تعطي الروبوت فيديو لإنسان يقوم بالمهمة بشكل مثالي، ويتعلم الروبوت من خلاله. لكن في بعض الأحيان، يحاول الروبوت القيام بالمهمة ويفشل—ربما يسقط طبقًا أو يسكب الحساء. المشكلة هي أنك لا تعرف بالضبط متى بدأ الروبوت في الخطأ—كل ما تعرفه هو أن المحاولة بأكملها انتهت بكارثة.

هذه هي المشكلة التي تحاول ورقة البحث "Hide-and-Seek in Trajectories" حلها.

المشكلة: خطأ "المقاس الواحد للجميع"

حاليًا، إذا فشل روبوت في مهمة ما، غالبًا ما يصنف الباحثون المحاولة بأكملها على أنها "فشل". الأمر يشبه مشاهدة فيلم حيث يتعثر البطل في النهاية تمامًا، ثم تخبر طالبًا: "كل مشهد في هذا الفيلم كان خطأً".

هذا أمر مربك لنظام تعلم الروبوت. فبداية الفيلم (مشهد سير الروبوت نحو الخزانة) كانت جيدة في الواقع! ولكن نظرًا لأن الشيء بأكمله تم تصنيفه كـ "سيء"، فإن الروبوت سيصاب بالارتباك وسيفكر: "أوه، السير نحو الخزانة خطر أيضًا". هذا يخلق الكثير من "الضجيج" ويجعل من الصائع على الروبوت تعلم ما الذي سار بشكل خاطئ بالفعل.

تحاول طرق أخرى إصلاح ذلك من خلال الطلب من ذكاء اصطناعي فائق الذكاء (نموذج رؤية ولغة - Vision-Language Model) مشاهدة الفيديو في الوقت الفعلي والصراخ بكلمة "توقف!" عندما يرى خطأً ما. لكن هذه الأنواع من الذكاء الاصطناعي بطيئة، مثل حلزون يحاول ركض ماراثون، وغالبًا ما يدركون وقوع الخطأ بعد فوات الأوان، أي بعد أن يكون الطبق قد انكسر بالفعل.

الحل: "الغميضة" (Hide-and-Seek)

يقترح المؤلفون إطار عمل جديد يسمى Hide-and-Seek. إنهم يعاملون اكتشاف الفشل كأنها لعبة بحث عن إبرة في كومة قش.

الإبرة: اللحظة المحددة التي يبدأ فيها الروبوت في الفشل (على سبيل المثال، الثانية الدقيقة التي ينزلق فيها).
كومة القش: جميع الأفعال الناجحة والطبيعية التي قام بها الروبوت قبل الانزلاق.
الدليل: الدليل الوحيد الذي تملكه هو النتيجة النهائية: "هذه المحاولة بأكملها فشلت".

على النظام أن يكتشف أين تختبئ الإبرة دون أن يخبره أحد بالوقت المحدد.

كيف يعمل: قاعدتان بسيطتان

بدلاً من تصنيف كل ثانية على أنها "سيئة"، يستخدم النظام حيلتين ذكيتين (قاعدتين رياضيتين) للعثور على اللحظة السيئة:

لعبة "الأفضل مقابل الأسوأ" (بين المسارات - Inter-trajectory):
تخيل أن لديك فيديو لروبوت يفشل وفيديو لروبوت ينجح. يسأل النظام: "ما هي اللحظة الأكثر إثارة للريبة في فيديو الفشل؟" ثم يقارنها باللحظة الأكثر إثارة للريبة في الفيديو الناجح (ربما تمايل بسيط تعافى منه الروبوت الناجح).
القاعدة بسيطة: اللحظة "السيئة" في فيديو الفشل يجب أن تبدو أسوأ من اللحظة "السيئة" في فيديو النجاح. هذا يجبر النظام على التركيز على الأخطاء الحرجة حقًا، وليس مجرد التمايلات الطبيعية.
لعبة "قبل وبعد" (داخل المسار - Intra-trajectory):
في فيديو فشل واحد، يبحث النظام عن النقطة التي يرتفع فيها مستوى "السوء" فجأة. يفترض النظام أنه قبل الخطأ، كان الروبوت يؤدي بشكل جيد، وبعد الخطأ، أصبحت الأمور أسوأ.
القاعدة هي: متوسط "درجة السوء" بعد الطفرة يجب أن يكون أعلى من الدرجة قبل الطفرة. يساعد هذا النظام في تحديد اللحظة التي بدأ فيها الخلل بالضبط، حتى دون أن يشير إنسان إلى الساعة.

النتائج: سريعة ودقيقة

اختبر المؤلفون طريقتهم على روبوتات تقوم بمهام في عمليات محاكاة وعلى ذراع روبوت حقيقي في مختبر. وقارنوا طريقة "Hide-and-Seek" الخاصة بهم مع أفضل الطرق الأخرى.

إنها أذكى: لقد وجدت لحظات الفشل بدقة أكبر بكثير من طريقة "تصنيف كل شيء كفشل" القديمة.
إنها أسرع: على عكس "مراقبي الذكاء الاصطناعي الفائقين" الذين يعملون ببطء، فإن هذه الطريقة سريعة للغاية. يمكنها التحقق من حالات الفشل آلاف المرات أسرع من المراقبين القائمين على الفيديو، مما يجعلها عملية للاستخدام في الوقت الفعلي.
إنها قابلة للتعميم: تعمل بشكل جيد على مهام لم يسبق للروبوت رؤيتها، وليس فقط المهام التي تدرب عليها.

الخلاصة

"Hide-and-Seek" هي طريقة خفيفة، سريعة، وذكية لتعليم الرونات كيفية رصد أخطائها في الوقت الفعلي. فبدلاً من لوم اليوم بأكمله بسبب لحظة واحدة سيئة، فهي تعلم الروبوت تحديد الثانية الدقيقة التي ساءت فيها الأمور، باستخدام النتيجة النهائية فقط كإشارة. وهذا يجعل الروبوتات أكثر أمانًا وموثوقية عندما تخرج إلى العالم الحقيقي.

ملخص تقني: الاختباء والبحث في المسارات (Hide-and-Seek in Trajectories)

بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLA) إمكانات كبيرة في تمكين الروبوتات من اتباع التعليمات اللغوية الطبيعية والتعميم عبر مهام متنوعة. ومع ذلك، فإن نشرها في بيئات العالم الحقيقي يعوقه التعرض لإخفاقات التنفيذ، والتي يمكن أن تؤدي إلى نتائج كارثية (مثل إسقاط الأشياء). ويعد اكتشاف هذه الإخفاقات أثناء التنفيذ أمراً حاسماً لضمان المتانة.

تواجه طرق اكتشاف الفشل الحالية عائقين رئيسيين:

تكلفة الإشراف: إن الحصول على تعليقات توضيحية لمستوى الخطوة (تحديد الطابع الزمني الدقيق للخطأ) أمر مكلف وصعب التوسع، لا سيما للمسارات طويلة الأمد وعشوائية المسار. وغالباً ما تعتمد النهج الحالية التي تستخدم تسميات على مستوى المسار (trajectory-level labels) على نشر هذه التسميات بشكل موحد على كل طابع زمني. هذا "النشر الموحد" يخطئ في تصنيف الأفعال الطبيعية التي تسبق الفشل كإخفاقات، مما يؤدي إلى ضجيج كبير في التسميات ويحجب إشارات الفشل الموضعية.
الواقعية الحسابية: الطرق التي تعتمد على إعادة أخذ العينات من الأفعال (action resampling) أو القضاة الخارجيين القائمين على نماذج الرؤية واللغة (VLM) تتسبب في عبء استدلال باهظ، مما يمنع النشر في الوقت الفعلي. علاوة على ذلك، صُمم العديد من الكواشف الحالية لسياسات متخصصة في مهام ثابتة، مما يحد من قابليتها للتطبيق في نماذج VLA العامة في بيئات العالم المفتوح.

التحدي الجوهري الذي يتم معالجته هو الاكتشاف الخاضع للإشراف الخشن (Coarsely Supervised Failure Detection): تعلم كاشف فشل دقيق لكل خطوة باستخدام فقط تسميات النتيجة على مستوى المسار (نجاح/فشل) دون الحاجة لأي تعليقات توضيحية على مستوى الخطوة.

المنهجية: الاختباء والبحث (Hide-and-Seek)

يقترح المؤلفون Hide-and-Seek، وهو إطار عمل خفيف الوزن للكشف عن الفشل أثناء التشغيل، والذي يعامل المشكلة كمسألة تعلم خاضعة للإشراف الخشن. سُميت الطريقة بهذا الاسم بناءً على استعارة مفادها أن إشارات الفشل "مختبئة" بين سلوك طبيعي سائد داخل المسار، ويجب على الكاشف "البحث" عنها باستخدام نتيجة المسار كدليل فقط.

الإطار الجوهري

يتعلم الإطار كاشفاً تسلسلياً $f_\phi$ يقوم برسم خريطة لسابقة المسار $\tau_{\le t}$ (التي تتكون من تضمينات الأفعال الداخلية) إلى درجة فشل عددية $s_t \in [0, 1]$ . وبدلاً من تعيين تسمية المسار بشكل موحد، تستخدم الطريقة هدفاً تباينياً (contrastive objective) عند مستويين متكاملين لتحديد الأفعال الدالة على الفشل:

خسارة التباين بين المسارات ( $\mathcal{L}_{inter}$ ):
- الهدف: التمييز بين الفعل الأكثر دلالة على الفشل في مسار الفشل، والفعل الأكثر تشبهاً بالفشل (أصعب حالة إيجابية كاذبة) في مسار ناجح.
- الآلية: بالنسبة لزوج من مسارات الفشل ( $\tau_f$ ) والنجاح ( $\tau_s$ )، تفرض الخسارة أن يتجاوز الحد الأقصى لدرجة الفشل في $\tau_f$ الحد الأقصى للدرجة في $\tau_s$ بهامش قدره $m_r$ .
- الأثر: يوجه هذا النموذج للتركيز على أكثر إشارات الفشل بروزاً دون افتراض أين تقع، مما يكتشف الخطوة الحرجة بشكل تكيفي.
خسارة التباين داخل المسار ( $\mathcal{L}_{intra}$ ):
- الهدف: تشكيل الديناميكيات الزمنية داخل مسار الفشل للفصل بين مرحلتي ما قبل الفشل (طبيعي) وما بعد الفشل.
- الآلية: تحدد الطريقة نقطة بداية الفشل التقريبية $t_{onset}$ باعتبارها نقطة أقصى زيادة في الدرجة ( $\arg\max_t (s_t - s_{t-1})$ ). وتشجع الخسارة متوسط الدرجة بعد $t_{onset}$ على أن يتجاوز متوسط الدرجة قبل $t_{onset}$ بهامش قدره $m_o$ .
- الأثر: يحول هذا الإجراء الإشراف الخشن على مستوى المسار إلى إشارة مهيكلة زمنياً، مما يضمن بقاء الدرجات منخفضة أثناء التنفيذ الطبيعي وارتفاعها بحدة عند بدء الفشل.

الهدف الإجمالي هو $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$ .

المراقبة أثناء التشغيل

أثناء الاستدلال، ينتج الكاشف درجة $s_t$ عند كل طابع زمني. ولتحديد إنذار الفشل، يستخدم النظام التنبؤ التوافقي الوظيفي (Functional Conformal Prediction - CP). يتم إنشاء عتبة متغيرة زمنياً $\zeta_t$ من مجموعة معايرة (calibration set) من المسارات الناجحة. يضمن ذلك أنه لأي عملية تشغيل ناجحة جديدة، يكون معدل الإنذار الكاذب على مستوى المسار محدوداً بمستوى دلالة $\alpha$ يحدده المستخدم. يُعلن عن الفشل عند أول طابع زمني حيث $s_t \ge \zeta_t$ .

البنية الهيكلية

الكاشف $f_\phi$ هو نموذج تسلسلي خفيف الوزن (الافتراضي: LSTM أحادي الطبقة) يعالج تضمينات الأفعال المستخرجة من رمز الفعل (action token) أو رأس النموذج (head) الخاص بـ VLA. وللتخفيف من التكرار الزمني، يستخدم المؤلفون تجميع النوافذ المنزلقة غير المتداخلة مع التجميع المتوسط (average pooling).

المساهمات الرئيسية

إطار عمل مبتكر: تقديم Hide-and-Seek، الذي يربط بين التعلم الخاضع للإشراف الضعيف واكتشاف الفشل في الذكاء الاصواعي المجسد، مما يسمح باكتشاف الأفعال الدالة على الفشل باستخدام الإشراف على مستوى المسار وحده.
تصميم هدف التباين: آلية خسارة مزدوجة (بين المسارات وداخل المسارات) تميز إشارات الفشل عبر المسارات وداخلها، مما يحول الإشراف الخشن بفعالية إلى إشارات مهيكلة زمنياً دون الحاجة لتعليقات توضيحية على مستوى الخطوة.
تقييم شامل: تقييم واسع النطاق على معايير المحاكاة (LIBERO-10، VLABench) وعلى منصة روبوتية في العالم الحقيقي (UFactory xArm 6) باستخدام ثلاث سياسات VLA تمثيلية: OpenVLA (تكراري/autoregressive)، و $\pi_0$ ، و $\pi_0.5$ (مطابقة التدفق/flow-matching).

النتائج التجريبية

تم تقييم الطريقة مقابل 12 خط أساس (baseline)، بما في ذلك طرق اكتشاف الخروج عن التوزيع (OOD detection)، وأساليب أخذ العينات المتعددة، والطرق القائمة على التصنيف (مثل SAFE).

الأداء: تحقق Hide-and-Seek أداءً هو الأفضل (state-of-the-art) عبر جميع المقاييس (الدقة المتوازنة bACC، الدقة الموزونة، الدقة الموزونة زمنياً) في كل من المهام المرئية وغير المرئية.
- في LIBERO-10 مع OpenVLA، تفوقت على أقوى خط أساس تصنيفي (SAFE-MLP) بمقدار +6.8% في bACC للمهام المرئية و**+7.2%** للمهام غير المرئية.
- في VLABench مع $\pi_0.5$ ، تفوقت على SAFE-MLP بمقدار +8.1% في TWA للمهام المرئية و**+10.8%** للمهام غير المرئية.
- في تجارب العالم الحقيقي، حافظت على أداء مستقر عبر المهام المرئية وغير المرئية، محققة زيادة قدرها +11.7% في bACC على المهام غير المرئية مقارنة بـ SAFE-MLP.
الكفاءة: مقارنة بمراقب تشغيل قائم على VLM (مثل Qwen3-VL-8B)، تعد Hide-and-Seek أسرع بأكثر من 2,000 مرة (0.001 ثانية مقابل 2.343 ثانية لكل خطوة) مع تحقيق دقة أعلى بنسبة +13.1%.
دراسات الاستئصال (Ablation Studies):
- التسمية الموحدة: تفوقت الطريقة المقترحة بشكل كبير على خط الأساس الذي يعين تسميات المسار بشكل موحد لجميع الطوابع الزمنية (+19.4% bACC في OpenVLA)، مما يؤكد أن النشر الموحد يسبب ضجيجاً في التسميات.
- البنية الهيكلية: تفوقت النماذج المتكررة (LSTM, GRU) على نماذج MLP وTransformers، مما يشير إلى فائدة نمذجة السياق الزمني.
- مكونات الخسارة: كل من $\mathcal{L}_{inter}$ و $\mathcal{L}_{intra}$ ضروريان؛ حيث تعمل $\mathcal{L}_{inter}$ وحدها بشكل جيد، لكن الجمع بينهما يحقق تحسينات متسقة.

الأهمية والادعاءات

يدعي البحث أن Hide-and-Seek توفر حلاً عملياً وخفيف الوزن للمراقبة في الوقت الفعلي للفشل في الذكاء الاصطناعي المجسد. تكمن أهميتها في:

إزالة تكاليف التوثيق: إنها تلغي الحاجة إلى تعليقات توضية مكلفة على مستوى الخطوة، معتمدة فقط على نتيجة المسار المتوفرة طبيعياً.
التعميم: أظهرت تعميماً قوياً على المهام غير المرئية وبنيات VLA المختلفة (التكرارية ومطابقة التدفق)، مما يعالج عائقاً رئيسياً في الطرق السابقة المتخصصة.
القابلية للتطبيق في العالم الحقيقي: من خلال تجنب عبء الاستدلال الثقيل (على عكس إعادة أخذ العينات أو قضاة VLM) وتحقيق توازن مثالي بين الدقة والوقت عبر التنبؤ التوافقي، فإنها تمكن النشر القوي في الأنظمة الروبوتية في العالم الحقيقي.

يضع المؤلفون هذا العمل كربط جديد بين نماذج التعلم الخاضع للإشراف الضعيف وتحديات سلامة الوكلاء المجسدين، مما يوفر مساراً قابلاً للتوسع نحو نشر موثوق لنماذج VLA.