🤖 machine learning

BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

تقدم هذه الورقة البحثية BOKBO، وهي أول طبقة امتناع تطابقية (conformal abstention layer) لاستنتاج نماذج VLA ذات العينات-K، والتي توفر ضمانات خالية من التوزيع لنسب انتهاك التنفيذ في العينات المحدودة من خلال معالجة الإخفاقات الهيكلية في درجات عدم التطابق الحالية وتصحيح العثرات المنهجية في عتبة القوة، مما يؤدي إلى تحسين معايرة السلامة والنجاح في المهام بشكل كبير عبر مختلف المعايضات والتحولات التوزيعية.

المؤلفون الأصليون: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية أداء مهام دقيقة، مثل صب الكاتشب أو دهن الزبدة. لجعل الروبوت أكثر أمانًا وموثوقية، يستخدم المهندسون حيلة تسمى "تدرج العينات K" (K-Sample Scaling). فبدلاً من أن تطلب من الروبوت القيام بحركة واحدة فقط، تطلب منه تخيل K من الحركات المختلفة الممكنة (على سبيل المثال، 8 طرق مختلفة لصب الكاتشب) ثم اختيار "الأفضل" من بينها لتنفيذها فعليًا.

المشكلة هي: ماذا لو كانت جميع الحركات الثمانية المتخيلة خطيرة؟

الأساليب الحالية لديها نقطة عمياء. فهي تفترض أنه إذا ولدت ما يكفي من الخيارات، فسيكون أحدها آمنًا على الأقل. ولكن إذا كانت الخيارات الثمانية جميعها سيئة، فسيختار الروبوت "أقلها سوءًا" وينفذها على أي حال، مما يؤدي إلى اصطدام أو انسكاب. الأمر يشبه أن تطلب من طاهٍ اختيار أفضل التفاحات الثمانية المتعفنة؛ سيختار واحدة منها في النهاية، وستحصل على سلطة فاسدة.

تقدم هذه الورقة البحثية BOKBO (أفضل الخيارات السيئة من K)، وهي طبقة سلامة جديدة مصممة لإصلاح هذا الخلل. وإليك كيف تعمل باستخدام تشبيهات بسيطة:

1. "حارس بوابة السلامة" (التجنب التوافقي - Conformal Abstention)

تخيل BOKBO كحارس بوابة صارم للسلامة يقف أمام الروبوت.

الطريقة القديمة: ينظر الحارس إلى الخيارات الثمانية، ويختار "الأفضل" منها، ويسمح له بالمرور. إذا كانت الخيارات الثمانية جميعها سيئة، فإن الحارس يسمح بمرور الأسوأ منها على أي حال.
طريقة BOKBO: لدى الحارس قاعدة خاصة: "إذا لم أتمكن من ضمان أن الحركة المختارة آمنة، فسوف أوقف الروبوت تمامًا".
النتيجة: قد لا ينجز الروبوت المهمة في بعض الأحيان (فهو "يمتنع" عن العمل)، ولكن عندما يتحرك، لديك ضمان رياضي بأن فرصة حدوث انتهاك للسلامة ضئيلة للغاية (أقل من 5% في اختباراتهم).

2. "البوصلة المكسورة" (لماذا فشلت الأساليب القديمة)

اكتشف الباحثون سبب فشل فحوصات السلامة السابقة. فقد جربوا استخدام إشارتين "مجانيتين" يولدهما الروبوت بالفعل:

الثقة (Confidence): مدى شعور الروبوت باليقين بشأن حركته.
الاختلاف (Disagreement): مدى اختلاف الخيارات الثمانية عن بعضها البعض.

التشبيه: تخيل أنك تحاول التنبؤ بالطقس.

الخطأ: أدرك الباحثون أن إشارة "الاختلاف" لم تكن تقيس في الواقع مدى عدم يقين الروبوت بشأن الطقس. بدلاً من ذلك، كانت تقيس فقط مدى هزّ الباحثين للنرد قبل رميه.
الواقع: في إعدادهم التجريبي، يولد الروبوت 8 خيارات عن طريق إضافة "ضجيج" عشوائي (هز النرد). وكلما زاد الضجيج المضاف، زاد الاختلاف بين الخيارات. كانت درجة "الاختلاف" لدى الروبوت مجرد مقياس لـ مستوى الضجيج، وليس كاشفًا لـ الخطر. لقد كان الأمر أشبه بجهاز إنذار دخان لا يعمل إلا إذا رششت العطر بالقرب منه، لكنه يظل صامتًا عند وجود حريق حقيقي.

3. "المحقق الذكي" (المتنبئ المتعلم - The Learned Predictor)

بما أن إشارات الروبوت الداخلية كانت تكذب (أو بالأحرى تقيس الشيء الخطأ)، فقد بنى الباحثون محققًا ذكيًا صغيرًا ومنفصلًا ("متنبئ الانتهاكات المتعلم").

ينظر هذا المحقق إلى خيارات الروبوت والمشهد البصري (باستخدام كاميرا).
تم تدريبه خصيصًا لرصد الخطر، متجاهلاً "الضجيج" الذي يولده الروبوت.
النتيجة: استطاع هذا المحقق بالفعل التمييز بين الحركة الآمنة والحركة الخطيرة، مما سمح لحارس بوابة السلامة باتخاذ القرار الصحيح.

4. "المقاس المخصص" مقابل "مقاس واحد للجميع"

وجدت الورقة أيضًا أن السلامة ليست متساوية لكل مهمة.

المشكلة: القاعدة العالمية للسلامة (مثل "لا تضغط بقوة تزيد عن 50 نيوتن") تكون صارمة جدًا للمهام الناعمة (مثل التعامل مع حبة طماطم) ومتساهلة جدًا للمهام الصعبة (مثل التعامل مع زجاجة ثقيلة). وقد تسببت في إنذارات خاطئة أو حالات خطر فائتة.
الحل (Mondrian): يقوم نظام BOKBO بإنشاء قاعدة سلامة مخصصة لكل مهمة محددة. فهو يتعلم بالضبط مقدار القوة التي يضغط بها خبير بشري عند التعامل مع الكاتشب مقابل الزبدة، ويضبط حد السلامة وفقًا لذلك. وهذا يجعل النظام أكثر موثوقية بكثير.

5. "اختبار الواقع في المحاكاة"

اختبر الباحثون هذا في محاكاة حاسوبية عالية الدقة (MuJoCo).

وجدوا أن BOKBO نجح في منع الروبوت من القيام بحركات خطيرة في 86% من حالات الاختبار، بينما سمح للروبوت بإكمال المهمة 70% من الوقت.
بدون BOKBO، كان الروبوت سيفشل بأمان (عن طريق التوقف) في حالات أقل، ولكن عندما يتحرك، كان سيرتكب أخطاء بنسبة 8.6% من الوقت. مع BOKBO، انخفض معدل الخطأ هذا إلى حوالي 3%.

ملخص

تجادل الورقة بأن مجرد طلب "تجربة بضع أشياء واختيار الأفضل" ليس كافيًا إذا لم يكن لديك وسيلة لقول "لا شيء من هذه الخيارات آمن".

الطريقة القديمة: "اختر الأفضل من الخيارات السيئة". (فشل صامت).
BOKBO: "إذا لم تكن أي من الخيارات آمنة، توقف". (فشل آمن).
الرؤية الجوهرية: لا يمكنك الوثوق في درجات "الثقة" أو "الاختلاف" الخاصة بالروبوت عندما تضيف ضجيجًا اصطناعيًا لتوليد الخيارات. أنت بحاجة إلى "محقق" مخصص للبحث عن الخطر الفعلي.

تخلص الورقة إلى أن هذا النهج يعمل جيدًا في المحاكاة ويوفر ضمانًا رياضيًا للسلامة، لكنها تشير إلى أن الاختبار على روبوتات فيزيائية حقيقية هو الخطوة الضرورية التالية.

ملخص تقني: BOKBO — أفضل الخيارات السيئة من بين K

بيان المشكلة
أصبح توسيع وقت الاختبار (test-time scaling) لسياسات الرؤية-اللغة-الفعل (VLA) تقنية قياسية للموثوقية، حيث يتم أخذ عينات من $K$ من كتل الأفعال المرشحة واختيار "الأفضل" منها بواسطة مُتحقق أو مُقيّم. ومع ذلك، يعتمد هذا النموذج على افتراض حرج، غير مستوفٍ في كثير من الأحيان، وهو أنه من بين $K$ من المرشحين، يوجد واحد على الأقل آمن ومُكمل للمهمة. عندما تكون جميع المرشحات الـ $K$ غير آمنة، ينفذ النظام المرشح "الأفضل وفقاً للمُتحقق" بغض النظر عن الجودة المطلقة، مما يؤدي إلى "فشل صامت" دون وجود آلية للتحذير. تفتقر الطرق الحالية إلى آلية رسمية للكشف عن هذه الخلايا "غير الآمنة بالكامل" أو الامتناع عن التنفيذ مع ضمانات السلامة. علاوة على ذلك، افترضت الأعمال السابقة أن الإشارات "المجانية" (الإشارات المتاحة دون تكلفة استدلال إضافية، مثل ثقة السياسة الأساسية أو عدم الاتفاق بين عينات $K$ ) ترتبط بعدم اليقين في السياسة؛ وتوضح هذه الورقة أن هذا الافتراض يفشل بشكل كارثي تحت أخذ العينات القائم على الاضطراب (perturbation-based sampling).

المنهجية: BOKBO
يقدم المؤلفون BOKBO (أفضل الخيارات السيئة من بين K)، وهي أول طبقة امتناع توافقية (conformal abstention layer) مصممة خصيصًا للاستدلال من نوع $K$ -sample في نماذج VLA. يقرر BOKBO ما إذا كان سيقوم بالتنفيذ أو الامتناع بناءً على درجة مُعايرة، مما يوفر حدودًا عليا ذات عينات محدودة وغير مرتبطة بالتوزيع على معدل التنفيذات غير الآمنة بين القرارات غير الممتنعة.

التحكم في المخاطر التوافقية (CRC): يطبق المنهج CRC على إعداد $K$ -sample. يقوم بتدريب مُتنبئ لتقدير احتمال حدوث انتهاك للسلامة ( $v=1$ ) ويُعاير عتبة $\hat{\tau}$ على مجموعة معايرة محجوزة. ينفذ النظام فقط إذا كانت درجة المُتنبئ $s_\theta \le \hat{\tau}$ .
درجات عدم التطابق (Nonconformity Scores): تقيم الورقة ثلاث آليات للتسجيل:
1. وكيل ثقة VLA: احتمالية اللوغاريتم (log-probability) للكتلة المختارة من السياسة الأساسية.
2. عدم الاتفاق بين عينات $K$ : المسافة القصوى لـ $L_2$ بين الأزواج من المرشحين.
3. مُتنبئ الانتهاك المتعلم: شبكة MLP صغيرة مدربة على الميزات البصرية الدلالية (DINOv2)، والحالة الحسية الخاصة (proprioceptive state)، وهوية المهمة للتنبؤ بالانتهاكات مباشرة.
المعايرة المندريانية (Mondrian Calibration): لمعالجة التباين في معدلات الانتهاك عبر المهام المختلفة، يطبق المؤلفون نسخة "مندريانية" (لكل مهمة) من CRC. يضمن ذلك أن حد السلامة يظل صحيحًا لكل مهمة محددة، وليس فقط بشكل هامشي عبر مجموعة البيانات بأكملها.
وسم السلامة: يتضمن التصحيح المنهجي الحرج تعريف تسميات السلامة. حدد المؤلفون أن عتبات القوة المحددة عالميًا (مثل 50 نيوتن) ترفع معدلات الانتهاك بمقدار 5 أضعاف لأنها تتجاوز قوى المناولة النموذجية للخبير في العديد من المهام. يقترحون عتبات مُعايرة من قبل الخبراء لكل مهمة تُعرف بـ $\max(50\text{N}, p99(\text{expert max force}) + 10\text{N})$ .

النتائج الرئيسية والتحليل التشخيصي
النتيجة التشخيصية الأكثر أهمية في الورقة هي الفشل الهيكلي للإشارات "المجانية" تحت أخذ العينات القائم على الاضطراب لـ $K$ -sampling.

الاضطراب مقابل عدم اليقين: تحت اضطراب فضاء الفعل الغاوسي (حيث يتم إنشاء المرشحين كـ $a_k = a_0 + \sigma\xi_k$ )، يرتبط كل من وكيل ثقة VLA وعدم الاتفاق بين عينات $K$ بمعامل الضوضاء $\sigma}$ عند 0.98، ولكن عند "أرضية الضوضاء" (Spearman $\approx -0.05$ ) مع انتهاكات السلامة الفعلية.
الآلية: تقيس هذه الإشارات مقدار الاضطراب المحقون، وليس عدم اليقين الداخلي للسياسة.
الحالة الحدية: يختبر المؤلفون أخذ عينات درجة الحرارة (temperature sampling) على مستوى الرمز (token-level)، والذي يولد تنوعًا من عشوائية السياسة بدلاً من الضوضاء المحقونة. تحت هذه الآلية، ينخفض الارتباط بين الإشارات المجانية ومعامل أخذ العينات (من 0.98 إلى 0.41)، وتستعيد الإشارات بعض معلومات السلامة. ومع ذلك، يظل المتنبئ المتعلم متفوقًا في كلا النظامين.

النتائج التجريبية
أجريت التجارب على هياكل OpenVLA-OFT و $\pi_0$ -FAST، مع ضبط دقيق على مجموعة LIBERO (تحديدًا libero_object_temp_x0.1 و libero_spatial_temp_x0.1).

ضمانات السلامة: عند معدل انتهاك مستهدف $\epsilon = 0.05$ ، يتحقق حد CRC الشرطي في 86% من تقسيمات Bootstrap لـ libero_object و 83% لـ libero_spatial.
الأداء: باستخدام المتنبئ المتعلم، يحقق BOKBO تغطية بنسبة 78% و نجاح صافي للمهمة بنسبة 70% في libero_object، مستعيدًا 87% من تحسين "أوراكل" (oracle) للسلامة.
النسخة المندريانية: ترفع النسخة المندريانية (لكل مهمة) الحد الأدنى للتماسك الشرطي لكل مهمة من 0.71 (عالمي) إلى 0.93، مما يحسن الموثوقية بشكل كبير في المهام عالية المخاطر مثل "الكاتشب" و"الحليب".
انزياح التوزيع: تظل الحدود صحيحة تحت أربعة انزياحات توزيع داخل المجموعة (درجة الحرارة، الكائن، وانزياحات عبر المجموعة) ولكنها تتدهور عندما ينزاح مستوى ضوضاء الفعل $\sigma$ خارج النطاق المُعاير.
خصوصية البنية: المتنبئ المتعلم خاص بالسياسة؛ فالمتنبئ المدرب على بيانات OpenVLA-OFT يفشل عند تطبيقه مباشرة على $\pi_0$ -FAST (ينخفض التماسك الشرطي إلى 0.42)، مما يستلزم معايرة خاصة بالهيكل الأساسي.

الأهمية والادعاءات
تدعي الورقة ثلاث مساهمات رئيسية:

ضمانات رسمية: يوفر BOKBO أول ضمان امتناع رسمي، ذي عينات محدودة، وغير مرتبط بالتوزيع لاستدلال $K$ -sample في VLA، مما يسمح للأنظمة برفض الأفعال غير الآمنة بدلاً من الفشل الصامت.
تشخيص هيكلي: يكشف العمل عن خلل جوهري في الاعتماد على الإشارات "المجانية" للسلامة في أخذ العينات القائم على الاضطراب. ويوضح أن هذه الإشارات تتبع آلية الاضطراب بدلاً من عدم اليقين في السياسة، وهو تمييز بالغ الأهمية لتصميم وحدات تحكم روبوتية موثوقة.
تصحيح منهجي: تصحح الورقة خطأً في تقييم السلامة من خلال إظهار أن عتبات القوة العالمية غير كافية لمهام المناولة، وتقترح طريقة معايرة لكل مهمة تعتمد على الخبراء تحقق معدلات انتهاك واقعية.

القصور
يشير المؤلفون إلى أن جميع تجاربهم تُجرى حاليًا في محاكاة MuJoCo. يتطلب النشر في العالم الحقيقي التحقق من انتقال عتبات القوة لكل مهمة إلى الروبوتات الفيزيائية ودمج مراقبة القوة في وقت التشغيل. بالإضافة إلى ذلك، تتطلب الطريقة نماذج خبير لكل مهمة (25 لكل مهمة) للمعايرة، وهي محدودة حاليًا بعائلة LIBERO وبنيات VLA محددة.