🤖 AI

Human-Guided Harm Recovery for Computer Use Agents

تتناول هذه الورقة التحدي الحرج المتمثل في معالجة الضرر في الوكلاء الذين يستخدمون الكمبيوتر من خلال تقديم إطار عمل للتعافي من الضرر بتوجيه بشري، يستخدم نموذج مكافأة متوافق مع التفضيلات ومعيار BackBench لتوجيه الوكلاء بفعالية من الحالات الضارة للعودة إلى الحالات الآمنة.

المؤلفون الأصليون: Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت مساعداً آلياً (روبوت) ذكياً جداً وسريعاً للغاية لمساعدتك في إدارة حاسوبك. قلت له: "يرجى تحميل تحديث البرنامج هذا من الموقع الرسمي". قام الروبوت بتنفيذ ما قلته بالضبط. لكن هنا تكمن المشكلة؛ لقد تعرض الموقع للاختراق، وكان التحديث عبارة عن فيروس متنكر. لم يكن الروبوت يعلم ذلك؛ فقد نفذ الأوامر فحسب. والآن، أصيب حاسوبك بالفيروس، والروبوت على وشك التسبب في مزيد من المشاكل إذا استمر في عمله.

معظم أنظمة السلامة اليوم تشبه "الحراس عند باب الملهى". فهي تحاول منع الروبوت من الدخول حتى قبل أن يدخل (السلامة قبل التنفيذ). ولكن ماذا لو أفلت الحارس من الخطر، وتسلل الروبوت إلى الداخل وبدأ في إحداث الفوضى؟

تقدم هذه الورقة البحثية فكرة جديدة: "فريق التنظيف" لأخطاء الذكاء الاصطناعي. فبدلاً من مجرد الأمل في ألا يرتكب الروبوت أخطاءً، يعلمون الروبوت كيفية إصلاح الأمور بعد أن يتسبب بالفعل في مشكلة. وقد أطلقوا على ذلك اسم "التعافي من الضرر" (Harm Recovery).

إليك تفصيل حلهم باستخدام تشبيهات بسيطة:

1. المشكلة: لحظة الـ "أوبس" (الخطأ غير المقصود)

في الماضي، إذا ارتكب الذكاء الاصطناعي خطأً، كان الحل الوحيد هو تدخل الإنسان لإصلاحه. ولكن مع زيادة استقلالية الروبوتات، لا يمكننا أن نجعل بشرياً يراقب كل نقرة يقوم بها.

التشبيه: تخيل سيارة ذاتية القيادة تجاوزت الإشارة الحمراء بالخطأ. النظام القديم سيحاول إيقاف السيارة قبل الوصول للإشارة. أما النظام الجديد فيسأل: "حسناً، لقد تجاوزت السيارة الإشارة بالفعل. الآن، كيف تعتذر، وتتصل بالشرطة، وتخرج من التقاطع دون الاصطدام بأي شخص آخر؟"

2. الاكتشاف: "المقاس الواحد لا يناسب الجميع"

سأل الباحثون البشر: "إذا أصيب حاسوبك بعدوى، فما هي أفضل طريقة لإصلاحه؟"
وجدوا أن الناس لا يريدون دائماً الشيء نفسه؛ فالأمر يعتمد على الموقف.

التشبيه: فكر في الأمر كأنه فرز طبي (Triage).
- إذا كان لديك خدش بسيط في الورق، فأنت تريد ضمادة سريعة (السرعة هي الأهم). لا تحتاج إلى جراحة كاملة.
- إذا كان لديك كسر في الساق، فأنت تريد جبيرة وخطة إعادة تأهيل طويلة الأمد (الشمولية هي الأهم). الضمادة السريعة لن تنفع هنا.
- ما وجدته الورقة البحثية: يجب على الذكاء الاصطناعي أن يعرف أي موقف يمر به. أحياناً يكون الإصلاح السريع والمستهدف أفضل، وفي أحيان أخرى يكون التنظيف البطيء والشامل هو الضروري. "الإجابة الأفضل" تتغير بناءً على السياق.

3. الأداة: "المعيار" و"المدرب"

لتعليم الذكاء الاصطناعي كيفية اختيار الإصلاح المناسب، قام الباحثون بشيئين:

المعيار (كتاب القواعد): أنشأوا قائمة مراجعة لما يجعل الإصلاح جيداً (مثل: "هل أوقف النزيف؟"، "هل تسبب في مشايات جديدة؟"، "هل كان سريعاً؟").
نموذج المكافأة (المدرب): بدلاً من مجرد إعطاء الذكاء الاصطناعي كتاب القواعد ليقرأه، قاموا بتدريب "مدرب" خاص (ذكاء اصطناعي). هذا المدرب شاهد آلاف البشر وهم يختارون بين إصلاحات مختلفة، فتعلم الفروق الدقيقة—مثل معرفة أنه في سيناريو "الصحة النفسية"، فإن اللطف والاستئذان أهم من السرعة.

4. الطريقة: "التوليد والتحقق"

عندما يدرك الذكاء الاصطناه أنه ارتكب خطأً، فإنه لا يصاب بالذعر ويحاول تجربة إصلاح عشوائي واحد، بل يستخدم استراتيجية "التوليد والتحقق" (Generate-and-Verify):

التوليد: يفكر الذكاء الاصطناعي في 5 أو 10 طرق مختلفة لإصلاح المشكلة (مثلاً: "حذف الملف"، "استعادة النسخة الاحتياطية"، "إعادة تثبيت نظام التشغيل").
التحقق: ينظر "المدرب" (نموذج المكافأة) إلى جميع الأفكار العشر ويختار تلك التي سيفضلها البشر أكثر من غيرها.
التنفيذ: يقوم الذكاء الاصطناعي بتنفيذ ذلك الإصلاح المحدد والأفضل اختياراً.

5. الإثبات: "BackBench"

لاختبار مدى فعالية ذلك، بنوا بيئة اختبار تشبه ألعاب الفيديو تسمى BackBench.

اللعبة: أنشأوا 50 سيناريو يتسبب فيها الذكاء الاصطناعي بنوع معين من الضرر (مثل إرسال قائمة رواتب سرية للشركة بأكملة عن طريق الخطأ).
النتيجة: وضعوا الذكاء الاصطناعي "الموجه بالمدرب" في مواجهة ذكاء اصطناعي قياسي.
- الذكاء الاصطناعي القياسي غالباً ما حاول إصلاح الأمور ببطء شديد، أو جعل الأمور أسوأ، أو لم يتواصل بشكل جيد.
- الذكاء الاصطناعي الموجه بالمدرب كان أفضل بكثير في اختيار الاستراتيجية الصحيحة. كان الأمر يشبه مقارنة هاوٍ مذعور برجل إطفاء محترف يعرف تماماً أي خرطوم يستخدم لحريق المطبخ مقابل حريق الغابات.

لماذا هذا مهم؟

تغير هذه الورقة البحثية مسار الحديث حول سلامة الذكاء الاصطناعي.

الطريقة القديمة: "لا تدع الذكاء الاصطناعي يرتكب أخطاء" (مثل محاولة بناء سياج مثالي).
الطريقة الجديدة: "افترض أن الذكاء الاصطناعي قد يرتكب خطأً، ولكن علمه كيف ينظف الفوضى ببراعة" (مثل تعليم طفل كيف يعتذر وينظف الحليب المسكوب).

من خلال تعليم الذكاء الاصطناعي كيفية التعافي من الضرر بطريقة تتوافق مع القيم البشرية (السرعة مقابل الشمولية، الخصوصية مقابل الشفافية)، يمكننا بناء وكلاء ليسوا فقط أكثر أماناً، بل أيضاً أكثر موثوقية وقدرة على الصمود عندما تسوء الأمور.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعافي من الضرر الموجه بشرياً لوكلاء استخدام الكمبيوتر" (Human-Guided Harm Recovery for Computer Use Agents).

1. تعريف المشكلة

مع اكتساب وكلاء النماذج اللغوية الكبيرة (LM) القدرة على تنفيذ إجراءات على أنظمة كمبيوتر حقيقية، يصبح ضمان سلامتها أمراً بالغ الأهمية. تعتمد نماذج السلامة الحالية بشكل كبير على الضمانات ما قبل التنفيذ (منع الإجراءات الضارة قبل وقوعها). ومع ذلك، يرى المؤلفون أن الوقاية وحدها غير كافية لأن:

قد يواجه الوكلاء بيئات مخترقة (مثل تحديث برمجيات خبيث موقع بشهادة مسروقة) حيث تبدو كل خطوة فردية آمنة، ومع ذلك تكون النتيجة التراكمية ضارة.
الاعتماد على المشغلين البشريين لتصحيح الأخطاء ليس قابلاً للتوسع مع زيادة استقلالية الوكيل.

تُصيغ الورقة البحثية التحدي المهمل المتمثل في التعافي من الضرر ما بعد التنفيذ: وهي مشكلة توجيه الوكيل بشكل أمثل من حالة ضارة ( $s_h$ ) إلى حالة آمنة ( $s_{safe}$ ) بطريقة تتماشى مع التفضيلات البشرية. يتم تأطير ذلك كمسألة تحسين حيث يجب على الوكيل اختيار مسار تعافٍ يوازن بين الكفاءة، والفعالية، والتماشي مع قيم المستخدم، بدلاً من مجرد الوصول إلى أي حالة آمنة.

2. المنهجية

يقترح المؤلفون إطار عمل "التوليد والتحقق" (Generate-and-Verify) لتشغيل عملية التعافي من الضرر، مدعوماً ببيانات تفضيلات بشرية واسعة النطاق.

أ. دراسة التفضيلات البشرية واستخراج المعايير

لفهم ما يشكل "التعافي الجيد"، أجرى المؤلفون دراسة مستخدم تكوينية:

توليد السيناريوهات: قاموا بتوليد 775 سيناريو ضرر متنوع (مثل تسريبات البيانات، أو إصابات شبكات البوتنت) بناءً على تصنيفات لأضرار الذكاء الاصطنا-ي.
توليد الخطط: قام نموذج لغوي بتوليد خطط تعافٍ مرشحة لهذه السيناريوهات.
التعليق (Annotation): قام 230 معلقاً بشرياً (من ذوي المهارات البرمجية) بإجراء مقارنات ثنائية (A/B) لخطط التعافي. وقد قاموا بتقييم الخطط بناءً على 8 أبعاد أساسية:
1. الشمولية (Comprehensiveness): مدى معالجة جميع الأضرار بدقة.
2. التركيز (Focus): استهداف المشكلة الأساسية دون تجاوز.
3. احتمالية النجاح (Likelihood of Success): احتمالية نجاح الخطة.
4. سرعة التنفيذ (Speed of Implementation): وقت التنفيذ.
5. الحل طويل الأمد (Long-Term Resolution): منع تكرار الضرر.
6. الأضرار الجانبية (Side Harms): تجنب أضرار جديدة أثناء عملية التعافي.
7. التواصل (Communication): جودة إبلاغ أصحاب المصلحة.
8. الاستقلالية (Autonomy): احترام خيارات المستخدم.
الرؤية الجوهرية: كشف تحليل 1,150 حكماً ثنائياً أن أهمية السمات تعتمد على السياق. فعلى سبيل المثال، في السياقات ذات الاستعجال العالي أو التقنية، تُعطى الأولوية لـ السرعة والتركيز، بينما ترتبط الشمولية غالباً بعلاقة عكسية مع التفضيل (يفضل المستخدمون الحلول العملية والمستهدفة على النهج الشامل طويل الأمد في الأزمات الفورية).

ب. هيكل الوكيل (التوليد والتحقق)

يعمل النظام في مرحلتين عند الاختبار:

التوليد ( $LM_{gen}$ ): بالنظر إلى حالة ضارة، يقوم نموذج لغوي بتوليد $N$ من خطط التعافي المرشحة والمتنوعة (يتم التعبير عنها كسلاسل من الإجراءات بلغة طبيعية).
التحقق ( $LM_{ver}$ ): يقوم النظام بتقييم هذه المرشحات لاختيار الأفضل منها. قارن المؤلفون بين استراتيجيتين للتحقق:
- المُحقق القائم على المعايير (Rubric-Based Verifier): نموذج لغوي ثابت يتم توجيهه باستخدام معايير اللغة الطبيعية لإجراء أحكام A/B ثنائية.
- نموذج المكافأة (Reward Model Verifier): نموذج مكافأة بارامتري ( $R_\phi$ ) تم ضبطه بدقة بناءً على 1,150 زوجاً من التفضيلات البشرية. يتعلم هذا النموذج الوزن الضمني والمعتمد على السياق لأبعاد المعايير مباشرة من البيانات البشرية، بدلاً من الاعتماد على الأولويات المسبقة للنموذج الأساسي.

ج. اختبار BACKBENCH

لتقييم قدرات التعافي، قدم المؤلفون اختبار BACKBENCH، وهو اختبار يتكون من 50 مهمة لاستخدام الكمبيوتر مبنية على بيئة OSWORLD (واجهة رسومية لنظام Ubuntu).

النطاق: تغطي المهام خمس فئات من الأضرار: التوافر (Availability)، المالية (Financial)، السلامة (Integrity)، سوء الاستخدام المتعمد (Deliberate Misuse)، والأمن (Security).
القيود: تتضمن المهام حدوداً للخطوات (15 و50 خطوة) لاختبار الوكلاء تحت قيود الموارد.
التقييم: يقارن المعلقون البشريون مسارات الوكيل الكاملة (فيديوهات التنفيذ) باستخدام نظام تصنيف Bradley-Terry.

3. المساهمات الرئيسية

صياغة التعافي من الضرر: تعريف التعافي كمسألة تحسين عبر التفضيلات البشرية، وتمييزه عن مجرد إصلاح الخطط أو التخطيط للطوارئ.
إطار عمل التفضيلات المعتمد على السياق: إثبات من خلال دراسات المستخدم أن التفضيلات البشرية للتعافي ليست ثابتة؛ بل تتغير بناءً على سياق السيناريو (مثل الاستعجال مقابل الحساسية).
اختبار BACKBENCH: معيار جديد وواقعي لتقييم تعافي الوكيل في بيئات الحوسبة الحقيقية.
محاذاة نموذج المكافأة: إظهار أن تدريب نموذج مكافأة على بيانات التفضيلات البشرية يتفوق بشكل كبير على النماذج الأساسية والنهج القائم على المعايير الثابتة.

4. النتائج

قيم المؤلفون هياكلهم باستخدام Claude Sonnet 4.5 (وهو نموذج أساسي عالي المحاذاة مع معايير السلامة) كعمود فقري.

الأداء: حقق هيكل نموذج المكافأة تحسناً قدره 120 نقطة Elo فوق النموذج الأساسي، وتحسناً قدره 45 نقطة فوق الهيكل القائم على المعايير عبر جميع مهام BACKBENCH.
الدلالة الإحصائية: كانت التحسينات ذات دلالة إحصائية ( $p < 0.01$ ).
قيود الموارد: أظهرت الهياكل أكبر مكاسب في المهام ذات حد الـ 15 خطوة، مما يشير إلى أنها فعالة بشكل خاص في اتخاذ قرارات عالية الجودة وفعالة تحت القيود الصارمة.
لماذا ينجح الأمر: ينجح نموذج المكافأة لأنه يتعلم ضمنياً المقايضات الدقيقة التي يجريها البشر (مثل إعطاء الأولوية للسرعة على الشمولية في سياقات معينة)، بينما يعتمد المُحقق القائم على المعايير على الأولويات العامة للنموذج الأساسي والتي قد لا تتماشى مع سياقات التعافي المحددة.

5. الأهمية والتوجهات المستقبلية

تحول في النموذج: ينقل هذا العمل نموذج السلامة من "الوقاية فقط" إلى "الوقاية + التعافي"، مع الإقرار بأن الإخفاقات ستحدث ويجب أن يكون الوكلاء قادرين على التصحيح الذاتي بما يتماشى مع القيم البشرية.
القابلية للتوسع: من خلال استخدام نهج التوليد والتحقق مع نموذج مكافأة متعلم، يمكن للنظام التكيف مع سيناريوهات ضرر متنوعة دون الحاجة إلى إعادة تدريب مكلفة لسياسة الأساس لكل نمط فشل محدد.
القيود: يعتمد النهج الحالي على توليد خطط متعددة، مما يسبب عبئاً حسابياً. تشير الأعمال المستقبلية إلى استخدام مجموعات بيانات التفضيلات هذه لتدريب الوكلاء عبر التعلم التعزيزي (RL) لتطوير قدرات تراجع ذاتية، مما يلغي الحاجة إلى الهياكل المساعدة وقت الاختبار.
الآثار الأخلاقية: يؤكد إطار العمل على أن "التعافي الآمن" هو أمر ذاتي ويعتمد على السياق، مما يتطلب أنظمة يمكنها التكيف مع أولويات المستخدم الفردية (مثل الخصوصية مقابل السرعة) بدلاً من تطبيق سياسة سلامة موحدة للجميع.

باختصار، تثبت هذه الورقة أن السلامة الفعالة للوكلاء لا تتطلب فقط منع الضرر، بل تتطلب أيضاً القدرة على التعامل مع تبعاته بـ محاذاة وقصد، ويتم تحقيق ذلك من خلال نمذجة التفضيلات القائمة على البيانات.