🤖 AI

Learning to Act under Noise: Enhancing Agent Robustness via Noisy Environments

تقدم هذه الورقة NoisyAgent، وهو إطار تدريب يعزز متانة وكلاء النماذج اللغوية الكبيرة (LLM agents) من خلال الدمج التدريجي لضجيج المستخدم والأدوات المحاكى أثناء التعلم، مما يقلص الفجوة بين الاختبارات المعيارية المثالية والنشر في العالم الحقيقي مع تحسين القدرة على التفكير القابل للتعميم.

المؤلفون الأصليون: Yuxin Chen, Xiaodong Cai, Junfeng Fang, Zhuowen Han, Yu Wang, Yaorui Shi, Yi Zhang, Qi Gu, Xunliang Cai, Xiang Wang, An Zhang, Tat-Seng Chua

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxin Chen, Xiaodong Cai, Junfeng Fang, Zhuowen Han, Yu Wang, Yaorui Shi, Yi Zhang, Qi Gu, Xunliang Cai, Xiang Wang, An Zhang, Tat-Seng Chua

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التعلم من أجل العمل تحت الضجيج" (Learning to Act under Noise)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: "الفصل الدراسي المثالي" مقابل "العالم الحقيقي"

تخيل أنك تقوم بتدريب موظف جديد (عميل ذكاء اصطناعي) للتعامل مع خدمة العملاء.

الطريقة الحالية (الفصل الدراسي المثالي):
في الوقت الحالي، يتم تدريب معظم موظفي الذكاء الاصطناعي في فصل دراسي مثالي ومعقم. "العملاء" (المستخدمون) يتحدثون دائمًا بوضوح، ولا يغيرون آراءهم أبدًا، ولا يرتكبون أخطاءً إملائية. و"الأدوات" (مثل قاعدة البيانات أو نظام الدفع) تعمل دائمًا بشكل مثالي وتعطي الإجابة الصحيحة فورًا.

يتعلم الذكاء الاصطناعي بشكل رائع في هذا الفصل الدراسي، ويحصل على درجة 100% في الاختبارات. ولكن بمجرد إرسال هذا الذكاء الاصطناعي إلى متجر حقيقي، فإنه ينهار. لماذا؟ لأن في العالم الحقيقي:

المستخدمون فوضويون: قد يكونون غامضين، أو يغيرون طلبهم في منتصف الطريق، أو يتحدثون كثيرًا عن أشياء غير ذات صلة.
الأدوات معطلة: قد تتعطل قاعدة البيانات، أو تعطي إجابة ناقصة، أو ترسل رسالة خطأ.

تجادل الورقة البحثية بأنه نظرًا لأن الذكاء الاصطناعي لم يتم تدريبه أبدًا على التعامل مع هذه الحقائق "الفوضوية"، فإنه يصاب بالذعر ويفشل عندما لا تكون الأمور مثالية.

الحل: "NoisyAgent" (معسكر التدريب)

ابتكر المؤلفون طريقة تدريب جديدة تسمى NoisyAgent. بدلاً من إبقاء الذكاء الاصطناعي في الفصل الدراسي المثالي، قاموا ببناء معسكر تدريب يحاكي فوضى العالم الحقيقي.

فكر في الأمر مثل برنامج تدريب الطيارين. بدلًا من الطيران في سماء صافية فقط، يتم تدريب الطيار في المطر، والضباب، ومع أجهزة قياس تومض أحيانًا.

كيف فعلوا ذلك، خطوة بخطوة:

حقن "ضجيج المستخدم":
برمجوا نظام التدريب ليتصرف كعميل مرتبك أو صعب الإرضاء.

مثال: بدلًا من قول "أرجع لوحة المفاتيح الخاصة بي"، قد يسمع الذكاء الاصطناعي: "أعتقد أنني اشتريت شيئًا... ربما لوحة مفاتيح؟ أو ربما فأرة؟ لست متأكدًا، لكني أريد استعادة مالي".
هذا يعلم الذكاء الاصطناعي طرح أسئلة توضيحية بدلًا من التخمين.

حقن "ضجيج الأدوات":
برمجوا الأدوات لتعمل بشكل معطل.

مثال: عندما يسأل الذكاء الاصطناعي قاعدة البيانات عن طلب ما، قد تقول قاعدة البيانات "Error 404"، أو تعطي جملة غير مكتملة، أو تقول السعر الخطأ.
هذا يعلم الذكاء الاصطناعي كيفية التعامل مع الأخطاء، أو المحاولة مرة أخرى، أو إيجاد حل بديل بدلًا من الاستسلام.

استراتيجية "الصعوبة التدريجية":
لا يمكنك إلقاء طيار مبتدئ في إعصار فورًا؛ فسوف يتحطم. تستخدم الورقة جدولًا زمنيًا ذكيًا:

البداية سهلة: يبدأ الذكاء الاصطناعي بظروف مثالية إلى حد كبير.
إضافة الفوضى ببطء: مع تحسن الذكاء الاصطناعي، يضيف النظام المزيد من "الضجيج" (مستخدمون أكثر ارتباكًا، وأدوات أكثر عطلاً).
الهدف: يتعلم الذكاء الاصطناعي التكيف خطوة بخطوة، مما يبني لديه "ذاكرة عضلية" للتعامل مع الأخطاء.

النتائج: أقوى في كل مكان

اختبرت الورقة هذه الطريقة ووجدت أمرين مفاجئين:

إنه يعمل في الفوضى: عند اختباره في البيئات "الفوضوية" (التي تحاكي ضجيج العالم الحقيقي)، كان NoisyAgent أفضل بكثير من الذكاء الاصطناعي القياسي. لم يرتبك بسبب التعليمات الغامضة أو الأدوات المعطلة.
إنه يعمل في الهدوء أيضًا: حتى عند اختباره في البيئات "المثالية" (حيث يعمل كل شيء بسلاسة)، كان NoisyAgent لا يزال أفضل من الذكاء الاصطناعي القياسي.

التشبيه:
فكر في الأمر مثل الملاكم. إذا تدرب الملاكم فقط عبر ضرب كيس ثقيل لا يتحرك أبدًا، فقد يبدو رائعًا في التدريب. ولكن إذا دربتهم على النزال مع شريك يوجه لكمات فعلية، ويتفادى الضربات، ويرتكب أخطاء، فسيصبحون مقاتلين أفضل. ومن المثير للاهلاه أن ذلك "المقاتل الحقيقي" سيكون أيضًا أفضل في ضرب الكيس الثابت لأن لديه توازنًا وتركيزًا أفضل.

ملخص الادعاءات

الفجوة: تفشل وكلاء الذكاء الاصطناعي الحاليون في العالم الحقيقي لأنهم يُدربون في عوالم مزيفة ومثالية.
الإصلاح: بنى المؤلفون نظامًا يضيف "الضجيج" (الارتباك والأعطال) عمدًا إلى عملية التدريب.
الطريقة: يستخدمون نهج "المنهج الدراسي"، حيث تزداد صعوبة الضجيج ببطء حتى لا يشعر الذكاء الاصطناعي بالإرهاق.
النتيجة: هذا يجعل الذكاء الاصطناعي قويًا (Robust). يمكنه التعامل مع فوضى العالم الحقيقي، ومن المثير للدهشة، أنه يؤدي بشكل أفضل حتى عندما تكون الأمور مثالية.

تخلص الورقة إلى أنه لبناء ذكاء اصطناعي يعمل حقًا في العالم الحقيقي، يجب أن نتوقف عن التظاهر بأن العالم مثالي أثناء التدريب. نحن بحاجة لتعليمهم الرقص تحت المطر، وليس فقط داخل الاستوديو.

ملخص تقني: التعلم للعمل في ظل الضجيج (NoisyAgent)

بيان المشكلة

أتاحت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) نشر وكلاء تفاعليين قادرين على الاستنتاج، والتخطيط، واستخدام الأدوات. ومع ذلك، يوجد تباين جوهري بين إعدادات التدريب المثالية المستخدمة في الأبحاث الحالية وبين الطبيعة العشوائية وغير المكتملة للانتشار في العالم الحقيقي. تعتمد النماذج الحالية على تعليمات منسقة بعناية وبيئات مستقرة ومتحكم بها جيدًا. في المقابل، تتضمن التفاعلات في العالم الحقيقي:

ضجيج المستخدم (User Noise): الغموض، والتباين، والسلوكيات غير المتوقعة في تعليمات المستخدم.
ضجيج الأدوات (Tool Noise): الإخفاقات، والمخرجات غير المكتملة، والمعلومات المضللة، والظواهر الشاذة في تنفيذ الأدوات الخارجية.

يؤدي هذا التباين إلى تدهور كبير في الأداء عند نشر الوكلاء في بيئات ديناميكية. غالبًا ما تفشل طرق التدريب الحالية في تزويد الوكلاء بالمتانة اللازمة للتعافي من الأخطاء أو حل حالات الغموض التي تواجههم في الممارسة العملية.

المنهجية: NoisyAgent

يقترح المؤلفون NoisyAgent، وهو إطار عمل لتعلم التعزيز الوكيل (agentic Reinforcement Learning) مصمم لدمج عيوب البيئة صراحةً في عملية التعلم. يتكون إطار العمل من مكونين أساسيين: خط أنابيب حقن الضجيج التلقائي واستراتيجية التدريب التكيفية.

1. خط أنابيب حقن الضجيج التلقائي

يحاكي النظام العيوب في العالم الحقيقي عن طريق إحداث اضطرابات في التفاعل بين الوكيل والبيئة على مستويين:

الحقن من جانب المستخدم (User-side Injection): يعدل أنماط التفاعل قبل بدء المهمة لمحاكاة سلوكيات المستخدم غير المثالية. ويشمل ذلك:
- الغموض (Ambiguous): نية مستخدم غير محددة بدقة.
- عدم الاتساق (Inconsistent): احتياجات متضاربة أو متغيرة للمستخدم بمرور الوقت.
- التكرار (Redundant): تضمين معلومات غير ذات صلة.
- القيد (Constraint): يتم الحفاظ على هدف المهمة الأساسي ( $q$ ) لضمان القابلية للحل، بينما تصبح عملية التفاعل أكثر عشوائية.
الحقن من جانب الأدوات (Tool-side Injection): يضطرب نتائج تنفيذ الأدوات أثناء عمليات تشغيل الوكيل (rollouts) لمحاكاة شذوذ التنفيذ. ويشمل ذلك:
- الإخفاقات (Failures): طلبات الأدوات التي تعيد أخطاء.
- عدم الاكتمال (Incomplete): مخرجات مبتورة.
- التضليل (Misleading): معلومات غير صحيحة أو غير متسقة.
- التكرار (Redundant): تفاصيل غير ضرورية في الاستجابات.

2. استراتيجية تدريب الضجيج التكيفية

لمنع زعزعة استقرار ديناميكيات التدريب الناتجة عن الضجيج غير المنضبط، يستخدم المؤلفون مخطط تدريب هجين مقترنًا بـ التعلم المنهجي (Curriculum Learning):

عمليات التشغيل الهجينة (Hybrid Rollouts): لكل مهمة، يولد النموذج مجموعة من عمليات التشغيل المتوازية. يتم تنفيذ مجموعة فرعية ( $N_{noise}$ ) في بيئات مضطربة (noisy)، بينما يتم تنفيذ المجموعة المتبقية ( $N - N_{noise}$ ) في بيئات مثالية ونظيفة.
التطبيع المعتمد على المجموعات (Group-Wise Normalization): يحسب هدف التدريب (بناءً على تحسين السياسة النسبي للمجموعات - GRPO) المزايا بشكل منفصل داخل المجموعات النظيفة والمضطربة. وهذا يمنع أي مجموعة من الهيمنة على تحديثات التدرج ويؤدي إلى استقرار التعلم في ظل الظروف غير المتجانسة.
جدولة الضجيج (Noise Scheduling): درجة صعوبة الضجيج ونسبته ليست ثابتة. يقوم النظام بقياس متانة النموذج عبر فجوة الأداء ( $\Delta$ $Δ$ ) بين عمليات التشغيل النظيفة والمضطربة.
- يبدأ التدريب في بيئات مثالية تمامًا.
- مع تكيف النموذج (أي عندما تنخفض $\Delta$ تحت العتبة $\theta$ )، يقوم النظام تدريجيًا بزيادة مقياس الضجيج (نسبة عمليات التشغيل المضطربة) وصعوبة الضجيج (شدة الاضطرابات).
- يخلق هذا منهجًا تعليميًا يزيد تدريجيًا من تعقيد التفاعل دون إرهاق الوكيل.

المساهمات الرئيسية

تحديد فجوة التدريب والانتشار: يسلط البحث الضوء على أن الاعتماد على الافتراضات المثالية في تدريب الوكلاء الحالي هو سبب رئيسي لفشل المتانة في إعدادات العالم الحقيقي.
إطار عمل مدرك للضجيج: تطوير إطار عمل منهجي يدمج ضجيج التعليمات (جانب المستخدم) وضجيج الأدوات (جانب الأدوات) في مسار تدريب الوكيل.
المنهج التعليمي التكيفي: استراتيجية جدولة مبتكرة توازن بين استقرار التدريب والمتانة من خلال زيادة صعوبة الضجيج تدريجيًا بناءً على أداء النموذج.
التحقق التجريبي: تجارب مكثفة تثبت أن التدريب تحت الضجيج يحسن الأداء ليس فقط في البيئات المضطربة ولكن أيضًا في المعايير القياسية المثالية.

النتائج التجريبية

قيم المؤلفون NoisyAgent باستخدام نماذج خلفية Qwen3-8B و Qwen3-32B مقابل خطوط أساس قوية (GRPO, DAPO, GSPO) على AgentNoiseBench (الإعداد المضطرب) ومعايير قياسية مثل $\tau^2$ -Bench و Vita-Bench (الإعداد المثالي).

المتانة في البيئات المضطربة: تفوق NoisyAgent باستمرار على جميع الخطوط المرجعية في AgentNoiseBench عبر مختلف المجالات (التجزئة، الطيران، الاتصالات، التوصيل، إلخ). على سبيل المثال، في مجال التجزئة باستخدام Qwen3-32B، حقق NoisyAgent Avg@4 بلغ 43.20 و Pass@4 بلغ 65.79، متفوقًا بشكل كبير على أفضل طريقة تالية (GSPO: 37.72 / 60.53).
التعميم في الإعدادات المثالية: خلافًا لفرضية أن التدريب بالضجيج قد يؤدي إلى تدهور الأداء في المهام النظيفة، حقق NoisyAgent مكاسب ثابتة في المعايير القياسية. في مجال التجزئة من $\tau^2$ -Bench (Qwen3-32B)، حقق Avg@4 بلغ 60.31 و Pass@4 بلغ 86.84، متفوقًا على GSPO (58.55 / 84.21).
التحليل السلوكي:
- الكفاءة: في الظروف المضطربة، قلل NoisyAgent من استخدام الأدوات بنسبة 18% (من 13.9 إلى 11.4 استدعاء لكل حلقة) مقارنة بالنموذج الأساسي، متجنبًا التفاعلات غير الضرورية.
- الوضوح: أنتج النموذج استجابات أطول وأكثر تفصيلًا (زيادة بمقدار 2.1 ضعف في توكنات المخرجات تحت الضوضاء)، مما يشير إلى التحول نحو التفاعل الصريح لحل الغموض بدلاً من الاعتماد على المزيد من استدعاءات الأدوات.
دراسات الاستئصال (Ablation Studies): أدى إزالة الحقن المتحكم به (تطبيق الضجيج على جميع عمليات التشغيل) إلى أكبر انخفاض في الأداء، مما يؤكد ضرورة مخطط التدريب الهجين. كما أدت إزالة استراتيجية الجدولة أيضًا إلى التدهور، مما يؤكد أهمية الصعوبة التدريجية.

الأهمية والادعاءات

يجادل البحث بأن التعرض المتحكم فيه لضوضاء البيئة يعمل كشكل من أشكال زيادة الصعوبة الضمنية. من خلال تدريب الوكلاء على التعافي من الأخطاء، وحل حالات الغموض، والتكيف مع النتائج غير المتوقعة، يعزز إطار العمل سلوكيات الاستنتاج واتخاذ القرار الأكثر عمومية.

يدعي المؤلفون أن نتائجهم تسد الفجوة بين تدريب الوكيل والانتشار في العالم الحقيقي من خلال:

التحقق من أن المتانة هي خاصية ناشئة عن التعرض للعيوب المتنوعة أثناء التعلم.
إثبات أن التدريب بالضجيج لا يضر، بل يعزز، الأداء في الإعدادات المثالية.
توفير إطار عمل عملي وقابل للتوسع (NoisyAgent) يمكن تطبيقه على أي بيئة وكيلة لتحسين الموثوقية في السيناريوهات العشوائية في العالم الحقيقي.

يخلص العمل إلى أن نمذجة عيوب التفاعل أمر ضروري لتطوير وكلاء يعتمدون على النماذج اللغوية الكبيرة (LLM) يمكنهم العمل بفعالية خارج المعايير المنسقة والمتحكم بها.