⚡ electrical engineering

Robust Asynchronous Q-Learning under Reward and State Corruption via Batching

تقدم هذه الورقة البحثية BR-Async-Q، وهو خوارزمية تعلم Q متينة تعتمد على الحقبات (epoch-based) وتتعامل بفعالية مع الفساد العدائي لكل من المكافآت والحالات من خلال تجميع البيانات وبناء تقديرات متينة لمؤثر بلمان (Bellman operator)، محققةً حدود خطأ ذات احتمالية عالية تماثل تعلم Q التقليدي باستثناء حد يتناسب مع كسر الفساد.

المؤلفون الأصليون: Sreejeet Maity, Aritra Mitra

نُشر 2026-07-27

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sreejeet Maity, Aritra Mitra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة للعثور على أفضل كنز. في عالم الخيال العلمي المثالي، يرى الروبوت كل منعطف بوضوح، ويسمع كل التعليمات بدقة، ويتعلم من كل خطأ بشكل فوري. ولكن في العالم الحقيقي، الأمور فوضوية؛ فالمستشعرات قد تتعطل، والإشارات قد تُحجب، وأحياناً قد يحاول مخترق خبيث خداع الروبوت عبر إظهار جدران وهمية أو الكذب بشأن موقع الكنز. هذا هو عالم التعلم التعزيزي (Reinforcement Learning - RL). وهو أسلوب يتعلم فيه "الوكيل" (مثل روبوت أو برنامج حاسوبي) اتخاذ القرارات من خلال تجربة الأشياء والحصول على تغذية راجعة. والهدف هو اكتشاف المسار الأفضل لتعظيم المكافآت، مثل الفوز في لعبة أو قيادة سيارة بأمان. ومع ذلك، إذا كانت التغذية الراجعة التي يتلقاها الوكيل فاسدة — مليئة بالضجيج، أو الأخطاء، أو حتى الأكاذيب المتعمدة — فقد يصاب الوكيل بالارتباك، ويتعلم دروساً خاطئة، وينتهي به الأمر باتخاذ قرارات كارثية. السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا بناء نظام تعلم قوي بما يكفي لتجاهل الأكاذيب والاستمرار في معرفة الحقيقة، حتى عندما تكون البيانات فوضوية؟

هذه الورقة البحثية، التي تحمل عنوان "التعلم غير المتزامن القوي لـ Q-Learning تحت فساد المكافأة والحالة عبر التجميع"، تعالج هذه المشكلة تحديداً. يشعر المؤلفان، سريجيت ميتي وأريترا ميترا، بالقلق تجاه سيناريو يمكن فيه لخصم (فاعل سيء) أن يعبث بكل من "المكافأة" (الدرجة التي يحصل عليها الروبوت) و"الحالة" (رؤية الروبوت للعالم) في آن واحد. وهما يقترحان خوارزمية جديدة تسمى BR-Async-Q. فكر في الأمر كطريقة جديدة للروبوت للتعلم لا تجعله يصاب بالذعر عندما يرى كذبة. فبدلاً من تحديث دماغه بعد كل خطوة — مما يجعله عرضة لقطعة واحدة سيئة من البيانات — ينتظرون ويجمعون "دفعة" (batch) كاملة من التجارب أولاً. ثم يستخدمون خدعة إحصائية ذكية لتصفية الأكاذيب وإيجاد متوسط الحقيقة قبل إجراء تحديث واحد قوي. لقد أثبتوا رياضياً أن هذه الطريقة تعمل، حيث أظهروا أنه حتى مع وجود نسبة مئوية معينة من البيانات الفاسدة، لا يزال بإمكان الروبوت تعلم استراتيجية شبه مثالية. وتؤكد المحاكاة التي أجروها أنه بينما تنهار طرق التعلم القياسية أمام هذه الهجمات، فإن طريقتهم الجديدة تبقي الروبوت على المسار الصحيح، وتجعله يصل إلى الإجابة الصحيحة مع وجود خطأ ضئيل ومتوقع ناتج عن الأكاذيب المتبقية.

المشكلة: روبوت في قاعة المرايا

لفهم ما فعله المؤلفان، لنتخيل وكيل التعلم الروبوتي كطالب يؤدي اختباراً. في إعداد التعلم التعزيزي العادي، يتخذ الطالب خطوة، ويحصل على درجة (مكافأة)، ويرى السؤال التالي (الحالة). ويستخدم هذا لتحديث دليل الدراسة الخاص به ("جدول Q" أو Q-table) فوراً.

لكن تخيل مراقباً مخادعاً (الخصم) يراقب. بين الحين والآخر، يستبدل المراقب درجة الطالب الحقيقية بأخرى مزيفة، أو يغير السؤال التالي في الصفحة إلى شيء مختلف تماماً. هذا ما تسميه الورقة البحثية تلوث هوبر (Huber contamination). لا يحتاج المراقب للكذب طوال الوقت؛ فنسبة صغيرة فقط من الأكاذيب (مثل 1% أو 5%) كافية لإرباك الطالب. إذا قام الطالب بتحديث دليل الدراسة الخاص به بعد كل سؤال، فإن درجة واحدة مزيفة قد تجعله يعتقد أن الإجابة الخاطئة هي الصحيحة. ومع مرور الوقت، تتراكم هذه الأخطاء الصغيرة، وينتهي الأمر بالطالب بامتلاك دليل خاطئ تماماً.

يصبح الموقف أكثر تعقيداً لأن الطالب يتعلم "بشكل غير متزامن". وهذا يعني أنه لا يتاح له رؤية كل سؤال وإجابة في وقت واحد. فهو يتجول في المتاهة، وبعض المسارات تُزار كثيراً، بينما المسارات الأخرى نادرة. وإذا استهدف المراقب تلك المسارات النادرة، فقد لا يدرك الطالب أبداً أنه تعرض للكذب لأنه لا يملك بيانات كافية لرصد النمط.

الحل: استراتيجية "التجميع والتقليم"

حل المؤلفين، BR-Async-Q، يغير إيقاع التعلم. فبدلاً من التفاعل مع كل قطعة من التغذية الراجعة، يتوقف الروبوت ويجمع تجاربه في مجموعات تسمى حقبات (epochs) أو دفعات (batches).

تخيل أن الروبوت يجمع الأصداف من الشاطئ. الروبوت القياسي يلتقط صدفة، ينظر إليها، ويقرر فوراً ما إذا كانت كنزاً أم صخرة. إذا قُدمت له صدفة مزيفة (قطعة بلاستيك مطلية لتبدو كالذهب)، فقد يُخدع الروبوت.

ومع ذلك، فإن روبوت BR-Async-Q يملأ دلواً بـ 1,000 صدفة أولاً. وبمجرد امتلاء الدلو، يفرغ محتوياته وينظر إلى الكومة بأكملها. هو يعلم أن المراقب قد دس بعض الأصداف البلاستيكية، لكنه يعلم أيضاً أن الأصداف البلاستيكية من المرجح أن تكون "قيمًا متطرفة" (outliers) — إما لامعة جداً أو غريبة جداً. لذا، يستخدم الروبوت أداة خاصة تسمى المتوسط المبتور (trimmed mean). فهو يتجاهل الأصداف الأكثر تطرفاً (تلك التي تبدو مشبوهة للغاية أو مثالية بشكل مستحيل) ويحسب القيمة المتوسطة للأصداف المتبقية ذات المظهر الطبيعي.

عملية "التقليم" هذه هي السر. فمن خلال الانتظار حتى يمتلك دفعة كبيرة من البيانات، يمكن للروبوت إحصائياً فصل الإشارة (الحقيقة) عن الضجيج (الأكاذيب). وتثبت الورقة البحثية أنه من خلال القيام بذلك، يمكن للروبوت تقدير القيمة الحقيقية لأفعاله بدقة عالية، حتى لو كانت بعض البيانات فاسدة.

لماذا يهم التجميع: فخ التباين

يشير المؤلفون إلى خلل حرج في الطرق السابقة. حاولت الخوارزميات القوية القديمة أن تكون قوية عبر التحديث في كل خطوة باستخدام رياضيات معقدة لتخمين الحقيقة. كانت المشكلة هي أن هذه التحديثات اتسمت بـ تباين (variance) عالٍ. بعبارات بسيطة، "التباين" هو مدى تذبذب تخمين الروبوت. إذا قام الروبوت بالتحديث بشكل متكرر جداً باستخدام بيانات مشوشة، فإن دماغه سيهتز باستمرار، مما يسهل على الخصم إخراجه عن المسار.

من خلال تجميع البيانات، يقلل BR-Async-Q من هذا الاهتزاز. الأمر يشبه التقاط صورة بالتعريض الطويل. إذا التقطت صورة لسيارة متحركة بسرعة غالق (shutter speed) عالية، ستحصل على صورة ضبابية ومهتزة. ولكن إذا انتظرت والتقطت صورة بتعريض طويل، فستختفي الحركة الضبابية وتحصل على صورة واضحة وثابتة. يوضح المؤلفون أن "تقليل التباين" هذا يسمح لخوارزميتهم بمضاهاة أداء التعلم القياسي (عند عدم وجود أكاذيب) مع كونها محصنة ضد الأكاذيب.

النتائج: هزيمة الأكاذيب

تقدم الورقة البحثية ضماناً رياضياً، وهي طريقة فخمة للقول بأنهم أثبتوا بالمنطق أن الروبوت سينجح. لقد أظهروا أن الخطأ (الفرق بين ما يتعلمه الروبوت والاستراتيجية المثالية) يتكون من جزأين:

الخطأ الطبيعي: وهو الخطأ العادي الذي تتوقعه لمجرد أن الروبوت لم يجمع بيانات كافية بعد. هذا الجزء يصغر كلما تعلم الروبوت أكثر.
تحيز الفساد (Corruption Bias): وهو الخطأ الإضافي الناتج عن أكاذيب المراقب.

الأمر المذهل هو أن "تحيز الفساد" في طريقتهم الجديدة صغير جداً. فهو يتناسب طردياً مع كمية الكذب (احتمالية الفساد)، لكنه لا يتضخم بسبب ارتباك الروبوت. في الواقع، عندما تكون المكافآت فقط هي الفاسدة (والحالات نظيفة)، فإن طريقتهم تكون مثالية من نوع minimax. وهذه طريقة تقنية للقول: "لا يمكنك تقديم أداء أفضل من هذا". لقد وصلوا إلى الحد النظري لأقصى ما يمكن لأي خوارزمية تحقيقه في ظل هذه الظروف.

أجرى المؤلفون أيضاً عمليات محاكاة لمعرفة كيف يعمل هذا في الواقع. فقد أنشأوا بيئة عالم شبكي (متاهة بسيطة) تحتوي على 100 حالة و40 إجراءً. واختبروا خوارزميتهم مقابل خوارزمية قياسية مع إدخال مستويات مختلفة من الفساد.

الروبوت القياسي: عندما بدأ المراقب بالكذب، انهار أداء الروبوت القياسي. نما الخطأ لديه بشكل هائل، وفشل في إيجاد المسار الأفضل.
روبوت BR-Async-Q: حتى عندما كانت 20% من البيانات فاسدة (كمية هائلة من الكذب)، ظل هذا الروبوت هادئاً. لقد وصل إلى حل قريب جداً من الحل المثالي، مع وجود خطأ مستقر وضئيل فقط.

كما اختبروا ما يحدث إذا زار الروبوت بعض المسارات بشكل نادر جداً. عانت الطرق السابقة هنا، معتقدة أن المسارات النادرة أكثر عرضة للأكاذيب. ولكن لأن BR-Async-Q ينتظر دفعة كاملة من البيانات، فإنه يضمن حصول حتى المسارات النادرة على قدر كافٍ من الانتباه لتصفية الأكاذيب، مما يتجنب "تضخيم" الأخطاء الذي كان يعيب الطرق الأقدم.

الخلاصة

في النهاية، تقدم هذه الورقة البحثية خطة عمل جديدة لتعليم الآلات في عالم فوضوي وغير موثوق. وهي تشير إلى أن الصبر فضيلة. فمن خلال التمهل، وجمع المزيد من البيانات، واستخدام الإحصاء الذكي لتصفية الضجيج، يمكننا بناء أنظمة ذكاء اصطناي لا تكتفي بالبقاء على قيد الحياة رغم الفساد، بل تزدهر رغم وجوده. لم يخمن المؤلفون فحسب أن هذا سينجح، بل أثبتوا ذلك رياضياً وأظهروا نجاحه في عمليات المحاكاة. وبينما تتطلب الطريقة الحالية تخزين الكثير من البيانات في الذاكرة (مثل ملء ذلك الدلو الكبير من الأصداف)، فإن الفكرة الجوهرية — وهي أن التجميع والتقدير القوي يمكن أن يهزما أكاذيب الخصوم — تفتح الباب أمام ذكاء اصطناعي أكثر أماناً وموثوقية في كل شيء، من السيارات ذاتية القيادة إلى التشخيص الطبي، حيث تكون تكلفة الكذبة أكبر من أن يتم تجاهلها.

ملخص تقني: تعلم Q غير المتزامن القوي تحت فساد المكافأة والحالة عبر التجميع (Batching)

1. صياغة المشكلة

تتناول الورقة البحثية تحدي تعلم سياسة مثلى في عملية ماركوف لاتخاذ القرار (MDP) ذات أفق زمني لانهائي وخصم مستمر، عندما تكون التغذية الراجعة للمتعلم عرضة للفساد العدائي. يتضمن هذا الإعداد تفاعل وكيل مع بيئة عبر سياسة سلوكية $\mu$ ، حيث يلاحظ أزواج (الحالة، الإجراء) $(s_t, a_t)$ ، والحالات التالية $s_{t+1}$ ، والمكافآات $r_t$ .

ينشأ الصعوبة الجوهرية من نموذج هوبر للتلوث (Huber contamination model)، حيث يمكن لخصم تغيير كل من المكافأة المرصودة والحالة التالية المرصودة بشكل تعسفي عند كل خطوة زمنية باحتمالية صغيرة $\epsilon \in [0, 1/2)$ . وتحديداً:

فساد المكافأة: باحتمالية $\epsilon_R$ ، يتم استبدال المكافأة المرصودة $\tilde{r}_t$ بقيمة تعسفية $z_t$ (قد تكون غير محدودة).
فساد الحالة: باحتمالية $\epsilon_Y$ ، يتم استبدال الحالة التالية المرصودة $\tilde{s}_{t+1}$ بحالة تعسفية $u_t$ .
المكافآات ذات الذيول الثقيلة: على عكس الأعمال السابقة التي تتطلب مكافآات ذات توزيع "sub-Gaussian"، يفترض هذا الإطار فقط أن توزيعات المكافآت النظيفة تمتلك عزمًا ثانيًا محدودًا، مما يسمح بضجيج ذي ذيول ثقيلة.

الهدف هو بناء تقدير قوي $\hat{Q}$ لدالة قيمة الحالة-الإجراء المثلى $Q^*$ واستخلاص حد خطأ $\ell_\infty$ عالي الاحتمالية $\|\hat{Q} - Q^*\|_\infty$ رغم هذه التغييرات المشتركة.

2. المنهجية: BR-Async-Q

يقترح المؤلفون خوارزمية BR-Async-Q (تعلم Q غير المتزامن القوي بالدفعات)، وهي خوارزمية جديدة تعتمد على نظام الحقبات (epochs) مصممة لتخفيف التباين والانحياز الناتج عن التغذية الراجعة العدائية. يبتعد هذا النهج عن تعلم Q القياسي، الذي يحدث جدول Q عند كل خطوة زمنية، من خلال إدخال آليتين رئيسيتين:

أ. التجميع عبر الإنترنت (الحقبات)

يتم تقسيم أفق التفاعل $T$ إلى $K$ من الحقبات (batches)، طول كل منها $H$ . داخل كل حقبة $k$ ، تجمع الخوارزمية البيانات ولكنها لا تحدث جدول Q. بدلاً من ذلك، تقوم بتجميع الملاحظات لكل زوج (حالة، إجراء) $(s, a)$ في مجموعتين من البيانات:

$D_k(s, a)$ : مجموعة المكافآات المرصودة (التي قد تكون فاسدة).
$Y_k(s, a)$ : مجموعة القيم المستندة إلى الخطوة المستقبلية (bootstrapped values) $\max_{a'} Q_k(\tilde{s}_{t+1}, a')$ بناءً على جدول Q المجمد في بداية الحقبة.

ب. التقدير القوي لمؤثر بلمان (Bellman Operator)

في نهاية كل حقبة، تحسب الخوارزمية تقديرًا قويًا لمؤثر بلمان الأمثل $\mathcal{T}$ باستخدام بيانات الحقبة المجمعة. يتضمن ذلك:

تقدير المتوسط القوي:
- بالنسبة للمكافآات ( $D_k$ )، يُستخدم مقدر المتوسط المقتطع (trimmed mean estimator) ( $\text{TRIM}_H$ ) لتقدير متوسط المكافأة النظيفة $R(s, a)$ . هذا يتعامل مع الطبيعة ذات الذيول الثقيلة والفساد التعسفي.
- بالنسبة للقيم المستندة إلى الخطوة المستقبلية ( $Y_k$ )، يُستخدم مقدر المتوسط المقطوع (clipped mean estimator) ( $\text{TRIM}_B$ ). ومن الأهمية بمكان أن هذا المقدر يستخدم حدودًا معروفة لقيم Q (مشتقة من عتبة القطع) لتحقيق اعتماد أدق على كسر الفساد $\epsilon_Y$ .
القطع من أجل الاستقرار (Clipping for Stability): لمنع حالات فشل المقدرات القوية النادرة من زعزعة استقرار جدول Q، يتم قطع المكافأة المقدرة إلى عتبة $G_k$ مشتقة من الحدود النظرية. يضمن ذلك بقاء تكرارات Q محدودة بشكل موحد.
التحديث المتزامن: يتم تحديث جدول Q مرة واحدة فقط لكل حقبة باستخدام المؤثر المقدر بقوة، مما يقلل فعليًا من تباين اتجاه التحديث مقارنة بتحديثات العينة الواحدة.

3. المساهمات الرئيسية

المساهمة الخوارزمية

تقدم الورقة أول خوارزمية تعلم Q قوية قادرة على التعامل مع الفساد المشترك للحالة والمكافأة في إعداد عبر الإنترنت (online) غير متزامن. من خلال تقسيم البيانات إلى دفعات واستخدام مقدرات إحصائية قوية، تتغلب BR-Async-Q على قيود تعلم Q القياسي والمتغيرات القوية السابقة التي تحدث عند كل خطوة.

المساهمة النظرية

يثبت المؤلفون حد خطأ $\ell_\infty$ في زمن محدد وعالي الاحتمالية لـ BR-Async-Q (النظرية 2). يتكون الحد من مكونين:

الخطأ الإحصائي: حد مهيمن يتناسب مع $\tilde{O}\left(\frac{\tilde{\sigma}}{(1-\gamma)^{5/2}\sqrt{\lambda_{\min} T}}\right)$ . ومن الملاحظ أن الاعتماد على الحد الأدنى لاحتمالية الزيارة $\lambda_{\min}$ قد تم تحسينه مقارنة بالعمل السابق [9]، حيث يتناسب مع $1/\sqrt{\lambda_{\min} T}$ بدلاً من $1/(\lambda_{\min}\sqrt{T})$ .
الانحياز الناجم عن الفساد: حد انحياز مضاف $\psi$ $ψ$ يتناسب مع احتمالات الفساد:
$\psi = O\left(\frac{\tilde{\sigma}\epsilon_Y}{(1-\gamma)^2}\right) \vee O\left(\frac{\bar{\sigma}\sqrt{\epsilon_R}}{1-\gamma}\right)$
- عندما تكون المكافآات فقط هي الفاسدة ( $\epsilon_Y = 0$ )، فإن حد الانحياز يتناسب مع $O(\sqrt{\epsilon_R})$ ، وهو ما يطابق الحد الأدنى لـ minimax الذي تم وضعه في العمل السابق [6].
- تغلق هذه النتيجة الفجوة بين الحدود العليا والدنيا الموجودة في الأدبيات السابقة، مما يثبت أن الاعتماد العكسي على احتمالية الزيارة الذي شوهد في الحدود العليا السابقة يمكن تجنبه عبر تقليل التباين.

4. النتائج والأهمية

نتائج المحاكاة

تتحقق الورقة من صحة BR-Async-Q في بيئة عالم الشبكة (grid-world) حيث $|S|=100, |A|=40$ .

القوة (Robustness): يفشل تعلم Q التقليدي في التقارب تحت مستويات فساد حتى صغيرة ( $\epsilon \in \{0.001, 0.005, 0.01\}$ ) أو ضجيج ذي ذيول ثقيلة، بينما تتقارب BR-Async-Q نحو جوار $Q^*$ .
الفساد غير المتماثل: تظل الخوارزمية مستقرة حتى عندما تختلف معدلات فساد الحالة والمكافأة ( $\epsilon_Y \neq \epsilon_R$ ).
طول الحقبة: أظهر الأداء متانة عبر أطوال حقبات مختلفة $H$ ، بشرط أن يكون $H$ كبيرًا بما يكفي لتلبية متطلبات احتمالية الزيارة.

الأهمية والادعاءات

تدعي الورقة أنها توفر أول ضمان قوة مثبت لتعلم Q غير المتزامن تحت الفساد المشترك للحالات والمكافآات.

سد الفجوة: تعالج الورقة فجوة أساسية في فهم التعقيد العيني لتعلم التعزيز القوي تحت فساد المكافأة فقط، حيث تظهر أن الاعتماد دون الأمثل على احتمالات الزيارة في الحدود العليا السابقة هو نتاج تصميم الخوارزمية وليس المشكلة نفسها.
الأمثلية لـ minimax: في حالة فساد المكافأة فقط، تحقق الخوارزمية حد انحياز مثالي لـ minimax، وهو ما يطابق تمامًا الحد الأدنى للمعلومات.
العملية: توضح الطريقة أن التعلم الموثوق ممكن حتى في البيئات القاسية التي تعاني من فشل الاستشعار، أو أخطاء التسجيل، أو التسميم المتعمد، طالما أن احتمال الفساد صغير وأن الخوارزمية تستخدم التجميع لتقليل التباين.

يشير المؤلفون إلى أن التنفيذ الحالي يتطلب ذاكرة خطية في طول الحقبة $H$ ويقترحون عملاً مستقبلياً على مقدرات المتوسط القوية عبر الإنترنت والتوسيع ليشمل التقريب الوظيفي (function approximation).