🤖 AI

Completion vs Optimality: Policy Gradient in Long-Horizon Cumulative-Damage Problems

تحدد هذه الورقة وتفكك نمطي فشل متعامدين —الإنجاز والوصول إلى الأمثلية— في طرق تدرج السياسة للمشكلات ذات الأفق الطويل والمتعلقة بالتراكم الضار، وتثبت من خلال التحقق التجريبي في محاكاة بناء الطوب ومسيرة لاعب كرة السلة في الدوري الأمريكي للمحترفين أنه بينما تتيح قيود فضاء العمل إمكانية إنجاز المهمة، إلا أنها غالبًا ما تترك فجوة كبيرة في الأمثلية ناتجة عن الالتزامات الجشعة المبكرة.

المؤلفون الأصليون: Wolfgang Maass, Sabine Janzen

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Wolfgang Maass, Sabine Janzen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب روبوت للعب لعبة "مسيرة مهنية" (Career) طويلة جداً. الهدف هو البقاء في اللعبة لأطول فترة ممكنة مع جمع أكبر عدد ممكن من النقاط. ومع ذلك، هناك عقبة: الحركات التي تمنحك أكبر قدر من النقاط الآن، تؤدي ببطء إلى كسر أرجل الروبوت. إذا انكسرت الأرجل كثيراً، تنتهي اللعبة فوراً.

هذه الورقة البحثية، بعنوان "الإكمال مقابل المثالية" (Completion vs. Optimality)، تبحث في سبب فشل طرق تعلم الذكاء الاصطناعي الذكية (تحديداً ما يسمى "تدرج السياسة" - Policy Gradient) في هذا النوع من الألعاب. اكتشف المؤلفان، فولفغانغ ماس و سابين جانزن، أن الذكاء الاصطناዊ يفشل بطريقتين مختلفتين تماماً، وهما بحاجة إلى الإصلاح باستخدام أدوات مختلفة.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الطريقتان للفشل

أدرك المؤلفان أنه عندما يسوء أداء الذكاء الاصطناعي، فإنه عادة ما يفشل في إحدى مهمتين متميزتين، لكن أنظمة التسجيل القياسية تخلط بينهما:

الفشل (أ): "الانسحاب المبكر" (فشل الإكمال)
- التشبيه: تخيل عداء ماراثون يبدأ بالركض بأقصى سرعة لأنه يريد الوصول إلى خط النهاية بسرعة. فيحرق عضلاته في الميل الأول ويضطر للانسحاب من السباق تماماً.
- مشكلة الذكاء الاصطناعي: يرى الذكاء الاصطناعي الحركة "الجشعة" (التي تعطي أكبر قدر من النقاط الفورية) ويتخذها. هذه الحركة تسبب سراً ضرراً لـ "صحة" الروبوت. ولأن إشارة الضرر مخفية حتى فوات الأوان، يستمر الذكاء الاصطناعي في اتخاذ الحركة الضارة حتى ينكسر الروبوت وتنتهي المرحلة مبكراً. هو لا يصل أبداً إلى مراحل المسيرة اللاحقة ذات المكافآت العالية.
الفشل (ب): "اللعب بقوة مفرطة" (فشل المثالية)
- التشبيه: تخيل عداءً يتمكن بالفعل من إنهاء الماراثون، لكنه ركض بأقصى سرعة في البداية لدرجة أنه أصبح يعرج ومنهكاً بحلول النهاية. لقد أنهى السباق، لكن كان بإمكانه خوض سباق أفضل بكثير لو حافظ على وتيرة منتظمة.
- مشكلة الذكاء الاصطناعي: حتى لو نجح الذكاء الاصطناعي في النجاة طوال المسيرة المهنية، فإنه غالباً ما يقع في "فخ". يتعلم بذل جهد 100% في البداية لأن ذلك يبدو كأفضل حركة للخطوة الأولى. وبمجرد أن يلتزم بهذا البدء "بكل قوته"، لا يمكنه التعافي. ينتهي به الأمر بتحقيق إجمالي نقاط أقل مما كان بإمكانه تحقيقه لو بدأ بهدوء.

2. التجربتان

لإثبات ذلك، بنى المؤلفان اثنين من "محاكيات المسيرة المهنية" التي تعمل مثل ألعاب الفيديو:

البنّاء (The Bricklayer): مسيرة مهنية مدتها 49 عاماً لعامل بناء يقوم بأعمال رفع ثقيلة.
لاعب NBA: مسيرة مهنية مدتها 20 موسماً للاعب كرة سلة في مركز لاعب ارتكاز (Power Forward).

كلا اللعبتين لديهما نفس القاعدة المخفية: إذا بذلت مجهوداً كبيراً جداً في وقت مبكر، ستتعرض للإصابة (وتنتهي اللعبة).

3. ماذا وجدوا؟

اختبر المؤلفان ثلاثة مداخل مختلفة على هذه الألعاب:

الذكاء الاصطناعي "الحقيقي" (PPO): وهو الذكاء الاصطناعي القياسي الذي يحاول التعلم عن طريق التجربة والخطأ.
- النتيجة: فشل في الإكمال. في لعبة البنّاء، انسحب في سن 27.8 (بدلاً من 65). وفي لعبة NBA، انسحب في سن 22.6 (بدلاً من 38). لقد ركض بأقصى سرعة في البداية وتحطم.
الذكاء الاصطناعي "غير المقيد" مع عقوبة ناعمة: حاول الباحثون مساعدة الذكاء الاصطناعي عبر إعطائه "تحذيراً ناعماً" (عقوبة صغيرة) إذا عمل بجهد كبير، والسماب له برؤية المسيرة المهنية كاملة.
- النتيجة: أدى هذا في الواقع إلى جعل الأمور أسوأ. انسحب الذكاء الاصطناعي في وقت أبكر (سن 24.7). لقد أربكت العقوبة الذكاء الاصطناعي، مما جعله يتوقف عن العمل تماماً أو ينسحب قبل الأوان.
الذكاء الاصطناعي "المقيد" (Fixed-Share): فرض الباحثون قاعدة محددة على الذكاء الاصطناعي: "يجب عليك فقط القيام بـ 15% من أعمال الرفع الثقيلة الخطيرة". كان مسموحاً للذكاء الاصطناعي فقط بتقرير مدى شدة العمل، وليس ماذا يعمل.
- النتيجة: حقق هذا الذكاء الاصطناعي الإكمال. لقد أكمل الـ 49 عاماً أو الـ 20 موسماً دون انسحاب.
- العقبة: رغم أنه أكمل، إلا أنه لا يزال يفشل في المثالية. لقد أنهى بـ 0.52 (على مقي scale حيث الدرجة المثالية هي 0.79). لقد نجا، لكنه لم يلعب اللعبة الأفضل الممكنة لأنه وقع في فخ "الركض السريع في البداية".

4. فخ "الخطوة الأولى"

الاكتشاف الأكثر إثارة للاهتمام هو لماذا يلعب الذكاء الاصطناعي بقوة مفرطة في البداية.
وجد المؤلفون أن الذكاء الاصطناعي يقوم بـ "التزام جشع" في الثانية الأولى من التدريب.

الاستعارة: تخيل طالباً يؤدي اختباراً. السؤال الأول سهل ويعطي 100 نقطة. يفكر الطالب: "سأجيب على هذا السؤال بسرعة فائقة!". يفعل ذلك، ولكن في القيام بذلك، يستهلك كل طاقته الذهنية لبقية الاختبار.
العلم: يحسب الذكاء الاصطناعي أن الحركة "بكل القوة" تعطي مكافأة ضخمة الآن. ولأن الضرر لا يظهر إلا في وقت لاحق، فإن غريزة الذكاء الاصطناዊ الأولى هي السعي وراء المكافأة الكبيرة. بمجرد أن يلتزم باستراتيجية "بكل القوة"، يصبح من فوات الأوان التغيير. حتى لو دربته لمليون سنة، سيستمر في ارتكاب نفس الخطأ الأول.

5. الخاتمة

تخلص الورقة إلى أنه لا يمكنك إصلاح هذه المشكلات باستخدام أداة واحدة فقط.

لمنع الذكاء الاصطناعي من الانسحاب المبكر، يجب عليك تقييد خياراته (إجباره على عدم القيام بالحركة الخطيرة بنسبة 100% من الوقت).
لمنعه من اللعب بشكل سيء (حتى عندما ينجو)، تحتاج إلى إصلاح كيفية تعلمه من الخطوة الأولى تماماً، لأنه "يعلق" في عادة سيئة فوراً.

باختصار: الذكاء الاصطناعي يشبه عاملاً إما يترك الوظيفة مبكراً جداً لأنه يعمل بجهد كبير، أو يبقى في الوظة ولكن يحرق مسيرته المهنية لأنه بدأ بقوة مفرطة. توضح الورقة أن مجرد إخبار الذكاء الاصطناعي "لا تعمل بجهد كبير" ليس كافياً؛ بل يجب عليك تغيير قواعد اللعبة وكيفية تفكير الذكاء الاصطناعي في الخطوة الأولى.

ملخص تقني: الإتمام مقابل المثالية في مشكلات الضرر التراكمي طويلة الأمد

1. تعريف المشكلة

تتناول هذه الورقة فئة محددة من مشكلات اتخاذ القرار المتسلسلة طويلة الأمد التي تتميز بـ الضرر التراكمي. في هذه البيئات، تؤدي الأفعال التي تعظم المكافأة الفورية (الجذابة محلياً) في الوقت نفسه إلى زيادة حالة ضرر تراكمي كامنة ( $D_t$ ). تنتهي الحلقة ضمناً عندما يتجاوز $D_t$ عتبة معينة أو عندما يتم انتهاك قيد "صلاحية الدور" (على سبيل المثال، عندما ينخفض نصيب الأنشطة ذات الضرر العالي عن مستوى حرج).

التحدي الجوهري هو أن إشارة الضرر غالباً ما تكون كامنة أو غير معلوماتية عند مستويات الضرر المنخفضة. وكثيراً ما تفشل الوكلاء الذين يستخدمون طرق تدرج السياسة القياسية (مثل PPO) في تعلم سياسات حصيفة لأنهم:

لا يمكنهم ملاحظة الضرر حتى فوات الأوان (الحد النهائي الضمني).
يفضل تخصيص الائتمان الجشع (Greedy credit assignment) المكافأة الفورية على الحفاظ طويل الأمد، مما يؤدي إلى إنهاء مبكر.

حدد المؤلفون أن التقييم القائم على العائد القياسي يخلط بين نمطي فشل متميزين:

فشل الإتمام (Completion Failure): يخرج الوكيل من الحلقة مبكراً (قبل الأفق الكامل $H$ ) بسبب انتهاك القيد الضمني.
فشل المثالية (Optimality Failure): يكمل الوكيل الأفق الكامل ولكنه يحقق حالة نهائية دون المستوى الأمثل (على سبيل المثال، انخفاض في الحفاظ على الصحة/القدرة) لأنه التزم باستراتيجية جشعة في وقت مبكر.

2. المنهجية والتفكيك

تقترح الورقة تفكيكاً لتقييم الوكلاء على محورين متعامدين:

الإتمام (Completion): هل تصل السياسة إلى الأفق النهائي $H$ ؟
المثالية (Optimality): بالنظر إلى الإتمام، هل تطابق السياسة قيمة مرجع الاستقراء الخلفي ( $\pi^*$ )؟

الإعداد التجريبي

يقيم المؤلفون هذا التفكيك في بيئتين مختلفتين ومعايرتين تشتركان في نفس البنية المجردة ولكن تختلفان في النطاق والمعلمات:

مسيرة عامل البناء (Bricklayer Career): محاكاة لمدة 49 خطوة (4 49 عاماً) لعامل بناء يدير 7 أنشطة، تمت معايرتها لتناسب ميكانيكا ركبة الإنسان والبيانات الوبائية.
مسيرة لاعب كرة السلة (NBA Power-Forward Career): محاكاة لموسمين رياضيين (20 موسماً) للاعب كرة سلة يدير 6 أنشطة، تمت معايرتها لتناسب أدبيات الطب الرياضي.

تتميز كلتا البيئتين بـ:

الضرر الكامن: يلاحظ الوكيل فقط إشارة وسيطة $S_t = g(D_t)$ ، وهي غير معلوماتية عند مستويات الضرر المنخفضة.
بنية النشاط المهيمن: أحد الأنشطة يعظم كلاً من المكافأة والضرر.
التدهور ذاتي التعزيز: قناة ثانوية حيث يتدهور الحفاظ ( $M_t$ ) بمعدل متسارع بمجرد انخلافه تحت عتبة معينة ( $M_{amp} = 0.6$ ).

الخوارزميات المقارنة

PPO-real: خوارزمية تحسين السياسة القريبة (PPO) القياسية المدربة على عمليات حقيقية مع تفعيل قيد الإنهاء الضمني.
Unrestricted Dyna: نسخة تعتمد على النموذج (Dyna) مع إمكانية الوصول إلى الأفق الكامل (عبر علامة no_exit أثناء التدريب) وعقوبة ناعمة خطية لانتهاك صلاحية الدور.
Fixed-share Dyna: نسخة يتم فيها تثبيت حصة النشاط على التخصيص الأمثل للبرمجة الديناميكية (DP)، ويتم تعلم مستوى الجهد فقط.
DP-optimal: مرجع استقراء خلفي باستخدام المعرفة الكاملة للحالة ( $D, M, t$ ) لحساب الحد الأعلى النظري.

3. النتائج الرئيسية والمكتشفات

فجوة الإتمام

فشل PPO-real: تفشل PPO المدربة على عمليات حقيقية في إكمال الأفق في كلتا البيئتين (معدل إتمام 0%). عمر الخروج المتوسط أقل بكثير من الأفق (27.8 سنة في عامل البناء و22.6 سنة في NBA).
ضرر الوصول إلى الأفق وحده: منح الوصول إلى الأفق لوكيل غير مقيد (Unrestricted Dyna) مع عقوبة ناعمة خطية يزيد من سوء الأداء. تدفع العقوبة حصة النشاط المهيمن إلى الصفر، مما ينتهك القيد بشكل أكثر عدوانية من PPO-real.
تقييد فضاء العمل: تقييد فضاء العمل إلى تخصيص حصة مثالي للبرمجة الديناميكية (Fixed-share Dyna) يفتح باب الإتمام. حقق هذا الوكيل إتماماً بنسبة 100% في كلتا البيئتين، مما يثبت أن الفشل في الإتمام هو خلل هيكلي (مرتبط بقيد الحصة) وليس مجرد مشكلة في تخصيص الائتمان.

فجوة المثالية

حتى عند تحقيق الإتمام (Fixed-share Dyna)، تظل هناك فجوة مثالية كبيرة ( $\Delta M_{final}$ ):

عامل البناء: $\Delta M_{final} = 0.271$ (Fixed-share Dyna $M_{final} \approx 0.52$ مقابل DP-optimal $0.79$).
NBA: $\Delta M_{final} = 0.150$ (Fixed-share Dyna $M_{final} \approx 0.61$ مقابل DP-optimal $0.76$).

آلية فشل المثالية: دخول حوض المرحلة الأولى

تحدد الورقة سبب فجوة المثالية بأنه التزام جشع في المرحلة الأولى:

جاذب التدهور التفاعلي: في 8 من أصل 10 بذور (عامل البناء) و4 من أصل 10 بذور (NBA)، يلتزم الوكيل بالجهد الأقصى في النشاط المهيمن عند $t=0$ .
عدم القابلية للانعكاس: هذا الجهد العالي الأولي يدفع متغير الحفاظ $M$ إلى ما دون عتبة التعزيز الذاتي ( $M_{amp}$ ) بشكل غير قابل للانعكاس.
دخول حوض الخطوة-0: يشير توقع تحديث تدرج السياسة الأول نحو الإجراء الجشع لأن فجوة المكافأة الفورية تفوق تكلفة الضرر المستقبلي المخصومة (كما هو موضح في الاقتراح 1). يحدث هذا الالتزام في أول 1% من التدريب، قبل أن تتراكم إشارات الأفق الطويل.
ثبات الأفق: هيمنة "الجاذب التفاعلي للتدهور" ثابتة تجاه طول أفق التدريب ( $H$ ) حتى الوصول إلى حد حرج $H^*$ ، مما يؤكد أن الفشل مدفوع بالظروف الأولية، وليس بتخصيص الائتمان طويل الأمد.

4. المساهمات

الصياغة الرسمية: تعريف رسمي لفئة مشكلات "الضرر التراكمي المتباين مع الأفق" وتفكيك الفشل إلى محوري الإتمام والمثالية.
التفكيك التجريبي: مقارنة ثلاثية الأطراف (PPO-real, Fixed-share Dyna, DP-optimal) تقيس كلا الفجوتين في نطاقين مختلفين.
التحليل السببي: أدلة على أن الوصول إلى الأفق وحده يكون ضاراً تحت العقوبات الناعمة الخطية، وأن تقييد فضاء العمل هو التدخل الضروري للإتمام.
تحديد الآلية: تحديد "الالتزام الجشع في المرحلة الأولى" كمحرك لفشل المثالية، مدعوماً باقتراح نظري حول اتجاه تحديث تدرج السياسة الأول المتوقع.

5. الأهمية والادعاءات

تدعي الورقة أن طرق تدرج السياسة القياسية تفشل في مشكلات الضرر التراكمي ليس فقط بسبب تخصيص الائتمان طويل الأمد، بل بسبب عدم القدرة الهيكلية على تلبية القيود النهائية الضمنية (الإتمام) والميل إلى الالتزام باستراتيجيات جشعة في بداية الحلقة تماماً (المثالية).

القيمة التشخيصية: يكشف التفكيك أن التدخلات التي تستهدف محوراً واحداً (مثل تقييد فضاء العمل من أجل الإتمام) لا تحل المشكلة في المحور الآخر (المثالية).
التعميم: تتكرر النتائج عبر مجالين (الصحة المهنية والطب الرياضي)، مما يشير إلى أن أنماط الفشل متأصلة في بنية المشكلة (الضرر الكامن، محاذاة النشاط المهيمن، التدهور ذاتي التعزيز) ولي Possibility ليست مرتبطة بمحاكي معين.
الرؤية النظرية: تربط الورقة نمط "التدهور التفاعلي" التجريبي بشرط رسمي حيث تهيمن فجوة المكافأة الفورية على قيمة الاستمرار عند $t=0$ ، مما يفسر سبب تقارب الوكلاء نحو نقاط ثابتة دون المستوى الأمثل بغض النظر عن طول أفق التدريب.

يذكر المؤلفون صراحة أن اقتراحهم النظري (الاقتراح 1) ينطبق على نموذج MDP بسيط ذي إجراء ثنائي، ويعمل كتماثل هيكلي لاختبارات الأنشطة المتعددة، وليس كاشتقاق مباشر لها. كما يشيرون إلى القيود المتعلقة باستخدام محرك محاكاة واحد ووظائف العقوبة المحددة المستخدمة.