Peer-Conditioned Observation Representation for Peer Adaptation in Multi-Agent Reinforcement Learning
تقترح هذه الورقة تمثيل الملاحظة المشروط بالأقران (PCOR)، وهي طريقة تعمل على تحسين تكيف الوكلاء المتعددين مع الأقران غير المتجانسين في ظل الملاحظة الجزئية من خلال فرض انحياز استقرائي غير متماثل حيث تقوم تمثيلات الأقران بتكييف تفسير سمات الملاحظة بدلاً من كونها مدخلات موازية لمشفر مشترك.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك فرق شاسع بين قيام حاسوب بلعب لعبة بمفرده وبين قيام مجموعة من الحواسيب باللعب معاً. فعندما يتعلم وكيل واحد، عليه فقط أن يفهم قواعد البيئة. ولكن عندما يتفاعل عدة وكلاء، تصبح البيئة نفسها غير متوقعة لأن اللاعبين الآخرين يتعلمون أيضاً ويغيرون استراتيجياتهم. وهذا يخلق وضعاً فوضوياً حيث يجب على الوكيل أن يتكيف باستمرار مع شركاء قد يكونون زملاء متعاونين أو خصوماً مخادعين. التحدي الجوهب للباحثين لا يقتصر فقط على تعليم الوكيل كيفية التعرف على هؤلاء الشركاء المختلفين، بل في كيفية استخدام هذا التعرف لاتخاذ قرارات أفضل في اللحظة الراهنة. فإذا عرف الوكيل أن شريكه حذر، فعليه أن يتصرف بشكل مختلف عما لو عرف أن الشريك عدواني، ولكن يبقى السؤال: كيف تغير هذه المعرفة طريقة رؤية الوكيل للعالم؟
اقترح فريق من الباحثين من جامعة الأكاديمية الصينية للعلوم ومعهد الأتمتة طريقة جديدة لحل هذا اللغز. ويرى هؤلاء أن الطريقة القياسية المستخدمة في معظم أنظمة الذكاء الاصطناعي معيبة لأنها تعامل الموقف الحالي وتاريخ الشريك كقطعتين منفصلتين من المعلومات يتم لصقهما معاً ببساطة. وبدلاً من ذلك، يقترحون أن يعمل تاريخ الشريك مثل عدسة تغير كيفية رؤية الموقف الحالي. ومن خلال اختبار هذه الفكرة في بيئات معقدة وذات رؤية جزئية، وجدوا أن هذا النهج الجديد يسمح للوكلاء بالتكيف بفعالية أكبر مع الغرباء الذين لم يقابلوهم من قبل.
ركز الباحثون على مشكلة محددة في التعلم متعدد الوكلاء: وهي كيفية التعامل مع "الأقران غير المتجانسين". وببساء العبارة، يعني هذا التعامل مع شركاء يختلفون جميعاً عن بعضهم البعض. في العديد من سيناريوهات العالم الحقيقي، مثل روبوت يعمل بجانب إنسان أو طائرة بدون طيار تنسق مع طائرة أخرى، لا يستطيع الوكيل رؤية اللوحة بأكملها. فهو يرى فقط جزءاً صغيراً من البيئة في أي وقت معطى. ولاتخاذ قرارات جيدة، يجب عليه الاعتماد على ما تعلمه من التفاعلات السابقة مع هذا الشريك المحدد. حاولت الطرق السابقة حل ذلك عبر أخذ رؤية الوكيل الحالية للعالم وملخص سلوك شريكه السابق، وتغذية كليهما في نظام اتخاذ القرار في آن واحد. ثم يحاول النظام بمفرده اكتشاف كيفية دمج هذين النوعين المختلفين جداً من المعلومات. وقد اعتقد الباحثون أن هذا كان غير فعال، وشبهوا الأمر بطلب قراءة خريطة من شخص بينما يصرخ شخص آخر بالتعليمات، بدلاً من جعل التعليمات تساعد الشخص على تفسير الخريطة نفسها.
ولاختبار نظريتهم، طور الفريق طريقة أطلقوا عليها اسم "تمثيل الملاحظة المشروط بالشريك" (Peer-Conditioned Observation Representation). في هذا النظام، ينظر الوكيل أولاً إلى محيطه الحالي ويكوّن فهماً أساسياً للموقف. بعد ذلك، وبدلاً من مجرد إضافة تاريخ الشريك كحقيقة أخرى، يستخدم النظام هذا التاريخ لتعديل أو "تكييف" الفهم الأولي. فكر في الأمر مثل ارتداء نظارات ذات لون محدد: يبدو العالم كما هو، لكن اللون يغير كيفية إدراك الألوان، مما يجعل بعض التفاصيل تبرز بوضوح أكثر اعتماداً على من تكون معه. فإذا عرف الوكيل أنه يعمل مع شريك حذر، فقد يسلط النظام الضوء على المسارات الآمنة في الرؤية الحالية. وإذا كان الشريك عدوانياً، فقد يسلط النظام الضوء على التهديدات المحتملة. هذا يخلق رؤية موحدة واحدة مهيأة بالفعل لشريك معين، بدلاً من رؤية خام يجب على الوكيل الكفاح لتفسيرها.
اختبر الفريق هذه الفكرة في بيئتين مليئتين بالتحديات. كانت الأولى عبارة عن محاكاة طبخ تعاونية حيث يتعين على وكيلين العمل معاً لتحضير الوجبات دون القدرة على رؤية المطبخ بأكمله. والثانية كانت سيناريو مختلط يتضمن مفترسات وفرائس، حيث يتعين على الوكلاء التعاون مع زملائهم مع تجنب الخصوم أو اصطيادهم، وكل ذلك أثناء رؤية منطقة محدودة فقط حولهم. في كلتا الحالتين، تم تدريب الوكلاء على مجموعة من الشركاء المعروفين، ثم تم اختبارهم مع شركاء جدد تماماً لم يسبق لهم مقابلتهم لمعرفة مدى قدرتهم على التكيف بسرعة. وأظهرت النتائج أن الطريقة الجديدة تفوقت باستمرار على الأساليب القياسية. ففي مهمة الطبخ، حققت الطريقة الجديدة نسبة نجاح تزيد عن 50 بالمائة ضد شركاء غير مرئيين، وهي قفزة كبيرة من نسبة الـ 30 بالمائة تقريباً التي حققتها أفضل الطرق السابقة. وفي لعبة المفترس والفريسة، حققت الطريقة الجديدة أيضاً درجات أعلى، مما أثبت قدرتها على التعامل مع المواقف التعاونية والتنافسية بفعالية أكبر.
تعمق الباحثون أيضاً لفهم سبب نجاح هذه الطريقة بهذا الشكل الجيد. فقد حللوا كيف تتغير التمثيلات الداخلية للوكلاء أثناء تفاعلهم مع الشركاء بمرور الوقت. ووجدوا أنه بينما يمكن للطرق الأخرى أن تتعلم في النهاية التمييز بين الشركاء المختلفين، فإن الطريقة الجديدة خلقت وسيلة أكثر استقراراً واتساقاً لترجمة هوية الشريك إلى قرار. وتحديداً، ضمن النهج الجديد بقاء رؤية الوكيل للعالم متماسكة عند التفاعل مع نفس الشريك بشكل متكرر، بينما تظل متميزة بما يكفي للتعامل مع شركاء مختلفين. بدا أن هذا الاستقرار هو مفتاح نجاحهم، مما سمح للوكلاء بالبناء على خبراتهم بشكل أكثر كفاءة مع استمرار التفاعل.
كان من النتائج المثيرة للاهتمام أن ميزة هذه الطة الجديدة تزداد قوة كلما قضى الوكلاء وقتاً أطول مع الشريك. ففي اللحظات الأولى من التفاعل، عندما لا يمتلك الوكيل سوى تاريخ ضئيل جداً للاستناد إليه، كانت الطرق الأخرى تتفوق أحياناً لأنها كانت أسرع في تحديد هوية الشريك. ومع ذلك، مع تقدم التفاعل وتراكم المزيد من التاريخ، تفوقت الطريقة الجديدة، مما يشير إلى أن طريقتها في دمج المعلومات هي الأفضل للتكيف طويل الأمد. وهذا يشير إلى أن الطريقة التي يجمع بها الوكيل بين ما يراه الآن وما يعرفه عن شريكه هي بنفس أهمية جودة المعلومات نفسها.
تخلص الدراسة إلى أن بنية كيفية معالجة الوكيل للمعلومات هي جزء حاسم، وإن كان غالباً ما يتم تجاهله، في تعلم كيفية العمل مع الآخرين. ومن خلال تحويل التركيز من مجرد جمع المزيد من البيانات عن الشركاء إلى تغيير كيفية تشكيل تلك البيانات لإدراك الوكيل للحاضر، قدم الباحثون مخططاً جديداً للذكاء التكيفي. ورغم أن التجارب كانت محدودة بمحاكاة معينة وفترات تفاعل قصيرة، إلا أن النتائج تشير إلى أن هذا النهج يمكن أن يكون أداة قوية لبناء أنظمة تحتاج إلى التعاون مع مجموعة متنوعة من الشركاء غير المتوقعين في العالم الحقيقي. إن العمل يسلط الضوء على أنه في الرقصة المعقدة للتفاعل متعدد الوكلاء، فإن معرفة كيفية النظر إلى العالم من خلال عيون شريكك لا تقل أهمية عن معرفة من هو ذلك الشريك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.