SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

في عالم الروبوتات والآلات المؤتمتة، يوجد فرق شاسع بين آلة تتحرك مرة واحدة وآلة تكرر مهمة آلاف المرات. فعندما يقوم ذراع روبوتي بلحام إطار سيارة أو عندما تقوم طابعة بوضع طبقات من البلاستيك بدقة متناهية، فإنها تؤدي الحركة نفسها مراراً وتكراراً. لقد عرف المهندسون منذ زمن طويل أنه إذا ارتكبت الآلة خطأً صغيراً في محاولتها الأولى، فيمكنها التعلم من ذلك الخطأ لتصيب في المرة التالية. هذا النهج، المعروف باسم التعلم التكراري، يعامل كل تكرار كدرس، مما يسمح للنظام بصقل حركاته حتى يصبح المسار سلساً ودقيقاً. ومع ذلك، فإن الآلات في العالم الحقيقي ليست مثالية؛ فهي تواجه نتوءات غير متوقعة، وأحمالاً متغيرة، وحدوداً فيزيائية على مدى قوة دفع محركاتها. فإذا حاولت الآلة تصحيح خطأ ما عن طريق الدفع بقوة مفرطة، فقد تصطدم بجدار فيزيائي، مما يؤدي إلى إتلاف نفسها أو المنتج. ويكمن التحدي في تعليم الآلة كيفية التعلم من أخطائها مع الالتزام الصارم بحدودها الفيزيائية، خاصة عندما تتغير البيئة بشكل غير متوقع من محاولة إلى أخرى.

قام فريق من الباحثين في جامعة جيانغنان وجامعة زيلونا غورا بتطوير طريقة جديدة لحل هذه المشكلة المحددة للآلات المعقدة ذات الأجزاء المتحركة المتعددة. لقد أنشأوا نظام تحكم يجمع بين خوارزمية تعلم تقليدية وتقنية ذكاء اصطناعي حديثة تسمى "الممثل الناعم" (soft actor-critic). صُمم هذا النظام الهجين للآلات التي يجب أن تكرر المهام ولكنها تواجه شرطين صعبين: البيئة تتغير قليلاً في كل مرة يتم فيها تنفيذ المهمة، والآلة لديها حدود صارمة وغير متساوية لقوة الدفع التي يمكنها تطبيقها. في العديد من السيناريوهات الواقعية، قد يُسمح للآلة بالدفع للأمام بقوة معينة، ولكن يتم سحبها للخلف بحد مختلف، أو قد يكون لها حدود مختلفة لاتجاهات مختلفة. كان هدف الباحثين هو ضمان قدرة الآلة على التعلم بفعالية دون انتهاك حدود السلامة الخاصة بها أبداً، حتى عندما تحاول عملية التعلم نفسها اقتراح حركة قوية للغاية.

يتضمن جوهر حلهم فحص سلامة مكون من خطوتين، والذي وصفوه بأنه "حاجز ذو طبقتين". تخيل آلة انتهت للتو من مهمة وتستعد للمهمة التالية. أولاً، يقوم النظام بحساب خطة حركة جديدة ومحسنة بناءً على الأخطاء من الجولة السابقة. وقبل حفظ هذه الخطة لاستخدامها مستقبلاً، تمر عبر طبقة السلامة الأولى. تعمل هذه الطبقة كمرشح يضمن بقاء الذاكرة المخزنة للحركة ضمن حدود آمنة، مما يمنع الآلة من "تذكر" أمر سيكون مستحيلاً أو خطيراً في التنفيذ. بعد ذلك، وبينما تقوم الآلة بتنفيذ المهمة فعلياً، فإنها تتلقى تعديلاً إضافياً في الوقت الفعلي من مكون الذكاء الاصطناعي. يعمل هذا الذكاء الاصطناعي كمعوض ذكي، حيث يستشعر الاضطرابات غير المتوقعة مثل الرياح أو الاحتكاك، ويجري تصحيحات طفيفة وسريعة. ومع ذلك، يمكن لهذه التصحيحات أيضاً أن تدفع الآلة نحو حدودها القصوى. لذلك، تمر الإشارة عبر طبقة سلامة ثانية قبل أن تصل إلى المحركات. يضمن هذا المرشح الثاني أن الأمر النهائي المرسل إلى الآلة لا يتجاوز قدراتها الفيزيائية أبداً، بغض النظر عن مدى قوة اقتراح الذكاء الاصطناعي أو الاضطراب الخارجي.

لاختبار هذا النهج، قام الباحثون بمحاكاة نظام ميكانيكي معقد يتكون من كتلتين متصلتين بنوابض ومخمدات، وهو نموذج شائع لفهم كيفية تحرك الأجزاء المقترنة معاً. قاموا ببرمجة النظام لاتباع مسار محدد مع تعريضه لاضطرابات عشوائية وغير متكررة تتغير مع كل تجربة. وقارنوا طريقتهم الجديدة بعدة تقنيات موجودة، بما في ذلك وحدات التحكم التعليمية القياسية وطرق متقدمة أخرى تتعامل مع القيود. أظهرت النتائج أن نظام الحاجز ذي الطبقتين الخاص بهم تفوق بشكل كبير على البدائل الأخرى. وفي المجموعة الأخيرة من التجارب، قلل النهج الجديد متوسط خطأ التتبع بأكثر من النصف مقارنة بأفضل بديل تالٍ له. والأهم من ذلك، بينما اقترحت الطرق الأخرى أحياناً حركات من شأنها انتهاك حدود سلامة الآلة، حافظ النظام الجديد على سجل مثالي بـ "صفر" انتهاكات. ظلت أوامر التعلم المخزنة والقوى الفعلية المطبقة على الآلة ضمن المنطقة الآمنة بدقة طوال التجربة.

تضمن البحث أيضاً تحليلاً مفصلاً لكيفية مساهمة كل جزء من النظام في النجاح. ومن خلال إيقاف تشغيل مكونات معينة، أثبت الباحثون أن طبقة السلامة الأولى كانت ضرورية للحفاظ على سلامة ذاكرة الآلة، بينما كانت الطبقة الثانية ضرورية للحفاظ على سلامة الحركات الفيزيائية الفعلية عندما يقوم الذكاء الاصطناعي بإجراء التعديلات. بدون عمل الطبقتين معاً، فإن النظام إما يخاطر بتخزين أوامر خطيرة أو يفشل في تطبيق التصحيحات اللازمة دون كسر القواعد. نجح مكون الذكاء الاصطناعي في تعلم توليد تصحيحات تعارض الاضطرابات العشوائية، مما أدى إلى إلغائها بفعالية. ووجد الباحثون أن قدرة النظام على التعلم والتكيف لم تكن مجرد نتيجة ناتجة عن المحاكاة، بل كانت نتيجة قوية مشتقة من تحليل رياضي صارم يضمن بقاء الآلة ضمن نطاق خطأ يمكن التنبؤ به. يوضح هذا العمل أنه من الممكن بناء آلات تكون قابلة للتكيف للغاية وآمنة تماماً في آن واحد، وقادرة على التعلم من البيئات المعقدة والمتغيرة دون تجاوز حدودها الفيزيائية أبداً.