It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

في عالم الذكاء الاصطنا-عي، غالباً ما تُعلَّم الآلات اتخاذ القرارات من خلال السعي وراء هدف واحد، مثل مكنسة روبوتية تنظف الأرضية أو برنامج يفوز في لعبة الشطرنج. لكن العالم الحقيقي نادراً ما يكون بهذه البساطة. فغالباً ما يتعين على العميل (agent) الموازنة بين عدة أهداف متنافسة في آن واحد، مثل سيارة ذاتية القيادة تحاول الوصول إلى وجهتها بسرعة مع الحفاظ على السلامة وتوفير الطاقة في الوقت نفسه. وعندما تتعارض هذه الأهداف، تحتاج الآلة إلى وسيلة لتقرير أي منها أكثر أهمية. علاوة على ذلك، يمكن أن تظهر عواقب القرار عبر فترات زمنية مختلفة؛ فقد يتسبب خطأ صغير في مشكلة فورية، بينما قد تؤدي سلسلة من الأخطاء الصغيرة إلى كارثة بعد أشهر. لسنوات طويلة، طور الباحثون أدوات رياضية مختلفة للتعامل مع هذه المواقف، لكنهم تعاملوا عموماً مع كل إطار زمني كمسألة منفصلة، حيث اختاروا طريقة للمخاطر الفورية وأخرى للمتوسطات طويلة الأمد.

تتحدى دراسة جديدة هذا الفصل، محتجة بأن القرارات في العالم الحقيقي تتطلب غالباً من العميل أن يقلق بشأن العواقب الفورية، والمتوسطة المدى، وطويلة المدى في آن واحد. يوضح الباحثون، الذين يعملون عبر مؤسسات في بلجيكا والبرازيل وأستراليا، أن الاعتماد على طريقة واحدة فقط من هذه الطرق التقليدية يمكن أن يؤدي إلى نتائج خطيرة أو غير فعالة عندما تتداخل مقاييس زمنية متعددة. ومن خلال محاكاة سيناريو يتضمن عمالاً معرضين لمواد سامة، أظهروا أن الاستراتيجية المصممة للحماية من التعرض متوسط المدى قد تضحي بعامل بشكل غير مقصתי تجاه طفرة قصيرة المدى في الخطر، بينما قد تتجاهل الاستراتيجية التي تركز على السلامة الفورية أزمة صحية تتراكم ببطء. يشير عملهم إلى أنه لبناء ذكاء اصطناعي آمن وفعال حقاً، نحتاج إلى طرق تفكير جديدة يمكنها موازنة هذه الساعات المختلفة في وقت واحد.

يكمن جوهر المشكلة في كيفية قياس "السعادة" أو "المنفعة" للعميل. في العديد من أنظمة الذكاء الاصطناعي القياسية، تحسب الآلة متوسط المكافأة التي تتوقع الحصول عليها على فترة طويلة وتحاول تعظيم هذا الرقم. هذا يعمل بشكل جيد لمصنع يعالج آلاف الملفات المرئية يومياً؛ فإذا كان متوسط استهلاك الطاقة والسرعة جيداً، يُعتبر النظام ناجحاً، حتى لو استغرق معالجة ملف واحد وقتاً أطول. ومع ذلك، فإن هذا النهج يفشل عندما تكون النتيجة السيئة الواحدة كارثية. تأمل مريضاً يخضع لعلاج طبي؛ هذا المريض سيختبر العلاج مرة واحدة فقط. هو لا يهتم بالنتيجة المتوسطة لآلاف المرضى الآخرين، بل يهتم بنتيجته الخاصة. إذا كان للعلاج مخاطر غير خطية — بمعنى أن زيادة صغيرة في الجرعة تسبب قفزة هائلة في الخطر — فإن حساب المتوسط يخفي الخطر الحقيقي. يحتاج المريض إلى نظام يقيم النتيجة المحددة لرحلته الخاصة، وليس متوسط العديد من الرحلات.

هناك طريقة ثالثة للنظر إلى الزمن، تركز على الخطوة التالية مباشرة. تخيل سيارة تصطدم بحائط؛ تعتمد خطورة الإصابة بشكل غير خطي على قوة الاصطدام. الاصطدام القوي أكثر خطورة بكثير من الاصطدام الضعيف، والخطر لا يتراكم ببساطة بمرور الوقت؛ فمائة صدمة خفيفة لا تساوي حادثاً واحداً عنيفاً. في هذه الرؤية، يجب على النظام تقييم خطر كل لحظة أثناء حدوثها، وتطبيق عقوبة فورية إذا حدث مزيج خطير من العوامل. لعقود من الزمن، عامل الباحثون هذه المنظورات الثلاثة — المتوسطات طويلة الأمد، ونتائج الرحلة الواحدة، والمخاطر الفورية خطوة بخطوة — كأدوات منفصلة لوظائف منفصلة. يرى مؤلفو هذه الورقة الجديدة أن هذا الفصل يعد خللاً، ويقترحون أن العديد من المشكلات المعقدة تتطلب من العميل الاهتمام بكل هذه المقاييس الزمنية الثلاثة في آن واحد.

لإثبات هذه النقطة، أنشأ الباحثون محاكاة مبسطة تتضمن ثلاثة موظفين وثلاث مهام مختلفة، لكل منها مستوى مختلف من السمية. كان الهدف هو تعيين هؤلاء العمال للمهام على مدار فترة شهر واحد مع الحفاظ على سلامتهم. لم تكن سمية العمل مجرد رقم بسيط؛ بل كانت لها آثار مختلفة اعتماداً على وقت قياسها. كان هناك خطر فوري يتمثل في جرعة عالية خلال يوم واحد، وخطر متوسط المدى يتمثل في إجمالي التعرض على مدار الشهر، وخطر طويل المدى يتمثل في الضرر التراكمي على مدى عدة أشهر. قام الفريق بتشغيل المحاكاة باستخدام الطرق الثلاث التقليدية بشكل منفصل، ثم حاولوا دمجها.

عندما ركز النظام فقط على المتوسط طويل الأمد، وجد استراتيجية تحافظ على سلامة عاملين ذوي خبرة من خلال تدويرهما باستمرار، لكنه ضحى فعلياً بالعامل الثالث الأقل خبرة، عبر تعيينه في المهام الأكثر خطورة بشكل متكرر. كان المنطق هو أن متوسط الخطر للمجموعة منخفض، لذا تجاهل النظام حقيقة أن شخصاً واحداً كان يتعرض لحمل زائد. وعندما ركز النظام فقط على نتيجة الرحلة الواحدة، تعلم تدوير العمال بشكل متكرر لضمان عدم مواجهة أي منهم لجرعة إجمالية عالية بشكل خطير خلال ذلك الشهر المحدد. حافظ هذا على سلامة الجميع نسبياً، لكنه أدى إلى الكثير من التبديل الذي قد لا يكون فعالاً. وعندما ركز النظام فقط على المخاطر الفورية خطوة بخطوة، تجنب تبديل العمال تماماً، مفضلاً إبقاءهم في مهام تتناسب مع مستوى مهاراتهم، وهو نهج آمن ولكنه جامد.

جاءت النتيجة الأكثر كشفاً عندما حاول الباحثون تحسين جميع المقاييس الزمنية الثلاثة في آن واحد. استخدموا طريقة تدمج المخاطر الفورية، والشهرية، وطويلة المدى في هدف واحد. كانت الاستراتيجية الناتجة مزيجاً من الاستراتيجيات الأخرى، لكنها كشفت عن خلل حرج في محاولة موازنة هذه الساعات المتنافسة دون إطار عمل جديد. لقد مال النظام مرة أخرى إلى التضحية بالعامل الأقل خبرة، عبر تعيينه في المهام الأصعب لحماية الآخرين من كل من الطفرات الفورية والتراكم طويل الأمد. أظهرت المحاكاة أن مجرد محاولة إيجاد متوسط لمقاييس الزمن المختلفة لا ينجح؛ فالطبيعة غير الخطية للمخاطر تعني أن حماية مقياس زمني واحد قد تعرض مقياساً آخر للخطر عن غير قصد. وجد الباحثون أن السياسات التي نجحت في مقياس زمني واحد كانت غالباً هي الأسوأ عند النظر في جميع المقايب الزمنية معاً.

يسلط هذا الاكتشاف الضوء على فجوة كبيرة في أبحاث الذكاء الاصطناعي الحالية. فبينما نمتلك أدوات قوية للتعامل مع المتوسطات طويلة الأمد أو المخاطر الفورية، فإننا نفتقر إلى منهج شامل للتعامل معهما معاً. يقترح المؤلفون أن الأنظمة المستقبلية تحتاج إلى تعلم توزيع النتائج المحتملة، وفهم ليس فقط النتيجة المتوسطة، بل النطاق الكامل لما يمكن أن يحدث عبر نوافذ زمنية مختلفة. وهم يقرون بأن هذا تحدٍ صعب، حيث إن تغيير سياسة لتحسين السلامة في مقياس زمني واحد قد يؤدي إلى تدهورها في مقياس آخر، مما يخلق مشهداً معقداً من المقايضات. ومع ذلك، يعتقدون أن تطوير هذه الأساليب المدمجة أمر ضروري للتطبيقات في العالم الحقيقي، من إدارة العلاج الإشعاعي في الطب إلى تحسين خدمة العملاء في الأعمال التجارية، حيث يجب موازنة سلامة ورضا الأفراد مقابل كفاءة المجموعة ككل.

تخلص الدراسة إلى أن الطريقة التي نعلم بها الآلات اتخاذ القرارات حالياً ضيقة للغاية. فمن خلال معاملة الزمن كبُعد واحد أو باختيار منظور واحد دون غيره، فإننا نخاطر بخلق أنظمة آمنة نظرياً ولكنها خطيرة عملياً. إن الطريق إلى الأمام يتطلب خوارزميات جديدة يمكنها استحضار مقاييس زمنية متعددة في آن واحد، مما يضمن أن العميل لا يقوم فقط بتعظيم المتوسط أو تجنب يوم سيء واحد، بل يفهم حقاً الثقل الكامل لأفعاله عبر كامل نطاق وجوده. هذا ليس مجرد تعديل تقني، بل هو تطور ضروري لضمان قدرة الذكاء الاصطناعي على التنقل في الواقع المعقد والمتعدد الطبقات للحياة البشرية.