Accuracy and Robustness of Model Cascades Under Data Perturbations

في عالم الذكاء الاصطناعي، هناك توتر متزايد بين مدى ذكاء برنامج الكمبيوتر وكمية الطاقة التي يتطلبها للتشغيل. فبينما تصبح هذه الأنظمة أكثر قوة، فإنها تستهلك كميات هائلة من الكهرباء، مما يثير مخاوف بشأن بصمتها البيئية. ولحل هذه المشكلة، طور المهندسون استراتيجية تسمى "الشلال التنبؤي" (prediction cascade). تخيل فريقاً من العمال حيث يتولى مساعد سريع وخفيف الوزن المهام البسيطة، بينما تُحال فقط الحالات الأكثر صعوبة أو إرباكاً إلى خبير رفيع المستوى. وفي سياق الذكاء الاصطناعي، يعني هذا أن نموذجاً صغيراً وفعالاً في استهلاك الطاقة يحاول الإجابة على سؤال أولاً؛ فإذا كان واثقاً جداً من إجابته، يتوقف عند هذا الحد. أما إذا كان غير متأكد، فإنه يحيل المهمة إلى نموذج أكبر بكثير وأكثر قوة. يعمل هذا النهج بشكل رائع عندما تكون البيانات نظيفة وواضحة، مما يسمح للأنظمة بتوفير كميات هائلة من الطاقة مع الحفاظ على دقة عالية.

ومع ذلك، نادراً ما يكون العالم الحقيقي نظيفاً. فالصور الملتقطة بواسطة الكاميرات قد تكون ضبابية، أو مشوشة، أو مشوهة بسبب سوء الأحوال الجوية، وهذه العيوب يمكن أن تربك حتى أكثر الخوارزميات ذكاءً. وتستقصي دراسة جديدة أجراها باحثون في مختبر "AUMOVIO AI" وجامعة برلين للعلوم التطبيقية ما يحدث لهذه الشلالات الموفرة للطاقة عندما تكون بيانات المدخلات متدهورة. فقد أرادوا معرفة ما إذا كانت قدرة النظام على اتخاذ القرار بشأن متى يحيل المهمة إلى الخبير تظل موثوقة عندما تكون الصور تالفة. اختبر الباحثون نظامهم على مجموعات بيانات صور قياسية، مع إدخال أنواع مختلفة من الأضرار، من الضوضاء الساكنة والضبابية إلى التغييرات المتتالية التي تحاكي اهتزاز الكاميرا أو تدهور الطقس بمرور الوقت.

تكشف الدراسة أنه بينما تكون هذه الشلالات فعالة في البيانات المثالية، فإنها تواجه أوضاع فشل متميزة عندما تكون البيانات غير مثالية. وجد الباحثون أن سلوك النظام يعتمد بشكل كبير على تعقيد المهمة. ففي المهمة الأبسط التي تحتوي على فئات أقل للاختيار من بينها، يظل النموذج الخبير الكبير قادراً تماماً على حل المشكلة حتى عندما تكون الصور تالفة. ويأتي الفشل في هذا السيناريو من المساعد الصغير؛ إذ يربك التلف شعور المساعد بالثقة، مما يجعله إما يقبل الإجابات الخاطئة بسهولة شديدة أو يحيل الكثير من المهام السهلة إلى الخبير، مما يهدر وفورات الطاقة. في هذه الحالة، يفشل النظام لأن آلية التوجيه هي التي تتعطل، وليس لأن الخبير عاجز.

أما في المهمة الأكثر تعقيداً والتي تحتوي على فئات أكثر بكثير، فإن الوضع يكون أكثر سوءاً. هنا، يكون التلف شديداً لدرجة تؤدي إلى تدهور أداء كل من المساعد الصغير والخبير الكبير. فعندما تكون الصور تالفة بشدة، يكافح النموذج الخبير نفسه لإيجاد الإجابة الصحيحة. وفي هذا السيناريو، لا يستطيع الشلال استعادة الدقة لأن الخيار البديل لم يعد موثوقاً. ينهار النظام لأن الأساس الذي تقوم عليه الاستراتيجية بأكملها — وهو قدرة النموذج الكبير على إصلاح أخطاء النموذج الصغير — قد تلاشى.

نظر الباحثون أيضاً في كيفية سلوك هذه الأنظمة عندما يحدث الضرر تدريجياً عبر سلسلة من الإطارات، مثل الفيديو. واكتشفوا نمطاً مخادعاً: فكلما أصبحت الصور أكثر تشوهاً، يصبح النظام في الواقع أكثر استقراراً في قراراته، حيث يقوم بإجراء تغييرات أقل فجائية من إطار إلى آخر. ومع ذلك، فإن هذا الاستقرار هو مجرد وهم؛ إذ يتوقف النظام عن إرسال الحالات الصعبة إلى النموذج الخبير، معتمداً بدلاً من ذلك على النموذج الصغير المتدهور. والنتيجة هي تدفق من التنبؤات المتسقة ولكنها خاطئة بشكل متزايد. يبدو النظام هادئاً ومستقراً، لكنه توقف عن استخدام شبكة الأمان الخاصة به.

في النهاية، تثبت الدراسة أن كفاءة هذه الشلالات هشة. فقد حدد الباحثون أن النظام يمكن أن يفشل بطريقتين رئيسيتين: إما أن الإشارة التي تقرر متى يتم التبديل بين النماذج تتعرض للتلف بينما يظل الخبير قوياً، أو أن التلف يكون شديداً لدرجة تجعل النموذج الخبير نفسه يفشل. ووجدوا أن نوع الفشل يعتمد غالباً على مدى صعوبة مهمة التصنيف. فبالنسبة للمشكلات الأبسط، يكمكنثل خطر في أن النظام يتوقف عن التوجيه بشكل صحيح؛ أما بالنسبة للمشكلات الأصعب، فإن الخطر يكمكمن في أن النظام بأكمله يفقد قدرته على حل المشكلة. ويخلص المؤلفون إلى أنه لاستخدام أدوات توفير الطاقة هذه بمسؤولية، يجب علينا تقييمها ليس فقط بناءً على أدائها في البيانات المثالية، ولكن أيضاً بناءً على مدى موثوقية توجيهها للقرارات عندما يصبح العالم فوضوياً. وبدون هذا الفهم، قد يتلاشى الوعد بالذكاء الاصطناعي المستدام والفعال بمجرد تغير بيانات المدخلات.