AI Safety Evaluations Need To Consider Cascading Effects
تدعو هذه الورقة إلى تحول جذري في تقييمات سلامة الذكاء الاصطناعي من التركيز المتمحور حول النموذج إلى نهج شمولي موجه نحو الأنظمة يحلل "التتابعات" — وهي التفاعلات المتراكمة والآثار التراكمية اللاحقة عبر سلسلة التوريد الخوارزمية الاجتماعية التقنية — لمعالجة فجوات الشفافية والمساءلة والأمن والسلامة بشكل أفضل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: الأمر لا يتعلق بالمحرك فحسب، بل بالسيارة بأكملها
تخيل أنك اشتريت سيارة رياضية جديدة وعالية الأداء (النموذج الأساسي أو الذكاء الاصطناعي). أخذتها إلى ميكانيكي قام باختبار المحرك وحده. لقد اجتاز المحرك الاختبار بتفوق! إنه سريع، وفعال، وآمن.
ولكن بعد ذلك، قدت تلك السيارة خارج المعرض. أضفت طقم توربو مخصصاً (مطوّر التطبيق/الأمر البرمجي)، وثبّتت نظام تحديد مواقع (GPS) يعيد توجيهك عبر أحياء خطرة (نظام الاسترجاع)، ووضعت زجاجاً مظللاً يجعل الرؤية صعبة في الليل (فلتر السلامة)، وتركت مراهقاً يقودها بينما هو مشتت بسبب الموسيقى (تخصيص المستخدم).
فجأة، تصادمت السيارة.
يقول الميكانيكي: "لكن المحرك كان سليماً!" ويقول المراهق: "لكن نظام الـ GPS هو من أخبرني بالذهاب إلى هناك!"
تجادل هذه الورقة البحثية بأن فحوصات سلامة الذكاء الاصطناعي الحالية تشبه قيام الميكانيكي باختبار المحرك وحده. فهي تنظر إلى نموذج الذكاء الاصطناعي بمعزل عن غيره، أو تنظر إلى التطبيق النهائي كـ "صندوق أسود". إنها تغفل عن الواقع المعقد والمربك لكيفية تفاعل جميع أجزاء السيارة المختلفة مع بعضها البعض لتسبب حادثاً.
يطلق المؤلفون على هذا التفاعل اسم "التتالي" (Cascade).
ما هو "التتالي" (Cascade)؟
فكر في "التتالي" كأنه لعبة "الهاتف المكسور" (Telephone) التي تُلعب في مصنع، أو صف من قطع الدومينو المتساقطة.
- رد الفعل المتسلسل: تغيير صغير واحد في البداية (مثل كتابة المستخدم لكلمة معينة) يتم تمريره إلى قاعدة بيانات، ثم إلى ذكاء اصطناعي، ثم إلى فلتر سلامة، ثم إلى مراجع بشري، وأخيراً يعود إلى المستخدم.
- تأثير التراكم: في كل خطوة، تتغير الرسالة قليلاً، أو تتضخم، أو تُحرف.
- مثال: يقول مستخدم: "أنا أشعر بالتوتر".
- الخطوة 1 (قاعدة البيانات): النظام يرى أنه عمل لوقت متأخر ليلة أمس.
- الخطوة 2 (الذكاء الاصطناعي): يفكر الذكاء الاصطناعي: "هذه أزمة!"
- الخطوة 3 (فلتر السلامة): يعتقد الفلتر: "هذا الموضوع حساس للغاية، يجب أن أحجبه".
- الخطوة 4 (النتيجة): يحصل المستخدم على رسالة عامة وغير مفيدة، أو والأسوأ من ذلك، يقوم النظام بتصعيد الأمر إلى مدير يصاب بالذعر.
- المشكلة: لا أحد في السلسلة يرى الصورة الكاملة. مدير قاعدة البيانات لم يكن يعلم أن الذكاء الاصطناعي سيبالغ في رد الفعل. مطور الذكاء الاصطناعي لم يكن يعلم أن الفلتر سيحجب المساعدة. المستخدم لم يكن يعلم أن تاريخ عمله يتم استخدامه.
"التتالي" هو سلسلة الأحداث غير المرئية التي تحول مدخلاً صغيراً إلى مخرج كبير، غير متوقع، ومن المحتمل أن يكون ضاراً.
المشكلات الثلاث الكبرى في فحوصات السلامة الحالية
تحدد الورقة ثلاثة أسباب رئيسية تجعلنا نفقد هذه التتالية:
1. مشكلة "الحساء المختلط" (عدم القابلية للتجزئة)
تخيل أنك تصنع حساءً.
- الطريقة القديمة (السلطة): لديك خس، وطماطم، وخيار. إذا كان طعم السلطة سيئاً، يمكنك بسهولة إزالة الطماطم والقول: "الطماطم هي المشكلة".
- طريقة الذكاء الاصطناعي (الحساء): أنت تخلط كل شيء معاً. إذا كان طعم الحساء سيئاً، لا يمكنك بسهولة القول: "إنه الملح". ربما يكون الملح بالإضافة إلى الحرارة بالإضافة إلى نوع معين من الجزر.
- الواقع: في الذكاء الاصطناعي، يتم خلط المكونات (مثل فلاتر السلامة والأوامر البرمجية للمستخدم) معاً. وهي تتفاعل بطرق غريبة. قد يعمل فلتر السلامة بشكل مثالي بمفرده، ولكنه عند دمجه مع أمر برمي محدد من مستخدم، قد يساعد الذكاء الاصطناعي عن طريق الخطأ في قول شيء خطير. الاختبارات الحالية لا تتذوق الحساء بأكمله؛ بل تتذوق المكونات منفصلة فقط.
2. مشكلة "الطاهي معصوب العينين" (عدم الشفافية)
تخيل مطبخ مطعم به ثلاثة طهاة:
- الطاهي (أ) (مزود النموذج): يطبخ الحساء الأساسي.
- الطاهي (ب) (مطوّر التطبيق): يضيف التوابل.
- الطاهي (ج) (المستخدم): يضيف صلصته السرية الخاصة.
الطاهي (أ) لا يعرف ما الذي أضافه الطاهي (ب). والطاهي (ب) لا يعرف ما الذي أضافه الطاهي (ج). إذا جعل الحساء الزبون يمرض، فمن المسؤول؟
- الواقع: في الذكاء الاصطناعي، تتحكم شركات وأشخاص مختلفون في أجزاء مختلفة من السلسلة. وغالباً ما يكونون "عمياناً" عما يفعله الآخرون. إذا تم خرق قاعدة سلامة، فقد يكون ذلك بسبب تغيير طفيف أجراه مستخدم لم يره مزود النموذج أبداً.
3. مشكلة "الهدف المتحرك" (الديناميكية)
تخيل موقع بناء حيث تتغير المخططات في كل مرة تدخل فيها من الباب.
- الواقع: تصبح أنظمة الذكاء الاصطناعي "وكيلة" (Agentic)، مما يعني أنها يمكنها اتخاذ قراراتها الخاصة في الوقت الفعلي. قد تقرر استدعاء قاعدة بيانات مختلفة أو استخدام أداة مختلفة بناءً على الموقف.
- الخطر: التدقيق في السلامة الذي تم يوم الاثنين قد يكون بلا فائدة بحلول يوم الثلاثاء لأن الذكاء الاصطناعي قرر اتخاذ مسار مختلف تماماً. "سلسلة" المكونات ليست ثابتة؛ بل يتم بناؤها في الوقت الفعلي.
لماذا يهم هذا الأمر؟
إذا استمررنا في اختبار الذكاء الاصطناعي كما نختبر محركاً واحداً، فسنفشل في رصد الحوادث.
- المساءلة: إذا تسبب الذكاء الاصطناعي في أذى لشخص ما، فلن نعرف من نلوم. هل كان النموذج؟ أم مطور التطبيق؟ أم المستخدم؟ "التتالي" يجعل من المستحيل توجيه أصبع الاتهام لشخص واحد فقط.
- السلامة: الأشياء الضارة تحدث ليس لأن الذكاء الاصطناعي "شرير"، بل بسبب مزيج غريب من الإعدادات، والفلاتر، ومدخلات المستخدم التي لم يتوقعها أحد.
الحل: طريقة جديدة للتدقيق
يقترح المؤلفون أننا بحاجة إلى تغيير كيفية فحص سلامة الذكاء الاصطناعي. بدلاً من مجرد النظر إلى النموذج أو التطبيق، نحتاج إلى النظر إلى سلسلة التوريد.
- تشبيه جديد: بدلاً من مجرد اختبار المحرك، نحتاج إلى اختبار السيارة بأكملها على مضمار السباق، مع السائق المحدد، وظروف الطريق المحددة، والحمولة المحددة.
- الهدف: نحن بحاجة إلى تتبع "التتالي". نحن بحاجة إلى فهم كيف يمكن لتغيير في جزء واحد أن يمتد عبر النظام بأكمله. نحتاج أن نسأل: "كيف يتفاعل فلتر السلامة هذا مع هذا الأمر البرمجي المحدد من المستخدم؟"
الملخص
الذكاء الاصطناعي ليس مجرد أداة واحدة؛ بل هو نظام بيئي معقد.
فحوصات السلامة الحالية ضيقة للغاية. فهي تنظر إلى القطع بمعزل عن بعضها البعض. تجادل هذه الورقة بأننا يجب أن نبدأ في النظر إلى الروابط بين هذه القطع. نحن بحاجة إلى فهم "الآثار المتتالية" — كيف يمكن للتغييرات الصغيرة في جزء واحد من النظام أن تتراكم لتصبح مشاكل كبيرة لاحقاً.
لجعل الذكاء الاصطناعي آمناً، يجب أن نتوقف عن اختبار المكونات ونبدأ في تذوق الحساء، مع مراقبة من أضاف أي نوع من التوابل، وكيف غيرت الحرارة النكهة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.