Rule of Thumb: Explaining Artificial Intelligence Systems using Partial Information
تقدم هذه الورقة "قاعدة التقدير" (Rule of Thumb - RoT)، وهو إطار عمل جديد للذكاء الاصطناعي القابل للتفسير، ومستقل عن النموذج، وفعال حاسوبياً، يعمل على تحديد الميزات الأكثر صلة بتنبؤات محددة، مما يدعم بفعالية التصنيف في النماذج اللغوية الكبيرة بنمط الصفر (zero-shot)، وتدقيق الأنظمة الغامضة، والاكتشاف العلمي، مع الامتثال للوائح الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم سبب اتخاذ روبوت غامض وكلي المعرفة لقرار معين. ربما رفض طلب توظيفك، أو ربما قرر أن صورة ما هي لقطة وليست لكلب. هذا الروبوت هو "ذكاء اصطناعي" (AI)، وفي عالم علوم الحاسوب، نسمي الجهد المبذول لفهم عقل هذا الروبوت بـ "الذكاء الاصطناعي القابل للتفسير" (XAI). المشكلة الكبيرة هي أن العديد من هذه الأنظمة للذكاء الاصطناعي الحديث هي "صناديق سوداء". يمكننا تزويدها بالبيانات والحصول على إجابة، لكن لا يمكننا التلصص للداخل لرؤية التروس وهي تتحرك. لفترة طويلة، حاول العلماء حل هذه المشكلة عن طريق وخز الروبوت بمدخلات مختلفة — مثل تغيير كلمة في جملة أو بكسل في صورة — لمعرفة كيف تتغير الإجابة. هذا يسمى "تحليل الحساسية". الأمر يشبه محاولة فهم خزنة مغلقة عبر ضربها بمطرقة ورؤية ما إذا كان الباب يهتز. ولكن ماذا لو كانت الخزنة ثقيلة جدًا بحيث لا يمكن ضربها، أو ماذا لو أدى ضربها إلى كسر الروبوت؟ هنا يأتي دور الطريقة الجديدة في هذه الورقة البحثية، والتي تقدم طريقة أذكى وأسرع وأقل تدميرًا للتلصص داخل الصندوق الأسود دون الحاجة إلى المفتاح الرئيسي.
تقدم الورقة طريقة جديدة لتفسير الذاء الاصطناعي تسمى "قاعدة الإبهام" (Rule of Thumb - ROT). فكر في الطريقة القديمة لتفسير الذكاء الاصطناي كأنها محقق يتعين عليه تشغيل آلاف السيناريوهات الوهمية لمعرفة ما هو مهم. إذا أراد المحقق معرفة ما إذا كانت "الأحذية" مهمة لقرار ما، فعليه أن يتخيل عالمًا لا يرتدي فيه الشخص أحذية، ثم يرتدي أحذية، ثم أحذية مختلفة، ويرى كيف يتغير القرار في كل مرة. هذا يستغرق وقتًا طويلاً ويكلف ثروة إذا كان على "المحقق" أن يطلب من حاسوب سحابي ضخم ومكلف (مثل النماذج اللغوية الكبيرة) تشغيل كل سيناريو.
تقلب "قاعدة الإبهام" (ROT) الموازين. فبدلاً من السؤال: "ماذا يحدث إذا غيرت هذا؟"، تسأل ROT: "إلى أي مدى يخبرنا معرفة هذا بالفعل عن الإجابة؟". الأمر يشبه طباخًا يتذوق الحساء. فبدلاً من إضافة الملح، ثم إزالته، ثم إضافة المزيد من الملح ليرى كيف يتغير المذاق، يقوم الطباخ فقط بتذوق ملعقة ويقول: "آه، الملح هو النكهة الرئيسية هنا". تنظر ROT إلى البيانات التي رآها الذكاء الاصطناعي بالفعل وتحسب أي قطع المعلومات كانت الأكثر "قدرة على التنبؤ" بالنتيجة النهائية. إنها تبني خريطة بسيطة وسهلة الفهم لما كان يفكر فيه الذكاء الاصطناعي، بناءً فقط على الأنماط التي وجدها، دون الحاجة إلى كسر الذكاء الاصطناعي أو مطالبته بتشغيل ملايين الاختبارات الجديدة.
اختبر المؤلفون هذه "القاعدة الإبهامية" في ثلاث حالات صعبة تفشل فيها الطرق الأخرى عادةً. أولاً، استخدموها على النماذج اللغوية الكبيرة (LLMs) التي تعمل كالسحر: تسألهم سؤالاً، فيجيبون فوراً، لكن لا يمكنك لمس كودهم الداخلي. الطرق القديمة ستضطر لسؤال الذكاء الاصطناعي آلاف الأسئلة الإضافية لمعرفة سبب إجابته، وهو أمر بطيء ومكلف للغاية. أما ROT، فقد نظرت إلى الإجابات التي قدمها الذكاء الاصطناعي بالفعل وحددت الكلمات المهمة في ثوانٍ. في أحد الاختبارات المتعلقة بروبوت يقرأ قضايا قانونية، استطاعت ROT تسليط الضوء على الجمل الدقيقة التي كانت مؤثرة، بما يطابق ما سيختاره المحامون البشر، لكنها فعلت ذلك بسرعة تفوق بـ 13 مليون مرة أفضل طريقة تالية لكل تفسير جديد بعد الأول.
ثانياً، نظرت الورقة في تدقيق أنظمة الذكاء الاصطناعي السرية، مثل محرك توصيات منتجات أمازون. عادةً، للتحقق مما إذا كان نظام ذكاء اصطناعي سري منحازًا أو معطلاً، يبني العلماء "روبوتًا محاكيًا" — نسخة مزيفة تعمل مثل الحقيقي — ثم يدرسون النسخة المزيفة. لكن المؤلفين وجدوا مشكلة: إذا بنيت روبوتين مزيفين مختلفين يعمل كلاهما مثل الحقيقي، فقد يعطيانك أسبابًا مختلفة تمامًا لقراراتهما. الأمر يشبه سؤال شخصين مختلفين لتخمين قواعد لعبة لا يمكنك رؤيتها؛ قد يصيب كلاهما في تخمين النتيجة، لكنهما قد يختلفان حول القواعد. هذا يجعل التدقيق غير موثوق. تتخطى ROT عملية بناء الروبوت المزيف تمامًا؛ فهي تنظر مباشرة إلى قرارات الذكاء الاصطناعي الحقيقي السابقة وتجد الحقيقة. في اختبارهم، بينما كانت الروبوتات المزيفة تتجادل حول أي الميزات كانت مهمة، أظهرت ROT باستمرار أن نظام أمازون كان يفضل بشدة المنتجات "التي تبيعها أمازون"، وهو انحياز خفي فات الروبوتات المزيفة أو تجادلت بشأنه.
أخيرًا، اختبر الباحثون ROT في الاكتشاف العلمي، حيث يُستخدم الذكاء الاصطناعي لإيجاد حقائق جديدة عن العالم، مثل مسببات مرض السكري. هنا، يكمن الخطر في أن يتم خداع الذكاء الاصطناعي بواسطة أدلة "مضللة". تخيل روبوتًا يحاول التنبؤ بهطول الأمطار، لكن شخصًا ما أضاف سرًا مستشعراً مزيفًا يصدر صوت "بيب" دائمًا عندما تمطر. قد يعتقد نظام قياسي أن المستشعر الذي يصدر صوت "بيب" هو سبب المطر! قام المؤلفون بإنشاء سيناريو خدعوا فيه الذكاء الاصطناعي بميزات "تمويهية" مضللة. وقعت الطرق القديمة في الفخ وأشارت إلى الأدلة المضللة، لكن ROT تجاهلت الضجيج بشكل صحيح وأشارت فقط إلى العوامل الحقيقية والمهمة. لقد أثبتت أن ROT يصعب خداعها وأنها أفضل في إيجاد "قواعد الإبهام" الحقيقية التي تحكم البيانات.
تخلص الورقة إلى أن ROT هي مغير لقواعد اللعبة لأنها لا تحتاج لرؤية دماغ الذكاء الاصطناعي، ولا تحتاج لكسر الذكاء الاصطناعي لاختباره، ولا تحتاج لبناء نسخة مزيفة لدراستها. إنها أداة سريعة، مستقلة عن النموذج، وتعمل حتى عندما يكون الذكاء الاصطناعي صندوقًا أسود مغلقًا، مما يجعلها أداة قوية للمنظمين والعلماء وكل من يريد معرفة سبب اتخاذ الآلة لقرار ما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.