Multimodal Model Diffing for Feature Discovery and Control

تخيل أنك بنيت روبوتًا فائق الذكاء يمكنه قراءة الكتب، والنظر إلى الصور، والإجابة على الأسئلة حول كليهما. لقد علمته أن يكون متعاونًا، لكنه أحيانًا يصاب بالارتباك، أو يهلوس بحقائق، أو حتى يقول شيئًا غير آمن عند عرض صورة مخادعة عليه. المشكلة هي أنه داخل "دماغ" هذا الروبوت، كل شيء عبارة عن فوضى متشابكة من الرياضيات. الأمر يشبه مكتبة ضخمة حيث جميع الكتب ملتصقة ببعضها البعض، ولا يمكنك معرفة أي صفحة محددة هي المسؤولة عن سلوك الروبوت السيئ أو قدرته المذهلة على تمييز قطة في صورة. يريد العلماء إصلاح ذلك، لكنهم بحاجة إلى طريقة لاستراق النظر داخل هذا الدماغ والعثور على "المفاتيح" أو "الأدوات" المحددة التي تتحكم في هذه المهارات المعينة.

للقيام بذلك، يستخدم الباحثون أداة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE). فكر في الـ SAE كأنه مترجم سحري يأخذ أفكار الروبوت الفوضوية والمتشابكة ويحولها إلى قائمة من "الأفكار" أو "الميزات" البسيطة والمتميزة. بدلاً من سحابة ضبابية من البيانات، يصبح دماغ الروبوت فجأة منظمًا في قاموس حيث كل مدخل هو مفهوم واحد، مثل "أحمر"، أو "خطر"، أو "يسار". ولكن هنا تكمن العقبة؛ فعندما تعلم روبوتًا مخصصًا للنصوص فقط كيف يرى الصور، فإنه لا يكتفي فقط بإضافة ميزات جديدة، بل غالبًا ما يعيد ترتيب الميزات القديمة. الأمر يشبه أخذ قاموس للكلمات الإنجليزية وفجأة استخدام كلمة "تفاحة" لتعني "سيارة حمراء". وهذا يجعل من الصعب معرفة أي الميزات هي التي تقوم بالعمل البصري الجديد وأيها مجرد بقايا من تدريب النصوص.

وهنا يأتي دور الورقة البحثية الجديدة، MMDiff، لتنقذ الموقف. أدرك الباحثون، هانار باترا وفريقه من جامعة أكسفورد ومايكروسوفت، أنه لكي تجد "المفاتيح البصرية" المحددة، لا يمكنك مجرد النظر إلى الروبوت النهائي؛ بل يجب عليك مقارنته بنسخته "النصية فقط" قبل أن يتعلم الرؤية. لقد ابتكروا طريقة تسمى المقارنة متعددة الوسائط (Multimodal Model Diffing). تخيل أخذ توأمين متطابقين: أحدهما قرأ الكتب فقط، والآخر تعلم أيضًا رؤية العالم. ومن خلال مقارنة أدمغتهما جنبًا إلى جنب، تسلط عملية "المقارنة" (diffing) الضوء بدقة على الأجزاء التي تغيرت في الدماغ أو التي أعيد تخصيصها للرؤية.

وجد الفريق أن عملية "المقارنة" هذه قوية للغاية. فقد اكتشفوا أنه من خلال عزل هذه الميزات المتغيرة، استطاعوا بالفعل التحكم في سلوك الروبوت بدقة مذهلة. على سبيل المثال، وجدوا ميزات محددة مسؤولة عن فهم العلاقات المكانية (مثل معرفة ما إذا كان الكوب فوق الطاولة). وعندما قاموا بإيقاف تشغيل هذه الميزات المحددة، انخفضت قدرة الروبوت على الإجابة على الأسئلة المكانية بنسبة 12% تقريبًا، لكن قدرته على الإجابة على الأسئلة العامة ظلت كما هي تمامًا. كان الأمر أشبه بإيقاف تشغيل مفتاح "اليمين/اليسار" دون كسر مفتاح "ما هذا الشيء؟".

كما وجدوا ميزات مرتبة بـ السلامة. فعندما حددوا وأزالوا الميزات التي جعلت الروبوت عرضة للحيل القائمة على الصور غير الآمنة، تحسن معدل نجاح الروبوت في تجاهل تلك الحيل بنسبة 24%. والأفضل من ذلك، كان بإمكانهم "توجيه" الروبوت عن طريق رفع أو خفض هذه الميزات. فمن خلال تعزيز الميزات الصحيحة، حسنوا قدرة الروبوت على قراءة النصوص في الصور (OCR) بنسبة 1.8%، وقدرته على الاستدلال المكاني بنسبة 3.6%، وكل ذلك دون الحاجة إلى إعادة تدريب الروبوت بالكامل من الصفر.

تستبعد الورقة البحثية صراحةً فكرة أنه يمكنك مجرد تدريب قاموس جديد من الصفر على النموذج متعدد الوسائط وتوقع العثور على هذه الميزات البصرية بسهولة. فقد أظهروا أنه بدون مقارنة الروبوت بنسخته النصية فقط (جزء "المقارنة")، تختلط الميزات ولا يمكنك عزل المهارات المحددة التي تريد التحكم فيها. كما وجدوا أن مجرد النظر إلى الميزات التي تعمل بكثرة ليس كافيًا؛ بل يجب عليك التحقق مما إذا كانت تلك الميزات قد تغيرت أو تغير معناها أثناء عملية التدريب.

باختًا، يعمل MMDiff كأداة "بحث واستبدال" عالية التقنية لأدمغة الذكاء الاصطناعي. فهو لا يخبرنا فقط أن الروبوت يفعل شيئًا ما، بل يخبرنا بالضبط أي جزء صغير من الدماغ يقوم بذلك، مما يسمح لنا بتعديل أو إصلاح أو تحسين سلوكيات معينة مثل قراءة النصوص، أو فهم المساحات، أو الحفاظ على السلامة، كل ذلك مع ترك بقية ذكاء الروبوت دون مساس. وهذا يشير إلى أنه في المستقبل، قد نتمكن من تدقيق والتحكم في أنظمة الذكاء الاصطناعي القوية هذه بشكل أكثر أمانًا وفعالية، لضمان قيامها بما نريده منها تمامًا.