Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations
تقدم هذه الورقة البحثية "تنظيم الإسناد الكامن" (Latent Attribution Regularization - LAR)، وهو أسلوب يُطبق أثناء التدريب لفرض اتساق الإسناد في ظل استبدالات المترادفات التي تحافظ على المعنى الدلالي، مما يثبت أنه يحسن بشكل كبير من استقرار التفسيرات القائمة على التدرج في نماذج "ترانسفورمرز" (Transformers) المضبوطة بدقة دون المساس بدقة النموذج، مع إثبات أن المحاذاة الصحيحة للرموز ضرورية لقياس هذا الاستقرار بدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، ثمة طريقة شائعة لفهم كيفية اتخاذ الكمبيوتر لقرار ما، وهي النظر إلى الأجزاء التي أولاها أكبر قدر من الاهتمام من المدخلات. تخيل آلة تقرأ جملة وتقرر ما إذا كانت سعيدة أم حزينة؛ يمكن للباحثين إنشاء خريطة توضح الكلمات التي اعتبرها النموذج الأكثر أهمية لهذا الحكم. هذه الخرائط، المعروفة باسم "عزو الميزات" (feature attributions)، تُستخدم بشكل متزايد لتفسير قرارات الذكاء الاصطناعي للبشر. ومع ذلك، ظهر نمط مثير للقلق: إذا قمت بتغيير الجملة قليلاً عبر استبدال كلمة بمرادف لها له نفس المعنى، فإن الخريطة غالباً ما تتغير تماماً. قد يشير الكمبيوتر فجأة إلى كلمة مختلفة كسبب لقراره، رغم أن معنى الجملة والإجابة النهائية لم يتغيرا. هذا يجعل التفسير يبدو غير موثوق، كما لو كان الذكاء الاصطناعي غير موثوق به أو مرتبكاً، بينما في الواقع، قد يكون هذا التغيير وهماً ناتجاً عن كيفية قراءة الكمبيوتر للنص.
يبحث دراسة جديدة أجراها الباحث المستقل جنيد حسن في هذه المشكلة، كاشفاً أن الكثير من عدم الاستقرار الظاهري هو في الواقع خطأ في القياس ناتج عن كيفية تفكيك الحواسيب للكلمات. فالنماذج اللغوية الحديثة لا تقرأ الكلمات الكاملة كما يفعل البشر، بل بدلاً من ذلك، تقطع النص إلى قطع أصغر تسمى "وحدات فرعية" (subword tokens). وعندما يتم استبدال كلمة واحدة بمرادف لها، يمكن أن يتغير عدد هذه القطع الصغيرة، مما يؤدي إلى إزاحة موقع كل "توكن" (token) يتبعها. إذا قارن الباحثون درجات الأهمية للكلمات بناءً على موقعها في القائمة، فإنهم غالباً ما يقارنون أشياء خاطئة تماماً، مثل مطابقة الصفحة الأولى من كتاب ما بالصفحة الثانية من كتاب آخر. وقد طور الباحث طريقة لإصلاح ذلك من خلال مطابقة الكلمات بناءً على هويتها الفعلية بدلاً من موقعها، ووجد أن استقرار هذه التفسيرات كان أفضل بكثير مما كان يُعتقد سابقاً.
وبناءً على هذه الطريقة المصححة للقياس، تقدم الدراسة تقنية تدريب جديدة تسمى "تنظيم عزو الكوامن" (Latent Attribution Regularization). تعلم هذه الطة نموذج الذكاء الاصطناعي الحفاظ على اتساق خرائط التفسير الخاصة به، حتى عندما يتم تغيير النص المدخل قليلاً باستخدام المرادفات. خلال عملية التدريب، يُعرض على النموذج جملة ونسخة معدلة قليلاً من تلك الجملة، ويتم مكافأته إذا ظلت درجات الأهمية للكلمات غير المتغيرة متشابهة في كلا النسختين. يتم ذلك جنباً إلى جنب مع المهمة القياسية المتمثلة في تعلم تصنيف مشاعر النص بشكل صحيح. والهدف ليس فقط الحصول على الإجابة الصحيحة، بل ضمان بقاء المنطق وراء تلك الإجابة ثابتاً عندما يتغير الصياغة.
اختبر الباحث هذا النهج باستخدام نموذج يسمى "DistilBERT" على مجموعة بيانات من مراجعات الأفلام. أُجريت التجارب على مستويين مختلفين: اختبار أصغر يحتوي على 1,500 مثال، واختبار أكبر وأكثر واقعية يحتوي على 20,000 مثال. في كلتا الحالتين، تم تدريب النموذج باستخدام تقنية الاتساق الجديدة وبدونها. أظهرت النت la أن النماذج التي تم تدريبها باستخدام تقنية الاتساق أنتجت تفسيرات أكثر استقراراً بشكل ملحوظ. وعندما تم تعديل النص باستخدام كميات خفيفة أو متوسطة أو كثيفة من استبدالات المرادفات، ظلت التفسيرات متسقة في كثير من الأحيان مقارنة بتلك الناتجة عن النماذج التي تم تدريبها بدون التقنية. على سبيل المثال، في الاختبار الأكبر، نما التحسن في الاستقرار مع زيادة صعوبة تغييرات النص، مما أظهر فائدة واضحة في الظروف الأكثر صعوبة.
والأهم من ذلك، أن هذا التحسن في الاستقرار لم يأتِ على حساب قدرة النموذج على فهم النص. فقد حققت النماذج المدربة بالتقنية الجديدة نفس الدقة العالية في تصنيف مراجعات الأفلام كما حققتها النماذج المدربة بدونها. في التجربة الأكبر، وصلت كلتا المجموعتين إلى دقة تقارب 82 بالمائة، مما يثبت أن النموذج يمكنه تعلم أن يكون أكثر اتساقاً دون أن ينسى مهمته الأساسية. كما أكدت الدراسة أن عدم الاستقرار الشديد الذي وُجد في البداية كان بالفعل نتاجاً لطريقة القياس؛ فبمجرد تصحيح المحاذاة، كان الاستقرار الأساسي مرتفعاً بالفعل، لكن طريقة التدريب الجديدة دفعت به إلى مستويات أعلى.
تشير النتائج إلى أنه بالنسبة للمطورين الذين يبنون أنظمة ذكاء اصطناعي تشرح قراراتها للمستخدمين، فهناك طريقة عملية لجعل تلك التفسيرات أكثر موثوقية. فمن خلال إضافة فحص الاتساق هذا أثناء مرحلة التدريب، يمكن للذكاء الاصطناعي أن يتعلم تجاهل الضجيج الناتج عن تغييرات طفيفة في الصياغة والتركيز على المعنى الحقيقي. ويشير الباحث إلى أنه بينما تم هذا العمل على نوع محدد من النماذج ومهمة واحدة، فإن الطريقة تقدم إضافة منخفضة المخاطر للتدريب القياسي يمكن أن تجعل تفسيرات الذكاء الاصطناعي أكثر موثوقية للتطبيقات الواقعية. وتخلص الدراسة إلى أن عدم الاستقرار الذي يُلقى باللوم فيه غالباً على نماذج الذكاء الاصطناعي نفسها، ربما كان خدعة من طريقة القياس، وأنه مع الأدوات والتدريب المناسبين، يمكننا بناء أنظمة تشرح نفسها بثبات أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.