Applied Explainability for Large Language Models: A Comparative Study
تقدم هذه الورقة دراسة مقارنة بين طرق التدرجات المتكاملة (Integrated Gradients)، وتدفق الانتباه (Attention Rollout)، و(SHAP) على نموذج (DistilBERT) مضبوط بدقة لتصنيف المشاعر، كاشفةً أن الطرق القائمة على التدرج تقدم تفسيرات أكثر استقراراً وبداهة، مع تسليط الضوء على المقايضات بين الكفاءة الحسابية، والمرونة، والموثوقية في قابلية تفسير النماذج اللغوية الكبيرة عملياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت طباخاً عبقرياً ولكن غامضاً (النموذج اللغوي الكبير) ليطهو لك وجبة. هذا الطباخ مذهل؛ يمكنه صنع أشهى الأطبى (تحليل المشاعر، الإجابة على الأسئلة، إلخ) باستخدام مكتبة ضخمة من الوصفات. لكن هناك عقبة: الطباخ لا يخبرك أبداً لماذا أضاف رشة ملح أو لمسة فلفل، بل يقول فقط: "ثق بي، المذاق رائع".
في عالم الذكاء الاصطناعي، هذه مشكلة كبيرة. إذا قدم لك الطباخ طبقاً مذاقه يشبه الصابون، فأنت بحاجة لمعرفة لماذا حتى تتمكن من إصلاحه. هنا يأتي دور "القابلية للتفسير" (Explainability). إنها فن التلصص على عقل الطباخ لمعرفة أي المكونات اعتبرها الأكثر أهمية.
هذه الورقة البحثية تشبه مسابقة تذوق حيث يحاول المؤلف اختبار ثلاث "كاميرات تجسس" مختلفة ليرى ما الذي يفكر فيه الطباخ حقاً عندما يصنف مراجعة فيلم بأنها "جيدة" أو "سيئة".
إليك تفصيل الكاميرات الثلاث (الأساليب) التي اختبرها المؤلف، باستخدام تشبيهات بسيطة:
1. كاميرا "تدفق الانتباه" (بقعة الضوء البراقة)
- كيف تعمل: تعتمد هذه الطريقة على مراقبة عيني الطباخ. في الذكاء الاصطناعي، "الانتباه" يشبه نظرة الطباخ. إذا كان الطباخ ينظر إلى كلمة "رائع" أثناء الطهي، تفترض هذه الكاميرا أن هذه الكلمة هي الأكثر أهمية.
- المشكلة: وجد المؤلف أن الطباخ غالباً ما ينظر إلى الطبق أو الملعقة (الكلمات الهيكلية مثل "الـ"، "أو"، أو علامات الترقيم) بقدر ما ينظر إلى مكونات الطعام.
- التشبيه: تخيل محققاً يحاول حل جريمة من خلال مراقبة المكان الذي تحركت إليه عينا المشتبه به. قد ينظر المشتبه به إلى ساعة لامعة على الطاولة (تشتيت) بدلاً من النظر إلى السلاح. هذه الكاميرا سريعة ورخيصة، لكنها غالباً ما تتشتت بالأشياء اللامعة التي لا تهم في الواقع في المذاق النهائي.
2. كاميرا "SHAP" (محاكي "ماذا لو؟")
- كيف تعمل: هذه الطريقة تشبه إلى حد ما محاكي السفر عبر الزمن. تسأل: "ماذا لو أزلنا كلمة 'رائع'؟ هل سيظل الطبق مذاقه جيداً؟" إنها تحاول إزالة المكونات واحداً تلو الآخر لترى كيف ستتغير النتيجة النهائية.
- المشكلة: هي دقيقة للغاية من الناحية النظرية، لكنها بطيئة ومتطلبة.
- التشبيه: تخيل أنك تحاول معرفًة سبب فشل كعكة عن طريق خبز 1000 كعكة مختلفة قليلاً، مع إزالة مكون واحد في كل مرة. إنها تعطيك إجابة دقيقة جداً، ولكن بحلول الوقت الذي تنتهي فيه، ستكون قد أنفقت كل أموالك على الدقيق والبيض. كما أنه إذا غيرت درجة حرارة الفرن قليلاً (تنسيق المدخلات)، يمكن للنتائج أن تتذبذب بشكل جنوني. إنها قوية ولكنها مكلفة للغاية وغير مستقرة للاستخدام اليومي.
3. كاميرا "التدرجات المتكاملة" (ميزان اختبار التذوق)
- كيف تعمل: تقيس هذه الطريقة بالضبط مقدار مساهمة كل مكون في النكهة النهائية. إنها تحسب "حساسية" الطبق لكل كلمة.
- النتيجة: كانت هذه هي الفائزة في الدراسة.
- التشبيه: هذا يشبه ميزاناً فائق الدقة يخبرك: "ساهم الملح بنسبة 10% في النكهة، والسكر بنسبة 5%، والفلفل بنسبة 20%". لقد أشارت باستمرار إلى "كلمات النكهة" الفعلية (مثل "مذهل" أو "فظيع") وتجاهلت الكلمات المملة. لقد كانت مستقرة، وموثوقة، ومنطقية بالنسبة للبشر.
الخلاصة الكبرى
أجرى المؤلف هذه الاختبارات على نوع معين من الذكاء الاصطناعي (DistilBERT) وهو يحلل مراجعات الأفلام. إليكم ما تعلموه:
- لا تثق بـ "متتبع العين" (الانتباه): مجرد نظر الذكاء الاصطناعي إلى كلمة ما لا يعني أنه يستخدم تلك الكلمة لاتخاذ قرار. غالباً ما يكون مجرد نظر إلى القواعد اللغوية.
- لا تعتمد كلياً على "المحاكي" (SHAP): رغم ذكائه، إلا أنه بطيء للغاية ومتذبذب بالنسبة للوظائف السريعة في العالم الحقيقي.
- استخدم "الميزان" (التدرجات المتكاملة): إذا كنت تريد معرفة سبب اتخاذ الذكاء الاصطناعي لقرار ما، فهذه هي الأداة الأكثر موثوقية. إنها تروي قصة تتوافق مع الحدس البشري.
الدرس النهائي
تخلص الورقة البحثية إلى أن القابلية للتفسير هي أداة تشخيصية، وليست حقيقة سحرية.
فكر في الأمر مثل الأشعة السينية للطبيب. تساعد الأشعة السينية الطبيب على رؤية العظم المكسور، لكنها لا تحكي القصة الكاملة لصحة المريض. وبالمثل، تساعد أدوات التفسير هذه المهندسين على تصحيح نماذجهم وبناء الثقة، لكنها ليست مثالية. يجب عليك استخدامها بحكمة، مدركاً نقاط قوتها ونقاط ضعفها، بدلاً من التصديق الأعمى لأي صورة تعرضها لك.
باخت-اختصار: إذا أردت فهم ذكائك الاصطناعي، فلا تكتفِ بمراقبة عينيه؛ بل زِن مكوناته. وللحصول على أفضل النتائج، استخدم ميزان "التدرجات المتكاملة".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.