Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
تُحلل هذه الدراسة المسحية المنهجية 1,252 ورقة بحثية حول أساليب التفسيرية للنماذج اللغوية الكبيرة، كاشفةً أن معظم التقنيات تتطلب بيانات داخلية للنموذج لا يمكن الوصول إليها، وأن الأدلة المتعلقة بالمنفعة البشرية والنشر في العالم الحقيقي لا تزال نادرة للغاية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السنوات القليلة الماضية، أعاد نوع جديد من برامج الكمبيوتر تشكيل كيفية تفاعلنا مع التكنولوجيا. هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة، يمكنها كتابة القصص، وحل المسائل الرياضية، وإجراء محادثات تبدو بشرية بشكل لافت. وهي تعمل عن طريق التنبؤ بالكلمة التالية في الجملة، طبقة تلو الأخرى، حتى تبرز فكرة كاملة. ولكن نظرًا لأن هذه البرامج مبنية بمليارات الإعدادات القابلة للتعديل، فإن آليات عملها الداخلية غالبًا ما تكون لغزًا. فعندما يقدم مثل هذا النظام إجابة، من الصعب معرفة ما إذا كانت تلك الإجابة ناتجة عن فهم عميق للحقائق أو مجرد تخمين ذكي بناءً على الأنماط التي رآها من قبل. وقد خلق هذا اليقين حاجة ملحة لـ "القابلية للتفسير": وهي القدرة على النظر داخل الآلة وفهم سبب اتخاذها لقرار معين. ويحاول الباحثون بناء أدوات يمكنها تتبع القرار وصولاً إلى مصدره، وكشف المنطق، أو البيانات، أو الأجزاء المحددة من دماغ الكمبيوتر التي أدت إلى المخرج النهائي.
لقد اتخذ فريق من الباحثين في جامعة بيرايوس في اليونان خطوة هائلة نحو توضيح هذا المجال. فقد أجروا مسحًا شاملاً لما يقرب من 8,000 تقرير علمي نُشرت بين عامي 2019 وأغسطس 2026، حيث قلصوها إلى 1,252 دراسة حاولت تحديدًا شرح كيفية عمل هذه النماذج اللغوية الكبيرة. لم يكن هدفهم ابتكار طريقة جديدة، بل رسم خريطة للمشهد الكامل للطرق القائمة. أرادوا معرفة أنواع التفسيرات التي يبنيها العلماء، وما هي أجزاء الكمبيوتر التي يُسمح لهم بالنظر إليها، وما إذا كانت هذه التفسيرات تساعد الناس حقًا في فهم الآلة أم أنها تبدو مقنعة فحسب. ولإدارة هذه المهمة الضخمة، استخدم الباحثون نظام ذكاء اصطناعي مصمم بعناية لقراءة وتصنيف كل ورقة بحثية، مع قيام خبراء بشريين بمراجعة العمل لضمان الدقة.
إن الاكتشاف الأكثر إثارة للدهشة في خريطتهم هو وجود عدم تطابق جوهري بين الأدوات التي يبنيها العلماء وبين واقع كيفية استخدام هذه النماذج اليوم. فغالبية الطرق التي وجدوها — ما يقرب من 70 بالمائة — تتطلب وصولًا داخليًا عميقًا إلى دماغ الكمبيوتر. لاستخدام هذه الأدوات، يحتاج الباحث إلى رؤية الأرقام الخام المتدفقة عبر النظام أو حتى تغيير إعدادات النموذج نفسه. ومع ذلك، فإن أقوى النماذج اللغوية التي يستخدمها الناس يوميًا مستضافة من قبل شركات كخدمات مغلقة. يمكن للمستخدمين إرسال رسالة وتلقي رد، لكن لا يمكنهم رؤية الأرقام الداخلية أو تغيير الإعدادات. وهذا يعني أن أكثر الطرق تطورًا لتفسير هذه النماذج هي عديمة الفائدة فعليًا بالنسبة للأنظمة التي يحتاج فيها الناس إلى التفسيرات أكثر من غيرها. حيث أن حوالي 23 بالمائة فقط من الدراسات وصفت طرقًا يمكن أن تعمل مع الوصول المحدود المتاح للجمهور، مثل مجرد قراءة النص الناتج أو درجات احتمالية الكلمة التالية.
كما نظر الباحثون فيما كانت تثبته هذه التفسيرات بالفعل. ووجدوا أن معظم الدراسات ركزت على "الأمانة" (faithfulness)، وهي طريقة تقنية للتساؤل عما إذا كان التفسير يطابق حقًا المنطق الداخلي للكمبيوتر. فقد حاولت حوالي 70 بالمائة من الأوراق إظهار أن طريقتها حددت بدقة سبب اتخاذ القرار. ومع ذلك، وجدت الدراسة أن عددًا قليلًا جدًا من الباحثين اختبروا ما إذا كانت هذه التفسيرات مفيدة للبشر بالفعل. إذ شملت حوالي 3 بالمائة فقط من الدراسات أشخاصًا حقيقيين يختبرون التفسيرات لمعرفة ما إذا كانت تساعدهم في اتخاذ قرارات أفضل، أو فهم النظام، أو الثقة في المخرجات. الأمر يشبه قيام المهندسين لسنوات بتطوير خريطة للأنفاق الموجودة تحت الأرض في مدينة ما، لكنهم لم يسألوا أبدًا أحدًا من الركاب عما إذا كانت الخريطة تساعدهم في العث lập طريقهم.
وظهرت فجوة كبيرة أخرى في كيفية اختبار الباحثين لأفكارهم. فبينما ادعت العديد من الدراسات أن طرقها قوية، استخدم أقل من ثلثها مجموعة ضابطة صارمة لإثبات أن نتائجها لم تكن مجرد صدفة عشوائية. علاوة على ذلك، كان الارتباط بالقواعد واللوائح الواقعية شبه معدوم. فرغم الذكر المتكرر للقوانين المتعلقة بشفافية الذكاء الاصطناعي، إلا أن عددًا ضئيلًا جدًا من الدراسات ربطت بالفعل بين طرقها التقنية ومتطلبات قانونية محددة. وأشار الباحثون إلى أنه بينما ينمو هذا المجال بسرعة، مع نشر ما يقرب من نصف الدراسات المدرجة في العام الماضي فقط، إلا أنه لا يزال يركز بشدة على النماذج مفتوحة المصدر التي يمكن لأي شخص تنزيلها، بدلاً من الأنظمة المملوكة والمغلقة التي تهيمن على السوق.
تخلص الدراسة إلى أن مجال شرح النماذج اللغوية الكبيرة يقف عند مفترق طرق. فالأدوات المتاحة حاليًا قوية ولكنها غالبًا ما تكون غير قابلة للوصول، وهي تعطي الأولوية للصحة التقنية على المنفعة البشرية. ويقترح الباحثون أن العمل المستقبلي يجب أن يركز على إنشاء طرق تعمل مع الوصول المحدود الذي توفره الخدمات التجارية، وعلى اختبار هذه التفسيرات مع أشخاص حقيقيين. وإلى أن يحدث ذلك، ستظل التفسيرات الأكثر تقدمًا محبوسة في مختبرات الباحثين الذين لديهم وصول كامل إلى الآلات، مما يترك الجمهور العام مع أنظمة تزداد قوة ولكنها تزداد صعوبة في الفهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.