ملخص تقني: اكتشاف الدوائر القائم على البيانات لتفسير النماذج اللغوية

بيان المشكلة

تهدف التفسيرية الميكانيكية (MI) إلى الهندسة العكسية للآليات الداخلية للنماذج اللغوية الكبيرة (LMs) من خلال تحديد وتفسير "الدوائر" — وهي رسوم بيانية فرعية متفرقة من مخطط الحوسبة الخاص بالنموذج، تكون مسؤولة عن سلوكيات محددة. إن النموذج السائد في اكتشاف الدوائر هو النموذج القائم على الفرضية: حيث يحدد الباحثون مهمة ما، ويبنون مجموعة بيانات تمثيلية، ثم يطبقون خوارزمية لاكتشاف دائرة واحدة تهدف إلى تفسير سلوك النموذج في تلك المهمة.

يعتمد هذا سير العمل على افتراضين ضمنيين:

1. افتراض الدائرة الواحدة: النموذج ينفذ مهمة معينة عبر آلية حوسبة واحدة متماسكة.
2. افتراض كفاية مجموعة البيانات: مجموعة البيانات المحددة المستخدمة للاكتشاف تمثل النطاق الكامل للمهمة كما يفهمها البشر بشكل كافٍ.

يفترض المؤلفون أن هذه الافتراضات معيبة. ويرون أن الطرق الحالية قد لا تكتشف دوائر عامة للمهمة، بل تكتشف دوائر خاصة بمجموعة بيانات محددة يمكن أن تخلط عن غير قصد بين آليات متميزة في تفسير واحد. علاوة على ذلك، يتساءلون عما إذا كانت دائرة واحدة يمكنها حقاً تفسير جميع حالات المهمة، أم أن النموذج يستخدم آليات متعددة ومتميزة لما يصنفه البشر كمهمة واحدة.

المنهجية

1. التقييم المنهجي للطرق القائمة على الفرضية

قام المؤلفون أولاً باختبار صلاحية النموذج الحالي بصرامة عبر أربع مهام راسخة: تحديد المفعول به غير المباشر (IOI)، ربط الكيانات (EB)، الجمع الحسابي، وإكمال التسلسل. قاموا بتقييم هذه المهام على ثلاثة نماذج (GPT-2 Small، Qwen2.5-7B-Instruct، Llama-3.1-8B-Instruct) باستخدام طرق اكتشاف قياسية (EAP-IG، EAP، E-ACT).

يتضمن تصميمهم التجريبي تحقيقين رئيسيين:

• الأمانة عبر مجموعات البيانات (Cross-Dataset Faithfulness): قاموا ببناء متغيرات متعددة لمجموعات البيانات لكل مهمة تحافظ على دلالات المهمة ولكنها تختلف في السمات السطحية (التعقيد، البنية النحوية، المجال). يقومون باكتشاف دائرة على متغير واحد واختبار مدى أمانتها على المتغيرات الأخرى.
• اكتشاف المهام المختلطة (Mixed-Task Discovery): قاموا ببناء مجموعات بيانات تخلط بين أمثلة من مهمتين متميزتين (مثل الحساب وربط الكيانات) وراقبوا ما إذا كانت الطرق القائمة على الفرضية ستعيد دائرة واحدة تكون أمينة لكليهما، مما قد يشير إلى خلط الآليات.

2. الإطار المقترح: اكتشاف الدوائر القائم على البيانات (DCD)

مدفوعين بالنتائج التي تشير إلى أن الطرق القائمة على الفرضية تفشل في التعميم ويمكن أن تخلط بين الآليات، يقترح المؤلفون اكتشاف الدوائر القائم على البيانات (DCD). يزيل هذا الإطار افتراض الدائرة الواحدة لكل مهمة.

سير عمل DCD:

1. التجميع حسب الحوسبة: بدلاً من افتراض أن جميع الأمثلة في مجموعة البيانات تتم معالجتها بواسطة نفس الآلية، يقوم DCD أولاً بتحليل كيفية معالجة النموذج لكل مثال على حدة. يقوم بحساب ناقلات إسناد الحواف لكل مثال (باستخدام طرق مثل EAP-IG) لتوصيف اعتماد النموذج على حواف معينة لكل مدخل.
2. التجميع (Clustering): يتم إسقاط هذه الناقلات الإسنادية عالية الأبعاد في فضاء أقل أبعاداً (عبر PCA أو SVD) وتجميعها (على سبيل المثال، باستخدام K-means). يقوم هذا بتجميع الأمثلة التي تُعالج بآليات حوسبة متشابهة.
3. الاكتشاف المستقل: يتم اكتشاف دائرة منفصلة بشكل مستقل لكل مجموعة (Cluster).

النتيجة هي مجموعة من الدوائر المتميزة، كل منها يشرح مجموعة فرعية محددة من البيانات التي تعتمد على آلية متماسكة، بدلاً من دائرة واحدة تحاول تفسير مجموعة البيانات بأكملها.

النتائج الرئيسية

1. فشل دوائر المهام العامة

وجدت الدراسة أن الدوائر التي تكتشفها الطرق القائمة على الفرضية هي دوائر خاصة بمجموعات البيانات، وليست دوائر مهام عامة:

• أمانة منخفضة عبر مجموعات البيانات: الدوائر المكتشفة في متغير واحد من مجموعة البيانات غالباً ما تظهر أمانة أقل بكثير على المتغيرات الأخرى لنفس المهمة (على سبيل المثال، دائرة IOI المكونة من شخصين تفشل في نسخة الشخص الثلاثة)، رغم أن المهام متطابقة دلالياً.
• تداخل هيكلي منخفض: الدوائر المكتشفة في متغيرات مختلفة من نفس المهمة تتشارك في تداخل حواف منخفض (تشابه Jaccard يتراوح بين 0.30 و0.66)، مما يشير إلى أنها تعتمد على مسارات حوسبية مختلفة.
• خلط الآليات: عندما تحتوي مجموعات بيانات الاكتشاف على أمثلة من مهمتين متميزتين (مثل الحساب وربط الكيانات)، لا تزال الطرق القائمة على الفرضية تعيد دائرة واحدة ذات أمانة عالية على كلتا المهمتين. يشير هذا إلى أن الطريقة تخلط آليات متميزة في دائرة واحدة بدلاً من عزلها.

2. فعالية DCD

نجح DCD في معالجة هذه القيود:

• اكتشاف آليات متعددة: في مجموعات المهام المختلطة، يستعيد DCD دوائر متميزة متعددة. كل دائرة تتخصص في مجموعة متماسكة من الأمثلة (على سبيل المثال، دائرة للحساب، وأخرى لربط الكيانات) وتحقق أمانة عالية على مجموعتها الخاصة بينما تفشل في المجموعات الأخرى.
• أمانة وتشتت أعلى: يتفوق DCD باستمرار على النماذج المرجعية القائمة على الفرضية (EAP-IG، EAP، E-ACT) ونماذج التقسيم العشوائي (K-RANDOM) من حيث أفضل أمانة من بين K (best-of-K faithfulness) (اختيار الدائرة الأكثر أمانة لكل حالة اختبار). وتكون هذه الميزة أكثر وضوحاً في أنظمة التشتت المنخفض (حجم الدائرة $\le$ 0.05).
• تجميع متماسك: تتوافق المجموعات التي يشكلها DCD مع التنظيم الداخلي للنموذج بدلاً من حدود المهام التي يحددها البشر. على سبيل المثال، ضمن مهمة واحدة مثل IOI، يقوم DCD بفصل الأمثلة بناءً على التعقيد (شخصين مقابل ثلاثة أشخاص) أو المجال (أسماء مقابل حروف)، ليكتشف دوائر متميزة لكل منها.

الأهمية والادعاءات

يزعم البحث أن النهج الحالي القائم على الفرضية محدود جوهرياً باعتماده على حدود المهام التي يحددها البشر وافتراض وجود آلية واحدة لكل مهمة.

• إعادة صياغة نطاق التفسير: يجادل المؤلفون بأن "الدائرة" لا ينبغي تعريفها كآلية لمهمة يحددها البشر، بل كآلية لمجموعة محددة من الأمثلة التي تتم معالجتها بشكل متشابه من قبل النموذج.
• تحول في النموذج نحو النهج القائم على البيانات: يوضح DCD أن ترك الهيكل الحوسبي الداخلي للنموذج يحدد نطاق اكتشاف الدائرة يؤدي إلى تفسيرات أكثر أمانة وقابلية للتفسير. فهو يكشف أن ما يدركه البشر كمهمة واحدة غالباً ما يتكون من آليات متميزة متعددة تدمجها الطرق الحالية.
• القيود والعمل المستقبلي: يشير المؤلفون بتواضع إلى أن DCD يرث افتراضات من طرق الإسناد الأساسية (مثل أن درجات الإسناد تعكس الآليات بأمانة) ويعتمد على المعلمات الفائقة للتجميع. كما يحددون أسئلة مفتوحة تتعلق بكيفية تعيين الأمثلة الجديدة للمجموعات في وقت الاختبار، وكيفية تفسير المجموعات التي تقاوم الوصف المفهوم بشرياً، تاركين هذه المسائل للعمل المستقبلي.

في الختام، تقدم الورقة دليلاً تجريبياً على أن طرق اكتشاف الدوائر الحالية تستعيد آثاراً مرتبطة بمجموعات بيانات محددة بدلاً من آليات المهام العامة، وتقترح DCD كإطار عمل للكشف عن الطبيعة متعددة الآليات لحوسبة النماذج اللغوية.