Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من أدوات الذكاء الاصطالي المتقدمة اليوم، وهي قادرة على القراءة والكتابة وحل المشكلات بعشرات اللغات. لسنوات، تساءل الباحثون عن كيفية تعامل هذه الأنظمة مع تعقيد تعدد اللغات. فعندما يحل نموذج ما مسألة رياضية باللغة الإنجليزية ثم يحل المسألة ذاتها تماماً باللغة الصينية، هل يستخدم نفس الآلية الذهنية الداخلية لكليهما، أم ينتقل إلى مجموعة مختلفة تماماً من القواعد لكل لغة؟ هذا السؤال مهم لأنه إذا كان النموذج يستخدم لغة داخلية مشتركة للاستنتاج، فيمكننا فهم منطقه مرة واحدة وتطبيق هذا الفهم على كل لغة يتحدثها. أما إذا كان يعتمد على مسارات منفصلة خاصة بكل لغة، فإن فهم نسخة واحدة من النموذج لن يخبرنا إلا بالقليل عن النسخ الأخرى. يحاول مجال "التفسير الآلي" (mechanistic interpretability) النظر في داخل هذه النماذج لمعرفة كيفية عملها، حيث يعامل حالاتها الداخلية كلوحة دوائر معقدة يمكن رسم خرائط لها وفهمها.

لقد وضع فريق من الباحثين هدفاً للإجابة على هذا السؤال من خلال التمعن في العمليات الداخلية لخمسة نماذج مختلفة من النماذج اللغوية الكبيرة. وركزوا على مهمة محددة: حل مسائل الرياضيات الابتدائية. أخذوا مجموعة بيانات تضم 250 مسألة رياضية وطلبوا من كل نموذج حلها بست لغات مختلفة: الإنجليزية، والألمانية، والفرنسية، والإسبانية، والروسية، والصينية. ولضمان أنهم يقارنون "التفاح بالتفاح" (أي مقارنة أشياء متماثلة)، احتفظوا فقط بالمسائل التي أجاب فيها النموذج إجابة صحيحة وقدم مسار استنتاج واضحاً خطوة بخوة في كل لغة من اللغات الست. ثم سجل الباحثون النشاط الداخلي للنموذج في مراحل مختلفة من العملية، ملتقطين الأنماط المحددة للإشارات الشبيهة بالكهرباء التي انطلقت داخل الحاسوب أثناء تفكيره في الحل.

ولفهم هذه الإشارات المعقدة، استخدم الباحثون أداة تسمى "المشفّر التلقائي المتناثر" (sparse autoencoder). يمكنك التفكير في هذه الأداة كوسيلة لترجمة ضجيج النموذج الداخلي الفوضوي إلى قائمة من المفاهيم المتميزة والمفهومة. تماماً كما قد يصف إنسان مشهداً عبر سرد عناصره الرئيسية — سماء، شجرة، كلب، سيارة — يقوم المشفّر التلقائي بتفكيك نشاط النموذج إلى مجموعة من السمات النشطة. قام الباحثون بتدريب نسختين من هذه الأداة لكل طبقة من طبقات النماذج. النسخة الأولى تعلمت ببساطة وصف ما تراه بلغة واحدة. أما النسخة الثانية فقد تم تدريبها بتعليمات خاصة: كان عليها أن تتعلم وصف نفس المسألة الرياضية باستخدام نفس مجموعة السمات، بغض النظر عما إذا كانت المسألة مقدمة بالإنجليزية أو الصينية. صُممت هذه النسخة الثانية لإجبار النموذج على إيجاد أرضية مشتركة، أي لغة داخلية مشتركة للاستنتاج.

وكشفت النتائج عن حقيقة مفاجئة حول كيفية تفكير هذه النماذج. وجد الباحثون أن مجرد جعل الأوصاف الداخلية تبدو أكثر تشابهاً من الناحية الهندسية لم يضمن أن النموذج يستخدم بالفعل نفس المنطق. ففي بعض النماذج، أدى إجبار السمات الداخلية على التوافق عبر اللغات إلى جعل استنتاج النموذج أكثر قوة وقابلية للتبادل. وفي نماذج أخرى، لم يحدث ذلك أي فرق، بل في حالة واحدة، جعل التدريب أداء النموذج أسوأ عندما حاولوا تبديل أجزاء من الاستنتاج من لغة إلى أخرى. حدث هذا لأن النماذج كانت قد استقرت بالفعل في عادات مختلفة للغاية. فأحد عائلات النماذج طورت بشكل طبيعي طريقة تفكير مشتركة كلما تعمقت في المسألة، لذا ساعد التدريب الجديد في صقل ذلك المسار المشترك. وعائلة أخرى كانت تمتلك بالفعل بنية مشتركة قوية جداً، بحيث لم يكن للتدريب الجديد ما يضيفه. أما العائلة الثالثة فقد أبقت لغاتها منفصلة تماماً، وأدت محاولة دمجها معاً إلى خلق ارتباك بدلاً من الوضوح.

فحصت الدراسة خمسة نماذج محددة من أربع عائلات مختلفة، تتراوح أحجامها بين 1.7 مليار و4 مليارات معلمة (parameter). واكتشفوا أن نجاح إنشاء لغة استنتاج مشتركة يعتمد كلياً على بنية النموذج الموجودة. ففي النماذج التي أظهرت نمطاً "تقاربياً" (convergent)، حيث تقوى السمات المشتركة مع معالجة النموذج للمزيد من المسألة، نجحت طريقة التدريب الجديدة بشكل مثالي، مما حسن قدرة النموذج على الاستنتاج عبر اللغات في كل طبقة اختبروها. وفي النماذج التي كانت "مشبعة" (saturated) بالفعل بالسمات المشتركة، لم يقدم التدريب الجديد أي فائدة بل وأدى أحياناً إلى تعطيل التدفق الطبيعي للنموذج. أما في النماذج التي ظلت "منخفضة المشاركة" (low-sharing)، حيث بقيت اللغات منفصلة في الغالب، فقد فشل التدريب الجديد في إنشاء جسر وظيفي، رغم أنه جعل الإشارات الداخلية تبدو أكثر تشابهاً على الورق.

يتحدى هذا العمل افتراضاً شائعاً في هذا المجال: وهو أنه إذا بدا شيئان متشابهين على الرسم البياني، فلا بد أنهما يعملان بنفس الطريقة. لقد أثبت الباحثون أن النموذج يمكن أن يمتلك سمات تبدو متوافقة هندسياً عبر اللغات ولكنها لا تعمل بشكل متبادل. وأظهروا أن الطريق لفهم النماذج متعددة اللغات ليس حلاً واحداً يناسب الجميع. بدلاً من ذلك، فإن المنطق الداخلي للنموذج مرتبط بعمق بتصميمه المحدد. فبعض النماذج تبني بشكل طبيعي محرك استنتاج عالمي، بينما تحتفظ نماذج أخرى بلغاتها في غرف منفصلة. وخلص الباحثون إلى أنه لفهم كيفية تفكير الذكاء الاصطناعي حقاً عبر اللغات، يجب أن ننظر إلى البنية المحددة لكل نموذج، بدلاً من افتراض أن جميعها تتبع نفس القواعد الخفية.