Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

تخيل أنك تحاول فهم كيف يفكر مكتبة سحرية عملاقة. داخل هذه المكتبة، يتكون "الدماغ" من ملايين المفاتيح الصغيرة المتوهجة. عندما تقرأ المكتبة قصة ما، تضيء مفاتيح معينة للمساعدة في فهم المعنى. لقد بنى العلماء أداة خاصة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder أو SAE) لتعمل كمترجم. تراقب هذه الأداة المفاتيح المتوهجة وتحاول إعطاءها أسماءً، مثل "مفتاح القطة" أو "مفتاح زمن المستقبل". بمجرد أن يضع المترجم أسماءً للمفاتيح، يبرز السؤال الكبير التالي: أي منها يهم حقاً؟ لمعرفة ذلك، يلجأ العلماء عادةً إلى لعبة "ماذا لو". يأخذون مفتاحاً معيناً مسمىً، ويقومون بإطفائه، ثم يرون ما إذا كانت قصة المكتبة ستتغير. إذا أصبحت القصة غريبة، فهذا يعني أن هذا المفتاح كان مهماً. أما إذا بقيت القصة كما هي، فربما لم يكن يفعل الكثير. يُسمى هذا اختبار الاستئصال (Ablation Test)، وهو طريقة قياسية لمعرفة ما الذي يجعل المكتبة تعمل. لكن الجزء الصعب هنا هو أن المفتاح الواحد لا يضيء مرة واحدة فقط؛ بل يضيء آلاف المرات في أماكن مختلفة من القصة. لذا، عندما تقرر إطفاءه، أين تطفئه؟ هل تختار المرة الأولى التي يضيء فيها؟ أم المرة الأخيرة؟ أم المرة التي يسطع فيها بأقصى شدة؟

هذا البحث يطرح سؤالاً بسيطاً ولكنه مذهل: هل يهم أين تختار إطفاء المفتاح؟ وجد المؤلف أن الإجابة هي "نعم" قاطعة، وأن الطريقة التي كان يتبعها العلماء في إجراء هذا الاختبار لسنوات قد تقودهم إلى استنتاجات خاطئة.

فخ "الشرارة الأكثر سطوعاً"

لفترة طويلة، كانت القاعدة القياسية لهذه الاختبارات هي: "أطفئ المفتاح في اللحظة التي يسطع فيها بأقصى شدة". يبدو هذا كحدس ذكي؛ فإذا كان المصباح ساطعاً جداً في نقطة معينة، فمن المحتمل أن هذا هو المكان الذي يقوم فيه بأهم أعماله، أليس كذلك؟

المشكلة، كما يشرح هذا البحث، هي أن "مكان سطوعه الأقصى" ليس حقيقة ثابتة عن المكتبة، بل هو حقيقة عن المترجم (SAE) الذي تستخدمه. تخيل مترجمين مختلفين ينظران إلى نفس المكتبة. كلاهما يتفق على أن المفتاح رقم 42 هو "مفتاح القطة". لكن المترجم (أ) يعتقد أن مفتاح القطة يسطع بأقصى شدة عند كلمة "قطة صغيرة" (kitty)، بينما يعتقد المترجم (ب) أنه يسطع بأقصى شدة عند كلمة "هر" (feline).

إذا اتبعت القاعدة القياسية، سيقوم المترجم (أ) بإطفاء المفتاح عند كلمة "قطة صغيرة"، وسيقوم المترجم (ب) بإطفائه عند كلمة "هر". وعلى الرغم من أنهما يختبران نفس المفهوم تماماً، إلا أنهما يختبرانه في مكانين مختلفين تماماً في القصة. يظهر البحث أن هذا ليس تفصيلاً صغيراً، بل هو مصدر ضخم للارتباك.

تجربة "إطفاء المفتاح الكبرى"

لإثبات ذلك، لم يكتفِ الباحث بالتخمين؛ بل أجرى تجربة ضخمة ومنضبطة. قام ببناء ستة مترجمين (SAEs) يكادون يكونون توائم متطابقة. بدأوا من نفس المخطط تماماً وتدربوا على نفس البيانات، مع تغيير إعدادات بسيطة وغير ضارة فقط. ولأنهم بدأوا من نفس النقطة، كان من المفترض أن يعني كل "مفتاح رقم 42" في جميع المترجمين الستة الشيء نفسه تماماً.

ثم أجرى الاختبار القياسي:

1. الطريقة القديمة: ترك كل مترجم يختار "أشد نقاط سطوعه" لإطفاء المفتاح.
2. الطريقة الجديدة: أجبر المترجمين الستة على إطفاء المفتاح في نفس النقطة تماماً في القصة.

كانت النتيجة صادمة.
عندما استخدموا الطريقة القديمة (ترك كل مترجم يختار نقطة سطوعه الخاصة)، كانت النتائج مشتتة للغاية. بدا أن المترجمين يختلفون بشدة حول مدى أهمية المفتاح؛ أحدهم قال إنه مهم جداً، وآخر قال إنه لا يفعل شيئاً. حسب الباحث أن حوالي 7.6% إلى 11.9% من الخلاف بين المترجمين كان في الواقع بسبب بحثهم في أما-كن مختلفة من القصة.

ولكن عندما أجبر الجميع على النظر إلى نفس النقطة، تلاشى الخلاف تقريباً. انخفض "الخلاف" إلى ما يقرب من 0% لأحد النماذج و 2.4% لآخر.

اتضح أن معظم الوقت الذي ظن فيه العلماء أن المترجمين يتجادلون فيه حول معنى المفتاح، كانوا في الواقع يتجادلون فقط حول أين ينظرون. قاعدة "أشد نقطة سطوعاً" جعلتهم ينظرون في أماكن مختلفة، مما خلق وهماً بالخلاف.

"أين" أهم من "ماذا"

يكشف البحث عن حقيقة خفية: الموقع الذي تقيس فيه التأثير أكثر أهمية من القاموس الذي تستخدمه.

في الواقع، وجد الباحث أن "الضجيج" الناتج عن اختيار نقاط مختلفة كان هائلاً. في بياناته، كان التباين الناتج عن أين تقيس يمثل 67.4% من إجمالي الفرق. وهذا يعني أنك إذا غيرت المكان الذي تطفئ فيه المفتاح، فإنك تغير الإجابة أكثر مما لو غيرت المترجم نفسه بالكامل.

هذا يصبح أكثر إثارة للاهتمام كلما كبرت المكتبة. قد تعتقد أنه إذا أعطيت المترجمين نصاً أكثر للقراءة، فسيصبحون أكثر اتفاقاً. لكن العكس هو ما حدث. فكلما زادت كمية النص، اختلف المترجمون أكثر حول تحديد "أشد نقطة سطوعاً". مع وجود المزيد من النص، تتوفر أماكن أكثر يمكن للمترجمين اختيار نقاط مختلفة منها، مما يجعل المشكلة أسوأ وليس أفضل.

لماذا يغير هذا كل شيء؟

تحقق المؤلف من خمس أوراق بحثية كبرى نشرت نتائجها باستخدام هذه الطريقة. ووجد أن أي منها لم يذكر أين قاس التأثير. لقد اكتفوا بالقول: "لقنا أطفأنا المفتاح عند أشد نقطة سطوعاً".

هذا يشبه عالماً يقول: "لقد اختبرت الدواء عند درجة الحرارة المثالية"، دون أن يخبرك أبداً ما هي درجة الحرارة تلك. إذا اختبر عالمان نفس الدواء، أحدهما استخدم 98 درجة فهرنهايت والآخر استخدم 102 درجة، فقد يحصلان على نتائج مختلفة ويعتقدان أن الدواء غير موثوق. لكن في الحقيقة، لقد قاسوا في درجات حرارة مختلفة فحسب.

يخلص البحث إلى أنه لكي تكون النتيجة جديرة بالثقة وقابلة للمقارنة عبر الدراسات المختلفة، يجب على العلماء ذكر الكلمة (الرمز/Token) بدقة التي استخدموها لإطفاء المفتاح. كما يتعين عليهم توضيح كيفية تعاملهم مع الحالات الخاصة، مثل الكلمة الأولى في الجملة، والتي يمكن أن تفسد العمليات الحسابية إذا لم تُعالج بعناية.

الحل بسيط

الخبر السار هو أن إصلاح هذا لا يتطلب بناء مكتبات جديدة أو تدريب مترجمين جدد. يقول المؤلف إن الحل يكمن في سطر واحد من الكود البرمجي. بد instead من ترك المترجم يقرر أين يقيس، يجب على الباحثين الاتفاق على قائمة مشتركة من النقاط للقياس عندها، أو على الأقل الإبلاغ بدقة عن النقطة التي اختاروها.

بفعل ذلك، يختفي "الضجيج"، ويمكننا أخيراً رؤية أي المفاتيح في دماغ المكتبة مهمة حقاً، وأيها مجرد مفاتيح ساطعة لأننا نظرنا إليها من حيث انتهى بنا المطاف. لا يدعي البحث أنه حل جميع أسرار الذكاء الاصطناعي، لكنه أزال جداراً ضخماً وغير مرئي كان يحجب عنا رؤية الحقيقة بوضوح.