Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects
تقدم هذه الورقة تحليل هندسة التأثير-الميزة (FEGA) لتوضيح أنه بينما يمكن لميزات المشفّر التلقائي المتناثر أن تكون ذات صلة سببية، إلا أنها نادراً ما تعمل كاتجاهات توجيه مستقرة، حيث تُظهر بدلاً من ذلك أنماطاً هندسية متميزة حيث تنتج الميزات "الشبيهة بالقيمة" تأثيرات مهيكلة، بينما تولد الميزات "الشبيهة بالمؤشر" تغيرات منتشرة ومعتمدة على السياق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم مكتبة سحرية عملاقة، حيث تكتب الكتب نفسها. هذه المكتبة هي "نموذج لغوي كبير" (Large Language Model)، وهو نوع من الذكاء الاصطناعي الذي قرأ كل شيء تقريبًا على الإنترنت وتعلم التنبؤ بالكلمة التالية في الجملة. داخل هذه المكتبة، توجد الملايين من المفاتيح الصغيرة غير المرئية التي تسمى "النيورونات" (العصبونات)، والتي تضيء عندما يفكر النموذج في شيء ما. لفترة طويلة، حاول العلماء فهم النموذج من خلال مجرد مراقبة أي المفاتيح تضيء. فكروا قائلين: "إذا أضاء مفتاح عند حديث النموذج عن 'باريس'، فإن هذا المفتاح لا بد أن يكون 'مفتاح باريس'".
لكن الجزء الصعب هنا هو أنه ليس بالضرورة أن إضاءة المفتاح تعني أنه يقوم بالعمل فعليًا؛ فقد يكون مجرد مراقب. لكي تعرف حقًا ما يفعله مفتاح ما، عليك أن تتدخل، وتطفئه، وترى ما إذا كانت القصة ستتغير. هذا ما يسمى بـ "التدخل" (Intervention). مؤخرًا، بنى العلماء أداة خاصة تسمى "المشفّر التلقائي المتناثر" (Sparse Autoencoder أو SAE) للمساعدة في العثور على هذه المفاتب. فكر في الـ SAE كخزانة ملفات فائقة التنظيم تقوم بفرز المفاتيح الفوضوية والمتوهجة إلى مجلدات مرتبة ومصنفة. كان الأمل هو أننا إذا وجدنا مجلدًا بعنوان "باريس"، يمكننا ببساطة تشغيل أو إيقاف هذا المجلد لجعل النموذج يتحدث عن باريس أو يتوقف عن الحديث عنها. هذه الفكرة تسمى "التوجيه" (Steering).
ومع ذلك، كان هناك شك يراود العلماء. فأحيانًا، عندما كان العلماء يشغلون مجلد "باريس"، لم يكن النموذج يتحدث عن باريس على الإطلاق. أحيانًا كان يتحدث عن فرنسا، وأحيانًا كان يصاب بالارتباك، وأحيانًا يفعل العكس تمامًا لما هو متوقع. كان الأمر أشبه بجهاز تحكم عن بعد، حيث زر "رفع الصوت" فيه قد يؤدي أحيانًا إلى إطفاء التلفاز، أو تغيير القناة. السؤال الكبير هو: لماذا يحدث هذا؟ هل جهاز التحكم معطل، أم أن فهمنا لكيفية عمل الأزرار خاطئ؟
هذه الورقة البحثية، التي تحمل عنوان "المشفّرات التلقائية المتناثرة تشفر المفاهيم والوظائف معًا"، تذهب في مهمة استقصائية لحل هذا الغموض. قرر المؤلفون، وهم فريق من الباحثين من ألمانيا والهند، التوقف عن مجرد النظر إلى الملصقات الموجودة على المجلدات والبدء في مراقبة ما يحدث للقصة بعد أن يقلبوا المفتاح. لقد اخترعوا طريقة جديدة تسمى "تحليل هندسة تأثير الميزات" (Feature-Effect Geometry Analysis أو FEGA). تخيل FEGA ككاميرا عالية التقنية تلتقط صورة للمكتبة في كل مرة يقلبون فيها مفتاحًا، ليس مرة واحدة فقط، بل في آلاف القصص المختلفة. ثم ينظرون إلى "سحابة" كل هذه الصور ليروا ما إذا كان المفتاح يدفع القصة دائمًا في نفس الاتجاه.
ما وجدوه كان مفاجأة. لقد اكتشفوا أن المفاتيح داخل النموذج تنقسم إلى فئتين مختلفتين تمامًا، أطلقوا عليهما اسم "المفاتيح الشبيهة بالقيم" (Value-like) و"المفاتيح الشبيهة بالمؤشرات" (Pointer-like).
أولاً، هناك المفاتيح الشبيهة بالقيم. هذه مثل "الحقائق" في المكتبة. إذا كان المفتاح مرتبطًا بحقيقة أن "باريس في فرنسا"، فإنه يعمل كمعلومة ثابتة. عندما تشغل هذا المفتاح، يتغير مخرج النموذج بطريقة منظمة نوعًا ما، مثل مجموعة من الناس يسيرون في تشكيل فضفاض. إنه ليس خطًا مستقيمًا واحدًا، لكنه ليس فوضى عارمة أيضًا. هذه المفاتيح موثوقة في حفظ حقائق محددة.
ثم هناك المفاتيح الشبيهة بالمؤشرات. هذه هي المسببة للمتاعب الحقيقية لفكرة "جهاز التحكم عن بعد". هذه المفاتيح لا تحمل حقيقة محددة؛ بل تحمل وظيفة أو دورًا. فكر فيها كزر "نسخ" (Copy) على لوحة المفاتيح. زر "النسخ" لا يهتم بما تنسخه؛ هو فقط يقوم بعملية النسخ. في النموذج، قد يكون المفتاح الشبيه بالمؤشر مسؤولًا عن "نسخ الكلمة من وقت سابق في الجملة". إذا كانت الجملة تقول "القط كبير"، فإنه ينسخ كلمة "كبير". وإذا كانت الجملة تقول "القط صغير"، فإنه ينسخ كلمة "صغير". ولأن الوظيفة هي نسخ أي شيء موجود، فإن تشغيل هذا المفتاح لا يدفع القصة في اتجاه واحد ثابت. بدلاً من ذلك، يتشتت التأثير في كل مكان، مثل سحابة من الغبار.
تظهر الورقة أن فكرة "التوجيه" القديمة بالنسبة لهذه "المفاتيح الشبيهة بالمؤشرات" خاطئة إلى حد كبير. لا يمكنك مجرد تشغيل مفتاح "النسخ" وتوقع أن النموذج سيقول دائمًا "انسخ". التأثير يعتمد كليًا على ما ينظر إليه النموذج في تلك اللحظة تحديدًا. وجد المؤلفون أنه بينما تمتلك بعض المفاتيح (الشبيهة بالقيم) تأثيرًا مهيكلًا نوعًا ما، فإن معظم المفاتيح الوظيفية المثيرة للاهتمام (الشبيهة بالمؤشرات) تخلق تأثيرًا "منتشرًا". إنها ضرورية لعمل النموذج — فهي السبب في قدرة النموذج على اتباع القواعد أو نسخ الكلمات — لكنها لا تشير إلى اتجاه واحد يمكن التنبؤ به.
باخت-صار، تقترح الورقة أننا بحاجة إلى تغيير طريقة تفكيرنا في هذه المفاتيح في الذكاء الاصطنا الاصطناعي. لا يمكننا معاملتها جميعًا كمجرد أزرار تشغيل/إيقاف لمواضيع محددة. بعضها يشبه خزائن الملفات للحقائق، ولكن البعض الآخر عبارة عن أدوات ديناميكية تغير تأثيرها بناءً على الموقف. إذا أردنا التحكم في نماذج الذكاء الاصطناعي هذه في المستقبل، فلا يمكننا مجرد البحث عن زر "باريس" أو زر "نسخ" والأمل في أن يعمل بنفس الطريقة في كل مرة. يجب أن نفهم أنه بالنسبة للعديد من هذه الأدوات، فإن التأثير هو سحابة معقدة يتغير شكلها اعتمادًا على القصة التي تُروى. لا يدعي المؤلفون أنهم حلوا المشكلة بعد، لكنهم قدموا خريطة جديدة توضح لنا بالضبط أين يكمن الارتباك، مما يثبت أن "جهاز التحكم عن بعد" للذكاء الاصطناعي أكثر تعقيدًا بكثير مما كنا نظن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.