Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
تقدم هذه الورقة إطار عمل للترقيع التنشيطي المتسلسل لتحديد الدوائر الفرعية الموزعة لرؤوس الانتباه التي تدعم سببيًا استدلال "سلسلة الأفكار" في النماذج اللغوية الكبيرة، وذلك عبر تتبع التأثيرات المنتشرة زمنيًا عبر مواضع الرموز والتحقق من أهميتها الوظيفية من خلال الاستئصال المستهدف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة المحركات الكامنة وراء العديد من أدوات الذكاء الاصطناعي الحديثة، وهي قادرة على توليد نصوص تشبه النصوص البشرية، وحل المشكلات، والإجابة على الأسئلة. وعندما تواجه هذه النماذج مهاماً معقدة، مثل مسألة لفظية رياضية صعبة، فإنها غالباً ما تؤدي بشكل أفضل بكثير إذا طُلب منها أولاً كتابة تفكيرها خطوة بخطوة قبل إعطاء الإجابة النهائية. هذه التقنية، المعروفة باسم "سلسلة الأفكار" (chain-of-thought)، تشجع النموذج على تقسيم المشكلة إلى قطع أصغر يمكن إدارتها، تماماً كما قد يفعل الإنسان عند كتابة الحسابات على ورقة. ومع ذلك، ظل هناك لغز مستمر حول ما إذا كانت هذه الخطوات المكتوبة تساعد النموذج حقاً في التفكير، أم أنها مجرد أداء مهذب. فقد كان من غير الواضح ما إذا كان النموذج يستخدم النص الوسيط حقاً لتوجيه منطقه الداخلي، أم أنه يولد ببساطة كلمات تبدو منطقية بينما يعتمد سراً على عملية مختلفة وخفية للوصول إلى الإجابة. إن فهم هذا التمييز أمر بالغ الأهمية، لأنه إذا لم يكن النموذج يفكر حقاً، فإن تفسيراته قد تكون مضللة، وستكون موثوقيته في المواقف الحرجة محل تساؤل.
ولحل هذا اللغز، قرر الباحثون في معهد إزمير للتكنولوجيا النظر داخل "دماغ" النموذج أثناء عمله. وقد ركزوا على نوع محدد من الذكاء الاصطناعي يسمى "ترانسفورمر" (transformer)، والذي يعالج المعلومات من خلال شبكة واسعة من المسارات المترابطة. أرادوا معرفة أين وكيف يغير "سلسلة الأفكار" النشاط الداخلي للنموذج بالضبط. وبدلاً من مجرد مراقبة المخرجات النهائية، استخدموا تقنية تسمى "ترقيع التنشيط" (activation patching). تخيل الحالة الداخلية للنموذج كتدفق من البيانات يمر عبر غرف مختلفة في مبنى. في التشغيل القياسي، يحل النموذج مشكلة ما دون كتابة خطواته. وفي التشغيل "النظيف"، يحل نفس المشكلة أثناء كتابة خطواته. قام الباحثون بأخذ البيانات المحددة التي تتدفق عبر مسارات معينة خلال التشغيل "النظيف" واستبدلوها في التشغيل "القياسي". ومن خلال القيام بذلك، استطاعوا رؤية ما إذا كان حقن بيانات "التفكير" في التشغيل "غير المفكر" سيؤدي إلى جعل النموذج يبدأ فجأة في حل المشكلة بشكل صحيح، كما لو أنه قد حصل على الخطوات المفقودة.
اكتشف الفريق أن قدرة النموذج على التفكير ليست مخزنة في مكان واحد معزول، بل هي موزعة عبر شبكة من المسارات التي تتنشط في تسلسل محدد. فعندما استبدلوا الإشارات الداخلية لنموذج لا يفكر بالإشارات من نموذج كان يفكر، بدأ النموذج غير المفكر يتصرف مثل النموذج المفكر؛ حيث اقترب من الإجابة الصحيحة وبدأ يتبع المسار المنطقي نفسه. يشير هذا إلى أن مطالبات "سلسلة الأفكار" تفعل أكثر من مجرد إضافة نص إلى الشاشة؛ فهي تنظم بنشاط الحوسبة الداخلية للنموذج، وتوجهه نحو وضع التفكير. وجد الباحثون أن هذا التأثير كان أقوى عندما استبدلوا الإشارات من نفس المشكلة المحددة، لكنه ظل يعمل، وإن كان بقوة أقل، عند استبدال الإشارات من مشكلة مختلفة تماماً. وهذا يشير إلى أن النموذج قد تعلم أنماطاً عامة لكيفية التفكير في مشكلة ما، وليس فقط كيفية حل معادلة معينة.
ولتأكيد أن هذه المسارات كانت ضرورية حقاً، أجرى الباحثون تجربة ثانية حيث قاموا ببساطة بإيقاف تشغيل المسارات المحددة تماماً. وعندما فعلوا ذلك، انهارت قدرة النموذج. لم يخطئ في الرقم النهائي فحسب، بل فقد القدرة على الحفاظ على مكانه في القصة، وغالباً ما خلط بين تفاصيل المثال والمهمة الجديدة، أو فشل حتى في ذكر الإجابة النهائية بالتنسيق المتوقع. كان النموذج أحياناً يكرر نفس العبارة مراراً وتكراراً أو يولد أرقاماً لا معنى لها. أظهرت هذه الإخفاقات أن المسارات التي حددها الباحثون ليست مجرد وسيلة لكتابة التفسير، بل هي الدوائر ذاتها التي تبقي تفكير النموذج على المسار الصحيح، وتساعده على فصل المثال عن المهمة الحقيقية، وتضمن توليد الأرقام الصحيحة.
كما استبعدت الدراسة فكرة أن هذه التحسينات كانت مجرد ضوضاء عشوائية أو أثراً جانبياً لتغيير أي جزء من النموذج. فعندما استبدل الباحثون البيانات العشوائية التي لا معنى لها بدلاً من إشارات "التفكير" المحددة، لم يتحسن النموذج. وقد أكد هذا أن الإشارات المحددة التي تحملها هذه المسارات هي ما يهم. ووجد الباحثون أن هذه المسارات الحرجة تتركز في الأجزاء الوسطى والمتأخرة من طبقات النموذج، بدلاً من البداية أو النهاية. إنها تعمل كنظام دعم يساعد النموذج على الحفاظ على تسلسل أفكاره، وربط الإجابة النهائية بالرقم الصحيح، ومنع المثال من تلويث المهمة الجديدة.
في الختن، يشير العمل إلى أن "سلسلة الأفكار" تعمل لأنها تستدعي مجموعة محددة وموزعة من الدوائر الداخلية المصممة لدعم التفكير خطوة بخطوة. هذه الدوائر ليست "وحدة تفكير" منفصلة تجلس بمعزل عن بقية النموذج، بل هي مكونات متداخلة يستخدمها النموذج ديناميكياً عندما يُطلب منه التفكير بصوت عالٍ. عندما لا يتم توجيه النموذج للتفكير، لا يتم تفعيل هذه الدوائر بالكامل، ويعاني النموذج مع المهام المعقدة. وعندما يتم توجيهه، تتنشط هذه الدوائر، مما يقود النموذج عبر الخطوات اللازمة للوصول إلى الحل. توفر هذه النتائج صورة أوضح لكيفية عمل هذه الأدوات القوية، وتظهر أن قدرتها على شرح تفكيرها ليست مجرد ظاهرة لغوية، بل هي انعكاس لتحول داخلي حقيقي في كيفية معالجتها للمعلومات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.