FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers
تقدم الورقة البحثية FishBack، وهي طريقة مبتكرة لتوجيه التنشيط تستبدل افتراض المسافة الإقليدية المعيب بمقياس معلومات فيشر لاشتقاق اتجاه توجيه أمثل، مما يقلل بشكل كبير من التشوهات غير المستهدفة في نماذج المحولات عبر مختلف الأحجام والطبقات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة شبكات شاسعة من الخلايا العصبية الاصطناعية التي تعلمت التنبؤ بالكلمة التالية في الجملة من خلال قراءة تريليونات الأمثلة. وبمجرد تدريب هذه النماذج، يمكن أن تكون مفيدة للغاية، ولكن يمكنها أيضًا أن تكون عنيدة أو غير آمنة، حيث تولد نصوصًا منحازة، أو غير صادقة، أو ببساطة ليست ما قصده المستخدم. لسنوات، حاول الباحثون إصلاح هذه السلوكيات عن طريق إضافة "دفعة" صغيرة إلى الحسابات الداخلية للنموذج أثناء عمله. وتتضمن هذه التقنية، المعروفة باسم "توجيه التنشيط" (activation steering)، إيجاد اتجاه محدد في الطبقات الخفية للنموذج ودفع البيانات على طول ذلك المسار لتشجيع سمة مرغوبة، مثل الصدق أو زمن قواعدي معين. وهي بديل خفيف الوزن لإعادة تدريب النموذج بأكمله، وهو أمر مكلف ويستغرق وقتًا طويلاً. ومع ذلك، كانت هذه الدفعات غير موثوقة بشكل ملحوظ؛ فالدفعات التي تعمل بشكل مثالي في جزء واحد من الشبكة غالبًا ما تفشل في جزء آخر، أو والأسوأ من ذلك، أنها قد تصلح مشكلة ما بينما تكسر شيئًا آخر بالخطأ، مما يتسبب في إنتاج النموذج لنصوص غير مفهومة أو فقدان شخصيته الأصلية.
السبب الجوهري لهذا عدم الاستقرار، وفقًا لدراسة جديدة أجراها باحثون في جامعة جنوب الصين للتكنولوجيا، هو سوء فهم أساسي للمساحة التي تعمل فيها هذه النماذج. تعامل معظم الطرق الحالية الحالة الداخلية للنموذج كما لو كانت شبكة مسطحة عادية، حيث تكلف الحركة مسافة معينة في أي اتجاه نفس القدر من الجهد. ويرى الباحثون أن هذه الرؤية غير صحيحة. ففي الواقع، المساحة داخل النموذج اللغوي منحنية وغير مستوية، تمامًا مثل سطح الأرض مقارنة بخريطة مسطحة. فالتحرك لمسافة قصيرة في اتجاه واحد قد يغير مخرجات النموذج بشكل جذري، بينما قد لا يكون للتحرك لنفس المسافة في اتجاه مجاور أي تأثير يُذكر. لقد كانت الطرق القديمة، بافتراضها سطحًا مسطحًا، تحاول أساسًا قيادة سيارة في خط مستقيم عبر سلسلة جبال، متجاهلة المنحدرات والوديان الشديدة التي تحدد المسار فعليًا.
ولحل هذه المشكلة، طور الفريق نهجًا جديدًا يسمى "FishBack". فبدلاً من التخمين للوصول إلى الاتجاه الصحيح، قاموا بحساب الشكل الحقيقي للتضاريس التي يتنقل فيها النموذج. واكتشفوا أن القواعد التي تحكم كيفية تأثير تغيير صغير في منتصف الشبكة على المخرج النهائي تتحدد من خلال خاصية رياضية محددة تسمى "مقياس معلومات فيشر" (Fisher information metric). يعمل هذا المقياس كخريطة طبوغرافية، توضح مدى "انحدار" أو "تسطح" التضاريس في كل اتجاه. ومن خلال سحب هذه الخريطة من طبقة المخرجات النهائية للنموذج إلى الطبقات المتوسطة حيث يحدث التوجيه، استطاع الباحثون رؤية الهندسة الحقيقية للمشكلة. ثم استخدموا هذه الخريطة لإيجاد أفضل مسار واحد لتحريك حالة النموذج. وهذا المسار ليس خطًا مستقيمًا؛ بل هو مسار منحني يحقق التغيير المطلوب في السلوك مع بذل أقل قدر من "الطاقة" وإزعاج معرفة النموذج الأصلية بأقل قدر ممكن.
اختبر الباحثون هذه الطريقة على ثلاثة نماذج لغوية مختلفة الأحجام، تتراوح من نموذج صغير بـ 7 6 8 بُعدًا داخليًا إلى نماذج ضخمة تضم أكثر من أربعة آلاف بُعد. وركزوا على ثلاث مهام محددة: تغيير الفعل إلى صيغة المفرد للغائب، أو تحويله إلى صيغة المستمر، أو تغييره إلى صيغة الماضي. وفي كل حالة، قارنوا طريقتهم الهندسية الجديدة بالتقنيات القياسية ذات المساحة المسطحة. وكانت النتائج مذهلة؛ ففي النموذج الأصغر، قللت الطريقة الجديدة من الآثار الجانبية غير المرغوب فيها — وهو ما يسميه الباحثون "التشويه خارج الهدف" (off-target distortion) — بمقدار يصل إلى ست مرات ونصف مقارنة بأفضل الطرق الموجودة. أما في النماذج الأكبر والأكثر تعقيدًا، فقد كان التحسن أكثر اتساقًا، حيث قلل من التغييرات غير المرغوب فيها بمقدار يقارب أربعة أضعاف في الطبقات المبكرة والمتوسطة من الشبكة.
والأهم من ذلك، أظهرت الدراسة أن الطرق القديمة لم تكن فقط أقل كفاءة بقليل، بل كانت معيبة جوهريًا في نهجها. فعندما استبدل الباحثون الخريطة الهندسية المعقدة بافتراض مسطح بسيط في نظامهم الخاص، انخفض الأداء بشكل كبير، مما أثبت أن انحناء المساحة كان هو مفتاح النجاح. تعمل الطريقة الجديدة من خلال حساب اتجاه دقيق ومثالي لكل حالة محددة، بدلاً من استخدام متجه ثابت واحد لجميع المدخلات. وهذا يسمح للنموذج بالتكيف مع الشكل الفريد لحالته الداخلية في تلك اللحظة تحديدًا. كما طور الباحثون طريقة لحساب هذا الاتجاه المعقد دون الحاجة إلى بناء الخريطة بأكملة صراحةً، وهو ما كان سيكون بطيئًا جدًا بالنسبة لأكبر النماذج. وبدلاً من ذلك، استخدموا تقريبًا ذكيًا يلتقط الشكل الأساسي للتضاريس ببضع مئات من الحسابات فقط، مما يجعل التقنية عملية للاستخدام في العالم الحقيقي.
تشير النتائج إلى أن عدم الاستقرار الذي يعاني منه أساليب توجيه التنشيط الحالية ليس خللًا في النماذج نفسها، بل هو نتيجة لاستخدام الهندسة الخاطئة للملاحة فيها. ومن خلال الإقرار بأن العالم الداخلي للنموذج اللغوي منحني وأن تكلفة الحركة تختلف اختلافًا هائلاً حسب الاتجاه، توفر طريقة "FishBack" وسيلة مستقرة وفعالة لتوجيه هذه الأنظمة. وقد أثبت الباحثون أن هذا التصحيح الهندسي يكون أكثر قيمة في الطبقات المبكرة والمتوسطة من الشبكة، حيث تكون التضاريس أكثر عدم استواء. ومع انتقال البيانات نحو المخرج النهائي، تصبح التضاريس أكثر تسطحًا، وتتضاءل ميزة الطريقة المعقدة، وهو ما يتوافق تمامًا مع النظرية. يقدم هذا العمل مسارًا واضحًا لجعل النماذج اللغوية أكثر موثوقية وقابلية للتحكم، محولًا إياها من عملية هشة قائمة على التجربة والخطأ إلى أداة دقيقة ذات أسس رياضية رصينة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.