ملخص تقني: FLAS (توجيه التنشيط القائم على التدفق)

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات قوية، إلا أن التحكم الموثوق في سلوكها ليتوافق مع تفضيلات بشرية أو مفاهيم محددة أثناء الاستنتاج لا يزال يمثل تحديًا. تواجه آليات التحكم الحالية قيودًا متميزة:

• التلقين (Prompting): رغم بساطته، غالبًا ما يفشل التلقين داخل السياق (in-context prompting) في دمج المفاهيم المعقدة بشكل قوي دون تدهور في اتباع التعليمات أو السلاسة.
• الضبط الدقيق (Fine-tuning): طرق مثل LoRA أو SFT مكلفة حوسبيًا، وعرضة للنسيان الكارثي، وتفتقر إلى القابلية للتفسير.
• توجيه التنشيط (Activation Steering): تقوم طرق توجيه التنشيط الحالية (مثل DiffMean وCAA وReFT) بتعديل التمثيلات الوسيطة مع إبقاء معلمات النموذج مجمدة. ومع ذلك، كشفت التقييمات واسعة النطاق على AxBench أن هذه الطرق غالبًا ما يتفوق عليها التلقين البسيط. علاوة على ذلك، فهي تتطلب ضبط قوة كل مفهوم على مجموعات تطويرية وتعمم بشكل سيئ على المفاهيم غير المرئية.

يفترض المؤلفون أن هذه القيود تنبع من افتراضات تبسيطية غير مثبتة تشترك فيها الطرق السابقة، وتحديدًا:

1. التحويلات الثابتة ذات الخطوة الواحدة: تقتصر التدخلات على متجه إزاحة واحد يتم تطبيقه مرة واحدة.
2. ثبات الموضع (Position-Invariance): يتم تطبيق نفس التدخل بشكل موحد عبر جميع مواضع الرموز (tokens) في التسلسل.
3. الإشراف التبايني (Contrastive Supervision): تعتمد العديد من الطرق على أزواج بيانات موجبة/سالبة (أزواج تباينية) للتدريب.

المنهجية: FLAS

يقترح البحث FLAS (توجيه التنشيط القائم على التدفق)، وهي طريقة تستبدل التدخلات الثابتة ذات الخطوة الواحدة بمجال سرعة (velocity field) مُتعلم ومشروط بالمفهوم.

الصياغة الجوهرية

نمذجة عملية التوجيه في FLAS كتدفق مستمر بدلاً من قفزة منفصلة. بالنظر إلى نموذج لغوي أساسي بتمثيل مخفي $h$ عند الطبقة $\ell$ ووصف مفهوم بلغة طبيعية $c$، يتعلم FLAS مجال سرعة $v_\theta(h, t, c)$ المحدد بواسطة المعادلة التفاضلية العادية (ODE):
$$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$$
حيث $\phi_0(h) = h$. يتم الحصول على التنشيط الموجه $h'$ عن طريق تكامل مجال السرعة هذا من زمن التدفق $t=0$ إلى زمن التدفق $T$:
$$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$$

من الناجي، يتم تقريب هذا التكامل باستخدام طريقة أويلر الأمامية ذات $N$ خطوة:
$$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$$
يسمح هذا للتدخل باتباع مسارات منحنية ومتعددة الخطوات عبر فضاء التنشيط، والتكيف مع تطور حالة التنشيط.

البنية (FlowBlock)

يتم تجسيد مجال السرعة $v_\theta$ كـ FlowBlock، وهو وحدة نمطية بأسلوب Transformer يتم إدراجها عند طبقة محددة من النموذج الأساسي المجمد.

• المدخلات: التنشيط الحالي $h_k$، وتمثيل تشفير المفهوم $\phi(c)$، والخطوة الزمنية $t_k$.
• الآلية:
  1. الاشتراط الزمني: يتم حقن الزمن عبر تضمينات جيبية (sinusoidal embeddings).
  2. الانتباه المتقاطع (Cross-Attention): يتجه التنشيط للانتباه إلى تشفير المفهوم (الذي ينتجه مشفر مفهوم مجمد يعيد استخدام الطبقات المبكرة للنموذج الأساسي).
  3. الانتباه الذاتي وMLP: تقوم طبقة انتباه ذاتي سببية وشبكة تغذية أمامية بمعالجة المعلومات لإنتاج إزاحة لكل رمز (per-token).
• الخصائص الرئيسية:
  • الاعتماد على الحالة: تعتمد السرعة على التنشيط الحالي $h$، مما يسمح بمسارات تكيفية.
  • لكل رمز (Per-Token): يتم حساب السرعة لكل موضع رمز، مما يسمح بتوجيه غير موحد عبر التسلسل.
  • صفرية المعرفة (Zero-Shot): يتم تدريبها على الأمثلة الموجبة فقط (الاستجابات المتوافقة مع المفهوم) باستخدام هدف نمذجة اللغة القياسي، مما يلغي الحاجة إلى الأزواج التباينية.

استراتيجية التدريب

• الهدف: تقليل تقاطع الإنتروبيا (cross-entropy) لنمذجة اللغة على الرموز المخرجة بعد حقن التنشيط الموجه $h_N$.
• عقوبة التنوع: يتم إضافة خسارة تنوع لفرض عقوبة على تشابه جيب التمام بين متوسط التجميع للسرعات لمفاهيم مختلفة داخل الدفعة (batch)، لضمان اتجاهات توجيه متميزة.
• التحكم في القوة: يعمل زمن التدفق $T$ كمعلم قياسي مستمر. من خلال عشوائية $T$ أثناء التدريب (على سبيل المثال، $T \sim \text{Uniform}[0.5, 2.0]$)، يتعلم النموذج الاستقراء إلى قوى مختلفة عند الاستنتاج دون الحاجة لضبط لكل مفهوم.

المساهمات الرئيسية

1. إطار عمل FLAS: تقديم مجال سرعة مشروط بالمفهوم مدمج عبر خطوات أويلر متعددة الخطوات، مما يسمح بتوجيه تكيفي، متعدد الخطوات، وحساس للموضع، ويتم تدريبه حصريًا على البيانات الموجبة.
2. الأداء على AxBench: يعد FLAS أول طريقة توجيه متعلمة تتفوق باستمرار على التلقين داخل السياق في اختبار AxBench.
   • Gemma-2-2B-IT (المحتجز): متوسط HMean هو 1.015 (مقابل 0.762 للتلقين).
   • Gemma-2-9B-IT (المحتجز): متوسط HMean هو 1.113 (مقابل 1.091 للتلقين).
   • والأهم من ذلك، يتم تحقيق هذا باستخدام زمن تدفق ثابت واحد ($T=2$) ودون ضبط لكل مفهوم.
3. التعميم: يعمم الأسلوب عبر عائلات النماذج (تم اختباره على Qwen3-4B) ويتوسع بشكل رتيب مع عدد مفاهيم التدريب (حتى 16 ألفًا)، دون ظهور أي تشبع واضح.
4. الرؤى الهندسية: يكشف تحليل التدفق المتعلم أن مسارات التوجيه الفعالة هي منحنية، وتتطلب خطوات متعددة لتكتمل، وتختلف بشكل كبير عبر مواضع الرموز. وهذا يتحدى "فرضية التمثيل الخطي" ويشير إلى أن الافتراضات السابقة حول هندسة فضاء التنشيط غير مكتملة.

النتائج والتحليل

• المتانة: على عكس النماذج المرجعية (مثل ReFT وDiffMean وAcT) التي يتدهور فيها اتباع التعليمات والسلاسة مع زيادة قوة التوجيه، يحافظ FLAS على درجات عالية عبر نطاق واسع من أزمنة التدفق ($T \in [0.5, 4.0]$).
• دراسات الاستئصال (Ablation Studies):
  • الانتباه المتقاطع: يؤدي تعطيل الانتباه المتقاطع (المسار لتدفق معلومات المفهوم) إلى هبوط كارثي في الأداء ($t = -37.82$).
  • تعدد الخطوات: تقليل خطوات التكامل إلى $N=1$ (إزاحة تكيفية واحدة) يؤدي إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة المسارات المنحنية متعددة الخطوات.
  • خسارة التنوع: إزالة عقوبة التنوع يقلل من الأداء ويسبب انهيارًا في اتباع التعليمات عند أزمنة التدفق العالية.
• التكلفة الحسابية: يضيف FLAS عبئًا إضافيًا لكل رمز أثناء التوليد (حوالي 1.5 ضعف في نماذج 2B) بسبب التقييم المتكرر لـ FlowBlock، ولكن هذا يعتبر مقبولاً نظرًا لمكاسب الجودة. كما أنه أكثر كفاءة في المعلمات مقارنة بـ HyperSteer (الذي يستخدم شبكة فائقة بـ 2.6 مليار+ معلمة).

الأهمية

يزعم البحث أن FLAS يمثل تحولًا جذريًا في توجيه التنشيط من خلال معاملة التدخلات كـ تدفقات وليس كمتجهات ثابتة.

• الدليل التجريبي: يقدم دليلًا تجريبيًا على أن التوجيه الفعال يتطلب تدخلات غير خطية وحساسة للموضع، مما يشير إلى أن الافتراضات الهندسية التي كانت ترتكز عليها معظم الأدبيات السابقة غير مكتملة.
• الأثر العملي: من خلال إزالة الحاجة إلى البيانات التباينية وضبط كل مفهوم، يوفر FLAS مسارًا أكثر قابلية للتوسع والمتانة للتحكم في سلوك LLM، حيث نجح في سد الفجوة بين مرونة التلقين وكفاءة التوجيه الخالي من المعلمات.
• الرؤية النظرية: توفر رؤية المسارات المنحنية متعددة الخطوات عدسة جديدة لفهم الحسابات الداخلية للنماذج اللغوية الكبيرة، متجاوزةً فرضية الفضاء الجزئي الخطي.