ملخص تقني: التوليد الموجه عبر التحسين القائم على التدرج لسمات الاستعلام المتفرقة

1. بيان المشكلة

يتطلب نشر النماذج اللغوية الكبيرة (LLMs) في السيناريوهات الواقعية التزاماً دقيقاً بالقيود التي يحددها المستخدم فيما يتعلق بالأسلوب، والسلامة، والاتساق المنطقي. وبينما تعد هندسة الأوامر (Prompt Engineering) استراتيجية شائعة، إلا أنها غالباً ما تثبت عدم فعاليتها للقيود المعقدة، لا سيالما في النماذج الأصغر مفتوحة المصدر، حيث يمكن أن تضعف التعليمات ضمن السياقات الطويلة أو تتطلب عروض توضيحية مكثفة للتعلم داخل السياق (In-context learning)، مما يؤدي إلى تكاليف حوسبة باهظة.

تتدخل طرق التوجيه في الفضاء الكامن (Activation Engineering) الحالية مباشرة في تنشيطات النموذج الداخلية باستخدام ناقلات توجيه ثابتة. ومع ذلك، تعمل هذه الطرق عادةً على فضاءات تنشيط كثيفة (مثل المجرى المتبقي/Residual Stream)، والتي تعاني من "فرضية التراكب" (Superposition Hypothesis) حيث تتشابك الميزات الدلالية المتميزة. إن التدخلات في هذه الفضاءات الكثيفة يمكن أن تمحو السياق، وتسبب آثاراً جانبية غير مقصودة، وتفتقر إلى الدقة المطلوبة للقيود الصارمة (مثل الصحة المنطقية) أو التحكم الأسلوبي الدقيق.

2. المنهجية

يقترح المؤلفون التوجيه المتفرق القائم على النماذج الأولية (Prototype-Based Sparse Steering)، وهو إطار عمل يجمع بين المشفِّرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) والتحسين القائم على التدرج لتوجيه التوليد أثناء الاستدلال. الفرضية الأساسية هي أن تنشيطات استعلام الانتباه (Attention Query Activations) تعمل كسطح تحكم عالي الدقة، مما يوفر قدرة توجيه أكثر حدة من تدخلات الحالة العامة.

2.1. موقع التدخل: تنشيطات الاستعلام (Query Activations)

بدلاً من تعديل المجرى المتبقي، تتدخل الطريقة في تنشيطات استعلامات الانتباه الذاتي. تحدد الاستعلامات (Queries) كيفية استرجاع الرموز (Tokens) للمعلومات من السياق. ويجادل المؤلفون بأن تعديل الاستعلامات يسمح بالتحكم الموضعي في المعلومات المسترجعة دون الكتابة مباشرة فوق حالة المجرى المتبقي المتراكمة، مما يقلل من التشوه العالمي.

2.2. التمثيل المتفرق عبر المشفِّرات التلقائية المتفرقة (SAEs)

لفك تشابك الميزات، يطبق الإطار مشفراً تلقائياً متفرقاً (SAE) على تنشيطات الاستعلام في طبقة تدخل محددة $\ell$.

• البنية: يتم تدريب مشفر تلقائي (ReLU) أحادي الطبقة ($Enc$و$Dec$) لكل رأس انتباه استعلام (Query Attention Head).
• الهدف: يتم تدريب الـ SAE على إعادة بناء التنشيط $s$ من تمثيل كامن متفرق $z$، مع تقليل خسارة إعادة البناء، وعقوبة التشتت (L1 sparsity penalty) $\lambda \|z\|_1$، وعنصر اضمحلال الانحياز.
• النتيجة: يؤدي هذا إلى تفكيك تنشيطات الاستعلام الكثيفة إلى مجموعة متفرقة من الميزات القابلة للتفسير، مما يجزئ اتجاهات التحكم.

2.3. التحسين القائم على التدرج مع النماذج الأولية (Prototypes)

بدلاً من إضافة ناقل توجيه ثابت، تعاملت الطريقة مع التحكم كمسألة تحسين.

1. تعريف النموذج الأولي: لكل فئة سمة مستهدفة $k$ (على سبيل المثال، "المسار الآمن"، "التقييم" في تصنيف بلوم)، يتم حساب مركز نموذج أولي $c_k$ كمتوسط التمثيلات الكامنة المتفرقة لمجموعة دعم من الأمثلة التدريبية.
2. هدف التحسين: بالنظر إلى توليد أولي، يتم تحسين التمثيل الكامن المتفرق $z$ عبر صعود التدرج لتعظيم احتمالية السمة المستهدفة $k_T$. تُعرف الاحتمالية من خلال دالة (Softmax) على المسافات السالبة لجميع نماذج الفئات الأولية:
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   حيث $d_k = \|z - c_k\|_2^2$.
3. الإجراء: يتم تحديث $z$ بشكل تكراري ($z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$) حتى التقارب. ثم يتم فك تشفير $z$ المُحسن للعودة إلى فضاء التنشيط وحقنه في النموذج لمواصلة التوليد.

3. المساهمات الرئيسية

1. تحسين الاستعلام المتفرق القائم على النماذج الأولية: صياغة التحكم أثناء الاسترداد كتحسين قائم على التدرج عبر استعلامات الاستعلام المتفرقة، باستخدام هدف توزيع النماذج الأولية. يسمح هذا بالتوجيه التكيفي مع إبقاء أوزان النموذج الأساسي ثابتة.
2. دقة التحكم على مستوى الاستعلام: أدلة كمية تثبت أن تنشيطات استعلام الانتباه توفر موقع تدخل أكثر محلية وأقل تشوهاً من المجرى المتبقي. تظهر التدخلات على مستوى الاستعلام انحرافاً محدوداً في تنشيط الطبقات المتقاطعة وانخفاضاً في تباعد جينسن-شانون (JSD) للرمز التالي عند مطابقة قوة التوجيه.
3. بيانات تقييم موجهة للتوجيه: إنشاء مجموعة بيانات جديدة لتوجيه الأسلوب المعرفي بناءً على تصنيف بلوم (Bloom's Taxonomy) ومجموعة فرعية مصفاة من عالم الشبكة النصي (Textualized Gridworld - TGW) لتمكين التقييم القائم على القواعد (مسارات آمنة، قصيرة، وطويلة متباينة بوضوح).
4. التحقق التجريبي: تقييم شامل عبر قيود التخطيط الصعبة (TGW)، والتحكم في الأسلوب المعرفي الناعم (تصنيف بلوم)، والصدق (TruthfulQA).

4. النتائج

4.1. القيود الصارمة (عالم الشبكة النصي - TGW)

في بيئة TGW، حيث يجب أن تستوفي المسارات قيود الصحة والسمات الصارمة (الأقصر، الأكثر أماناً، الأطول):

• الأداء: حققت الطريقة المقترحة (SAE-OPT) أعلى معدلات نجاح أو تساوت في الصدارة مع غيرها عبر ثلاثة نماذج مفتوحة الأوزان (Qwen, Phi, LLaMA) مقارنة بالنماذج المرجعية بما في ذلك التعلم داخل السياق (ICL)، وإضافة التنشيط التبايني (CAA)، وتوجيه SAE الثابت.
• الصحة: من المهم أن الطريقة حافظت على معدلات منخفضة لانتهاك المنطق. على عكس تدخلات المجرى المتبقي الكثيفة التي غالباً ما كسرت صحة المسار، قامت طريقة التوجيه على مستوى الاستعلام بإعادة توجيه المسارات ضمن النطاق الصحيح (Valid Manifold).
• المقارنة: تفوق تحسين النماذج الأولية القائم على التدرج على ناقلات التوجيه الثابتة، لا سيما في الأهداف الصعبة مثل المسارات "الآمنة" و"الطويلة".

4.2. التحكم الدلالي الناعم (تصنيف بلوم)

في مجال التغذية الراجعة التعليمية، وجهت الطريقة التعقيد المعرفي للتغذية الراجعة (تذكر، فهم، تطبيق، تحليل، تقييم، ابتكار):

• الدقة: حققت SAE-OPT أعلى متوسط لمعدلات الإصابة في تصنيف المستوى المعرفي المقصود، مع مكاسب كبيرة في الأهداف التمييزية مثل "تذكر" و"ابتكار".
• الصلة: حافظت الط méthode على صلة عالية بالكود المدخل، بينما أظهرت طرق المجرى المتبقي صلة أقل، مما يشير إلى أن تدخلات الاستعلام تعيد توجيه الأسلوب دون إزاحة الأساس المعرفي.
• تقييم AxBench: حققت الطريقة أعلى متوسط حسابي في 5 من أصل 6 مستويات في تصنيف بلوم، مما يدل على تحسن في الالتزام بالمفاهيم دون التضحية باتباع التعليمات أو الطلاقة.

4.3. الصدق والتكلفة التوزيعية (TruthfulQA)

• الدقة مقابل التشوه: في TruthfulQA، حققت الطريقة القائمة على التدرج (Dense-opt) درجات أعلى في الصدق/المعلوماتية (%T×I) مع تقليل متوسط تباعد جينسن-شانون (JSD) بأكثر من مرتبة عشرية واحدة مقارنة بنماذج إضافة المتجهات الثابتة.
• محور التحسين: يؤكد هذا أن تحديثات التدرج تسبب تشوهاً توزيعياً أقل من إضافة المتجهات الثابتة، حتى عند تطبيقها على نفس موقع التدخل.

4.4. فوائد التفرقة (Sparsity)

بمقارنة تنظيم L1 (المتفرق) مقابل L2 (الكثيف) في المشفّر التلقائي:

• فك التشابك: قلل تنظيم L1 بشكل كبير من "الانجراف غير المستهدف" (الحركة الجانبية في هندسة النموذج الأولي غير المستهدف). وفر L1 واجهة توجيه أكثر نقاءً، محققاً تقارباً للهدف مع تداخل أقل مع السمات الأخرى.

5. الأهمية والادعاءات

يدعي البحث أن التمثيلات الاستعلامية المتفرقة توفر فك التشابك اللازم للتحكم الموحد والقابل للتفسير في كل من التخطيط المنطقي والبراعة الأسلوبية.

• الآلية: من خلال استهداف استعلامات الانتباه، تتجنب الطريقة تأثيرات "المحو" التي تسببها تدخلات المجرى المتبقي، مما يحافظ على الصحة الهيكلية في المهام ذات القيود الصارمة.
• التحسين: باستخدام التحسين القائم على التدرج عبر النماذج الأولية المتفرقة بدلاً من المتجهات الثابتة، تحقق الطريقة دقة تحكم أعلى بتكلفة توزيعية أقل.
• القدرة على التعميم: أثبتت الطريقة فعاليتها عبر مجالات متنوعة، من تخطيط الشبكة الصارم إلى الأساليب المعرفية الدقيقة للتغذية الراجعة التعليمية، وتعممت على أحجام شبكات مختلفة وبنى نماذج مختلفة.

يضع المؤلفون هذا العمل كآلية مبدئية للتوليد القابل للتحكم، والتي تتجاوز هندسة التنشيط الثابتة نحو تدخل متكيف، متفرق، وموضعي.