💬 NLP

Instruction Following by Principled Boosting Attention of Large Language Models

تقترح هذه الورقة InstABoost، وهو تدخل بسيط عند وقت الاستدلال يوحد طرق توجيه الانتباه من خلال نظرية تنافس القواعد ويطبق انحيازاً إضافياً ثابتاً على لوغيتات مفتاح التعليمات لتعزيز اتباع التعليمات دون التضحية بالطلاقة أو صلة السياق.

المؤلفون الأصليون: Vitoria Guardieiro, Avishree Khare, Adam Stein, Eric Wong

نُشر 2026-03-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vitoria Guardieiro, Avishree Khare, Adam Stein, Eric Wong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً ومدرباً جيداً (نموذج لغوي كبير). أنت تعطيه مجموعة من القواعد: "كن مهذباً"، "لا تكذب"، و"أجب على سؤال المستخدم".

عادةً، يتبع الروبوت هذه القواعد. ولكن أحياناً، إذا أعطيته قصة طويلة ومربكة أو أمراً مخادعاً، فقد يتشتت انتباه الروبوت. قد ينسى القواعد، أو يبدأ في اختلاق حقائق من العدم، أو يتجاهل طلبك المحدد للتركيز على جزء خاطئ من القصة. الأمر يشبه طالباً يعرف الصيغة الرياضية ولكنه يتشتت تماماً بسبب رسمة مضحكة في الكتاب المدرسي فينسى حل المسألة.

تقدم هذه الورقة طريقة جديدة لإبقاء الروبوت مركزاً على القواعد دون الحاجة إلى إعادة تدريبه من الصفر. وقد أطلقوا على هذه الطريقة اسم INSTABOOST.

إليك تفصيل المحتوى باستخدام تشبيهات بسيطة:

1. المشكلة: "الغرفة الصاخبة"

تخيل عقل الروبوت كغرفة مزدحمة حيث تصرخ أفكار مختلفة.

التعليمات هي صوتك وأنت تعطي القواعد.
السياق (قصة المستخدم أو بياناته) هو مجموعة من الأشخاص الآخرين يتحدثون.

أحياناً، يصرخ "الأشخاص الآخرون" (السياق) بصوت عالٍ جداً لدرجة أنهم يغطي على صوتك. يستمع الروبوت إلى الضجيج بدلاً من قواعدك. حاولت الأساليب السابقة معالجة ذلك إما عن طريق:

كتم الضجيج تماماً: هذا ينجح، ولكن أحياناً يحتوي الضجيج على تفاصيل مهمة مطلوبة للإجابة على السؤال. إذا كتمته كثيراً، سيعطي الروبوت إجابة صحيحة ولكنها عديمة الفائدة (مثل قول "أنا حزين" بدلاً من الإجابة على "ما هي عاصمة فرنسا؟").
رفع صوتك في "آذان" محددة فقط: هذا معقد للغاية ويتطلب الكثير من التجربة والخطأ لمعرفة أي "آذان" (أجزاء من الدماغ) يجب استخدامها.

2. النظرية: "منافسة قائمة على القواعد"

توصل المؤلفون إلى نظرية مفادها أن الروبوت يدير في الواقع منافسة بين فريقين:

فريق التعليمات: القواعد التي أعطيتها له.
فريق السياق: التفاصيل الموجودة في النص (البرومبت).

"آلية الانتباه" لدى الروبوت هي الحكم الذي يقرر أي فريق يفوز. إذا حصل "فريق السياق" على نقاط كثلة، سيتجاهل الروبوت القواعد.

تثبت الورقة أنه إذا أعطيت "فريق التعليمات" تعزيزاً ثابتاً (مثل إضافة وزن إضافي بسيط لدرجاتهم)، فسيصبح من الصعب جداً هزيمتهم. الأمر يشبه منح صوتك مكبراً للصوت (ميجافون). حتى لو كان الآخرون يصرخون، فإن مكبر الصوت يضمن سماع قواعدك بوضوح.

3. الحل: INSTABOOST (المكبر الصوتي)

يقترح المؤلفون حيلة بسيطة تسمى INSTABOOST.

بدلاً من محاولة التفكير بذكاء حول أي جزء من الدماغ يجب تغييره، يقومون ببساطة بإضافة "تعزيز" ثابت وصغير للانتباه الذي يوليه الروبوت لكلمات التعليمات.

التشبيه: تخيل أن الروبوت هو طاهٍ يتبع وصفة (التعليمات) بينما ينظر أيضاً إلى المكونات الموجودة على الطاولة (السياق).
الأساليب القديمة: حاولت تعصيب عيني الطاهي لكي ينظر فقط إلى الوصفة، أو حاولت إعادة ترتيب المطبخ بحيث تكون الوصفة هي الشيء الوحيد المرئي.
INSTABOOST: يضع فقط تسليط ضوء ساطع ومتوهج على كتاب الوصفة. يمكن للطاهي أن يرى المكونات على الطاولة (حتى لا ينسى ما يطبخه)، ولكن كتاب الوصفة المتوهج مستحيل تجاهله.

4. لماذا هو أفضل؟

اختبرت الورقة هذه الطريقة في 15 مهمة مختلفة، من جعل الروبوت يبدو "حزيناً" إلى منعه من كسر قواعد السلامة (الاختراق/Jailbreaking).

مشكلة "الطلاقة": بعض الأساليب القديمة جعلت الروبوت يبدو كأنه روبوت معطل (يكرر الكلمات، أو يبدو غير منطقي) عندما حاولوا إجباره على اتباع القواعد. يحافظ INSTABOOST على جعل الروبوت يبدو طبيعياً وفصيحاً.
مشكلة "الصلة بالموضوع": بعض الأساليب جعلت الروبوت يتبع القواعد بصرامة شديدة لدرجة أنه توقف عن الإجابة على السؤال الفعلي (على سبيل المثال، إذا سألته "كيف أخبز كعكة؟" بينما تطلب منه أن يكون "حزيناً"، فقد يقول فقط "أنا حزين" ويتجاهل الكعكة). يحافظ INSTABOOST على إجابة الروبوت على سؤال الكعكة بينما يبدو حزيناً.

الخلا الخلاصة

INSTABOOST هو "مقبض تحكم في مستوى الصوت" بسيط وفعال لانتباه الروبوت. إنه يرفع مستوى صوت التعليمات بما يكفي ليسمعك الروبوت، ولكن ليس لدرجة تجعله يتوقف عن الاستماع إلى سؤال المستخدم الفعلي. إنه يجعل الذكاء الاصطناعي أكثر أماناً، وأكثر موثوقية، وأفضل في اتباع الأوامر دون الحاجة إلى تغيير شامل لدماغه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "اتباع التعليمات عبر تعزيز الانتباه الممنهج للنماذج اللغوية الكبيرة" (Instruction Following by Principled Boosting Attention of Large Language Models).

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كمساعدين للأغراض العامة، حيث يعد الالتزام بتعليمات النظام (مثل قيود السلامة، تعريفات الشخصية، حدود الرفض) أمراً بالغ الأهمية. ومع ذلك، في الممارسة العملية، غالباً ما تفشل النماذج في اتباع هذه التعليمات، لا سيية عند:

تضارب السياق (Context Conflict): عندما تتعارض السياقات المقدمة من المستخدم أو المطالبات الطويلة مع تعليمات النظام.
الهشاشة (Brittleness): تلبي النماذج التعليمات بطريقة تؤدي إلى تدهور دقة المهمة أو تجاهل السياق الضروري.
القيود الحالية: التدخلات الحالية أثناء الاستنتاج لها مقايضات:
- التوجيه الكامن (Latent Steering): تعديل الحالات الخفية (hidden states) غالباً ما يؤدي إلى "انهيار الطلاقة" (مخرجات مكررة وغير منطقية) وأداء غير متسق عبر المهام.
- توجيه الانتباه المسبق (PASTA, SpotLight): رغم فعاليتها، إلا أن هذه الطرق إما تتطلب اختيار رؤوس (heads) مكلف حسابياً (PASTA) أو تفرض أهداف انتباه صارمة تعتمد على الحالة، مما قد يقمع السياق المفيد ومرتبط بالمهمة، مما يؤدي إلى "الإفراط في التركيز على التعليمات" (instruction over-focus) وتدهور الصلة بالموضوع (relevance degradation) (SpotLight).

التحدي الجوهري هو تعزيز اتباع التعليمات دون إعادة تدريب النموذج، مع الحفاظ على قدرة النموذج على استخدام السياق ذي الصلة بالمهمة والحفاظ على جودة التوليد.

2. المنهجية: INSTABOOST

يقترح المؤلفون INSTABOOST (تعزيز انتباه التعليمات)، وهو تدخل بسيط وفعال أثناء عملية الاستنتاج.

الأساس النظري

يعتمد هذا العمل على نظرية موحدة قائمة على تجريد Logicbreaks، والتي تصوّر اتباع التعليمات كـ منافسة بين القواعد:

قواعد التعليمات ( $\Gamma$ ): مشتقة من مطالبات النظام والتعليمات الصريحة.
القواعد المنافسة ( $\Delta$ ): مشتقة من استعلامات المستخدم والسياق الإضافي.
الآلية: يعمل الانتباه كوسيط لهذه المنافسة. تثبت الورقة أن إضافة انحياز جمعي ثابت ( $B$ ) إلى لوجيتات (logits) الانتباه قبل طبقة "softmax" يزيد من تأثير قواعد التعليمات أسياً مقارنة بالقواعد المنافسة.
المقايضة: بينما يساعد التعزيز على اتباع التعليمات، فإن التعزيز المفرط يمكن أن يقمع القواعد المنافسة "النافعة" (السياق الضروري)، مما يسبب فقدان الصلة بالموضوع.

خوارزمية INSTABOOST

على عكس الطرق السابقة التي تختار رؤوساً محددة أو تستخدم انحيازات ديناميكية تعتمد على الحالة، يطبق INSTABOOST انحيازاً جمعياً ثابتاً ومنتظماً عبر جميع الطبقات وجميع رؤوس الانتباه.

العملية: بالنسبة لتسلسل مدخل $x' = p \oplus x$ (حيث $p$ هو بادئة التعليمات بطول $K$ و $x$ هو الاستعلام)، تقوم الطريقة بتعديل لوجيتات الانتباه قبل الـ softmax وهي $S_{ij}$ :
$T_B(S_{ij}) = \begin{cases} S_{ij} + B & \text{إذا كان } 0 \le j < K \quad (\text{tokens التعليمات}) \\ S_{ij} & \text{إذا كان } K \le j < N \quad (\text{tokens السياق}) \end{cases}$
التنفيذ: هذا يعادل ضرب بسط الـ softmax لمفاتيح التعليمات في عامل $M = e^B$ .
الميزة الرئيسية: لا يتطلب أي توصيف مسبق (offline profiling) لاختيار الرؤوس (على عكس PASTA) ولا يفرض كتلة انتباه دنيا صارمة قد تسحق السياق (على عكس SpotLight). إنه يعمل كـ "مقبض" واحد قابل للتفسير ( $B$ أو $M$ ) للتنقل في مقايضة المتانة مقابل الصلة.

3. المساهمات الرئيسية

نظرية موحدة: صياغة اتباع التعليمات كـ منافسة بين قواعد التعليمات والقواعد المشتقة من السياق، بوساطة الانتباه. أثبت المؤلفون أن تعزيز الانتباه الجمعي يميل هذه المنافسة بشكل منهجي لصالح التعليمات، مما يجعل من الصعب جداً على السياق تجاوزها.
التوصيف النظري لأنماط الفشل: تتنبأ النظرية بنظامين:
- المتانة (Robustness): يزيد التعزيز من "ميزانية التجاوز" (subversion budget) المطلوبة للقواعد المنافسة لتجاوز التعليمات.
- القمع النافع (Benign Suppression): يمكن للتعزيز المفرط أن يقلل من وزن السياق الضروري، مما يؤدي إلى فقدان الصلة بالموضوع.
اقتراح INSTABOOST: تدخل فعال حاسوبياً ومستقل عن الرؤوس، يطبق انحيازاً ثابتاً على مفاتيح التعليمات.
تقييم شامل: تم التقييم عبر 15 مهمة متنوعة (العاطفة، شخصية الذكاء الاصطناعي، كسر الحماية/Jailbreaking، السمية، الصدق، الأسئلة والأجوبة) على نماذج Meta-Llama-3-8B-Instruct و Gemma-7b-it، مع المقارنة بالنماذج المعتمدة على المطالبات (prompting)، والتوجيه الكامن، وطرق الانتباه السابقة.

4. النتائج التجريبية

أظهر التقييم أن INSTABOOST يحقق مقايضة فائقة في جودة التوجيه.

الأداء مقابل النماذج المرجعية (Baselines):
- يضاهي INSTABOOST أو يتفوق على جميع النماذج المرجعية (بما في ذلك التوجيه الكامن و PASTA/SpotLight) عبر 15 مهمة.
- كسر الحماية (Jailbreaking): INSTABOOT هو الطريقة الوحيدة التي حسنت الأداء بشكل كبير في مهام كسر الحماية (مثل AdvBench و JailbreakBench) مع الحفاظ على طلاقة عالية، بينما تفشل الطرق الكامنة أو تدهور الجودة.
- الاتساق: على عكس طرق التوجيه الكامن، التي تظهر تبايناً عالياً في الأداء عبر أنواع المهام المختلفة (جيدة في العاطفة، ضعيفة في كسر الحماية)، يتميز INSTABOOST بفعالية متسقة.
الآثار الجانبية (الطلاقة والصلة):
- الطلاقة: تعاني طرق التوجيه الكامن من انهيار شديد في الطلاقة مع زيادة قوة التوجيه. يحافظ INSTABOOST على طلاقة عالية (درجات $\approx 1.5-2.0$ ) حتى عند مستويات قوة عالية.
- الصلة (Relevance): يعاني SpotLight من "الإفراط في التركيز على التعليمات"، حيث يتجاهل النموذج استعلام المستخدم للوفاء بالتعليمات (تنخفض الصلة إلى 0). يحافظ INSTABOOST على الصلة، حيث يجيب بنجاح على استعلامات المستخدم مع الالتزام بالقيود.
دراسات الاستئصال (Ablation Studies): جعل زيادة الانحياز $B$ من الصعب استحثاث أنماط الفشل (مثل نسيان الحقائق أو قمع القواعد) في بيئة "المستنتج المتعلم" (learned reasoner) المحكومة، مما يؤكد صحة التنبؤات النظرية.

5. الأهمية والخاتمة

يوفر هذا العمل فهماً ميكانيكياً مبدئياً لكيفية تأثير التلاعب بالانتباه على اتباع التعليمات. من خلال صياغة المشكلة كمنافسة بين القواعد، أثبت المؤلفون أن الانحياز الجمعي الموحد والبسيط كافٍ لتحقيق التزام قوي بالتعليمات دون العبء الحسابي لاختيار الرؤوس أو تدهور الجودة الناتج عن التوجيه الكامن.

النقاط المستخلصة:

البساطة: يعتبر INSTABOOST تدخلاً "جاهز للاستخدام" (drop-in) يتطلب فقط معلمة فائقة واحدة ( $B$ أو $M$ ) تُطبق عالمياً.
السلامة والموثوقية: يوفر طريقة موثوقة لفرض قيود السلامة وتعليمات النظام دون المساس بقدرة النموذج على الإجابة على الأسئلة أو توليد نصوص بليغة.
الاتجاه المستقبلي: تشير الورقة إلى أن توجيه الانتباه هو واجهة أكثر فعالية للتحكم في سلوك النماذج اللغوية الكبيرة من التلاعب بالحالات الخفية، مما يفتح مساراً واعداً نحو أنظمة ذكاء اصطناعي أكثر أماناً وقابلية للتحكم.

من المقرر جعل كود INSTABOOST مفتوح المصدر، لتسهيل اعتماده الفوري في خطوط معالجة الاستنتاج.