💬 NLP

Prism- $\Delta$ : Differential Subspace Steering for Prompt Highlighting in Large Language Models

تُعدُّ $\Delta$ -PRISM طريقةً مبتكرةً لتسليط الضوء على المطالبات، حيث تعمل على توجيه النماذج اللغوية الكبيرة من خلال تفكيك مصفوفات التغاير المشترك لعزل الإشارات التمييزية وإزالة الأنماط المشتركة، محققةً أداءً فائقاً عبر معايير متعددة ومهام السياق الطويل مع الحفاظ على تكلفة حوسبية منخفضة.

المؤلفون الأصليون: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى صديق ذكي جداً ومطلع (نموذج لغوي كبير، أو LLM). أنت تعطيه قصة طويلة مع جملة محددة باللون الأصفر، وتطلب منه كتابة تكملة بناءً فقط على ذلك الجزء المظلل.

المشكلة هي أن صديقك معتاد جداً على معرفته الداخلية وسياق القصة العام، لذا فإنه غالباً ما يتجاهل التظليل الأصفر. قد يقول: "أوه، أنا أعرف هذه الشخصية! عادة ما تفعل كذا"، رغم أن النص المظلل يقول: "في الواقع، اليوم فعلت كذا".

تقدم هذه الورقة البحثية أداة جديدة تسمى PRISM-∆ (تُنطق "بريزم دلتا") لإصلاح ذلك. إنها تشبه إعطاء صديقك نظارات خاصة تجبره على الانتباه للنص الأصفر دون أن يفقد تدفقه الطبيعي.

إليك كيف تعمل، مقسمة عبر تشبيهات بسيطة:

1. المشكلة: "التوجيه" مقابل "المحتوى"

في الذكاء الاصطناعي، عندما يقرر النموذج ما يجب التركيز عليه، فإنه يستخدم قناتين رئيسيتتين:

قناة التوجيه (أين - The Where): هي بمثابة نظام تحديد المواقع (GPS). هي تقرر أين ينظر في النص. حاولت الطرق السابقة حل المشكلة عن طريق تعديل الـ GPS فقط ليشير إلى النص الأصفر.
قناة المحتوى (ماذا - The What): هي بمثابة الشحنة الفعلية التي يتم نقلها. حتى لو أشار الـ GPS إلى النص الأصفر، فقد يظل النموذج حاملاً لـ "أمتعة قديمة" (معلومات غير ذات صلة) من معرفته العامة.

التشبيه: تخيل شاحنة توصيل. الطرق السابقة كانت تخبر السائق: "اذهب إلى المستودع في نهاية الشارع!" (التوجيه). لكن الشاحنة كانت لا تزال محملة بصناديق قديمة من المحطة السابقة (المحتوى). وصل السائق إلى المكان الصحيح ولكنه سلم الأشياء الخاطئة.

2. الحل: PRISM-∆

تقوم PRISM-∆ بإصلاح كل من الـ GPS والشحنة معاً. وهي تستخدم حيلة رياضية ذكية تسمى التحكم في الفضاء الجزئي التفاضلي (Differential Subspace Steering).

الخطوة أ: المحقق "الفرق"

بدلاً من مجرد النظر إلى النص "الجيد" (التظليل الأصفر) أو النص "السيئ" (بقية القصة) بشكل منفصل، تنظر PRISM-∆ إلى الفرق بينهما.

التشبيه: تخيل أنك تحاول العثور على توابل معينة في المطبخ. بدلاً من شم برطمان التوابل فقط (الإيجابي) أو المطبخ بأكمله (السلبي)، أنت تشم الفرق بينهما. هذا يعزل الرائحة الفريدة لتلك التوابل المحددة، متجاهلاً رائحة الدقيق والقهوة والصابون المشتركة في كليهما.
السحر: هذه الحيلة الرياضية (المسماة Differential SVD) تجرد "الضجيج المشترك" (الأنماط الشائعة) وتترك فقط الإشارة النقية التي تجعل النص المظلل مميزاً.

الخطوة ب: "مفتاح خافت" لرؤوس الانتباه

يحتوي النموذج على مئات الخلايا الدماغية الصغيرة (تسمى رؤوس الانتباه - Attention Heads) التي تعمل بالتوازي. بعضها بارع جداً في رصد النص الأصفر؛ والبعض الآخر مشوش أو مليء بالضجيج.

الطريقة القديمة: كانت الأدوات السابقة تستخدم مفتاح تشغيل/إيقاف: "شغل هذه الخلية الدماغية أو أطفئها". إذا كانت مشوشة جداً، كانوا يطفئونها تماماً.
طريقة PRISM-∆: تستخدم هذه الأداة مفتاح خافت (Dimmer Switch). فهي تعطي كل خلية دماغية وزناً "ناعماً".
- الخلايا المفيدة جداً؟ ارفع درجة سطوعها.
- الخلايا المشوشة؟ اخفض درجة سطوعها، لكن لا تطفئها تماماً.
- الخلايا الضعيفة ولكن المفيدة؟ أبقِها على توهج منخفض.
لماذا يهم هذا؟ أحياناً تمتلك "الخلية الضعيفة" دليلاً صغيراً يساعد. إطفاؤها تماماً (كما تفعل الطرق القديمة) يرمي بهذا الدليل بعيداً. PRISM-∆ تحتفظ بالأجزاء المفيدة وتخفض مستوى الضجيج.

الخطوة ج: إصلاح "الشحنة" (قناة القيمة - Value Channel)

هذا هو الابتكار الأكبر للورقة البحثية. بينما قامت الأدوات الأخرى بإصلاح الـ GPS فقط (التوجيه)، تقوم PRISM-∆ أيضاً بتنظيف الشحنة (المحتوى).

النتيجة: لا ينظر النموذج إلى المكان الصحيح فحسب، بل يفهم أيضاً معنى النص المظلل بشكل أفضل. هذا يمنع النموذج من أن يبدو آلياً أو يفقد "براعته" الطبيعية (الطلاقة) عندما يحاول اتباع تعليماتك.

3. لماذا هذا أفضل؟

اختبر المؤلفون هذا على خمسة نماذج ذكاء اصطناعي مختلفة وأربع مهام مختلفة (مثل تصحيح أوصاف الوظائف المتحيزة أو تذكر حقائق مخفية في منتصف قصة طويلة).

الدقة: حصلت على الإجابة الصحيحة بشكل أكثر تكراراً من أي طريقة أخرى (بنسبة تصل إلى 10% أفضل في بعض الحالات).
الطبيعية: لم تجعل الذكاء الاصطناعي يبدو غريباً أو متعثراً. في الواقع، بدت أكثر طبيعية من الطرق القديمة لأنها لم تجبر الذكاء الاصطناعي على تجاهل معرفته بالكامل؛ بل قامت بموازنتها بشكل أفضل.
السرعة: تعمل بسرعة تقارب سرعة النموذج الأصلي. فهي لا تتطلب من الذكاء الاصطناعي إعادة قراءة النص عدة مرات أو استخدام كميات هائلة من ذاكرة الكمبيوتر الإضافية.

ملخص

فكر في PRISM-∆ كـ قلم تحديد ذكي للذكاء الاصطناعي.

هي لا تخبر الذكاء الاصطناعي أين ينظر فحسب؛ بل تساعده على فهم ماذا يفكر فيما يراه.
هي تصفي "ضجيج الخلفية المشترك" لتجد الإشارة الفريدة.
هي تتعامل مع كل جزء من دماغ الذكاء الاصطناعي بلطف، حيث تخفض صوت الأجزاء المشوشة بدلاً من إسكاتها تماماً.

النتيجة؟ ذكاء اصطناعي يستمع إليك، ويتذكر تعليماتك المحددة، ومع ذلك لا يزال يبدو كإنسان مفيد ولبق.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "PRISM-∆: التوجيه الفرعي التفاضلي لإبراز المحفزات في النماذج اللغوية الكبيرة."

1. تعريف المشكلة

إبراز المحفز (Prompt Highlighting) هو مهمة توجيه النموذج اللغوي الكبير (LLM) لإعطاء الأولوية لنصوص محددة (رموز/tokens) يحددها المستخدم أثناء عملية التوليد. هذا الأمر بالغ الأهمية في السيناريوهات التي تتضمن معلومات متضاربة (مثل تجاوز الذاكرة البارامترية بحقائق جديدة) أو استرجاع السياق الطويل (مثل ظاهرة "الضياع في المنتصف" - Lost-in-the-Middle).

التحديات الرئيسية المحددة:

الأنماط المشتركة مقابل الأنماط التمييزية: غالبًا ما تستخرج الطرق الحالية اتجاهات التوجيه بناءً على الأنماط الهيكلية المشتركة بين السياقات ذات الصلة وغير ذات الصلة، بدلاً من التركيز على الاختلافات المحددة التي تجعل السياق ذا صلة.
قنوات التوجيه مقابل قنوات المحتوى: يتكون انتباه المحول (Transformer attention) من قناتين:
- التوجيه (المفتاح - Key): يحدد أين ينظر النموذج (أوزان الانتباه).
- المحتوى (القيمة - Value): يحدد ما هي المعلومات التي يتم نقلها.
- الفجوة: تعمل طرق إبراز المحفز الحالية (مثل PASTA و SPA و SEKA) فقط على قناة المفتاح (Key)، مما يترك قدرًا كبيرًا من الإشارات التمييزية غير المستغلة في قناة القيمة (Value).
تدهور السلاسة: غالبًا ما يؤدي التوجيه القوي إلى الإضرار بسلاسة واتساق النص المولد.

2. المنهجية: PRISM-∆

يقترح المؤلفون إطار عمل PRISM-∆ (طريقة التوجيه القائم على الإسقاط والمعلومات المتعلقة بالصلة)، وهو إطار يوجه كلاً من قناتي المفتاح والقيمة باستخدام تعلم الفضاء الفرعي التفاضلي وتوزين الرؤوس التكيفي.

أ. التفكيك ثنائي القنوات

يتم تفكيك مخرجات الانتباه إلى مكاسب التوجيه (المفتاح) ومكاسب المحتوى (القيمة). يثبت المؤلفون تجريبيًا أن تمثيلات القيمة تحمل إشارات تمييزية تضاهي في حجمها المفاتيح، وتصل ذروتها في طبقات مختلفة من الشبكة (المفاتيح في الطبقات الوسطى، والقيم في الطبقات المتأخرة).

ب. التفكيك التبايني للتباين المشترك

بدلاً من تعلم إسقاطات مستقلة للسياقات الإيجابية (ذات الصلة) والسلبية (غير ذات الصلة)، يتعلم PRISM-∆ إسقاطًا تفاضليًا:

الاستخراج التبايني: يتم استخراج التمثيلات ( $H^+$ للمرتبط، $H^-$ لغير المرتبط) تحت ثلاث حالات (محايدة، إيجابية، سلبية).
المصفوفة التفاضلية: تحسب الطريقة مصفوفة التباين المشترك التفاضلي:
$\Omega_\Delta = H^\top (H^+ - H^-) / N = \Omega^+ - \Omega^-$
تحليل القيم المفردة (SVD) والإسقاط: يتم تطبيق تحليل القيم المفردة (SVD) على $\Omega_\Delta$ $Ω_{Δ}$ .
- الضمان النظري: تعمل المتجهات المفردة العليا لـ $\Omega_\Delta$ على تعظيم الطاقة التمييزية بين الحالات مع إزالة الاتجاهات المشتركة تلقائيًا (حيث $\Omega^+ u = \Omega^- u \implies \Omega_\Delta u = 0$ ). وهذا يعزل الإشارات الفريدة حقًا.

ج. التوزين التكيفي للرؤوس (Softplus)

لا تساهم جميع رؤوس الانتباه بالتساوي في عملية الإبراز.

درجة التمييز: يتم حساب درجة $D_{\ell,h}$ لكل رأس بناءً على فرق المعيار (norm) بين التمثيلات الإيجابية والسلبية.
التوزين المستمر: بدلاً من العتبة الصارمة (التي تغلق الرؤوس تمامًا)، يستخدم PRISM-∆ دالة Softplus لتعيين الدرجة إلى وزن مستمر:
$w_{\ell,h} = \text{softplus}(D_{\ell,h} - \delta_{min})$
الفائدة: يسمح هذا للرؤوس "الضعيفة-ولكن-المفيدة" بالمساهمة بقوة مخفضة، مما يكبح الضوضاء مع الحفاظ على الإشارات الدقيقة، مما يؤدي إلى توجيه أكثر قوة.

د. توجيه الاستدلال

في وقت الاستدلال، بالنسبة للرموز المبرزة $j \in S$ ، يتم تعديل كلتا القناتين في آن واحد:
$k'_j = k_j + g_K \cdot w^K_{\ell,h} \cdot P_K \cdot k_j$
$v'_j = v_j + g_V \cdot w^V_{\ell,h} \cdot P_V \cdot v_j$
حيث $g_K$ و $g_V$ هما معاملات الكسب، و $P_K, P_V$ هما مصفوفات الإسقاط المتعلمة.

3. المساهمات الرئيسية

تعلم الفضاء الفرعي التفاضلي: قدم طريقة لتفكيك الفرق بين مصفوفات التباين المشترك الإيجابية والسلبية، مما يعزل بفعالية الاتجاهات التمييزية ويزيل الضوضاء الهيكلية المشتركة.
التوجيه ثنائي القنوات: وسع التوجيه ليشمل قناة القيمة (Value)، مما سمح بالتقاط إشارات المحتوى التي تجاهلتها الطرق المعتمدة على المفتاح فقط، مما يحسن اتساق التوليد ويقلل من تدهور السلاسة.
توزين Softplus التكيفي: استبدل اختيار الرؤوس الثنائي بتوزين Softplus المستمر، مما مكن النموذج من استخدام الرؤوس المعلوماتية الضعيفة دون إدخال ضوضاء.
الكفاءة: تتوافق الطريقة مع FlashAttention، وتضيف عبئًا ضئيلاً جدًا على الذاكرة، وتتطلب تمريرة أمامية واحدة فقط (على عكس طرق تثبيت مستوى اللوجيت).

4. النتائج التجريبية

تم تقييم الطريقة على 4 اختبارات مرجعية (BiasBios، CounterFact، Pronoun Change، Lost-in-the-Middle) عبر 5 نماذج (Qwen3-4B/8B/14B، Gemma3-4B/12B).

الأداء: تطابق PRISM-∆ أو تتفوق على أفضل طريقة موجودة (SEKA) في 19 من أصل 20 حالة.
- المكاسب النسبية: تصل إلى +10.6% في Pronoun Change و +4.8% في استرجاع السياق الطويل.
- BiasBios: حققت دقة هي الأفضل في فئتها (مثلاً 92.38% لنموذج Qwen3-4B مقابل 90.92% لـ SEKA).
السلاسة والاتساق: يقلل PRISM-∆ بشكل كبير من "تكلفة السلاسة" (تدهور الاحتمالية اللوغاريتمية) مقارنة بـ SEKA. نهج القناة المزدوجة (PRISM-∆V) يحافظ على جودة التوليد بشكل أفضل من التوجيه المعتمد على المفتاح فقط.
الكفاءة:
- زمن الاستجابة (Latency): يضيف حوالي 0.30 ثانية فقط من التأخير (1.26 ضعف الأصل)، مقارنة بـ +1.03 ثانية لـ PASTA أو +5.32 ثانية لـ SPA.
- الذاكرة: زيادة ضئيلة جدًا (+0.02 جيجابايت)، ومتوافق تمامًا مع FlashAttention.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة الإسقاط التفاضلي أو توزين Softplus إلى انخفاض في الأداء، مما يؤكد ضرورة كلا المكونين.
- توفر قناة القيمة وحدها زيادة قدرها +3.3%، مما يثبت فائدتها المستقلة.

5. الأهمية والأثر

الرؤية النظرية: تقدم الورقة دليلًا على أن قناتي المفتاح والقيمة لديهما تخصص وظيفي (المفاتيح توجه الانتباه في الطبقات الوسطى؛ والقيم تنقل المحتوى في الطبقات المتأخرة). تجاهل قناة القيمة يؤدي إلى توجيه غير مثالي.
المنفعة العملية: يوفر PRISM-∆ حلاً عالي الأداء ومنخفض التكلفة لإبراز المحفز، مما يجعله قابلاً للتطبيق في التطبيقات التي تعمل بالوقت الفعلي واسترجاع السياق الطويل حيث تفشل النماذج عادةً.
المتانة: تجعل آلية توزين Softplus الطريقة قوية تجاه ضبط المعلمات الفائقة (خاصة العتبة $\delta_{min}$ )، على عكس طرق العتبة الصلبة الحساسة للضوضاء.
الاتجاهات المستقبلية: تشير النتائج إلى أن تدخلات الانتباه المستقبلية يجب أن تأخذ في الاعتبار ديناميكيات القناة المزدوجة واستخراج الإشارة التفاضلية بدلاً من مجرد التحيزات الإضافية البسيطة.

باخت، يمثل PRISM-∆ تقدمًا كبيرًا في توجيه النماذج اللغوية الكبيرة من خلال عزل الإشارات التمييزية رياضيًا عبر قنوات التوجيه والمحتوى، محققًا دقة وسلاسة فائقتين بأقل تكلفة حوسبية.