💬 NLP

Segment-Level Coherence for Robust Harmful Intent Probing in LLMs

تقدم هذه الورقة طريقة استقصاء تماسك على مستوى القطعة (segment-level) تعمل على تجميع رموز أدلة متعددة للكشف بقوة عن النوايا الضارة المتعلقة بالمواد الكيميائية والبيولوجية والإشعاعية والنووية (CBRN) في النماذج اللغوية الكبيرة، مما يقلل بشكل كبير من الإيجابيات الكاذبة ويحافظ على دقة كشف عالية حتى ضد عمليات كسر الحماية التكيفية والتمويه على مستوى الحروف.

المؤلفون الأصليون: Xuanli He, Bilgehan Sel, Faizan Ali, Jenny Bao, Hoagy Cunningham, Jerry Wei

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuanli He, Bilgehan Sel, Faizan Ali, Jenny Bao, Hoagy Cunningham, Jerry Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: "حارس الأمن المفرط في الحماس"

تخيل أن نموذج لغوي كبير (LLM) هو مساعد مفيد للغاية، ولكنه ساذج نوعاً ما. هدفك هو منع هذا المساعد من كتابة تعليمات حول كيفية صنع سلاح بيولوجي أو قنبلة كيميائية (تهديدات CBRN).

للقيام بذلك، تقوم بتعيين حارس أمن (المجس/البروب) لمراقبة أفكار المساعد في الوقت الفعلي. إذا رأى الحارس أي شيء خطير، فإنه يضغط على زر التوقف الطارئ.

المشكلة:
كان حراس الأمن القدامى يسهل خداعهم للغاية. كانوا يعملون بنظام "الكلمة المفتاحية المحفزة".

السيناريو: طبيب يكتب كتاباً طبياً عن فيروس إيبولا للمساعدة في علاج المرضى.
رد فعل الحارس القديم: يرى كلمة "إيبولا"، فيشعر بزيادة هائلة في الأدرينالين ويضغط فوراً على زر التوقف الطارئ.
النتيجة: يتم حظر عمل الطبيب المفيد. هذه هي النتيجة الإيجابية الخاطئة (False Positive). الحارس كان مركزاً جداً على الكلمة لدرجة أنه أغفل القصد.

الحل: "المحقق الذي يقرأ القصة كاملة"

قام مؤلفو هذه الورقة ببناء نوع جديد من حراس الأمن يسمى SC-TopK. بدلاً من الصراخ "خطر!" عند رؤية أول كلمة مخيفة، يستخدم هذا الحارس الجديد استراتيجية تسمى التماسك على مستوى الجزء (Segment-Level Coherence).

فكر في الأمر كالتالي:

الحارس القديم (الباحث عن الكلمات المفتاحية): "أرى كلمة 'قنبلة'. توقف!" (حتى لو كانت الجملة: "حبكة الفيلم تتضمن قنبلة مزيفة").
الحارس الجديد (المدرك للقصد): "أرى كلمة 'قنبلة'. حسناً، لنكمل القراءة. هل الجملة التالية عن 'سيناريوهات الأفلام'؟ هل الجملة التالية عن 'المؤثرات الخاصة'؟ هل الفقرة بأكملها عن الترفيه؟ آه، لا يوجد خطر هنا. لنستمر في المراقبة".

كيف يعمل الحارس الجديد (الخدعتان)

تقدم الورقة تقنيتين محددتين لجعل الحارس أكثر ذكاءً:

1. قاعدة "Top-K" (نظام هيئة المحلفين)

بدلاً من ترك كلمة واحدة مخيفة تقرر مصير المحادثة، يتطلب الحارس الجديد هيئة محلفين من الأدلة.

تشبيه: تخيل قاعة محكمة. في النظام القديم، إذا صرخ شاهد واحد "مذنب!"، فإن القاضي يدينه فوراً.
النظام الجديد: يقول القاضي (الذكاء الاصطناعي): "أحتاج إلى K من الأدلة المختلفة على الأقل (مثل 3 أو 4 أجزاء متميزة من المحادثة) لتتفق جميعها على أن هذا أمر خطير قبل أن أدينه".
لماذا يساعد ذلك: إذا كان المستخدم يطرح سؤالاً بيولوجياً فقط، فقد يستخدم كلمة "سم" مرة واحدة. لكن هذا مجرد قطعة واحدة من الأدلة. بقية المحادثة تدور حول "درس العلوم". هيئة المحلفين لا تدين المستخدم لأن الأدلة ليست متسقة.

2. SegVar (فحص "النعومة")

أحياناً، قد يحاول شخص سيء الإخفاء عبر توزيع كلمات خطيرة متباعدة في نص طويل وممل.

تشبيه: تخيل مجرماً يحاول تهريب سلاح إلى ملعب عبر إخفائه في ثلاث حقائب مختلفة، متباعدة عن بعضها البعض.
الحارس القديم: قد يفتقد النمط لأن الحقائب بعيدة جداً عن بعضها.
الحارس الجديد (SegVar): يتحقق من الاتساق. يسأل: "هل مستوى الخطر سلس ومستقر عبر هذا القسم بأكمله، أم أنه مجرد طفرة عشوائية هنا وهناك؟"
الخدعة: إذا كان النص حميداً (غير ضار)، فإن الحارس يجبر "درجة الخطر" على أن تكون سلسة ومنخفضة. أما إذا كان النص ضاراً حقاً، فيجب أن تكون درجة الخطر عالية ومتسقة. هذا يمنع الحارس من الذعر بسبب كلمة مخيفة واحدة معزولة.

النتائج: لماذا يهم هذا؟

اختبرت الورقة هذا الحارس الجديد مقابل الحراس القدامى باستخدام ثلاثة سيناريوهات رئيسية:

اختبار "الإنذار الكاذب": قاموا بتغذية الحارس بمحادثات غير ضارة مليئة بكلمات مخيفة (مثل فصل دراسي لبيولوجيا يناقش الفيروسات).
- النتيجة: ارتكب الحارس الجديد أخطاء أقل بنسبة 35% من الحراس القدامى. لقد توقف عن حظر العلماء المفيدين.
اختبار "التمويه": حاولوا خداع الحارس عبر كتابة التعليمات الخطيرة بشفرة (مثل شفرة سرية أو لغة أخرى).
- النتيجة: حتى عندما كان النص مشوشاً، استطاع الحارس الجديد اكتشاف القصد بدقة 98.85%. إنه يشبه الحارس الذي يمكنه معرفة أنك تحمل مسدساً حتى لو كنت ترتدي تنكراً، لأنه يرى وقفتك (المنطق الداخلي)، وليس فقط ملابسك (الكلمات السطحية).
اختبار "الرؤية الداخلية": نظروا إلى أين في دماغ الذكاء الاصطناعي كان الحارس ينظر.
- النتيجة: وجدوا أن النظر إلى "الانتباه" (Attention) الخاص بالذكاء الاصطناعي (ما يركز عليه) أو "MLP" (كيف يعالج المعلومات) كان أفضل بكثير من النظر إلى "المجرى المتبقي" (Residual Stream) (وهو مخزن ذاكرة عام). إنه يشبه فحص عيني ويدي الشخص لترى ما إذا كان متوتراً، بدلاً من مجرد فحص نبضات قلبه.

الخلاصة

تحل هذه الورقة مشكلة كبيرة في سلامة الذكاء الاصطناعي: كيف نوقف الأشرار دون إيقاف الأخيار؟

من خلال الانتقال من "رصد الكلمات المفتاحية" إلى "تجميع القصد"، يعمل الأسلوب الجديد كأقل حارس يطلق النار بعشوائية وأكثر كـمحقق متمرس. إنه ينتظر نمطاً من السلوك قبل إطلاق الإنذار، مما يضمن رصد التهديدات الحقيقية بينما يستمر الخبراء غير الضارين في القيام بعملهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التماسك على مستوى القطعة لتعقب النوايا الضارة القوي في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تهديدات متزايدة من عمليات كسر الحماية التكيفية (adaptive jailbreaking)، لا سيما في المجالات عالية المخاطر مثل السلامة الكيميائية والبيولوجية والإشعاعية والنووية (CBRN). وتتمثل إحدى استراتيجيات التخفيف الشائعة في المجسات التدفقية (streaming probes) التي تراقب تنشيطات النموذج الداخلية في الوقت الفعلي للكشف عن النوايا الضارة قبل حدوث عملية التوليد.

ومع ذلك، تعاني المجسات التدفقية الحالية من نمط فشل حرج وهو: التعلم بالاختزال (shortcut learning).

المشكلة: تعتمد الطرق الحالية (مثل تجميع Softmax أو Hardmax) بشكل كبير على الرموز (tokens) المنعزلة ذات الدرجات العالية. وفي مجالات CBRN، غالبًا ما تحتوي المناقشات الخبيرة غير الضارة على نفس المصطلحات الحساسة (مثل "Ebola" أو "toxin" أو "synthesis") التي تحتوي عليها الطلبات الخبيثة.
النتيجة: تؤدي المجسات إلى حدوث إنذارات خاطئة (false positives) عند ظهور هذه الكلمات المفتاحية في سياقات آمنة، لأنها تعطي الأولوية للقفزات المعجمية اللحظية على حساب النية الدلالية الأوسع للمحادثة.
الفجوة: لا تفرض أهداف التدريب الحالية التماسك على مستوى القطعة (segment-level coherence) بشكل كافٍ، مما يؤدي إلى كواشف شديدة الحساسية للإشارات السطحية بدلاً من الأدلة الموزعة على النية الضارة.

2. المنهجية

يقترح المؤلفون SC-TopK، وهو إطار عمل جديد للمجسات التدفقية مصمم لفرض تراكم الأدلة الموزعة. يقدم هذا الأسلوب تعديلين رئيسيين على إطار عمل تجميع النافذة المنزلقة القياسي:

أ. تجميع النافذة الداعمة من نوع Top-K (Top-K Supportive-Window Pooling)

بدلاً من وزن جميع الرموز أو النوافذ بناءً على الثقة (مما يسمح لرمز واحد عالي الدرجة بالهيمنة)، يتطلب هذا الأسلوب وجود نوافذ متعددة تدعم التنبؤ بشكل مشترك.

الآلية: يقوم النموذج بتجميع قيم الـ (logits) لأعلى $K$ من النوافذ درجاتً ويقوم بمتوسطها.
الأثر: لا يتم إجراء تنبؤ ضار إلا إذا أظهرت مقاطع متعددة ومتميزة من المحادثة مستويات مرتفعة من الخطورة. وهذا يقلل من الحساسية تجاه قفزات الكلمات المفتاحية المنعزلة ويجبر المجس على تعلم أنماط مستوى النية.

ب. تنظيم تباين القطعة (Segment Variance Regularization - SegVar)

لمنع النوافذ المختارة (Top-K) من أن تكون مشتتة على نطاق واسع (مما قد يؤدي لاحقاً إلى تنبؤات مجزأة وغير مستقرة)، قدم المؤلفون حداً تنظيمياً.

الآلية: يقوم SegVar بمعاقبة تباين قيم الـ (logits) عبر نوافذ الأدلة المختارة. وهو يشجع المجس على إيجاد مساحات من الأدلة متصلة ومتسقة محلياً بدلاً من قفزات متقطعة.
التطبيق الانتقائي: من المهم ملاحظة أن SegVar يُطبق فقط على الأمثلة الحميدة (negative examples).
- السبب: يجب ألا تثير المحادثات الحميدة التي تحتوي على مصطلحات حساسة تبايناً عالياً؛ بل يجب أن تظل منخفضة ومتسقة.
- الأمثلة الضارة: قد تكون النوايا الخبيثة موزعة بشكل مشروع عبر مناطق منفصلة (مثل طلب أولي يليه شرح وتفصيل). لذا فإن تطبيق تنظيم التباين هنا من شأنه أن يقمع الإشارات الصحيحة، ولذلك يتم استبعاده من العينات الإيجابية.

ج. البنية والميزات

المدخلات: يقوم الأسلوب بفحص التنشيطات الداخلية (Attention أو MLP أو Residual stream) عند كل موضع رمز (token).
التجميع: يستخدم متوسط النافذة المنزلقة (SWiM) بحجم $M=16$ لتنعيم ضوضاء الرموز قبل تطبيق أهداف Top-K و SegVar.
الاستدلال: يستخدم المتوسط المتحرك الأسي (EMA) لتجميع الأدلة في بيئة تدفقية.

3. المساهمات الرئيسية

دالة هدف مبتكرة: تقديم SC-TopK، الذي يجمع بين تجميع النوافذ الداعمة من نوع Top-K وتنظيم تباين القطعة (SegVar) للتحول من مطابقة الكلمات المفتاحية إلى تجميع أدلة مستوى النية.
اكتشاف الميزات: تحليل منهجي كشف أن تنشيطات Attention و MLP تتفوق باستمرار على الـ Residual Stream القياسي في فحص السلامة، مع تفوق الـ MLPs بشكل خاص في المجالات الكيميائية.
المتانة ضد التمويه: إثبات أن المجسات المدربة على النماذج الأساسية يمكن تطبيقها بأسلوب "التوصيل والتشغيل" (plug-and-play) على النماذج التي تم ضبطها بدقة باستخدام شيفرات على مستوى الحرف (مثل تحويل ASCII أو مربعات Polybius). بمجرد أن يتعلم النموذج فك تشفير الشيفرة، يكتشف المجس النية الضارة الكامنة دون الحاجة لإعادة التدريب.
الكفاءة: يستخدم الأسلوب طبقة خطية واحدة (حوالي 262 ألف معلمة)، مما يوفر انخفاضاً هائلاً في العبء الحسابي مقارنة بنماذج التصنيف الأساسية (حوالي 90 مليون معلمة) مع مضاهاة أدائها أو تجاوزها.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج Llama-3.1 و Qwen3 و Gemma2 عبر مجالات Bio و Chemical والمجالات العامة عالية المخاطر.

مكاسب الأداء:
- عند معدل خطأ إيجابي (FPR) ثابت قدره 1%، حسّن SC-TopK معدل الإيجاب الحقيقي (TPR) بنسبة 35.55% مقارنة بنماذج SWiM القوية.
- حقق زيادة بنسبة 16.80% في مقياس Log-space AUROC، وهو مقياس حيوي للنشر في العالم الحقيقي حيث تكون الإيجابيات الخاطئة المنخفضة أمراً بالغ الأهمية.
- حتى عند البدء من قاعدة تقترب من التشبع (AUROC = 97.40%)، نجح الأسلوب في تقليل هامش الخطأ المتبقي بنسبة 31.2%.
خصوصية المجالات:
- المجال البيولوجي (Bio-Domain): قلل SC-TopK بشكل كبير من الإيجابيات الخاطئة في المطالبات الحميدة التي تحتوي على مصطلحات بيولوجية (مثل "Neo-Ebola" في سياق خيال علمي).
- المجال الكيميائي (Chemical Domain): تفوق على النماذج المرجعية بنسبة تتراوح بين 4.0% إلى 7.9% في مقياس log-space AUROC عبر بنيات النماذج المختلفة.
المتانة ضد التمويه:
- عند تطبيقه على نماذج تم ضبطها بدقة باستخدام خمس شيفرات مختلفة على مستوى الحرف، حقق SC-TopK درجة AUROC بلغت 98.85% دون إعادة تدريب المجس، مما يثبت أن إشارات السلامة تستمر عبر التحولات السطحية.
دراسات الاستئصال (Ablation Studies):
- أدى حذف SegVar أو استخدام تجميع Softmax إلى انخفاض كبير في الأداء، مما يؤكد ضرورة وجود كل من الأدلة الموزعة وتنظيم التباين.
- تطبيق SegVar على جميع الحالات (بما في ذلك الحالات الضارة) أدى إلى تدهور الأداء، مما أكد صحة استراتيجية تطبيقه فقط على البيانات الحميدة.

5. الأهمية

تعالج هذه الورقة قصوراً جوهرياً في مراقبة سلامة النماذج اللغوية الكبيرة الحالية: الاعتماد على الرموز المنعزلة. ومن خلال فرض التماسك على مستوى القطعة، يوفر SC-TopK حلاً أكثر متانة وجاهزاً للنشر لمراقبة السلامة في الوقت الفعلي.

الأثر العملي: يتيح طبقات سلامة لا تعيق النقاشات الخبيرة المشروعة في المجالات عالية المخاطر (CBRN)، وهو ما يمثل عقبة كبيرة أمام الأنظمة الحالية.
القابلية للتوسع: الطبيعة الخفيفة للمجس تجعل من الممكن نشره على نماذج كبيرة دون التأثير على زمن الاستجابة (latency) أو التكلفة مقارنة بنماذج المصنفات المساعدة.
الاستعداد للمستقبل: القدرة على اكتشاف النوايا الضارة حتى في الهجمات المموهة القائمة على الشيفرات تشير إلى أن التمثيلات الداخلية للسلامة أعمق من النصوص السطحية، مما يوفر اتجاهاً واعداً للدفاع ضد عمليات كسر الحماية التكيفية.

في الختال، يثبت المؤلفون أن تحويل الانحياز الاستقرائي (inductive bias) من "الحد الأقصى للجمع" (البحث عن أخطر كلمة) إلى "الأدلة الموزعة" (البحث عن أنماط متسقة من النية) هو أمر ضروري للجيل القادم من أنظمة سلامة النماذج اللغوية الكبيرة القوية.