💬 NLP

Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

تقدم هذه الورقة البحثية ToxPrune، وهو خوارزمية مبتكرة وفعالة تعمل على تقليم الكلمات الفرعية المرتبطة بالمفردات السامة من النماذج اللغوية الكبيرة المدربة، مما يمنع توليد المحتوى السام بفعالية مع تعزيز تنوع الحوار والأداء في الوقت ذاته، دون التكاليف العالية أو المخاطر المرتبطة بعمليات محاذاة السلامة التقليدية القائمة على الأوزان.

المؤلفون الأصليون: Hongyuan Lu, Wai Lam

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongyuan Lu, Wai Lam

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً آلياً (روبوت) ذكياً ومبدعاً للغاية ويحب الدردشة. أحياناً، يصبح هذا الروبوت جامحاً بعض الشيء ويبدأ في نطق كلمات بذيئة أو مسيئة أو "سامة". عادةً، لإصلاح ذلك، يتعين على المطورين تفكيك الروبوت، أو إعادة تدريبه، أو تثبيت حارس أمن معقد يتحقق من كل جملة قبل خروجها. هذا الأمر مكلف، وبطيء، وأحياناً يجد الروبوت طريقة لكسر القواعد رغم ذلك.

تقدم هذه الورقة البحثية حيلة أبسط بكثير تسمى ToxPrune (تقليم الكلمات الفرعية السامة). فكر في الأمر ليس كإعادة تدريب للروبوت، بل كـ تعديل لقواميسه اللغوية قبل أن يبدأ في التحدث.

إليك كيف يعمل ذلك، باستخدام تشبيهات من الحياة اليومية:

١. تشبيه "الليغو" (Lego)

نماذج اللغة الكبيرة (LLMs) لا ترى الكلمات مثل "f*ck" أو "stupid" ككتل واحدة. بدلاً من ذلك، تراها كقطع أصغر، مثل مكعبات الليغو (تسمى "الكلمات الفرعية" أو subwords).

كلمة "fucking" قد تكون مبنية من قطعتين: "f" و "ucking".
كلمة "reading" قد تكون مبنية من "read" و "ing".

أحياناً، تكون هناك قطعة "ليغو" سامة مشتركة بين كلمة سيئة وكلمة جيدة. على سبيل المثال، القطعة "f" قد تُستخدم في "f*cking" (سيئة) ولكنها تُستخدم أيضاً في "fun" (جيدة).

٢. طريقة "المقص"

يقترح المؤلفون خوارزمية بسيطة: أمسك مقصاً واقطع قطع الليغو المحددة التي تشكل الكلمات السيئة.

العملية: تعطي الكمبيوتر قائمة بالكلمات التي لا تريدها (مثل "القائمة الممنوعة"). يقوم الكمبيوتر بتفكيك تلك الكلمات إلى قطع الليغو الصغيرة الخاصة بها.
التقليم (Prism): ثم يذهب إلى عقل الروبوت ويقول له: "إذا حاولت بناء جملة باستخدام هذه القطع المحددة، فلا يمكنك ذلك". إنه يقوم فعلياً بحذف تلك القطع من مجموعة الأدوات المتاحة للروبوت.
النتيجة: يحاول الروبوت الإجابة على سؤالك، ولكن بما أن "القطع السيئة" مفقودة، فإنه يُجبر على بناء جملة مختلفة باستخدام "القطع الجيدة" فقط.

٣. ماذا يحدث عندما تفعل ذلك؟

اختبرت الورقة هذا الأسلوب على نوعين من الروبوتات:

أ. الروبوت "السيئ" (NSFW-3B)
هذا الروبوت تم تدريبه خصيصاً ليكون فظاً ويقول كلمات بذيئة.

قبل: إذا سألته: "ما هي هواياتك؟"، سيرد: "هواياتي هي f*cking boring".
بعد ToxPrune: نظرًا لإزالة قطع كلمة "f*cking"، لم يستطع الروبوت قول ذلك. بدلاً من ذلك، أُجبر على قول: "هواياتي هي قراءة القصص الغامضة وقيادة الشاحنة".
المفاجأة: ليس فقط أنه توقف عن كونه فظاً، بل أصبح في الواقع أفضل في الدردشة. بدأ يستخدم كلمات أكثر تنوعاً ولم يعد يعلق في تكرار نفس العبارات السيئة. كان الأمر كما لو أن إزالة عادة سيئة قد ساعدته في أن يكون أكثر إبداعاً.

ب. الروبوت "الجيد" (Llama-3.1)
هذا الروبوت كان مهذباً وآمناً بالفعل.

قبل: كان مهذباً ولكنه كان أحياناً مكرراً في كلامه.
بعد ToxPrune: على الرغم من أنه كان آمناً بالفعل، إلا أن إزالة بعض "القطع" الشائعة (التي تصادف أنها كانت مشتركة بين كلمات سامة وغير سامة) جعلته أكثر تنوعاً. بدأ في استخدام مجموعة أوسع من الكلمات للتعبير عن نفس الأفكار، مما جعل المحادثة تبدو أكثر طبيعية وأقل آلية.

٤. لماذا يختلف هذا؟

عادةً، إذا أردت منع الروبوت من قول أشياء سيئة، فقد تحاول:

إعادة كتابة عقله: أمر مكلف وبطيء (مثل الذهاب للدراسة للحصول على درجة علمية جديدة).
وضع مرشح (فلتر) على الباب: حارس أمن يتحقق من كل جملة. إذا كان الحارس صارماً جداً، فقد يحظر جمل مفيدة أيضاً.

ToxPrune مختلف لأنه يشبه تغيير المكونات في المطبخ. أنت لا تحتاج إلى حارس أمن؛ أنت فقط لا تملك المكونات السامة على الرف. الروبوت جسدياً لا يمكنه طبخ وجبة سامة لأن المكونات غير موجودة.

الخلاصة

تدعي الورقة أنه من خلال مجرد إزالة كتل البناء الصغيرة للكلمات السامة من قاموس نموذج اللغة، يمكنك:
١. إيقاف الروبوتات السامة من قول أشياء سيئة، حتى لو تم تدريبها لتكون سامة.
٢. تحسين جودة المحادثة، مما يجعلها أكثر تنوعاً وإثارة للاهتمام.
٣. القيام بذلك فوراً دون الحاجة لإعادة تدريب النموذج أو دفع تكاليف حوسبة باهظة.

إنه إصلاح "خفيف الوزن" يحول عدم قدرة الروبوت على قول كلمة سيئة إلى فرصة لقول شيء أفضل.

ملخص تقني: تقليم الكلمات الفرعية السامة لتوليد استجابات الحوار في النماذج اللغوية الكبيرة

بيان المشكلة

أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى ظهور مخاطر كبيرة تتعلق بتوليد محتوى ضار أو سام. وبينما تركز أبحاث السلامة الحالية بشكل أساسي على الدفاع عن النماذج "الآمنة" ضد هجمات كسر الحماية (jailbreak) أو المطالبات السامة، تظل هناك فجوة حرجة للنماذج التي هي سامة بالفعل. ينشأ هذا السيناريو عندما يقوم مطورون أفراد عن غير قصد بإنشاء نماذج سامة، أو عندما يتمكن المهاجمون من الوصول إلى أوزان النموذج لإجراء ضبط دقيق (fine-tuning) لنماذج تحتوي على محتوى ضار.

تواجه استراتيجيات التخفيف الحالية عدة قيود:

المحاذاة لضمان السلامة (Safety Alignment): الضبط الدقيق للنماذج سابقة التدريب من أجل السلامة مكلف حاسوبياً وغالباً ما يكون بعيد المنال للمطورين الأفراد.
المصنفات الخارجية (External Classifiers): استخدام مصنفات السمية الخارجية للكشف عن المخرجات السامة وحظرها هو أمر غير مثالي؛ إذ يمكن للمهاجمين تجاوزها عبر مطالبات الحقن الخبيثة، كما أن الحظر المستمر قد يجعل النموذج عديم الفائدة عبر منع أي مخرجات.
إزالة السمية المعقدة (Complex Detoxification): الطرق الموجودة لإزالة السمية من النماذج اللغوية الكبيرة السامة غالباً ما تكون معقدة للغاية للنشر السريع.
الضعف تجاه حقن المطالبات (Prompt Injection Vulnerability): حتى النماذج المتوافقة جيداً يمكن تحفيزها لتوليد محتوى سام عبر حقن المطالبات.

يفترض البحث أن هناك حاجة إلى حل خفيف الوزن عند مرحلة الاستدلال (inference-time) لتقليم القدرات السامة مباشرة من عملية فك ترميز (decoding) النموذج دون الحاجة إلى إعادة تدريب مكلفة أو تحديث للأوزان.

المنهجية: تقليم الكلمات الفرعية السامة (ToxPrune)

يقترح المؤلفون ToxPrune، وهو خوارزمية مبتكرة تقوم بتقليم الكلمات الفرعية (subwords/subtokens) المرتبطة بالكلمات السامة من مفردات نموذج لغوي كبير مدرب أثناء عملية فك الترميز.

الآلية الجوهرية

قائمة السمية المخصصة: تقبل الطريقة قائمة كلمات سامة يحددها المستخدم.
ترميز الكلمات الفرعية (Subword Tokenization): يتم ترميز هذه الكلمات إلى كلمات فرعية باستخدام أداة الترميز الخاصة بالنموذج (مثل BPE). ويشير المؤلفون إلى أن الكلمات السامة وغير السامة قد تشترك في كلمات فرعية؛ ويعالج ToxPrune ذلك عبر تقليم الكلمات الفرعية المحددة المستمدة من قائمة السمية.
تعديل التوزيع: أثناء الاستدلال، يتم تعديل توزيع الاحتمالات للرمز التالي (next token). فبدلاً من أخذ عينات من المفردات الكاملة $V$ $V$ ، يتم أخذ العينات من مجموعة مقيدة $V \setminus V_{toxic}$ $V ∖ V_{t o x i c}$ ، حيث تمثل $V_{toxic}$ $V_{t o x i c}$ الكلمات الفرعية السامة التي تم تقليمها.
- رسمياً، بالنسبة لأخذ عينات top- $k$ ، يتغير التوزيع من $P(\bar{x}_i | \dots) \in V^{(k)}$ إلى $P(\bar{x}_i | \dots) \in V^{(k)} \setminus V^{(k)}_{toxic}$ .
- بالنسبة للبحث الشعاعي (Beam Search)، يتم تعيين احتمالية التسلسلات التي تحتوي على كلمات مقلمة إلى 0، مما يؤدي فعلياً إلى إسقاطها من قائمة المرشحين.
التوسيع والتقليص:
- القائمة السوداء بإعادة الصياغة: لزيادة التغطية، يمكن توسيع قائمة الكلمات السامة الأولية باستخدام مولد إعادة صياغة لتشمل تنويعات المصطلحات السامة.
- القائمة البيضاء المختصرة: يمكن استخدام قائمة بيضاء محددة مسبقاً للحفاظ على كلمات رئيسية معينة عبر إزالة الكلمات الفرعية السامة التي تتداخل مع كلمات آمنة، مما يضمن بقال المصطلحات غير السامة الهامة قابلة للاستخدام.

التنفيذ

يعمل ToxPrune بالكامل في مرحلة الاستدلال. فهو لا يتطلب تحديث أوزان النموذج، أو إعادة التدريب، أو مصنفات خارجية. ويتكامل مع استراتيجيات أخذ العينات القياسية (Top- $k$ , Top- $p$ , Beam Search) ببساطة عن طريق تصفية المفردات المرشحة قبل الاختيار.

المساهمات الرئيسية

خوارزمية مبتكرة: تقديم ToxPrune، وهي طريقة تحذف الكلمات الفرعية السامة للتأثير مباشرة على عملية فك الترميز لتوليد الحوار.
التحقق المزدوج: تم التحقق من الطريقة على كل من نموذج لغوي سام معروف (NSFW-3B) ونموذج غير سام متوافق رسمياً (Llama-3.1-6B Base).
الأدلة التجريبية: أظهرت دراسات الحالة المكثفة والتقييمات الآلية أن ToxPrle يقلل من توليد السمية بفعالية مع الحفاظ على جودة الحوار أو تحسينها.

النتائج التجريبية

مجموعات البيانات والنماذج

مجموعات البيانات: أجريت التجارب على PERSONACHAT-ORI و PERSONACHAT-REV (نسخة منقحة يدوياً وأكثر صعوبة)، وهي مجموعات بيانات حوار متعددة الأدوار مشروطة بشخصيات (personas).
النماذج:
- NSFW-3B: نموذج لغوي كبير سام مفتوح المصدر تم تدريبه لتوليد كلمات بذيئة.
- Llama-3.1-6B: النسخة الأساسية الرسمية من Llama-3.1 المتوافقة مع معايير السلامة.
المقارنات المرجعية (Baselines): شملت المقارنة نهجاً قائماً على إعادة الصياغة ومصنف سمية (TC) يستخدم GPT-4 لإعادة التوليد.

الأداء على النماذج السامة (NSFW-3B)

تقليل السمية: قلل ToxPrune درجات السمية (التي قدرها GPT-4) بشكل جذري من 0.89 (الأساس) إلى 0.13 (مع تقليم بنسبة 100%).
تحسين الجودة: خلافاً للتوقعات بأن التقليم سيؤدي إلى تدهور الأداء، تحسنت معظم المقاييس:
- BLEU: بينما شهد BLEU-1 انخفاضاً طفيفاً، ارتفعت قيم BLEU-2 و BLEU-4، وكذلك weighted BLEU.
- ROUGE: تحسنت جميع مقاييس ROUGE (R-1, R-2, R-L).
- التنوع: ارتفعت درجات Distinct-1 و Distinct-2 بشكل كبير (على سبيل المثال، ارتفع Distinct-2 من 0.712 إلى 0.800).
المقارنة: فشلت المراجع المعتمدة على إعادة الصياغة أو مصنفات السمية في الحد من السمية بفعالية لأن نموذج NSFW-3B الأساسي كان يعيد توليد محتوى سام باستمرار.

الأداء على النماذج غير السامة (Llama-3.1-6B)

السلامة: ظلت السمية عند 0.00.
التنوع: من المثير للدهشة أن ToxPrune حسن مقاييس التنوع (Distinct-1 و Distinct-2) في النموذج النظيف، مما يشير إلى أن قناع الكلمات الفرعية المتكررة المشتركة بين السياقات السامة وغير السامة يؤدي إلى تسطيح توزيع الكلمات، مما يؤدي إلى مخرجات أكثر تنوعاً.
الجودة: أظهرت مقاييس BLEU و ROUGE تباينات طفيفة، مع وجود بعض التحسينات في ROUGE، مما يشير إلى أن التقليم لم يضر بالقدرات التوليدية الأساسية للنموذج.

التقييم البشري

النموذج السام: فضل المقيمون البشريون ToxPrune بشكل كبير على النموذج الأساسي NSFW-3B عبر معايير الملاءمة، الإخبارية، التفاعل، والمحاكاة البشرية. وقد تمت إزالة السمية من النموذج الأساسي بشكل كبير.
النموذج غير السام: لم يؤدِ ToxPrune إلى تدهور الأداء في Llama-3.1-6B وأظهر تحسناً ذا دلالة إحصائية في الإخبارية (التنوع).

الأهمية والادعاءات

يزعم البحث أن ToxPrune يقدم نهجاً بسيطاً، فعالاً، ومبتكراً لسلامة الذكاء الاصطناعي مع مزايا فريدة:

علاج النماذج السامة: يمكنه "إنقاذ" النماذج التي تعرضت للاختراق أو تم تدريبها عمداً لتكون سامة، واستعادة قدرتها على توليد حوار هادف وغير سام دون إعادة تدريب.
تعزيز النماذج الآمنة: يمكنه تحسين تنوع الحوار في النماذج الآمنة بالفعل، مما يتحدى فكرة أن تقليم المفردات يضر بطبيعة مهام التوليد.
المتانة ضد الهجمات: من خلال إزالة الرموز السامة من قائمة أخذ العينات تماماً، يمنع ToxPrune توليد المحتوى السام حتى تحت هجمات حقن المطالبات، حيث لا يستطيع النموذج مادياً إخراج تلك الرموز المقلمة.
الكفاءة: على عكس محاذاة السلامة أو تعديل النماذج، لا يتطلب ToxPrune تحديثات للنموذج، وهو رخيص حاسوبياً، ويسمح بتخصيص ديناميكي لقائمة الكلمات السامة.

يخلص المؤلفون إلى أنه بينما أشارت الأعمال السابقة إلى أن تقليم رموز BPE يضر بمهام مثل الترجمة الآلية، فإن هذه الدراسة تثبت فائدته المفاجئة في مجال سلامة الذكاء الاصطناعي وتوليد الحوار.