🤖 machine learning

The Safety-Aware Denoiser for Text Diffusion Models

تقدم هذه الورقة البحثية "المزيل للضجيج المدرك للسلامة" (SAD)، وهو إطار عمل خفيف الوزن يعمل أثناء مرحلة الاستدلال لتوجيه نماذج الانتشار النصي نحو مناطق آمنة مثبتة برهانياً خلال عملية إزالة الضجيج، مما يقلل بفعالية من التوليدات غير الآمنة مع الحفاظ على جودة المخرجات دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Amman Yusuf, Zhejun Jiang, Mijung Park

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amman Yusuf, Zhejun Jiang, Mijung Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك نوعاً جديداً من نماذج الذكاء الاصطناعي للكتابة يسمى نموذج انتشار النص (Text Diffusion Model). على عكس نماذج الذكاء الاصطناعي التقليدية التي تبني الجمل كلمة بكلمة (مثل قطار يضع قضبان السكة الحديد)، يبدأ هذا النوع الجديد من الذكاء الاصطناعي بصفحة بيضاء مليئة بالضجيج الساكن (static noise)، ثم يقوم تدريجياً بـ "إزالة الضجيج" منها، ليحول الفوضى إلى قصة واضحة ومتماسكة. الأمر يشبه مشاهدة صورة ضبابية تصبح واضحة ببطء.

ومع ذلك، هناك مشكلة؛ فبسبب اعتماد هذا الذكاء الاصطناعي على عملية تنقية الضجيج، قد "يركز" عن طريق الخطأ على أفكار خطيرة أو ضارة، مما يؤدي إلى إنشاء محتوى سام، أو تسريب بيانات خاصة، أو الوقوع في فخ حيل "الكسر" (jailbreak) (حيث يخدع المستخدم الذكاء الاصطناعي لكسر قواعده).

يقترح مؤلفو هذه الورقة البحثية، عمنان يوسف وزملاؤه، حلاً يسمى المزيل الواعي بالسلامة (Safety-Aware Denoiser - SAD). وإليك كيفية عمله من خلال تشبيهات بسيطة:

1. المشكلة: خطر "الصورة الضبابية"

فكر في عملية توليد الذكاء الاصطناعي كأنها مصور فوتوغرافي يحاول التقاط صورة لمشهد سعيد وآمن. لكن عدسة الكاميرا متسخة، والذكاء الاصطناعي يستمر في التركيز بالخطأ على "منطقة خطر" (مثل صورة لحريق أو جريمة) بدلاً من المشهد السعيد.

أدوات السلامة الموجودة للنماذج القديمة من الذكاء الاصطناعي تشبه فلاتر ما بعد الإنتاج. فهي تنتظر حتى تكتمل الصورة تماماً، ثم تنظر إليها، وإذا كانت سيئة، تقوم برميها والمحاولة مرة أخرى.

العيب: مع ذكاء اصطناعي "انتشاري" (diffusion) مثل هذا، يكون الانتظار حتى النهاية أمراً متأخراً جداً. فقد يكون الذكاء الاصطناعي قد التزم بالفعل بمسار خطير بينما كان لا يزال في مرحلة "التضبيب". إن رمي النتيجة النهائية هو أمر هدِر ولا يمنع الذكاء الاصطناعي من محاولة توليد الشيء السيئ في المقام الأول.

2. الحل: "بوصلة السلامة" (SAD)

ابتكر المؤلفون نظام SAD، الذي يعمل مثل البوصلة التي توجه المصور الفوتوغرافي أثناء التقاط الصورة، وليس بعدها.

كيف يعمل: بينما يقوم الذكاء الاصطناعي بتنقية الضجيج خطوة بخوة، يقوم SAD بالتحقق من تقدمه. لديه قائمة صغيرة من "الأمثلة السيئة" (مثل قائمة بالعبارات السامة أو كلمات المرور المسربة).
الخدعة السحرية: إذا بدأ الذكاء الاصطناعي في الانحراف نحو تلك الأمثلة السيئة، يقوم SAD بدفع الصورة بلطف في الاتجاه المعاكس. هو لا يوقف الذكاء الاصطناعي؛ بل يوجهه فقط بعيداً عن "منطقة الخطر" ونحو "المنطقة الآمنة".
لا حاجة لإعادة التدريب: الجزء الأفضل هو أن SAD لا يتطلب إعادة بناء الذكاء الاصطناعي أو تعليمه دروساً جديدة. إنه إضافة خفيفة تعمل فوق النموذج الحالي، مثل وضع حاجز حماية على طريق دون الحاجة لإعادة رصف الشارع بأكمله.

3. ما الذي اختبروه؟

اختبر الباحثون هذه "البوصلة" في ثلاثة تحديات رئيسية:

المحتوى السام (اختبار "المخاطر"): طلبوا من الذكاء الاصطناعي توليد نص ضار. نجح SAD في توجيه الذكاء الاصطناعي بعيداً عن المخرجات السامة، مما قلل عدد الاستجابات السيئة بنحو 5 إلى 6 نقاط مئوية، دون أن يجعل الذكاء الاصطناعي يبدو آلياً أو غبياً.
الكسر/الاختراق (اختبار "المخادع"): يحاول المخترقون غالباً خداع الذكاء الاصطناعي عبر إخفاء الطلبات السيئة داخل ألغاز معقدة. أثبت SAD قدرة كبيرة على كشف هذه الخدع. وحتى عندما استخدم المخترقون هجمات "أصلية في نموذج الانتشار" مصممة خصيصاً لخداع هذا النوع من الذكاء الاصطناعي، حافظ SAD على بقاء الذكاء الاصطناعي في المسار الآمن.
الحفظ (اختبار "التسريب"): أحياناً يحفظ نماذج الذكاء الاصطناعي بيانات خاصة من تدريبها عن طريق الخطأ (مثل طالب يردد إجابة اختبار حفظها). يعمل SAD كـ "آلية نسيان"، حيث يدفع الذكاء الاصطناعي بعيداً عن تكرار بيانات تدريب محددة، مما يحمي الخصوصية بفعالية دون الحاجة لإعادة تدريب النموذج.

4. النتائج

تزعم الورقة أن SAD هو "ربح في الحالتين":

السلامة: يقلل بشكل كبير من احتمالية قول الذكاء الاصطناعي لشيء ضار.
الجودة: يحافظ على سلاسة الكتابة وتنوعها وجودتها العالية. لا يبدو الذكاء الاصطناعي وكأنه مجبر على أن يكون آمناً؛ بل يتجنب الأشياء السيئة بشكل طبيعي.
السرعة: هو سريع جداً ولا يبطئ الذكاء الاصطناعي كثيراً، مما يجعله عملياً للاستخدام في العالم الحقيقي.

ملخص التشبيه

إذا كانت طرق السلامة التقليدية تشبه حارس الأمن (Bouncer) الذي يطرد الأشخاص من النادي بعد أن يبدأوا في افتعال شجار، فإن SAD يشبه رجل الأمن الذي يوجه الناس بلطف بعيداً عن مواضع المشاكل قبل أن يصلوا إليها حتى. إنه يحافظ على المتعة والأمان في الحفل دون إيقاف الموسيقى أو تغيير المكان.

يخلص المؤلفون إلى أن هذه الطريقة توفر وسيلة قابلة للتوسع وفعالة لجعل نماذج نص الانتشار القوية هذه آمنة للاستخدام، دون التكلفة الباهظة لإعادة تدريبها من الصفر.

ملخص تقني: المُنقّي الواعي بالسلامة لنماذج انتشار النصوص (SAD)

1. بيان المشكلة

برزت نماذج انتشار النصوص (TDMs)، مثل MDLM وLLaDA، كبديل واعد للنماذج اللغوية الكبيرة ذات التوليد الذاتي (Autoregressive)، حيث توفر استدلالاً أسرع ومرونة أكبر من خلال التوليد المتوازي والتحسين التكراري. ومع ذلك، لا تزال الآثار المترتبة على السلامة في هذه النماذج غير مستكشفة بشكل كافٍ. إن آليات السلامة الحالية المصممة للنماذج ذات التوليد الذاتي — مثل التصفية اللاحقة، أو أخذ العينات بالرفض، أو قيود فك التشفيد أثناء الاستدلال — لا تترجم مباشرة إلى بيئة الانتشار (Diffusion). علاوة على ذلك، فإن نماذج انتشار النصوص عرضة لهجمات "كسر الحماية" (Jailbreak) محددة (مثل DIJA وPAD) التي تستغل قدرات إزالة الضجيج المتوازية والسياق ثنائي الاتجاه لتوليد محتوى ضار بسرعة.

الحلول الحالية لسلامة نماذج انتشار النصوص، مثل إعادة تدريب النماذج باستخدام أهداف السلامة أو استخدام الانتشار الشرطي مع تسميات آمنة/غير آمنة، مكلفة حاسوبياً، وغير مرنة، ويصعب توسيع نطاقها مع نمو النماذج. هناك حاجة ماسة لآليات سلامة خفيفة الوزن أثناء الاستدلال يمكن دمجها في عملية الانتشار دون الحاجة إلى إعادة تدريب النموذج أو تكبد أعباء حسابية كبيرة.

2. المنهجية: المُنقّي الواعي بالسلامة (SAD)

يقترح المؤلفون المُنقّي الواعي بالسلامة (SAD)، وهو إطار عمل للتوجيه بالسلامة لا يتطلب تدريباً، يقوم بتعديل عملية إزالة الضجيج التكرارية لنماذج انتشار النصوص لتوجيه العينات المولدة نحو مناطق آمنة ومثبتة في فضاء النص.

المفهوم الجوهري

يقوم SAD بتكييف إطار "المُنقّي الآمن" (Safe Denoiser) (Kim et al., 2025)، الذي تم تطويره في الأصل لانتشار الصور، ليناسب انتشار النصوص المنفصلة. تعتمد الطريقة على الرؤية النظرية التي مفادها أنه يمكن بناء مُنقٍّ آمن عن طريق طرح المكونات "غير الآمنة" من مُنقي البيانات القياسي.

العلاقة الجوهرية محددة كالتالي:
$E_{D_{safe}}[x_0|x_t] = E_D[x_0|x_t] + \beta^*(x_t) \left( E_D[x_0|x_t] - E_{D_{unsafe}}[x_0|x_t] \right)$
حيث أن:

$E_D[x_0|x_t]$ هو مُنقي البيانات القياسي (نموذج TDM المدرب).
$E_{D_{unsafe}}[x_0|x_t]$ هو المُنقّي غير الآمن، والذي يمثل توزيع الرموز (Tokens) النظيفة المتوقع ضمن مجموعة من التسلسلات المرجعية المعروفة بأنها غير آمنة ( $D_{unsafe}$ ).
$\beta^*(x_t)$ هو وزن تكيفي يتغير بناءً على احتمالية أن الحالة الضوضائية الحالية $x_t$ ناتجة عن التوزيع غير الآمن.

تفاصيل التنفيذ

تقريب المُنقّي غير الآمن: بما أن التوزيع غير الآمن الدقيق غير معروف، يقوم SAD بتقريبه باستخدام تكامل مونت كارلو عبر مجموعة محدودة من $N$ من التسلسلات المرجعية غير الآمنة (مثل مجموعات بيانات السمية، أو الوثائق المحمية بحقوق الطبع والنشر، أو بيانات التدريب).
تكييف النواة المنفصلة (Discrete Kernel): على عكس انتشار الصور المستمر الذي يستخدم نوى غاوسية، تستخدم نماذج انتشار النصوص انتقالات الرموز المقنعة (Masked-token transitions). وقد اشتق المؤلفون عامل تحليل نواة فئوي (Categorical kernel factorization) لحساب احتمال الانتقال $q(x_t|x_0)$ لتسلسل كامل، مما يسمح بحساب وزن التنافر بناءً على مطابقة الرموز ومواضع القناع (Masking positions).
المعلمات الفائقة (Hyperparameters):
- $\eta$ (مقياس السلامة): معلمة قابلة للتحكم تقيس قوة التوجيه.
- $C$ (النافذة النشطة): مجموعة الخطوات الزمنية خلال العملية العكسية التي يتم فيها تطبيق SAD. وجد المؤلفون أن تطبيق التوجيه في وقت مبكر من عملية إزالة الضجيج (الربع الأول من الخطوات) هو الأكثر فعالية لتوجيه المسار الدلالي دون إضعاف الجودة.
- $N$ (حجم مجموعة النفي): عدد التسلسلات المرجعية غير الآمنة. تظهر التجارب أن مكاسب السلامة تصل إلى مرحلة التشبع بسرعة عند $N \approx 500-1000$ .

الخوارزمية

أثناء الاستدلال، لكل خطوة زمنية $t$ داخل النافذة النشطة $C$ :

احسب مخرج المُنقّي القياسي $x_\theta(x_t, t)$ .
احسب المتوسط المرجح للمراجع غير الآمنة بناءً على احتمالية حدوثها تحت العملية الأمامية.
عدّل احتمالات الرموز المتوقعة لتدفع التوزيع بعيداً عن المراجع غير الآمنة، مما يوجه التوليد بفعالية نحو المناطق الآمنة.

3. المساهمات الرئيسية

أول إطار عمل للسلامة لا يتطلب تدريباً لنماذج انتشار النصوص: يوفر SAD طريقة مبدئية في وقت الاستدلال لفرض السلامة في نماذج انتشار النصوص دون الحاجة لإعادة تدريب أو ضبط دقيق للنموذج الأساسي.
ضمان نظري: تستفيد الطريقة من ضمان نظري (النظرية 2.1) مفاده أن طرح المكونات غير الآمنة من المُنقّي يسمح بتوليد عينات من توزيع آمن.
النمطية والمرونة: SAD مستقل عن النموذج (كما ظهر في MDLM وLLaDA)، ويمكن دمجه مع دفاعات أخرى في وقت الاستدلال (مثل DiffuGuard أو تصفية الـ Perplexity).
سلامة متعددة الأبعاد: يعالج الإطار ليس فقط توليد المحتوى السام، بل أيضاً الحفظ (Memorization) (مخاطر الخصوصية) وقوة مقاومة كسر الحماية (Jailbreak robustness).

4. النتائج التجريبية

قيم المؤلفون SAD عبر ثلاثة أبعاد: التوليد الخطير، مقاومة كسر الحماية، والحفظ.

التوليد الخطير

الإعداد: التقييم على MDLM وLLaDA باستخدام مطالبات خبيثة من RealToxicityPrompts (RTP).
النتائج: قلل SAD معدل نجاح الهجوم (ASR) للتوليدات غير الآمنة بنحو 5 إلى 6 نقاط مئوية (على سبيل المثال، من 38.4% إلى 32.6% في MDLM) اعتماداً على مجموعة النفي المستخدمة.
الجودة: والأهم من ذلك، أن تحسن السلامة هذا جاء مع تدهور ضئيل جداً في جودة التوليد، والتنوع، والطلاقة، كما تم قياسه بواسطة BERTScore في المطالبات الحميدة.

مقاومة كسر الحماية

الإعداد: الاختبار ضد هجمات الانتشار الأصلية (DIJA وPAD) وهجمات كسر الحماية صفرية المعرفة (Zero-shot) على LLaDA-Instruct وLLaDA-1.5 وDream-Instruct.
النتائج: حسن SAD بشكل كبير من المقاومة ضد هجمات PAD (التشفير المتوازي)، حيث قلل معدل نجاح الهجوم (ASR) بمقدار يصل إلى 16 نقطة مئوية (على سبيل المثال، من 43.2% إلى 29.0% في WildJailbreak).
القابلية للتركيب: عند دمجه مع الدفاعات الموجودة مثل DiffuGuard، وفر SAD تخفيضات إضافية في ASR، مما يثبت طبيعته التكاملية.

الحفظ (الخصوصية)

الإعداد: التقييم على نموذج MDLM تم ضبطه بدقة على WikiText-103، باستخدام بيانات التدريب كمجموعة نفي لمعاقبة الحفظ.
النتائج: قلل SAD بشكل كبير من التداخل الضبابي (Fuzzy overlap) (وهو مقياس للحفظ التقريبي) مع تأثير ضئيل على الفائدة (BERTScore). على سبيل المثال، أدت زيادة مقياس السلامة $\eta$ إلى تقليل التداخل الضبابي من 18.59% إلى حوالي 16.11% مع الحفاظ على تشابه دلالي عالٍ مع التكملات المرجعية.

الكفاءة

يقدم SAD عبئاً حسابياً ضئيلاً. التكلفة الزمنية يهيمن عليها عدد الخطوات الزمنية النشطة بدلاً من حجم مجموعة النفي. تنخفض الإنتاجية (Throughput) بشكل طفيف فقط (من 0.382 إلى 0.313 تسلسل/ثانية لـ LLaDA مع نافذة 64 خطوة)، والطريقة أكثر كفاءة بكثير من طرق التوجيه القائمة على الجسيمات مثل FK Steering.

5. الأهمية والادعاءات

يزعم البحث أن SAD يوفر آلية فعالة وقابلة للتوسع لفرض السلامة في نماذج انتشار النصوص. وتكمن أهميته الأساسية في:

معالجة فجوة السلامة: يوفر أول آلية دفاع مخصصة للثغرات الفريدة لنموذج الانتشار، وتستهدف تحديداً استغلالات إزالة الضجيج المتوازية.
النشر العملي: لكونه لا يتطلب تدريباً وخفيف الوزن، يتيح SAD النشر الآمن لنقاط التحقق (Checkpoints) الحالية لانتشار النصوص دون التكلفة الباهظة لإعادة التدريب.
الموازنة بين السلامة والمنفعة: تظهر النتائج أن قيود السلامة يمكن دمجها في مسار إزالة الضجيج لمنع المخرجات الضارة دون التضحية بطلاقة أو تماسك النص المولد.

يخلص المؤلفون إلى أنه بينما يعد SAD وسيلة حماية قوية، يجب اعتباره إجراءً تكميلياً. وهم يقرون بأن توجيه السلامة قد يؤدي إلى تحيزات أو قمع المحتوى الحميد، مؤكدين على الحاجة إلى التقييم المستمر والإشراف البشري. يهدف العمل إلى تحفيز المزيد من الأبحاث في أساليب السلامة الخاصة بالانتشار والدمج المبدئي للسلامة في نماذج TDMs الناشئة.