🤖 AI

Watermarking Diffusion Language Models

تقدم هذه الورقة أول مخطط للعلامات المائية المصممة لنماذج اللغة الانتشارية (DLMs) والتي تتغلب على تحدي توليد الرموز غير المتسلسل من خلال تطبيق العلامات المائية في التوقع وتعزيز الرموز التي تقوي الإشارة، محققةً معدلات كشف عالية مع أدنى تأثير على الجودة.

المؤلفون الأصليون: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "Watermarking Diffusion Language Models" (وضع العلامات المائية لنماذج لغة الانتشار)، مترجم إلى لغة بسيطة، يومية، مع استخدام تشبيهات إبداعية.

الصورة الكبيرة: نوع جديد من مولدات النصوص

تخيل طريقتين يمكن للطاهي من خلالهما طهي وجبة:

الطاهي التقليدي (النماذج ذات الترتيب الذاتي - Autoregressive Models): هذا الطاهي يطهو طبقاً واحداً في كل مرة، وبترتيب صارم من اليسار إلى اليمين. ينهي الحساء، ثم السلطة، ثم شريحة اللحم. لا يمكنه لمس شريحة اللحم حتى ينتهي من الحساء. هذه هي الطريقة التي تعمل بها معظم مولدات النصوص الحالية للذكاء الاصطناي (مثل تلك التي تدردش معها يومياً). إنهم يكتبون كلمة بكلمة، وبالترتيب.
الطاهي الماهر (نماذج الانتشار - Diffusion Models): هذا الطاهي ساحر. يبدأ بطاولة فارغة مغطاة بأطباق خالية. يمكنه النظر إلى الطاولة بأكملها، ويقرر ملء شريحة اللحم أولاً، ثم الحساء، ثم يعود فجأة إلى السلطة. يمكنه ملء الوجبة بأي ترتيب يريده، ويمكنه حتى إصلاح الأخطاء فوراً عن طريق استبدال قطعة اللحم المحترقة بقطعة طازجة دون إعادة طبخ الوجبة بأكملها من البداية. هذا هو نموذج لغة الانتشار (DLM) الجديد.

المشكلة: نحن بحاجة لمعرفة ما إذا كانت الوجبة قد طهيت بواسطة إنسان أو روبوت. بالنسبة للطاهي التقليدي، لدينا خدعة سرية: نقوم برش "غبار سحري" غير مرئي (علامة مائية - watermark) على المكونات أثناء طهيها. إذا تذوقت الحساء، سيخبرك الغبار: "هذا صُنع بواسطة روبوت".

لكن هنا تكمن المشكلة: الطاهي الماهر (DLM) لا يطهو بالترتيب. أحياناً يملأ شريحة اللحم قبل أن يكون الحساء موجوداً أصلاً. وصفة "الغبار السحري" القديمة تعتمد على معرفة ما جاء قبل لتحديد كيفية وضع الغبار على المكون الحالي. إذا لم يكن الطاهي قد طهى الطبق السابق بعد، فإن الوصفة القديمة تفشل. الغبار لا يلتصق، أو يتم غسله بعيداً.

الحل: طريقة جديدة لرش الغبار

ابتكر مؤلفو هذه الورقة البحثية طريقة جديدة تماماً لرش الغبار السحري تعمل بشكل مثالي مع الطاهي الماهر. يطلقون عليها اسم Watermarking Diffusion Language Models.

إليك كيف تعمل طريقتهم الجديدة باستخدام تشبيه بسيط:

1. نهج "الكرة البلورية" (التوقع - Expectation)

في الطريقة القديمة، كان على الطاهي الانتظار حتى ينتهي الطبق السابق ليعرف كيف يضع الغبار على الطبق التالي.
في الطريقة الجديدة، يستخدم الطاهي كرة بلورية. حتى لو لم يكن الطبق السابق قد طُهي بعد، ينظر الطاهي إلى احتمالية ما قد يكون عليه الطبق السابق.

تشبيه: تخيل أنك ترسم جدارية. القاعدة القديمة تقول: "لا يمكنك طلاء الطوبة التالية إلا إذا كانت الطوبة التي على يسارها قد جفت بالفعل". القاعدة الجديدة تقول: "حتى لو كانت الطوبة اليسرى مبللة، انظر إلى فرصة كونها حمراء أو زرقاء. إذا كان من المرجح أن تكون حمراء، ادهن الطوبة الحالية بغبار خاص مائل للحمرة".
النتيجة: يتم تطبيق العلامة المائية بناءً على متوسط جميع الاحتمالات، مما يضمن وجود الإشارة حتى لو لم يتم تحديد السياق بالكامل بعد.

2. خدعة "الاستعداد للمستقبل" (التحيز التنبؤي - Predictive Bias)

الطريقة القديمة كانت تهتم بالماضي فقط. أما الطريقة الجديدة فهي تهتم بـ المستقبل أيضاً.

تشبيه: تخيل أنك تبني برجاً من المكعبات. الطريقة القديمة قالت: "تأكد من أن المكعب الذي تحمله يناسب المكعب الذي تحته". الطريقة الجديدة تقول: "أيضاً، اختر مكعباً يجعل وضع المكعب التالي أسهل في التكديس".
كيف يعمل ذلك: يتم تشجيع الذكاء الاصطناعي على اختيار كلمات لا تناسب الجملة الحالية فحسب، بل تمهد الطريق أيضاً لتكون الجملة التالية "صديقة للعلامة المائية". الأمر يشبه زراعة بذرة اليوم لتنمو لتصبح زهرة تساعد في جعل الحديقة بأكملها تبدو وكأنها زُرعت بواسطة روبوت.

لماذا هذا مهم؟

1. غير مرئي ولكن يمكن اكتشافه
تماماً مثل العلامات المائية القديمة، هذه العلامة المائية غير مرئية للبشر. النص لا يزال يبدو طبيعياً، مضحكاً، وذكياً. ولكن إذا قمت بتشغيل كاشف خاص عليه، فسيصرخ: "لقد صُنع بواسطة ذكاء اصطناعي!".

الإحصائيات: تُظهر الورقة البحثية أنه باستخدام طريقتهم الجديدة، يمكنهم اكتشاف نص الذكاء الاصطناعي بنسبة 99% من الوقت (معدل الإيجاب الحقيقي) مع تغيير جودة الكتابة بشكل طفيف جداً. أما الطرق "الساذجة" القديمة (التي حاولت فرض القواعد القديمة على الطاهي الجديد) فقد نجحت بنسبة 60-80% فقط.

2. يصعب إزالته
قد يحاول الأشخاص السيئون تعديل النص لإزالة العلامة المائية (مثل مسح بقعة).

الاختبار: حاول الباحثون حذف الكلمات، واستبدال المرادفات، وحتى ترجمة النص إلى الصينية ثم العودة مجدداً.
النتيجة: لأن العلامة المائية منتشرة عبر "مشهد الاحتمالات" بأكمله (وليس فقط في كلمة محددة)، فإنها تصمد أمام هذه التعديلات بشكل أفضل بكثير من الطرق الأقدم. إنه يشبه العلامة المائية التي ليست مجرد طبقة على سطح الورقة، بل هي منسوجة في ألياف الورقة نفسها.

الخلاصة

تحل هذه الورقة البحثية لغزاً كبيراً في عالم الذكاء الاصطناي. فبينما يصبح الذكاء الاصطناعي أسرع وأذكى من خلال الكتابة بـ "ترتيب عشوائي" (الانتشار)، نحتاج إلى وسيلة لإثبات من هو الكاتب.

أدرك المؤلفون أنه لا يمكنك استخدام قواعد "من اليسار إلى اليمين" القديمة مع طاهٍ يعمل بأسلوب "أي ترتيب". لذا، ابتكروا كتاب قواعد جديداً يستخدم الاحتمالات والتخطيط للمستقبل لدمج توقيع سري في النص. إنها ختم قوي وغير مرئي يضمن أننا نستطيع دائماً معرفة ما إذا كانت القصة قد كُتبت بواسطة إنسان أو آلة، حتى لو كانت تلك الآلة تكتب القصة للخلف، وللأمام، وبالعرض في آن واحد.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Watermarking Diffusion Language Models" (ICLR 2026).

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في القابلية للتتبع (traceability) لنماذج اللغات الانتشارية (Diffusion Language Models - DLMs). فبينما تقوم نماذج اللغات ذات الترتيب الذاتي (ARLMs) بتوليد الرموز (tokens) بالتتابع (من اليسار إلى اليمين)، تقوم نماذج DLMs بتوليد الرموز بترتيبات عشوائية، حيث تقوم بإزالة القناع (unmasking) عن الرموز بشكل تكراري من تسلسل مستتر جزئياً.

قصور الطرق الحالية: تعتمد العلامات المائية القياسية لنماذج ARLM (مثل علامات Red-Green المائية) على حساب "الهاش" (hash) للرموز التي تم توليدها سابقاً لتحديد "اللون" (أخضر/أحمر) للرمز الحالي. أما في نماذج DLM، فغالباً ما يتم إزالة القناع عن الرموز قبل توفر سياقها الكامل. وبناءً على ذلك، فإن تطبيق علامات ARLM المائية مباشرة على نماذج DLM يكون مستحيلاً أو غير فعال لأن حساب "هاش" السياق الضروري لا يمكن إجراؤه للعديد من الرموز أثناء عملية التوليد.
النهج الساذج: يتمثل الحل المؤقت الساذج في وضع علامة مائية فقط على الرموز التي يكون سياقها معروفاً بالكامل. ومع ذلك، يوضح المؤلفون أن هذا يؤدي إلى علامة مائية ضعيفة جداً (معدل إيجابي حقيقي منخفض) لأن عدداً قليلاً جداً من الرموز في عملية توليد DLM يستوفي هذا الشرط في لحظة إزالة القناع عنها.

2. المنهجية

يقترح المؤلفون أول مخطط للعلامات المائية مصمم خصيصاً لنماذج DLM. يعيد نهجهم صياغة العلامة المائية كـ مسألة تحسين مقيدة (constrained optimization problem) ويستخرج خوارزمية عملية تعمل مباشرة على توزيعات الاحتمالات الخاصة بنموذج DLM.

أ. الإطار النظري: التحسين المقيد

الهدف هو إيجاد توزيع احتمالي مميز بالعلامة المائية $q$ يعظم النسبة المتوقعة للرموز "الخضراء" في التسلسل المولد، مع الالتزام بقيد يضمن بقاء $q$ قريباً من توزيع النموذج الأصلي $p$ (مقاساً بتباعد KL، $\varepsilon$ ).

$q^* = \arg \max_{q} \mathbb{E}_{\Omega \sim q}[\hat{\gamma}(\Omega)] \quad \text{subject to} \quad \forall t, \text{KL}(q_t, p_t) \le \varepsilon$

حيث أن $\hat{\gamma}(\Omega)$ هي نسبة الرموز الخضراء. ويستنتج المؤلفون حلاً ضمنياً (النظرية 3.1) يوضح أن التوزيع الأمثل $q^*$ يرتبط بالتوزيع الأصلي $p$ عبر "إمالة أسية" (exponential tilt):
$q^*_t \propto p_t \exp(\delta_t \alpha_t(q^*))$
حيث أن $\alpha_t$ هو تدرج (gradient) نسبة الرموز الخضراء المتوقعة بالنسبة لاحتمالات الرموز.

ب. الخوارزمية العملية

لجعل هذا الأمر ممكناً من الناحية الحسابية، قدم المؤلفون ابتكارين رئيسيين:

التوقع عبر هاشات السياق (Expectation over Context Hashes): بدلاً من انتظار ثبات سياق معين، تقوم الخوارقة بحساب توزيع "هاشات السياق" المحتملة بناءً على توزيعات الاحتمالات الحالية للرموز المحيطة. وهي تطبق إشارة العلامة المائية في حالة التوقع (expectation) عبر هذه السياقات المحتملة.
الانحياز التنبئي (Predictive Bias): تقدم الخوارزمية مصطلح "الانحياز التنبئي". فهي لا تكتفي بتعزيز الرموز التي تكون خضراء بالنظر إلى السياق الحالي فحسب، بل تعزز أيضاً الرموز التي، في حال اختيارها، ستجعل الرموز المستقبلية (أو الرموز في مواقع أخرى) أكثر عرضة لتكون خضراء. وهذا يستفيد من قدرة نموذج DLM على "الاستشراف" (الرؤية ثنائية الاتجاه للسياق).

آلية الهاش (Hashing Mechanism):
تستخدم الورقة دالات هاش محلية (SumHash أو MinHash) تقوم بجمع أو أخذ الحد الأدنى من معرفات الرموز المحيطة (مثلاً $C = \{-1, 1\}$ ). ومن الأهمية بمكان أنهم استنتجوا صيغاً تحليلية لحساب توزيع هذه الهاشات بكفاءة باستخدام الالتفاف (convolution) لـ SumHash أو الضرب التراكمي لـ MinHash، مما يتجنب التعقيد المستعصي $O(|\Sigma|^L)$ .

الكشف (Detection):
يبقى الكاشف متطابقاً مع علامات Red-Green المائية القياسية: حيث يحسب لون كل رمز بناءً على هاش السياق الخاص به ويجري اختباراً ثنائياً (binomial test) على عدد الرموز الخضراء.

3. المساهمات الرئيسية

أول علامة مائية لـ DLM: أول مخطط عملي وفعال للعلامات المائية مصمم خصيصاً للطبيعة غير التتابعية لنماذج اللغات الانتشارية.
صياغة التحسين: صياغة العلامة المائية لـ DLM كمسألة تحسين مقيدة، مما يوفر أساساً نظرياً يعمم علامات ARLM المائية.
آلية مكونة من عنصرين: تحديد أن العلامة المائية المثلى لـ DLM تتكون من:
- تعزيز التوقع (Expectation Boost): تطبيق تعزيز Red-Green القياسي متوسطاً عبر توزيع السياقات المحتملة.
- الانحياز التنبئي (Predictive Bias): توجيه اختيار الرموز لتعظيم احتمالية كون الرموز المستقبلية خضراء.
المتانة (Robustness): إثبات أن المخطط متين تجاه تعديلات النصوص الشائعة (الحذف، الاستبدال، إعادة الصياغة) ويعمل عبر بنيات DLM مختلفة (LLADA-8B, DREAM-7B) واستراتيجيات إزالة القناع (العشوائية، القائمة على الإنتروبيا، أو الكتل).

4. النتائج التجريبية

قيم المؤلفون طريقتهم على نموذجي LLADA-8B وDREAM-7B باستخدام مجموعة بيانات WATERBENCH.

القابلية للكشف (Detectability): تحقق الطريقة المقترحة معدل إيجابي حقيقي (TPR) يتجاوز 99% عند معدل إيجابي كاذب (FPR) قدره 1%. وفي المقابل، تحقق النماذج المرجعية الساذجة (تطبيق علامات ARLM فقط عند توفر السياق) معدلات TPR أقل بكثير (مثلاً ~63% لنموذج LLADA-8B).
الحفاظ على الجودة: لا تسبب العلامة المائية تدهوراً طفيفاً في جودة النص. فالزيادة في الارتباك (Perplexity/log PPL) مماثلة أو أفضل قليلاً من الطرق المرجعية، وتظل درجات تقييم GPT-4 عالية.
المتانة:
- التعديلات المحلية: تظل العلامة المائية قابلة للكشف حتى بعد تعديل 30% من النص عبر حذف الكلمات أو استبدالها.
- الاستبدال المدرك للسياق: هي أكثر متانة بشكل ملحوظ تجاه الاستبدال المدرك للسياق (باستخدام BERT) مقارنة بالنماذج المرجعية، وذلك بفضل آلية "التوقع" التي تضع علامة مائية ضمنياً على المتغيرات المرجحة للنص.
- الخصوم الأقوى: بينما تقلل إعادة الصياغة والترجمة العكسية من القابلية للكشف، فإن الإشارة تستعيد قوتها مع زيادة طول التسلسل.
المقارنة مع العلامات المائية غير المرتبطة بالترتيب (Order-Agnostic): تتفوق الطريقة على العلامات المائية الموجودة (Unigram, PatternMark) التي تعاني من ضعف في التحكم في الخطأ من النوع الأول (Type-1 error) ومن الهشاشة أمام هجمات التزييف أو المسح.

5. الأهمية

هذا العمل مهم لعدة أسباب:

تحول جذري (Paradigm Shift): يسد الفجوة بين نظرية العلامات المائية وفئة نماذج اللغات الانتشارية الناشئة، والتي توفر توليداً أسرع وتصحيحاً أفضل للأخطاء من نماذج ARLM.
الامتثال التنظيمي: مع تزايد المتطلبات التنظيمية (مثل قانون الذكاء الاصطناعي في الاتحاد الأوروبي) التي تفرض وضع علامات مائية على المحتوى المولد بواسطة الذكاء الاصطناعي، توفر هذه الورقة الأداة اللازمة لتتبع مخرجات نماذج DLM، والتي كان من الصعب تتبعها سابقاً باستخدام الطرق القياسية.
الرؤية النظرية: توفر صياغة "الانحياز التنبئي" منظوراً جديداً حول كيفية حقن الإشارات في النماذج الاحتمالية التي لا تتبع ترتيب توليد تسلسلي صارم، مما قد يؤثر على تصميمات العلامات المائية المستقبلية للنماذج الأخرى غير التتابعية.
العملية: الخوارزمية فعالة (أعباء حسابية ضئيلة) ومتوافقة مع كواشف العلامات المائية الحالية، ولا تتطلب أي تغييرات في البنية التحتية للكشف.

باختاً، نجحت الورقة في حل مشكلة "توفر السياق" في العلامات المائية لنماذج DLM من خلال الانتقال من النهج التتابعي الحتمي إلى إطار عمل تحسين قائم على التوقع والاحتمالات، مما يتيح إمكانية التتبع الموثوق للجيل القادم من نماذج اللغات.