🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

تقدم الورقة البحثية dgMARK، وهي طريقة علامة مائية جاهزة للاستخدام (plug-and-play) لنماذج اللغة ذات الانتشار المنفصل، تستفيد من حساسيتها لترتيب كشف الرموز (token unmasking order) لدمج إشارات قابلة للكشف عبر اختيار المرشحين المقيد بالتكافؤ (parity-constrained candidate selection)، مما يضمن المتانة ضد مختلف عمليات تحرير النصوص.

المؤلفون الأصليون: Pyo Min Hong, Albert No

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pyo Min Hong, Albert No

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث dgMARK، مترجم إلى لغة بسيطة مع تشبيهات إبداعية.

المشكلة الكبرى: "من كتب هذا؟"

تخيل نماذج اللغات الكبيرة (LLMs) كأنها كتاب أشباح موهوبون للغاية. يمكنهم كتابة القصص، الأكواد البرمجية، والمقالات التي تبدو وتُسمع تماماً كما لو كتبها بشر. لكن هذا يخلق مشكلة: إذا استخدم شخص سيء هذه النماذج لكتابة أخبار مزيفة أو رسائل احتيال، كيف نعرف أن ليس بشراً هو من كتبها؟

نحن بحاجة إلى طريقة لوسم النص حتى نتمكن من إثبات: "مهلاً، حاسوب هو من كتب هذا". وهذا ما يسمى بـ العلامة المائية (Watermarking).

الطريقة القديمة مقابل الطريقة الجديدة

معظم طرق العلامات المائية الحالية تعمل مثل رمي عملة منحازة.

التشبيه: تخيل طباخاً (الذكاء الاصطناعي) يختار المكونات عادةً بناءً على ما هو الأفضل مذاقاً. طريقة العلامة المائية القديمة تجبر الطباخ على اختيار مكون "أخضر" (مثل نوع معين من الفلفل) بنسبة 60% من الوقت، حتى لو كان المكون "الأحمر" (مثل الطماطم) سيكون ألذ طعماً.
الخلل: هذا يغير نكهة الطبق. قد يبدو النص آلياً قليلاً أو بجودة أقل لأن الذكاء الاصطناعي يُجبر على اتخاذ خيارات غير طبيعية فقط لإخفاء كود سري.

الطريقة الجديدة: dgMARK (منظم حركة المرور)

تقدم الورقة البحثية dgMARK، وهي طريقة جديدة مصممة خصيصاً لنوع أحدث من الذكاء الاصطناعي يسمى نماذج لغة الانتشار (Diffusion Language Models - dLLMs).

ما هو نموذج الانتشار (Diffusion Model)؟
على عكس النماذج "التكرارية" (Autoregressive) القديمة التي تكتب الجمل بدقة من اليسار إلى اليمين (مثل الطابع)، فإن نماذج الانتشار تشبه أكثر حل الألغاز.

تبدأ بصفحة بيضاء مليئة بعلامات الاستفهام (الأقنعة/Masks).
تقوم بملء الكلمات واحدة تلو الأخرى، لكن يمكنها ملؤها بأي ترتيب تريده. قد تملأ الكلمة الأخيرة أولاً، ثم الأولى، ثم الكلمة في المنتصف.

الرؤية السرية
أدرك المؤلفون أنه بينما ينبغي لهذه النماذج نظرياً أن تعمل بنفس الطريقة بغض النظر عن الترتيب الذي تملأ به الفراغات، إلا أنها في الواقع حساسة للترتيب. الترتيب الذي تكشف فيه الكلمات يغير النتيجة النهائية قليلاً.

التشبيه: منظم حركة المرور
بدلاً من إجبار الطباخ على اختيار مكون محدد (تغيير النكهة)، يعمل dgMARK كـ منظم لحركة المرور.

ينظر الذكاء الاصطناعي إلى جميع الأماكن الفارغة في الصفحة ويقول: "أعتقد أنه يمكنني وضع كلمة 'قطة' هنا، أو 'كلب' هناك".
لدى منظم حركة المرور (dgMARK) قاعدة سرية: "إذا كانت الكلمة التي تريد وضعها تطابق نمطاً سرياً (مثل فحص التكافؤ)، فلديك الحق في الذهاب أولاً".
لا يزال الذكاء الاصطناعي يختار أفضل كلمة لهذا المكان (النكهة لا تتغير)، ولكن الترتيب الذي تظهر به الكلمات على الصفحة يتم توجيهه ببراعة بواسطة القاعدة السرية.

كيف يعمل الكود السري

"القاعدة السرية" تعتمد على خدعة رياضية بسيطة تسمى التكافؤ (Parity) (الأعداد الفردية مقابل الزوجية).

تخيل أن الذكاء الاصطناعي يملأ جملة. لكل موقع (الكلمة الأولى، الكلمة الثانية، إلخ)، هناك قائمة سرية من الكلمات "المعتمدة".
إذا أراد الذكاء الاصطناعي ملء الكلمة الثالثة، وكانت الكلمة التي يريدها موجودة في القائمة "المعتمدة" للموقع الثالث، يقول dg-MARK: "رائع! املأها الآن!".
إذا لم تكن الكلمة في القائمة، فقد ينتظر الذكاء الاصطنانا لحظة أو يملأ مكاناً آخر أولاً.

على مدار فقرة كاملة، يخلق هذا نمطاً إحصائياً. إذا فحصت النص، ستجد أن الكلمات تظهر في مواقع تطابق النمط السري أكثر مما تسمح به الصدفة العشوائية. الأمر يشبه اكتشاف أن مجموعة من أوراق اللعب تم خلطها ببراعة بحيث تكون كل ورقة رابعة هي دائماً "قلب" (Heart).

لماذا هذه الطريقة أفضل؟

لا تغيير في النكهة: بما أن الذكاء الاصطناني لا يزال يختار أفضل كلمة للمهمة، فإن النص يبدو طبيعياً وعالي الجودة تماماً كما كان من قبل. تُظهر الورقة أن "الارتباك" (Perplexity - مقياس لمدى غموض النص) يكاد لا يتغير.
صعبة الإزالة: إذا حاول شخص ما تعديل النص (إضافة، حذف، أو استبدال كلمات)، فإن منطق "منظم حركة المرور" يترك بصمة. تستخدم الورقة كاشف النافذة المنزلقة (مثل النظر إلى النص من خلال عدسة مكبرة متحركة) للعثور على هذه الأنماط حتى لو تم تعديل النص.
جاهز للاستخدام (Plug-and-Play): يعمل مع طريقة تفكير الذكاء الاصطناعي الحالية. لا تحتاج إلى إعادة تدريب النموذج؛ كل ما عليك فعله هو إضافة طبقة "منظم حركة المرور" هذه فوق عملية فك التشفير (Decoding).

النتائج

اختبر المؤلفون هذه الطريقة على عدة نماذج متقدمة (مثل LLaDA و Dream).

قابلية الكشف: استطاعوا تحديد النص الموسوم بدقة عالية جداً، حتى عندما تم تعديل النص أو إعادة صياغته.
الجودة: كان النص الموسوم يكاد لا يُفرق عن النص غير الموسوم من حيث الجودة.
المتانة: حتى لو حاول شخص ما "إعادة صياغة" النص (إعادة كتابته لإخفاء العلامة المائية)، ظلت الطريقة فعالة، خاصة عند استخدام ميزة "التطلع للأمام" (Lookahead) - حيث يخطط الذكاء الاصطناعي خطوة واحدة للأمام لضمان استمرار النمط.

الملخص

dgMARK هي طريقة ذكية لوسم نص الذكاء الاصطناعي من خلال تنظيم ترتيب ظهور الكلمات، بدلاً من إجبار الذكاء الاصطناعي على اختيار كلمات محددة. الأمر يشبه قيادة فرقة موسيقية: أنت لا تخبر الموسيقيين بعزف النوتات الخاطئة (مما يفسد الموسيقى)؛ بل تخبرهم فقط متى يعزفون أفضل نوتاتهم لكي يتبع الإيقاع نمطاً سرياً يمكن اكتشافه.

ملخص تقني: dgMARK – العلامة المائية الموجهة بفك التشفير لنماذج الانتشار اللغوية

بيان المشكلة
تفرض النماذج اللغوية الكبيرة (LLMs) مخاطر جسيمة تتعماق بخصوص المعلومات المضللة، والانتحال، وانتهاك حقوق الطبع والنشر، مما يستلزم وجود أدوات موثوقة لإثبات المصدر للتمييز بين النصوص المولدة آلياً والمحتوى الذي كتبه البشر. وبينما تُعد العلامات المائية حلاً عملياً، فإن الأساليب الحالية مصممة في الغالب للنماذج ذات التوليد الذاتي التراجعي (ARMs) التي تولد النصوص بصرامة من اليسار إلى اليمين. تعتمد هذه الأساليب عادةً على تحيز احتمالات الرموز (مثل تقسيم القوائم إلى "خضراء/حمراء") لدمج الإشارات. ومع ذلك، تعمل نماذج الانتشار اللغوية المنفصلة (dLLMs) بشكل مختلف: فهي تقوم بإزالة الضجيج عن المتواليات المقنعة بشكل تكراري ويمكنها إنهاء الرموز بترتيب عشوائي. في نماذج dLLMs، غالباً ما يكون سياق "الرمز السابق" المطلوب في نماذج ARMs غير محدد أثناء فك التشفير، مما يجعل العلامات المائية التقليدية التي تعتمد على تحيز الاحتمالات غير فعالة أو تتطلب تعديلات معقدة تغير توزيع مخرجات النموذج. علاوة على ذلك، بينما ينبغي أن تكون نماذج dLLMs المثالية مستقلة عن الترتيب، إلا أن النماذج العملية تُظهر حساسية تجاه ترتيب فك التشفير، مما يخلق فجوة بين الثبات النظري والسلوك العملي تظل غير مستغلة في مجال العلامات المائية.

المنهجية: dgMARK
يقترح المؤلفون dgMARK (العلامة المائية الموجهة بفك التشفير)، وهو أسلوب يدمج العلامات المائية عن طريق توجيه ترتيب فك التشفير بدلاً من إعادة وزن احتمالات الرموز التي تعلمها النموذج. الفرضية الأساسية هي أن نماذج dLLMs تختار الرموز المرشحة ذات المكافأة العالية في كل خطوة؛ ويستغل dgMARK ذلك من خلال إعطاء الأولوية لفك قناع المواقع التي يستوفي فيها الرمز المرشح شرط تماثل (parity) محدد.

شرط التماثل: بالنظر إلى مفتاح سري $\xi$ ، تقوم دالة هاش (hash function) حتمية $f(v, \xi)$ بربط كل رمز $v$ بقيمة ثنائية. بالنسبة لموقع فك التشفير $i$ ، تحتوي "مجموعة المطابقة" $G_i$ على الرموز حيث $f(v, \xi) \equiv i \pmod 2$ .
استراتيجية فك التشفير: خلال عملية فك التشفير، تحدد الخوارزمية الرموز المرشحة لجميع المواقع غير المكشوفة. وهي تعطي الأولوية للمواقع $j$ حيث ينتمي الرمز المتوقع $v_j$ إلى مجموعة المطابقة $G_j$ . ومن بين هذه المرشحات الصالحة، يتم اختيار الموقع الذي يمتلك أعلى مكافأة (بناءً على استراتيجية فك التشفير الأساسية، مثل الثقة، أو الإنتروبيا، أو الهامش) لعملية إزالة القناع. إذا لم يستوفِ أي مرشح شرط التماثل، يلجأ النظام إلى عملية الاختيار القياسية.
الاستشراف بخطوة واحدة (One-Step Lookahead): لمنع الاختيارات الجشعة من استنزاف فرص مطابقة التماثل في المستقبل، يقدم dgMARK نوعاً متغيراً يستخدم بحث الحزمة (beam search) من الفئة top- $k$ مع استشراف بخطوة واحدة. يقوم هذا النوع بتقييم عدد المواقع المستقبلية التي ستظل متوافقة مع التماثل إذا تم الالتزام برمز معين، ويختار المسار الذي يعظم التوافق المستقبلي.
الكشف: يعتمد الكشف على الاختبارات الإحصائية لمعدل مطابقة التماثل. بما أن دالة الهاش متوازنة، فإن النصوص غير الموسومة بالعلامة المائية يجب أن تظهر معدل مطابقة يقارب 0.5. أما النصوص الموسومة بالعلامة المائية فتظهر معدلاً مرتفعاً بشكل ملحوهم. ولضمان المتانة ضد التحرير اللاحق (الإدراج، الحذف، الاستبدال)، يستخدم الكاشف نهج النافذة المنزلقة، حيث يجمع إحصاءات $z$ عبر نوافذ متداخلة للتعامل مع إزاحات الفهرسة.

المساهمات الرئيسية

علامة مائية مستقلة عن الترتيب: يعد dgMARK أول طريقة تستخدم ترتيب فك التشفير نفسه كقناة أساسية للعلامات المائية في نماذج dLLMs، متجنبة التعديل المباشر لاحتمالات الرموز.
التوافق المباشر (Plug-and-Play): يعمل الأسلوب كغلاف حول استراتيجيات فك التشفير الموجودة (المعتمدة على الثقة، أو الإنتروبيا، أو الهامش) ولا يتطلب إعادة تدريب النموذج أو تغيير بارامتراته الداخلية.
� reminder المتانة: يضمن آلية كشف النافذة المنزلقة بقاء العلامة المائية قابلة للكشف حتى بعد تعديلات كبيرة على النص، بما في ذلك إعادة الصياغة وتعديلات مستوى الرمز.
الحفاظ على الجودة: من خلال عدم التحيز صراحة لتوزيع الاحتمالات (logits)، يهدف dgMARK إلى تقليل التدهور في جودة النص مقارنة بالنماذج المرجعية التي تعتمد على إزاحة الاحتمالات.

النتائج التجريبية
قيم المؤلفون dgMARK على مجموعات بيانات معيارية (C4, Writing Prompts) باستخدام نماذج dLLMs متطورة (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream).

قابلية الكشف: يحقق dgMARK قدرة عالية على الكشف. فباستخدام بحث الحزمة بـ 3 خطوات استشراف، يصل إلى معدلات حقيقية إيجابية (TPR) تقارب 100% عند معدل إيجابي كاذب (FPR) قدره 0.01% على مجموعة بيانات C4، متفوقاً على أو مساوياً للنماذج المرجعية مثل KGW (Kirchenbauer et al., 2023) وPATTERN-MARK.
جودة النص: يتسبب الأسلوب في تدهور ضئيل في جودة النص. فزيادات الارتباك (Perplexity) أقل باستمرار من تلك الملاحظة في KGW وPATTERN-MARK. كما تظهر نتائج الاختبارات المعيارية اللاحقة (MMLU, GSM8K, HumanEval) انخفاضات طفيفة فقط، حيث يحافظ dgMARK عموماً على القدرة بشكل أفضل من أساليب تحيز الاحتمالات.
المتانة: تحت هجمات مستوى الرمز (إدراج، حذف، استبدال) مع ميزانيات تعديل تصل إلى 40%، يحافظ dgMARK على درجات عالية تحت المنحنى (AUC). كما أظهر صموداً ضد هجمات إعادة الصياغة باستخدام DIPPER وLlama 3، خاصة عند دمجه مع بحث الحزمة.
القابلية للتوسع: تتحسن قابلية الكشف مع طول التسلسل، مما يجعل الأسلوب فعالاً بشكل خاص لمهام التوليد طويلة المدى.

الأهمية والادعاءات
يزعم البحث أن dgMARK يرسخ ترتيب فك التشفير كقناة عملية ومكملة للعلامات المائية لنماذج dLLMs. ويؤكد المؤلفون أن نهجهم يقدم ميزة متميزة عن النماذج الحالية: فهو يحقق إثبات مصدر موثوق دون التشويه المباشر للاحتمالات الشرطية المتعلمة للنموذج. يسلط العمل الضوء على أن حساسية الترتيب المتأصلة في نماذج dLLMs العملية، والتي غالباً ما تُعت}^{\viewed كقصور أو أثر جانبي، يمكن استغلالها كمقبض تحكم للأمان. ويشير المؤلفون بتواضع إلى أن فعالية الطريقة تعتمد على عدم الكمال التجريبي للنماذج الحالية (أي حساسيتها لترتيب فك التشفير)، معترفين بأن نموذج dLLM مثالي تماماً ومستقل عن الترتبيب سيجعل هذا النهج المحدد للعلامات المائية غير فعال نظرياً. ومع ذلك، بالنسبة لنماذج dLLMs الحالية والقريبة من المستقبل، يوفر dgMARK حلاً قوياً ومنخفض التشويه لإثبات مصدر المحتوى.