💬 NLP

Topic-Based Watermarks for Large Language Models

تقترح هذه الورقة مخطط علامة مائية خفيف الوزن وموجه بالموضوع للنماذج اللغوية الكبيرة، يقوم بتقسيم المفردات إلى مجموعات فرعية متوافقة مع الموضوع لدمج توقيعات قوية وقابلة للكشف مع الحفاظ على جودة النص وعدم تطلب أي عبء إضافي على الإطار العملي.

المؤلفون الأصليون: Alexander Nemecek, Yuzhou Jiang, Erman Ayday

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexander Nemecek, Yuzhou Jiang, Erman Ayday

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك خبزت كعكة مثالية ولذيذة. تريد بيعها، لكنك قلق من أن يسرق شخص ما وصفتك، أو يدعي أنه صنعها، أو حتى يستخدم كعكتك لصنع آلاف النسخ السيئة والمحترقة لاحقاً. أنت بحاجة إلى وسيلة لتثبت: "مهلاً، أنا من صنع هذا!" دون تغيير الطعم أو الملمس.

هذه هي المشكلة التي تواجهها نماذج اللغات الكبيرة (LLMs) مثل ChatGPT. فهي تكتب النصوص ببراعة تجعل من المستحيل معرفة ما إذا كان إنسان أم روبوت هو من كتبها. وهذا أمر خطير لأن الجهات السيئة قد تستخدم الذكاء الاصطناعي لنشر الأكاذيب، وإذا بدأ الذكاء الاصطناعي يتدرب على نصوص كتبها ذكاء اصطناعي آخر، فستصبح النماذج في النهاية أقل ذكاءً (مثل آلة تصوير تقوم بنسخ صورة تم تصويرها مسبقاً).

تقترح الورقة البحثية التي شاركتَها حلاً جديداً يسمى العلامة المائية القائمة على الموضوع (TBW). وإليك كيفية عملها، مشروحة ببساła:

الطريقة القديمة: "الضوء الأخضر العشوائي"

حاولت الطرق السابقة وضع علامة مائية على النص عن طريق اختيار كلمات عشوائية وإعطائها "ضوءاً أخضر" لاستخدامها بشكل متكرر.

التشبيه: تخيل إشارة مرور عند تقاطع طرق. الذكاء الاصطناعي هو السائق، والنظام يقول عشوائياً: "حسناً، اليوم، فقط السيارات ذات الطلاء الأحمر يمكنها الانعطاف يساراً".
المشكلة: إذا أُجبر الذكاء الاصطناعي على اختيار سيارة حمراء بينما كان يريد حقاً سيارة زرقاء، فقد يبدو الكلام غريباً أو غير طبيعي. أيضاً، إذا قام شخص ما بتغيير بعض الكلمات (إعادة صياغة)، فإن قاعدة "السيارة الحمراء" ستنكسر، وتختفي العلامة المائية. الأمر يشبه محاولة إخفاء رسالة سرية في جملة عبر فرض استخدام كلمات غامضة؛ فهذا يجعل الأمر واضحاً وهشاً.

الطريقة الجديدة: "قائمة تشغيل موضوعية"

طريقة المؤلفين الجديدة، TBW، أكثر ذكاءً. فبدلاً من اختيار كلمات عشوائية، تختار الكلمات بناءً على موضوع المحادثة.

التشبيه: تخيل أن الذكاء الاصطناعي هو "دي جي" (DJ) يعزف مجموعة من الأغاني.
- الخطوة 1 (الموضوع): ينظر الـ "دي جي" إلى طلب الجمهور (المطالبة/Prompt). إذا طلب الجمهور "رياضة"، فإن الـ "دي جي" لا يختار أغاني عشوائية فحسب؛ بل يستدعي "قائمة تشغيل الرياضة".
- الخطوة 2 (القائمة الخضراء): تحتوي قائمة التشغيل هذه على جميع الكلمات المتعلقة بالرياضة (مثل: هدف، مدرب، ملعب، كرة).
- الخطوة 3 (العلامة المائية): يتم توجيه الـ "دي جي" سراً ليعزف أغاني من "قائمة تشغيل الرياضة" هذه بشكل متكرر أكثر من المعتاد قليلاً.
- النتيجة: الموسيقى (النص) لا تزال تبدو مثالية لأن كلمة "هدف" و"مدرب" تتناسب تماماً مع موضوع الرياضة. ولكن لأن الذكاء الاصطناعي يميل بشدة نحو تلك القائمة المحددة، يمكن للمحقق أن ينظر إلى قائمة الأغاني لاحقاً ويقول: "آه، هذا الـ 'دي جي' كان بالتأكيد يعزف من قائمة تشغيل الرياضة. هذه هي علامتنا المائية!"

لماذا هذه الطريقة أفضل؟

تبدو طبيعية (الطلاقة): بما أن الذكاء الاصطناعي يختار الكلمات التي تناسب بالفعل الموضوع، فإن النص لا يبدو آلياً أو مفروضاً. إنه يشبه الـ "دي جي" الذي يعزف النوع الموسيقي الصحيح؛ لا أحد يلاحظ القاعدة السرية.
صعبة الكسر (المتانة): إذا حاول شخص ما إعادة كتابة النص (إعادة الصياغة)، فإنه عادة ما يحافظ على نفس الموضوع. إذا أعدت كتابة قصة عن كرة القدم، فستظل تستخدم كلمات مثل هدف وفريق. وبما أن العلامة المائية مخبأة في موضوع الكلمات، وليس فقط في حروف عشوائية، فإن العلامة المائية تنجو من عملية إعادة الكتابة.
سريعة (الكفاءة): الطرق القديمة فائقة المتانة كانت تتطلب من الذكاء الاصطناعي كتابة النص، ثم فحصه، ثم إعادة كتابته، ثم فحصه مرة أخرى (مثل طالب يعيد كتابة مقال خمس مرات للحصول على درجة امتياز). هذه الطريقة الجديدة تقوم فقط بتعديل "قائمة التشغيل" أثناء كتابة الذكاء الاصطناعي، لذا فهي بنفس سرعة الكتابة العادية.

جزء "المحقق"

كيف نجد العلامة المائية؟ تقترح الورقة ثلاث طرق، لكن الأفضل هي طريقة "الدرجة القصوى" (Maximum Score).

التشبيه: تخيل أنك وجدت ملاحظة غامضة. أنت لا تعرف ما إذا كانت عن الرياضة، أو الحيوانات، أو الطب.
الطريقة القديمة: تخمن الموضوع أولاً. إذا أخطأت في التخمين، فلن تتمكن من إيجاد العلامة المائية.
الطريقة الجديدة (TBW): تتحقق من الملاحظة مقابل جميع قوائم التشغيل الممكنة في وقت واحد. تسأل: "هل تبدو هذه الملاحظة وكأنها جاءت من قائمة تشغيل الرياضة؟ أم قائمة تشغيل الحيوانات؟" ثم تختار الأكثر مطابقة. حتى لو كانت الملاحظة غير مرتبة أو قصيرة، فإن هذه الطريقة بارعة جداً في رصد النمط لدرجة أنها لا تخطئ تقريباً.

الخلاصة

لقد بنى المؤلفون نظاماً يخفي "بصمة رقمية" داخل نص الذكاء الاصطناعي من خلال دفع الذكاء الاصطناعي لاستخدام كلمات تناسب موضوع المحادثة.

بالنسبة للمستخدم: النص يبدو بجودة ما كان عليه سابقاً.
بالنسبة لشركة الذكاء الاصطناعي: يمكنهم إثبات أن ذكاءهم الاصطناعي هو من كتبه، حتى لو حاول شخص ما تعديله أو إعادة كتابته.
بالنسبة للعالم: يساعد ذلك في وقف انتشار أكاذيب الذكاء الاصطناعي ويمنع نماذج الذكاء الاصطناعي من التغذية على مخرجاتها السيئة.

الأمر يشبه وضع ملصق صغير، غير مرئي وغير قابل للمحو، على كعكة يقول "خبز بواسطة الذكاء الاصطناعي"، لكن الملصق مصنوع من نفس كريمة الكعكة، بحيث لا يمكن لأحد تذوقه أو كشطه بسهولة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "العلامات المائية القائمة على المواضيع للنماذج اللغوية الكبيرة" (Topic-Based Watermarks for Large Language Models) من إعداد نيميتشيك وآخرون.

1. بيان المشكلة

أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى توليد نصوص لا يمكن تمييزها تقريبًا عن المحتوى الذي يكتبه البشر. وهذا ينطوي على مخاطر كبيرة، تشمل:

إساءة الاستخدام: استخدام الجهات الخبيثة للذكاء الاصطดิعي في التضليل، أو الانتحال، أو انتهاك حقوق الطبع والنشر.
انهيار النموذج (Model Collapse): خطر تدهور جودة النماذج المستقبلية إذا تم تدريبها على مجموعات بيانات ضخمة من البيانات المولدة بواسطة الذكاء الاصطناعي.

تواجه الحلول الحالية مقايضة مستمرة:

الأساليب القائمة على الكشف (المصنفات): يسهل تجاوزها عبر إعادة الصياغة العدائية وتتطلب مجموعات تدريب ضخمة ومنقحة.
أساليب العلامات المائية (دمج التواقيع أثناء التوليد): تنقسم عمومًا إلى فئتين:
- الأساليب خفيفة الوزن (مثل KGW وSynthID-Text): فعالة وعالية الجودة ولكنها عرضة لإعادة الصياغة والاضطرابات المعجمية.
- الأساليب القوية (مثل EXP وITS-Edit): مقاومة للهجمات ولكنها تتطلب تغييرات معمارية مكلفة، أو عمليات استدلال متعددة، أو فك ترميز معقد، مما يؤدي إلى تدهور السلاسة وزيادة زمن الاستجابة (Latency).

هناك حاجة ماسة لمخطط علامة مائية يكون خفيف الوزن (تكلفة إضافية منخفضة)، وقويًا (مقاومًا لإعادة الصياغة)، وعالي الجودة (يحافظ على السلاسة) دون الحاجة إلى تعديلات معقدة على النموذج.

2. المنهجية: العلامة المائية القائمة على المواضيع (TBW)

يقترح المؤلفون العلامة المائية القائمة على المواضيع (TBW)، وهو مخطط يدمج المعلومات الدلالية في عملية وضع العلامة المائية لإنشاء "قوائم خضراء" (green lists) من الرموز (tokens) دون التضحية بجودة التوليد.

الآلية الأساسية

تقسيم المفردات عبر الدلالات:
- بدلاً من تقسيم المفردات عشوائيًا (كما في KGW)، تقوم TBW بربط الرموز بـ تمثيلات موضوعية (topic embeddings) محددة مسبقًا (مثل: الحيوانات، التكنولوجيا، الرياضة، الطب).
- لكل رمز $v$ في المفردات، تتم مقارنة التمثيل الخاص به بالتمثيلات الموضوعية باستخدام تشابه جيب التمام (cosine similarity).
- الرموز التي تتجاوز نسبة تشابهها حدًا معينًا $\tau$ يتم تخصيصها للقائمة الخضراء ( $G_{t_i}$ ) الخاصة بالموضوع المقابل.
- الرموز التي لا تتطابق مع أي موضوع يتم توزيعها بين القوائم بطريقة التناوب (round-robin) لضمان تغطية كامل المفردات.
عملية التوليد:
- عند إدخال نص توجيهي (prompt)، يقوم مستخرج مواضيع خفيف الوزن (KeyBERT) بتحديد الموضوع (أو المواضيع) الأكثر صلة.
- يختار النظام القائمة الخضراء المتوافقة مع الموضوع المختار ( $G_{t^*}$ ).
- أثناء توليد الرموز، يتم إضافة انحياز $\delta$ إلى قيم الـ (logits) لجميع الرموز الموجودة في القائمة الخضراء المختارة قبل خطوة الـ (softmax).
- هذا يعمل على توجيه النموذج نحو الرموز المتوافقة دلاليًا، مما يدمج إشارة علامة مائية متماسكة طبيعيًا مع موضوع النص.
مخططات الكشف:
يقترح البحث ثلاث استراتيجيات للكشف للتعامل مع التحديات الواقعية مثل "انحراف الموضوع":
- مطابقة الموضوع الصارمة (Strict Topic Matching): تفترض أن موضوع التوليد معروف؛ حيث يتم استخراج المواضيع من النص ومطابقتها مع القائمة الخضراء.
- الكشف عبر النافذة المنزلقة (Sliding Window Detection): يقسم النص إلى نوافذ للتعامل مع التحولات الموضوعية المحلية، باستخدام التصويت بالأغلبية لتحديد الموضوع المهيمن.
- الكشف عبر أقصى درجة z-Score (الأكثر قوة): يلغي الحاجة إلى استخراج الموضوع. فهو يحسب قيمة z-score لكل قائمة موضوع محددة مسبقة ويختار القيمة القصوى. هذا يسمح لإشارة العلامة المائية نفسها بتحديد التوافق الموضوعي الأكثر احتمالية، مما يجعلها مقاومة لغموض الموضوع وانحرافه.

3. المساهمات الرئيسية

المحاذاة الدلالية: على عكس التقسيم العشوائي، تستخدم TBW التشابه الدلالي لإنشاء قوائم خضراء. هذا يضمن أن الرموز المنحازة متوافقة دلاليًا وسلسة وسياقية، مما يحافظ على جودة النص حتى عند مستويات انحياز عالية.
بنية خفيفة الوزن: لا تتطلب الطريقة إعادة تدريب النموذج، ولا تغييرات معمارية، وتتطلب تمريرة استدلال واحدة فقط. إضافة موضوعات استخراج الموضوع وتحيز الـ (logits) يضيف عبئًا حسابيًا ضئيلاً جدًا.
تعزيز القوة (Robustness): من خلال محاذاة العلامة المائية مع الموضوع الدلالي للنص، تصبح الإشارة أكثر مقاومة لإعادة الصياغة والاضطرابات المعجمية مقارنة بمخططات التقسيم العشوائي.
تقييم شامل: قدم المؤلفون تقييمًا صارمًا عبر جودة النص، والمتانة (ضد إعادة الصياغة والاضطراب)، والكفاءة، مقارنة بالنماذج المرجعية المتطورة (KGW, SynthID, Unigram, SIR, EXP-Edit).

4. النتائج التجريبية

أُجري التقييم على نماذج OPT-6.7B و GEMMA-7B باستخدام مجموعة بيانات C4، مع المقارنة بنماذج مرجعية مثل KGW و DiP و Unigram و SynthID و SIR.

جودة النص (الارتباك - Perplexity):
- تحقق TBW درجات ارتباك مقاربة للنصوص غير الموسومة، وهي أفضل بكثير من طرق العلامات المائية الأخرى.
- في نموذج OPT-6.7B، حسنت TBW درجة الارتباك بنسبة ~42% مقارنة بـ Unigram؛ وفي GEMMA-7B، بنسبة ~48%.
- أكد التقييم البشري وتقييم (LLM-as-a-Judge) باستخدام GPT-4o أن نصوص TBW تحافظ على سلاسة وتماسك وصحة قواعدية عالية.
المتانة (Robustness):
- الاضطرابات المعجمية: حافظت TBW على درجات كشف عالية تحت هجمات الإدراج والحذف والاستبدال العشوائية والمستهدفة للكلمات، متفوقة على KGW و DiP و SynthID.
- إعادة الصياغة الدلالية: تحت هجمات إعادة الصياغة القوية (PEGASUS و DIPPER)، حققت TBW أعلى ROC-AUC وأفضل درجات F1 بين الطرق خفيفة الوزن، وغالبًا ما كانت تضاهي أو تتجاوز Unigram وتتفوق بشكل كبير على SynthID و DiP.
- الكشف عبر أقصى درجة z-Score: حقق مخطط الكشف هذا فصلًا شبه مثالي (AUC يتراوح بين 0.996 و 1.000) حتى بدون معرفة موضوع التوليد، مما أظهر قدرة فائقة على مقاومة انحراف الموضوع.
الكفاءة:
- لم تسبب TBW سوى عبء ضئيل في وقت التوليد، حيث طابقت سرعة النماذج خفيفة الوزن مثل KGW و SynthID.
- في المقابل، تسببت الطرق التي تتطلب تمريرات متعددة (EXP-Edit, ITS-Edit) في تكاليف زمن استجابة كبيرة.

5. الأهمية والخاتمة

تقدم الورقة حلاً عمليًا لثلاثية "المتانة-الجودة-الكفاءة" في العلامات المائية للنماذج اللغوية الكبيرة.

النشر العملي: صُممت TBW للاعتماد الفوري في خطوط الإنتاج. فهي لا تتطلب من مالكي النماذج تعديل بنياتهم أو إجراء تمريرات فك ترميز متعددة.
الاتساق العالمي: تقترح الطريقة مسارًا نحو علامة مائية متسقة عالميًا حيث تكون الإشارة قوية بما يكفي لتجاوز أدوات التحرير الشائعة (أدوات إعادة الصياغة) دون تدهور تجربة المستخدم.
القابلية للتوسع: بينما ركزت الدراسة على 4 مواضيع، أثبت المؤلفون أن الطريقة تتوسع إلى 32 موضوعًا مع زيادة خطية فقط في وقت الكشف (وهي عملية تتم خارج خط الإنتاج/offline) ودون تدهور في جودة النص.

القيود: لاحظ المؤلفون أن النماذج ذات المفردات الأصغر (مثل OPT-6.7B) تظهر أداءً أقل قليلاً من النماذج الأكبر (GEMMA-7B) بسبب توفر عدد أقل من الرموز المتماسكة دلاليًا للتقسيم. بالإضافة إلى ذلك، يتدهور أداء الكشف في النصوص القصيرة جدًا بسبب الطبيعة الإحصائية لكشف z-score.

باختصار، تقدم العلامة المائية القائمة على المواضيع نهجًا جديدًا قائمًا على الدلالات، نجح في سد الفجوة بين الكفاءة خفيفة الوزن والأمن القوي، مما يجعلها مرشحًا قويًا للنشر في العالم الحقيقي للحد من مخاطر المحتوى المولد بواسطة الذكاء الاصطناعي.