💬 NLP

Majority Bit-Aware Watermarking For Large Language Models

تقدم هذه الورقة البحثية "العلامة المائية الواعية ببت الأغلبية" (Majority Bit-Aware Watermarking)، وهي نموذج ترميز مبتكر بإنتاجيْن (MajorMark و MajorMark $^{+}$ ) يحل المقايضة بين جودة النص ودقة فك التشفير في العلامات المائية للنماذج اللغوية الكبيرة عبر الحفاظ على إشارات علامة مائية قوية حتى مع وجود قوائم خضراء كبيرة.

المؤلفون الأصليون: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نماذج اللغات الكبيرة (LLMs) كطهاة موهوبين للغاية يمكنهم طهي أي طبق (نص) تطلبه منهم. المشكلة هي أن بعض الأشرار يستخدمون هؤلاء الطهاة لطهي "وجبات مسمومة" — أخبار كاذبة، أو عمليات احتيال، أو محتوى ضار. وللإمساك بهم، نحتاج إلى طريقة لوسم الطعام حتى نعرف بالضبط أي طاهٍ أعدّه. هذا الوسم يسمى العلامة المائية (Watermark).

ومع ذلك، هناك عقبة؛ ففي الماضي، كان وضع علامة مائية على النص يشبه وضع ختم ثقيل وضخم على ورقة رقيقة. كلما كان الختم أكثر وضوحاً (ليسهل العثور عليه لاحقاً)، زاد تشويه ملمس الورقة (جودة الكتابة). وإذا كان الختم صغيراً جداً لدرجة لا تشوه الورقة، فسيصبح باهتاً جداً بحيث يصعب العثور عليه.

تقدم هذه الورقة البحثية طريقة جديدة لوسم النصوص تسمى MajorMark و MajorMark+. وهي تحل مشكلة "الجودة مقابل قابلية الكشف" باستخدام حيلة ذكية تعتمد على قاعدة الأغلبية و الكسرات (shards).

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. الطريقة القديمة: مشكلة "القائمة الخضراء الصغيرة"

تخيل مفردات الذكاء الاصطناعي (كل الكلمات التي يمكنه استخدامها) كحقيبة ضخمة من الكرات الزجاجية.

الطريقة القديمة: كان يُجبر الذكاء الاصطناعي لإخفاء رسالة سرية على اختيار كلمته التالية فقط من حفنة صغيرة جداً من الكرات "الخضراء" (ربما 25% فقط من الحقيبة). وكان يتجاهل الباقي.
المقايضة: إذا كانت القائمة الخضراء صغيرة جداً، يُجبر الذكاء الاصطناعي على اختيار كلمات غريبة وغير طبيعية لتناسب القاعدة، مما يجعل القصة تبدو آلية (روبوتية). وإذا كانت القائمة الخضراء كبيرة (للحفاظ على طبيعة القصة)، تصبح الرسالة السرية باهتة جداً لدرجة يستحيل معها العثور عليها لاحقاً.

2. الفكرة الجديدة: استراتيجية "بت الأغلبية" (Majority Bit)

أدرك المؤلفون أننا لسنا بحاجة لتقييد الذكاء الاصطناعي بقائمة ضئيلة. بدلاً من ذلك، استخدموا نظام تصويت.

تخيل أن الرسالة السرية هي سلسلة طويلة من الأصفار والآحاد (مثل 110111).

الحيلة: ينظر النظام إلى الرسالة ويسأل: "أي رقم يظهر بشكل متكرر أكثر؟" في 110111 الرقم 1 هو "بت الأغلبية" (Majority Bit).
القائمة الخضراء: بدلاً من اختيار قائمة ضئيلة، يُسمح للذكاء الاصطناعي بالاختيار من أي كلمة تقابل الرقم "1" في الرسالة. وبما أن الـ "1" هو الأغلبية، فإن هذه القائمة الخضراء ستكون ضخمة (على الأقل 50% من جميع الكلمات!).
النتيجة: نظرًا لأن لدى الذكاء الاصطناعي الكثير من الكلمات الطبيعية للاختيار من بينها، تبدو النصوص مثالية. ولكن بما أن الذكاء الاصطناعي لا يزال "يُدفع" قليلاً نحو كلمات الـ "1"، فإن الرسالة السرية تظل موجودة، لكنها مخفية في النمط الإحصائي للكلمات التي تم اختيارها.

3. MajorMark: "محقق التجمعات" (Cluster Detective)

يستخدم MajorMark استراتيجية الأغلبية هذه.

الترميز (Encoding): يكتب الذكاء الاصطناعي النص، مع توجيهه قليلاً نحو الكلمات التي تتوافق مع "بت الأغلبية" للرسالة السرية.
فك التشفير (Decoding): لقراءة الرسالة مرة أخرى، ينظر المحقق (المفكك) إلى النص ويعد كم مرة ظهرت الكلمات من "مجموعات" مختلفة (الكسرات/shards).
التشبيه: تخيل أن الكلمات مصنفة في حاويتين. إذا كانت الرسالة السرية هي "1"، فإن الحاوية الخاصة بـ "1" ستحتوي على كرات أكثر قليلاً من حاوية "0". يستخدم المفكك أداة تجميع بسيطة (مثل فرز الكرات حسب اللون) ليرى أي حاوية هي الأثقل. إذا كانت إحدى الحاويتين أثقل بوضوح، فإنه يعرف أن الرسالة السرية كانت "1".

4. MajorMark+: الترقية عبر "الكتل" (Block-by-Block)

ماذا لو كانت الرسالة السرية طويلة جداً؟ قد لا يكون "بت الأغلبية" واضحاً جداً، مما يضعف الإشارة.

الحل: يقوم MajorMark+ بتقسيم الرسالة الطويلة إلى كتل أصغر (مثل قطع حبل طويل إلى قطع قصيرة).
كيف يعمل: يطبق قاعدة "بت الأغلبية" على كل كتلة صغيرة بشكل مستقل.
الفائدة: هذا يحافظ على بقاء "القائمة الخضراء" كبيرة لكل كتلة، مما يضمن بقاء جودة النص عالية حتى للرسائل الطويلة جداً. كما أنه يستخدم طريقة "عدّ" أكثر دقة للعثور على الرسالة، مما يجعل من الصعب تفويتها.

لماذا هذا مهم (وفقاً للورقة البحثية)

اختبر المؤلفون هذه الطريقة على أفضل نماذج الذكاء الاصطناعي ووجدوا ما يلي:

جودة أفضل: يبدو النص الذي يحمل العلامة المائية طبيعياً أكثر بكثير (انخفاض في الـ Perplexity) مقارنة بالطرق السابقة لأن الذكاء الاصطناعي لا يُجبر على الاختيار من قائمة ضيقة ومقيدة.
قدرة كشف أفضل: رغم أن النص يبدو طبيعياً، إلا أن الرسالة السرية في الواقع أسهل في العثور عليها وفك تشفيرها بدقة مقارنة بالطرق القديمة.
المتانة (Robustness): حتى لو حاول شخص ما تعديل النص (مثل قص ولصق أجزاء منه أو إعادة صياغة الجمل)، فإن العلامة المائية عادة ما تظل صامدة لأن "الثقل" الإحصائي لبتات الأغلبية يظل قابلاً للكشف.

باخت ملخص: تقترح الورقة طريقة جديدة لوسم نص الذكاء الاصطناعي تمنع الذكاء الاصطناعي من الاضطرار للاختيار بين أن يبدو بشرياً وبين أن يكون قابلاً للتتبع. من خلال استخدام نظام "تصويت الأغلبية" لاختيار الكلمات التي ستحصل على دفعة بسيطة، فإنهم يسمحون للذكاء الاصطناعي بالكتابة بشكل طبيعي مع الاستمرار في تضمين رسالة سرية قوية وقابلة للاستعادة.

ملخص تقني: العلامة المائية المدركة للبت الأغلب لنماذج اللغات الكبيرة

بيان المشكلة

أدى النشر الواسع لنماذج اللغات الكبيرة (LLMs) إلى ظهور تحديات أمنية وأخلاقية كبيرة، بما في ذلك توليد محتوى ضار أو مضلل. وبينما تم اقتراح تقنيات العلامات المائية لتتبع أصل النص المولد، تواجه طرق العلامات المائية متعددة البتات (multi-bit) مقايضة جوهرية بين جودة النص ودقة فك التشفير.

تعتمد الطرق الحالية القائمة على الاضطراب (مثل MPAC وRSBH) على عد تكرار الرموز (tokens) التي تقع ضمن "القائمة الخضراء" (مجموعة فرعية من المفردات) لفك تشفير الرسائل المضمنة. ولضمان إشارة علامة مائية قوية لفك تشفير دقيق، تقيد هذه الطرق عادةً حجم القائمة الخضراء (نسبة القائمة الخضراء $\gamma$ ). ومع ذلك، فإن تصغير $\gamma$ يجبر النموذج على الاختيار من مجموعة أضيق من الرموز المناسبة سياقياً، مما يؤدي إلى تدهور سلاسة وجودة النص المولد. وعلى العكس من ذلك، فإن زيادة $\gamma$ للحفاظ على جودة النص تضعف إشارة العلامة المائية، مما يقلل من دقة فك التشفير. وتحدد الورقة هذه المقايضة التجريبية كعائق حاسم في تقنيات العلامات المائية متعددة البتات الحالية.

المنهجية

يقترح المؤلفون نموذج ترميز جديد يسمى الترميز المدرك للبت الأغلب (Majority Bit-Aware Encoding)، والذي يفصل قوة إشارة العلامة المائية عن القيود الصارمة لحجم القائمة الخضراء.

المفهوم الجوهري: الترميز المدرك للبت الأغلب

بدلاً من ربط بتات رسالة محددة بمجموعات فرعية محددة من الرموز، تستفيد هذه الطريقة من الخاصية الإحصائية لـ البت الأغلب ( $\lambda$ ) للرسالة.

تقسيم المفردات: يتم تقسيم المفردات $V$ إلى $b$ من الأجزاء (shards) المنفصلة، حيث يمثل كل جزء موضع بت محدد في الرسالة ذات الـ $b$ بت.
بناء القائمة الخضراء: يتم بناء القائمة الخضراء $G$ كunion (اتحاد) لجميع الأجزاء المقابلة للبت الأغلب للرسالة. إذا كان البت الأغلب هو 1، فإن $G$ تتضمن جميع الأجزاء حيث $m_i=1$ ؛ وإذا كان 0، فإنها تتضمن جميع الأجزاء حيث $m_i=0$ .
الحفاظ على الإشارة: بما أن البت الأغلب يظهر $\lceil b/2 \rceil$ مرة على الأقل، فإن هذه الاستراتيجية تضمن نسبة قائمة خضراء $\gamma \ge 0.5$ . وهذا يسمح بقائمة خضراء كبيرة (للحفاظ على جودة النص) مع الحفاظ في الوقت نفسه على إشارة قوية وقابلة للكشف لأن هدف فك التشفير ينتقل من عد تكرار الرموز إلى استنتاج أي الأجزاء تحديداً قد تم تعزيزها.

الطرق المقترحة

يصيغ المؤلفون هذا النموذج في طريقتين:

MajorMark:
- الترميز: يطبق الترميز المدرك للبت الأغلب مباشرة على رسالة الـ $b$ بت كاملة. ويظهر التحليل النظري أن نسبة القائمة الخضراء المتوقعة هي $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi b}$ .
- فك التشفير: يستخدم مفكك تشفير قائم على التجميع (clustering-based decoder). يقوم بإعادة بناء رسم خرائط الرمز إلى الجزء (token-to-shard mapping) لكل رمز وتجميع عدد الرموز لكل جزء. تقوم خوارزمية التجميع (مثل K-Means) بتقسيم الأجزاء إلى مجموعتين بناءً على تكرار الحدوث. المجموعة ذات متوسط العدد الأعلى تقابل البت الأغلب، مما يسمح باستعادة الرسالة الكاملة.
- دالة الهاش (Hash Function): لمنع القوائم الخضراء المتكررة الناتجة عن الكلمات الشائعة، يتضمن بذرة الهاش (hash seed) الرمزين السابقين ( $x_{t-1}, x_{t-2}$ ) والبت الأغلب $\lambda$ .
MajorMark+:
- التحسين: مصمم لتحسين الأداء للرسائل الأطول حيث يتضاءل المكسب في $\gamma$ من MajorMark مع اقتراب $b$ من $\infty$ .
- الترميز القائم على الكتل: يتم تقسيم الرسالة إلى $r$ من الكتل. ويطبق الترميز المدرك للبت الأغلب بشكل مستقل على كل كتلة. ينتج عن ذلك نسبة قائمة خضراء متوقعة أكبر: $E_m[\gamma] \approx 0.5 + 1/\sqrt{2\pi(b/r)}$ .
- فك التشفير الحتمي: يستبدل نهج التجميع بـ فك تشفير حتمي. بدلاً من الاعتماد على التجميع غير الخاضع للإشراف، يقوم مفك التشفير بحصر جميع التشكيلات الممكنة للبت الأغلب وعدد حدوثه لكل كتلة. ويختار التشكيلة التي تنتج أكثر توزيع مائل (skewed) لتوزيع الرموز عبر الأجزاء. هذا يلغي الحساسية لحدود التجميع ويحسن الدقة، خاصة في ظل انحيازات العلامة المائية الضعيفة.

المساهمات الرئيسية

استراتيجية ترميز مبتكرة: تقدم الورقة نموذج الترميز المدرك للبت الأغلب، الذي يخفف من اعتماد قابلية اكتشاف العلامة المائية على صغر حجم القائمة الخضراء، مما يكسر فعلياً مقايضة الجودة والدقة.
طريقتان جديدتان: يقدم المؤلفون MajorMark و MajorMark+، وكلاهما يستخدم استراتيجية الترميز الجديدة. تعالج MajorMark+ تحديداً قابلية توسع الطريقة للرسائل الطويلة من خلال المعالجة القائمة على الكتل وفك التشفير الحتمي.
ضمانات نظرية: تقدم الورقة براهين نظرية تثبت أن كلتا الطريقتين تضمنان نسبة قائمة خضراء $\gamma \ge 0.5$ ، مع نسب متوقعة أكبر من 0.5 لطول الرسالة المحدود.
تقييم شامل: تثبت التجارب المكثفة على نماذج اللغات الكبيرة الحديثة (مثل LLaMA-2 وQwen وGemma) عبر مهام ومجموعات بيانات متنوعة (تكملة النص، توليد القصص، التلخيص، C4، Essays، OpenGen) صحة النهج.

النتائج التجريبية

قيم المؤلفون طرقهم مقابل أحدث النماذج المرجعية (DepthW, CycleShift, MPAC, RSBH) باستخدام مقاييس لـ دقة البت (BA)، والارتباك (PPL) (كمؤشر لجودة النص)، ومعدل الإصابة Top-5.

مقايضة متفوقة: حققت MajorMark و MajorMark+ باستمرار دقة فك تشفير أعلى وارتباك أقل (جودة نص أفضل) من الطرق الموجودة. على سبيل المثال، مع طول رسالة $b=64$ ، حققت MajorMark+ دقة بت (BA) بلغت 94.82% وارتباك (PPL) قدره 6.29، متفوقة على RSBH (التي حققت BA بنسبة 89.74% وPPL قدره 6.85).
المتانة: أظهرت الطرق متانة ضد هجمات التحرير بعد التوليد، بما في ذلك هجمات النسخ واللصق (Copy-Paste) وهجمات إعادة الصياغة (Paraphrase). وبينما عانت جميع الطرق تحت هجمات إعادة الصياغة، حافظت MajorMark و MajorMark+ على أداء تنافسي مقارنة بالنماذج المرجعية.
الكفاءة: تعقيد فك التشفير في MajorMark+ خطي بالنسبة لعدد الكتل ( $b/r - 1$ )، مما يجعلها أكثر كفاءة بكثير من طرق التعداد ذات الوقت الأسي (مثل CycleShift) وأسرع من RSBH.
التعميم: أظهرت الطرق قدرة قوية على التعميم عبر بنيات نماذج مختلفة (LLaMA, Qwen, Gemma) والمهام المختلفة.

الأهمية والادعاءات

تدعي الورقة أن نموذج الترميز المدرك للبت الأغلب يحسن بشكل جذري من جدوى العلامات المائية متعددة البتات لنماذج اللغات الكبيرة. ومن خلال نقل هدف فك التشفير من عد تكرار الرموز إلى استنتاج اختيار الأجزاء، تسمح هذه الطريقة باستخدام قوائم خضراء كبيرة دون التضحية بدقة فك التشفير.

يؤكد المؤلفون أن طرقهم تمكن مزودي الخدمة من تضمين بيانات وصفية معقدة (مثل معرفات المستخدم أو إصدارات النموذج) في النص المولد مع الحفاظ على فائدة النص العالية. وهذا يعالج فجوة حرجة في أبحاث العلامات المائية الحالية، حيث غالباً ما كانت جودة توليد النصوص العالية تُضحي من أجل إشارات علامة مائية قوية. يشير العمل إلى أن MajorMark و MajorMark+ هما مرشحان عمليان للنشر في سيناريوهات "النموذج كخدمة" (LLM-as-a-Service)، حيث يقدمان حلاً متوازناً لتتبع الأصل والتحقيق في سوء الاستخدام.