💬 NLP

SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking

تقترح الورقة البحثية طريقة SSG (الفرز ثم التقسيم حسب المجموعات)، وهي طريقة جديدة لتقسيم المفردات تعمل على تحسين قابلية اكتشاف العلامة المائية للنماذج اللغوية الكبيرة في سيناريوهات الإنتروبيا المنخفضة، مثل توليد الأكواد والرياضيات، وذلك عبر إنشاء مجموعات فرعية متوازنة من حيث الاحتمالات (logits) لرفع الحد الأدنى لقوة العلامة المائية.

المؤلفون الأصليون: Chenxi Gu, Xiaoning Du, John Grundy

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenxi Gu, Xiaoning Du, John Grundy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك عميل سري تحاول ترك "توقيع خفي" على رسالة لتثبت أنك أنت من كتبها. تريد أن يكون هذا التوقيع خفياً بما يكفي بحيث لا يلاحظه القارئ العادي، ولكن واضحاً بما يكفي لوكالتك لكي تكتشفه لاحقاً باستخدام عدسة مكبرة خاصة.

هذه الورقة البحثية، SSG، تدور حول جعل هذا التوقيع الخفي أسهل بكثير في العثور عليه، خاصة في الحالات التي يكون من الصعب فيها عادةً إخفاء أي شيء.

المشكلة: معضلة "الخيار الواحد"

معظم تقنيات العلامات المائية للذكاء الاصطناعي (مثل طريقة "KGW" الشهيرة) تعمل عبر لعب لعبة "الإشارة الحمراء والإشارة الخضراء" مع الكلمات. يُطلب من الذكاء الاصطناعي: "عندما تختار الكلمة التالية، حاول اختيار كلمة 'خضراء' أكثر من الكلمة 'الحمراء'."

في المحادثات العادية (الاعتلاج العالي/High Entropy)، هناك مئات الكلمات المتاحة للاختيار. إذا اختار الذكاء الاصطناعي كلمة "خضراء" بدلاً من كلمة "حمراء"، فمن السهل ملاحظة النمط.

لكن تخيل أنك تكتب معادلة رياضية أو سطراً من كود برمجي (الاعتلاج المنخفض/Low Entropy). في هذه الحالات، غالباً ما يكون هناك إجابة واحدة صحيحة فقط. إذا كان يجب أن تكون الكلمة التالية هي x = 5 حتماً، فإن الذكاء الاصطناعي لا يملك خياراً. لا يمكنه اختيار كلمة "خضراء" إذا كانت الكلمة الصحيحة الوحيدة هي "حمراء". هنا تضيع العلامة المائية لأن الذكاء الاصطناعي مجبر على الدقة، وليس على اختيار اللون "الأخضر". الأمر يشبه محاولة إخفاء رسالة سرية في كتاب حيث كل كلمة فيه مطبوعة بالفعل بحبر عريض وثابت.

الحل: SSG (استراتيجية "التقسيم العادل عبر التصنيف")

لاحظ الباحثون أن المشكلة ليست في قاعدة "الأخضر والأحمر" نفسها، بل في كيفية تحديد أي الكلمات ستكون خضراء وأيها ستكون حمراء.

في الطريقة القديمة، كانت الكلمات تُخصص ألوانها عشوائياً. كان الأمر يشبه رمي حفنة من الكرات الحمراء والخضراء في غرفة مظلمة. وبسبب سوء الحظ المحض، قد تنتهي جميع الكرات "المهمة" (التي يريد الذك de الاصطناعي اختيارها فعلياً) لتكون "حمراء". إذا حدث ذلك، تختفي العلامة المائية.

تغير استراتيجية SSG (الترتيب ثم التقسيم حسب المجموعات) قواعد اللعبة. بدلاً من التخصيص العشوائي، تتبع الخطوات التالية:

الاصطفاف: تنظر إلى جميع الكلمات المحتملة التالية وترتبها من "الأكثر احتمالاً" إلى "الأقل احتمالاً" (مثل لوحة المتصدرين).
نظام الرفيق: تأخذ المرشحين الأوائل وتضعهم في أزواج.
رمية العملة العادلة: لكل زوج، يتم رمي عملة معدنية: كلمة واحدة تصبح خضراء، والأخرى تصبح حمراء.

التشبيه: طابور البوفيه
تخيل بوفيه يحتوي على 100 طبق، لكن طبقين فقط منهما لذيذان حقاً (الكلمات ذات الاحتمالية العالية).

الطريقة القديمة (KGW): تخصص الألوان عشوائياً. قد تجعل الطبقين اللذيذين "حمراوين" بالخطأ. الآن، تصبح إشارة اللون "الأخضر" بلا فائدة لأنه لا أحد يأكل الطعام الأخضر.
طريقة SSG: تأخذ الطبقين اللذيذين، تجمعهما في زوج، وتقول: "أحدكما أخضر، والآخر أحمر." الآن، بغض النظر عما يختاره الذكاء الاصطناعي، فإنه سيختار كلمة خضراء في نصف الحالات مضموناً. لقد قمت بـ "موازنة" النكهات بحيث يظهر التوقيع دائماً.

لماذا يهم هذا؟

أكثر ذكاءً، لا أكثر صخباً: عادةً، لجعل العلامة المائية أقوى، يتعين عليك إجبار الذكاء الاصطناعي على اختيار الكلمات "الخضراء" بقوة شديدة لدرجة تجعل الذكاء الاصطناعي يرتكب أخطاءً (مثل كتابة كود برمجي سيء). تجعل SSG العلامة المائية أقوى دون جعل الذكاء الاصطناعي "غبياً".
تعمل في كل مكان: إنها تعالج المشكلة في المهام "المملة" أو "الصارمة" مثل الرياضيات والبرمجة، بينما تظل تعمل بشكل مثالي في الكتابة الإبداعية.
إثبات أفضل: توفر ضماناً رياضياً بأن "قوة" العلامة المائية لن تنخفض إلى الصفر، حتى عندما يكون الذكاء الاصطناعي دقيقاً للغاية.

باختصار: تضمن SSG أنه حتى عندما تكون يدا الذكاء الاصطناعي مقيدتين بالمنطق والرياضيات، فإنه لا يزال بإمكانه ترك بصمة واضحة وقابلة للكشف.

ملخص تقني: SSG: تقسيم المفردات المتوازن مع اللوجيت (Logit-Balanced) لعلامات النماذج اللغوية الكبيرة المائية

1. بيان المشكلة

تتناول الورقة البحثية ثغرة أمنية حرجة في تقنيات العلامات المائية الحالية للنماذج اللغوية الكبيرة (LLM)، وتحديداً مخطط KGW (Kirchenbauer et al.) واسع الانتشار. وبينما يعد KGW فعالاً في توليد اللغة الطبيعية ذات الإنتروبيا العالية، إلا أن أداءه يتدهور بشكل كبير في بيئات الإنتروبيا المنخفضة، مثل توليد الأكواد البرمجية والاستدلال الرياضي.

في المهام ذات الإنتروبيا المنخفضة، يكون توزيع احتمالية الرمز التالي (next-token) "حاد القمة"، مما يعني أن عدداً قليلاً من الرموز يستحوذ على معظم الكتلة الاحتمالية. يعتمد مخطط KGW على التقسيم العشوائي للمفردات (تقسيم الرموز إلى مجموعتين: "خضراء" و"حمراء" بناءً على دالة التجزئة/hash). وفي سيناريوهات الإنتروبيا المنخفضة، هناك احتمال إحصائي عالٍ بأن تقع جميع الرموز ذات الـ "لوجيت" العالي (الاحتمالية العالية) ضمن نفس المجموعة الفرعية. إذا كانت الرموز الأعلى احتمالية كلها في المجموعة الحمراء، فلا يمكن تطبيق انحياز العلامة المائية بفعالية دون الإضرار الشديد بجودة مخرجات النموذج، مما يؤدي إلى "قوة علامة مائية" تقترب من الصفر ويجعل العلامة غير قابلة للكشف.

2. المنهجية

قدم المؤلفون مقياساً جديداً وخوارزمية تقسيم مبتكرة لحل هذه المشكلة.

المقياس الجديد: قوة العلامة المائية ( $f_{ws}$ ): صاغ المؤلفون "قوة العلامة المائية" كمقياس على مستوى الرمز يقيس إزاحة الاحتمالية المعيارية نحو المجموعة الخضراء أثناء التنبؤ. وقد أثبتوا أنه تحت التقسيم العشوائي، يكون الحد الأدنى لهذه القوة محكوماً بتوزيع الرمز التالي، والذي يمكن أن ينخفض إلى ما يقرب من الصفر في مهام الإنتروبيا المنخفضة.
الخوارزمية المقترحة: SSG (الفرز ثم التقسيم حسب المجموعات): بدلاً من التقسيم العشوائي، تضمن خوارزمية SSG أن تكون المفردات متوازنة مع اللوجيت (logit-balanced). وتتم العملية كالتالي:
1. الفرز (Sort): يتم فرز الرموز بترتيب تنازلي حسب قيم الـ "لوجيت" الخاصة بها.
2. التجميع (Group): تُنظم الرموز في مجموعات متتالية مكونة من عنصرين لكل مجموعة.
3. التقسيم (Split): لكل مجموعة، يقرر مولد أرقام عشوائية زائف (يتم تشغيله بواسطة مفتاح سري وسياق) أي رمز يذهب إلى المجموعة الخضراء ( $V_g$ ) وأيها يذهب إلى المجموعة الحمراء ( $V_r$ ). يضمن ذلك أنه لكل زوج من الرموز عالية الاحتمالية، يوجد رمز واحد أخضر وآخر أحمر.
4. تحسين الكفاءة (Top- $k$ ): لتجنب العبء الحسابي لفرز كامل المفردات في كل خطوة، اقترح المؤلفون تطبيق SSG فقط على أعلى $k$ من الرموز احتمالية، واستخدام التقسيم العشوائي لبقية المفردات.
الكشف: تتوافق SSG مع طرق الكشف الحالية، مثل اختبار z-score أو تسجيل النقاط الموزون بالإنتروبيا.

3. المساهمات الرئيسية

التحليل النظري: صياغة رسمية لـ "قوة العلامة المائية" وإثبات يوضح أن SSG ترفع الحد الأدنى لهذه القوة، مما يضمن قابلية الكشف حتى عندما يكون التوزيع مركزاً للغاية.
الابتكار الخوارزمي: خوارزمية SSG التي تنتقل من التقسيم العشوائي إلى نهج متوازن مع اللوجيت.
استراتيجية الكفاءة: تقديم متغير Top- $k$ لـ SSG، والذي يحافظ على الفعالية مع تقليل زمن التأخير الناتج عن فرز اللوجيتات.

4. النتائج التجريبية

قيم المؤلفون خوارزمية SSG عبر نماذج متعددة (Qwen2.5-Coder, DeepSeekMath, LLaMA-3) ومهام متنوعة (HumanEval, MBPP, GSM8K).

تحسين قابلية الكشف: حسنت SSG باستمرار معدل الإيجاب الحقيقي (TPR) ودرجة F1-score مقارنة بنماذج KGW وSWEET وEWD الأساسية. وفي كثير من الحالات، شهد أداء الكشف مكاسب هائلة (على سبيل المثال، في مهام الاستدلال الرياضي، ارتفع TPR عند معدل 1% FPR بشكل كبير).
الحفاظ على جودة النص: على عكس زيادة الانحياز ( $\delta$ ) لتحسين الكشف، وهو ما يضر بالدقة، قامت SSG بتحسين قابلية الكشف دون إضعاف دقة Pass@1 (قدرة النموذج على توليد إجابات برمجية أو رياضية صحيحة).
مقايضة Top- $k$ : أظهرت التجارب أن استخدام قيمة $k$ صغيرة (مثل $k=2$ أو $k=4$ ) يوفر فوائد كبيرة، بينما تقدم قيم $k$ الأكبر عوائد متناقصة وتزيد من زمن تأخير فك التشفيد (decoding latency).
المتانة: بينما تظل جميع العلامات المائية عرضة لهجمات إعادة الصياغة (باستخدام GPT-4o-mini)، أظهرت SSG متانة قوية في نماذج محددة مثل LLaMA-3.

5. الأهمية

تكمن أهمية هذه الورقة في أنها تنقل التركيز في أبحاث العلامات المائية للنماذج اللغوية الكبيرة من خوارزميات الكشف (كيف نجد العلامة المائية) إلى خوارزميات الحقن (كيف ندمجها). ومن خلال إعادة تصميم كيفية تقسيم المفردات، قدم المؤلفون وسيلة لجعل العلامات المائية متينة للمخرجات الأكثر "هيكلية" و"منطقية" للذكاء الاصطناعي — وهي الأكواد والرياضيات — والتي تعد حالياً الأصعب في الحماية. وهذا أمر حيوي لحماية الملكية الفكرية وضمان مصدر المحتوى التقني عالي الدقة الناتج عن الذكاء الاصطناعي.