Can we Watermark Low-Entropy LLM Outputs?

إليك ملخص تقني مفصل للورقة البحثية "هل يمكننا وضع علامة مائية لمخرجات النماذج اللغوية الكبيرة ذات الإنتروبيا المنخفضة؟" (Can we Watermark Low-Entropy LLM Outputs?) للباحثين نوام مازور، أندرو مورغان، ورافائيل باس.

1. بيان المشكلة

تتناول الورقة البحثية قيداً حرجاً في مخططات العلامات المائية الحالية للنماذج اللغوية الكبيرة (LLM): متطلب الإنتروبيا (الاعتلاج).

• السياق: تهدف العلامة المائية إلى تضمين رمز مخفي وغير قابل للكشف في مخرجات النموذج اللغوي الكبير لإثبات أن المحتوى تم إنتاجه بواسطة الذكاء الاصطناعي. حققت الأعمال الحديثة (Christ et al. [CG24], Golowich et al. [GM24]) علامات مائية "غير قابلة للكشف بشكل مثبت" (أي لا يمكن تمييزها حسابياً عن المخرج الأصلي) وتتميز بالمتانة ضد التعديلات العدائية.
• الفجوة: تعتمد هذه المخططات الحالية على افتراضات قوية حول الإنتروبيا التجريبية لرموز (tokens) مخرجات النموذج اللغوي.
  • يتطلب [GM24] أن يكون لكسر ثابت من الرموز إنتروبيا قدرها $O(\log |T|)$، حيث $|T|$ هو حجم أبجدية الرموز.
  • يتطلب [CG24] إنتروبيا قدرها $\Omega(\log |T|)$ للأبجديات الكبيرة (ما لم يتم استخدام ترميزات Huffman محددة ذات افتراضات توزيعية قوية).
• التحدي: في الاستخدام الواقعي للنماذج اللغوية الكبيرة، تمتلك العديد من الرموز (مثل الكلمات الشائعة، أو العبارات المولدة بشكل حتمي، أو السياقات ذات التباين المنخفض) إنتروبيا منخفضة (غالباً ما تكون قريبة من 1 بت أو حتى 0). إذا كانت الإنتروبيا منخفضة جداً، فلا تستطيع المخططات الحالية تضمين علامة مائية بشكل موثوق دون التحيز لتوزيع المخرجات (مما ينتهك شرط عدم القابلية للكشف) أو الفشل في استعادة العلامة المائية (مما ينتهك شرط المتانة).
• السؤال الجوهري: هل يمكننا بناء مخطط علامة مائية غير قابل للكشف ومتين للنماذج اللغوية الكبيرة ذات الأبجديات الكبيرة حيث تكون إنتروبيا الرمز الواحد مجرد قيمة ثابتة (Constant) (مستقلة عن حجم الأبجدية أو معامل الأمان)؟

2. المنهجية

يقترح المؤلفون إطار عمل جديداً يجسّر الفجوة بين مخططات العلامة المائية الثنائية (Binary) والنماذج اللغوية الكبيرة ذات الأبجدية الكبيرة دون تكبد تكاليف إنتروبيا عالية.

النهج الأساسي: التجزئة والتضمين القائم على الكتل (Hashing and Block-Based Embedding)

بدلاً من تحويل الرموز إلى صيغة ثنائية (مما يزيد من متطلبات الإنتروبيا) أو استخدام أكواد شبه عشوائية (PRCs) ذات أبجدية كبيرة (والتي تتطلب أيضاً إنتروبيا عالية)، يستخدم المؤلفون كوداً شبه عشوائي ثنائياً (Binary PRC) مقترناً بـ تجزئة الرموز (Token Hashing).

1. أساس الـ PRC الثنائي: يعتمد المخطط على كود تصحيح خطأ شبه عشو دوائي (PRC) ثنائي يتميز بالمتانة ضد عمليات الاستبدال والحذف. يقوم هذا الكود بتوليد سلسلة بتات شبه عشوائية (Codeword).
2. تجزئة الرموز (Hashing Tokens): لكل رمز $t$ يتم توليده بواسطة النموذج اللغوي، يطبق المخطط دالة تجزئة عشوائية $h: T \to \{0, 1\}$.
3. استراتيجية التضمين:
   • يقوم المخطط بأخذ عينة من رمزين مستقلين $t_0, t_1$ من توزيع النموذج $D$.
   • إذا كان $h(t_0) \neq h(t_1)$ (حالة "نجاح")، يقوم المخطط بإخراج الرمز $t_b$ بحيث يتوافق $h(t_b)$ مع البت الحالي من كود الـ PRC. هذا يؤدي لتضمين البت دون التحيز للتوزيع.
   • إذا كان $h(t_0) = h(t_1)$ (حالة "فشل")، يقوم المخطط بإخراج رمز عشوائي. هذا يؤدي إلى إدخال خطأ (قلب البت في الكود المضمن) باحتمالية $1/2$.
4. التجزئة القائمة على الكتل (Block-Based Hashing): للتعامل مع الحذف والإدراج، لا يستخدم المؤلفون دالة تجزئة فريدة لكل رمز (لأن ذلك سيؤدي لكسر المحاذاة بعد التعديل)، بل يقسمون المخرج إلى كتل، كل منها يقابل كود PRC واحداً. يتم إعادة استخدام دالة تجزئة واحدة لجميع الرموز داخل الكتلة الواحدة.
   • الميزة: إذا تم حذف رموز، يمكن للمكتشف (Detector) لاحقاً تحديد الكتلة التي تنتمي إليها تلك الرموز واستخدام دالة التجزئة الصحيحة لفك التشفير.
   • المقايضة: إعادة استخدام دالة التجزئة تؤدي إلى وجود ارتباط (Correlation) بين الأخطاء، مما يتطلب تحليلاً دقيقاً لضمان المتانة.

الرؤى التقنية الرئيسية

• متطلب الإنتروبيا: يتطلب المخطط فقط أن تمتلك نسبة ثابتة من الرموز في سلسلة فرعية طويلة 1 بت من الإنتروبيا التجريبية. وهذا أقل بكثير من الـ $O(\log |T|)$ التي تتطلبها الأعمال السابقة.
• تحليل الخطأ:
  • يثبت المؤلفون أنه بالنسبة للرموز التي تمتلك $\ge 1$ بت من الإنتروبيا، فإن احتمالية "الفشل" (حيث $h(t_0)=h(t_1)$) تكون محدودة.
  • والأهم من ذلك، يوضحون أنه حتى تحت تأثير الاستبدالات العشوائية (حيث يستبدل المهاجم الرموز بمرادفات أو رموز أخرى)، فإن معدل الخطأ المتوقع يظل أقل من $1/2$ طالما أن الاستبدال "عشوائي" (يتم نمذجته كقناة مستقلة عن البت الخاص بالـ PRC).
  • بالنسبة لعمليات الحذف العشوائي، تسمح بنية الكتل للمفكك (Decoder) بتخطي الرموز المفقودة ومحاولة استعادة الكود من البتات المتبقية.

3. المساهمات والنتائج الرئيسية

تقدم الورقة أربع نظريات رئيسية (ونظريات فرعية مقابلة لها) تثبت مخططات العلامة المائية تحت افتراضات مختلفة:

أ. المتانة ضد الاستبدالات العشوائية

• النتيجة: مخطط علامة مائية متين ضد كسر قدره $(1/2 - \epsilon)$ من الاستبدالات العشوائية.
• الافتراضات: صعوبة شبه أسية لمسألة التعلم بالتكافؤ مع الضجيج (Learning Parity with Noise - LPN) (نفس افتراض [CG24]).
• الإنتروبيا: يتطلب فقط $O(1)$ من الإنتروبيا التجريبية لكل رمز (تحديداً، كسر ثابت من الرموز بإنتروبيا قدرها 1 بت).
• الأهمية: هذا هو أول مخطط يحقق علامة مائية غير قابلة للكشف ومتينة للنماذج اللغوية الكبيرة ذات الأبجديات الكبيرة مع متطلبات إنتروبيا ثابتة.

ب. المتانة ضد الاستبدالات والحذف العشوائي (نهج استدلالي/Heuristic)

• النتيجة: مخطط متين ضد الاستبدالات العشوائية وحذف بنسبة $(1-\epsilon)$ من الرموز العشوائية.
• الافتراضات: صعوبة LPN + هيورستيك "المطالبة الطبيعية" / "المتغيرة بما يكفي"؛ يفترض هذا أن الأخطاء الناتجة عن عملية التضمين والاستبدالات العشوية اللاحقة تتصرف مثل قناة ثنائية متماثلة (Binary Symmetric Channel - BSC).
• الإنتروبيا: $O(1)$.
• ملاحظة: يقر المؤلفون بأن هذا الافتراض الاستدلالي قوي وقد لا ينطبق في الحالات الشاذة (مثل هجمات الإيموجي حيث يتم إدراج رموز حتمية).

ج. المتانة ضد الاستبدالات والحذف العشوائي (بدون افتراضات/ باستخدام PRC أقوى)

• النتيجة: مخطط متين ضد الاستبدالات والحذف العشوائي دون الحاجة للافتراض الاستدلالي.
• الافتراضات: يتطلب وجود كود PRC ثنائي متين ضد الاستبدالات العدائية والحذف العشوائي.
• الحالة: لا يوجد حالياً كود PRC ثنائي معروف يمتلك هذه المعاملات المحددة، لكن الورقة توضح أنه إذا وجد، فإن مخطط العلامة المائية سيتبع ذلك مباشرة.

د. المتانة ضد التعديلات العدائية (الإدراج، الحذف، الاستبدال)

• النتيلة: مخطط متين ضد كسر ثابت من التعديلات العدائية التعسفية.
• الافتراضات: يعتمد على بناء "الأكواد المتبادلة" (Permuted Codes) الأخير من [CGG+25].
• المقايضة: بينما يزيل هذا النهج الافتراض الاستدلالي، فإنه يتطلب أن تحتوي سلسلة فرعية أكبر من المخرجات على إنتروبيا كافية (كسر ثابت من كامل المخرج، وليس مجرد سلسلة فرعية) لمنع المهاجم من استهداف مناطق الإنتروبيا المنخفضة. معامل المتانة للتعديلات صغير ($\tilde{O}(\delta^4)$).

4. المقارنة مع الأعمال السابقة

الميزة	[CG24] (ثنائي)	[GM24] (أبجدية كبيرة)	هذا العمل
الأبجدية	ثنائية	كبيرة ($|T|$)	كبيرة ($|T|$)
متطلب الإنتروبيا	$O(1)$ (للثنائي)	$O(\log |T|)$	$O(1)$
المتانة	استبدال/حذف عشوائي	تعديلات عدائية	استبدال/حذف عشوائي (وتعديلات عدائية مع تحفظات)
نموذج الهجوم	قلب البتات	تعديل الرموز	تعديلات مستوى الرمز (إعادة الصياغة، الحذف)
الابتكار الرئيسي	PRC على البتات	PRC على أبجدية كبيرة	تجزئة الرموز إلى بتات + إعادة استخدام الكتل

• الميزة مقارنة بـ [CG24]: يعمل مباشرة على أبجديات الرموز الكبيرة دون تحويلها إلى صيغة ثنائية (مما قد يدمر متانة الهجمات على مستوى الرمز).
• الميزة مقارنة بـ [GM24]: يقلل بشكل جذري من متطلبات الإنتروبيا من اللوغاريتمية إلى الثابتة، مما يجعله قابلاً للتطبيق على اللغة الطبيعية ذات الإنتروبيا المنخفضة.

5. الأهمية

1. سد فجوة الإنتروبيا: يثبت هذا العمل أن المخرجات ذات الإنتروبيا العالية ليست شرطاً مسبقاً للعلامات المائية غير القابلة للكشف. هذا أمر بالغ الأهمية للنشر العملي، حيث تولد النماذج اللغوية الكبيرة غالباً نصوصاً ذات إنتروبيا منخفضة (مثل الأكواد البرمجية، البيانات المهيكلة، أو العبارات الشائعة).
2. المتانة على مستوى الرمز: من خلال العمل على مستوى الرمز بدلاً من الترجمة الثنائية، يظل المخطط متيناً ضد الهجمات العملية مثل إعادة الصياغة (استبدال كلمة بمرادفها) أو الحذف، والتي قد تكسر المخططات القائمة على البتات.
3. الأساس النظري: يضع هذا العمل نموذجاً جديداً للعلامات المائية: استخدام كود PRC ثنائي كـ "عمود فقري" مع ربط رموز الأبجدية الكبيرة به عبر التجزئة. هذا يفصل متانة الكود عن إنتروبيا المصدر.
4. المشكلات المفتوحة: تسلط الورقة الضوء على أن تحقيق المتانة ضد التعديلات العدائية دون افتراضات استدلالية لمخرجات الإنتروبيا المنخفضة لا يزال تحدياً مفتوحاً، ويعتمد على البناءات المستقبلية لأكواد PRC الثنائية ذات خصائص متانة أقوى.

باختاً، توفر هذه الورقة أول إطار عمل للعلامة المائية للنماذج اللغوية الكبيرة، وهو غير قابل للكشف ومتين بشكل مثبت، ويعمل بفعالية حتى عندما تكون مخرجات النموذج ذات إنتروبيا منخفضة جداً، مما يوسع بشكل كبير من إمكانية التطبيق العملي لعلامات الذكاء الاص see المائية.