ملخص تقني: كل بت، في كل مكان، دفعة واحدة: علامة مائية ثنائية متعددة البتات للنماذج اللغوية الكبيرة

بيان المشكلة

انتقل استخدام العلامات المائية للنماذج اللغوية الكبيرة (LLMs) من البحث النظري إلى النشر التجاري، مع التركيز بشكل أساسي على العلامات المائية صفرية البت التي تجيب على سؤال ثنائي: "هل تم إنشاء هذا النص بواسطة نموذج معين؟" ومع ذلك، تتطلب التطبيقات العملية الناشئة علامات مائية متعددة البتات قادرة على تشفير حمولات معقدة (مثل معرفات المستخدمين، الطوابع الزمنية، أو بيانات ترخيص الاستخدام) مباشرة في النص المُنشأ.

تعتمد معظم المخططات متعددة البتات الحالية بشكل أساسي على تخصيص المواضع (مثل MPAC وMirrorMark)، حيث يقوم كل خطوة توليد بتشفير بت واحد فقط من الحمولة في موضع محدد. يعاني هذا النهج من مشكلتين رئيسيتين:

1. عدم المثالية: تشفير بت واحد فقط لكل رمز (token) يعد أمراً غير فعال، كما أن المواضع المخصصة قد لا تكون موزعة بشكل متساوٍ.
2. قابلية التوسع: الطرق البديلة التي تتجنب تخصيص المواضع (مثل Cycle-Shift وArcMark) محدودة حوسبياً لأن وقت فك التشفير يزداد بشكل أسّي مع طول الرسالة.

التحدي المركزي الذي تعالجه هذه الدراسة هو تصميم مخطط علامة مائية متعدد البتات يمكنه تشفير سلاسل بتات طويلة بفعالية دون الاعتماد على تخصيص المواضع، مع الحفاظ على دقة عالية للرسالة ومتانة عالية.

المنهجية

يقترح المؤلفون نهجاً جديداً جوهرياً يعتمد على التشفير ذي الحدين (Binomial Encoding)، والذي يشفر سلسلة بتات الرسالة بأكملها عند كل موضع رمز.

1. التشفير وفك التشفير ذو الحدين

على عكس الأعمال السابقة التي تختار بتًا واحدًا لتشفيره لكل رمز، يقوم هذا الأسلوب بتشفير كل بت من الحمولة ذات الـ $m$ بت عند كل خطوة توليد.

• التشفير: عند كل موضع رمز $t$، يقوم النظام بأخذ عينات من $m$ من متجهات درجات برنولي (Bernoulli) المستقلة ($G^1_t, \dots, G^m_t$) باستخدام مولد أرقام شبه عشوائية (PRNG) يتم ضبط بذرة (seed) من السياق ومفتاح خاص. لكل بت $M_i$ في الحمولة، يتم قلب (تكملة) متجه الدرجات المقابل إذا كان $M_i = 1$. متجه الدرجات النهائي $\tilde{G}_t$ هو مجموع هذه المتجهات المعدلة الـ $m$. بعد ذلك، يتم توجيه توزيع الرموز نحو الرموز ذات درجات $\tilde{G}_t$ الأعلى.
• فك التشفير: لفك التشفير، يقوم النظام بإعادة حساب درجات برنولي لكل رمز في النص. يتم تحديد البت المفكك للموضع $i$ من خلال تصويت الأغلبية عبر جميع الرموز. والأهم من ذلك، يوفر الأسلوب تسجيل ثقة لكل بت باستخدام اختبارات ذات حدين ثنائية الجانب، مما يسمح للنظام بتقييم الأهمية الإحصائية لكل بت مفكك دون افتراض أن النص يحمل علامة مائية.

2. المشفر ذو الحالة (Stateful Encoder)

لتحسين دقة البت، قدم المؤلفون مشفرًا ذا حالة يقوم ديناميكياً بإعادة توجيه ضغط التشفير أثناء عملية التوليد.

• يتتبع المشفر إحصائيات فك التشفير الحالية لكل بت بناءً على التسلسل الذي تم توليده جزئياً.
• يقوم بحساب دقة البت المتوقعة في أسوأ الحالات لكل بت إذا تم توليد الرموز المتبقية بدون علامة مائية.
• يتم تعديل دالة التسجيل لإعطاء الأولوية للبتات التي تعاني حالياً من نقص في التشفير (أي تلك التي تكون إحصائيات فك تشفيرها قريبة من حد القرار)، مما يؤدي إلى تعظيم دقة البت الإجمالية المتوقعة.

3. مقاييس التقييم

تنتقد الورقة مقاييس التقييم الحالية (مثل دقة الرسالة الخام) التي تفترض أن النص المدخل معروف مسبقاً بأنه يحمل علامة مائية. يجادل المؤلفون بأنه في النشر الواقعي، يجب أولاً اكتشاف ما إذا كانت هناك رسالة موجودة. لذا قدموا مقياس دقة البت عند معدل الإيجاب الخاطئ بنسبة $\alpha\%$ (BA@$\alpha\%$FPR) كمعيار أكثر عملية. يقيس هذا المقياس احتمالية فك تشفير بت بشكل صحيح مع ضمان عدم اعتبار النصوص غير المحملة بعلامة مائية كأنها تحتوي على رسالة عن طريق الخطأ لأكثر من $\alpha\%$ من الوقت.

المساهمات الرئيسية

1. أول علامة مائية متعددة البتات لا تعتمد على تخصيص المواضع: قدم المؤلفون أول مخطط يشفر سلسلة بتات الرسالة الكاملة عند كل موضع رمز عبر التشفير ذي الحدين، متجنبين قيود الكفاءة وقابلية التوسع المرتبطة بتخصيص المواضع.
2. المشفر ذو الحالة: آلية مبتكرة تعطي الأولوية ديناميكياً للبتات ذات الأداء المنخفض أثناء التوليد، مما يحسن دقة البت بشكل كبير دون تغيير استراتيجية فك التشفير.
3. إطار تقييم جديد: تنتقد الورقة المقاييس السابقة لافتقارها إلى الرؤية العملية حول الإيجاب الخاطئ، وتقترح تسجيل الثقة لكل بت (BA@$\alpha\%$FPR) كمعيار لتقييم العلامات المائية متعددة البتات في السيناريوهات الواقعية.
4. تقييم شامل: تجارب واسعة النطاق ضد 8 نماذج أساسية (baselines) على حمولات مكونة من 16، 32، و64 بت، تُظهر أداءً متفوقاً في دقة البت، ودقة الرسالة، والمتانة، خاصة في أنظمة التشوه المنخفض ومع الحمولة الأكبر.

النتائج

أُجري التقييم باستخدام LLAMA3.1-8B و MINISTRAL-3-14B مع حمولات قدرها 16، 32، و64 بت.

• دقة الرسالة: يتفوق المخطط المقترح (تحديداً النسخة ذات الحالة، "Ours+") على جميع النماذج الثمانية الأساسية (بما في ذلك MPAC وMirrorMark وArcMark وStealthInk) في دقة الرسالة، وتتسع الفجوة في الأداء مع زيادة طول الحمولة (32 و64 بت) وفي إعدادات التشوه المنخفض.
• الدقة القائمة على الثقة (BA@1%FPR): تحقق النسخة عديمة الحالة (stateless) من الطريقة المقترحة دقة BA@1%FPR أعلى بكثير من النماذج الأساسية، مما يشير إلى قدرة فائقة على التمييز بين البتات المحملة بعلامة مائية والضوضاء العشوائية مع التحكم في الإيجاب الخاطئ.
• المتانة: بينما تظل المتانة تحدياً لجميع العلامات المائية متعددة البتات (حيث تنخفض الدقة بحدة مع حذف الكلمات أو إعادة الصياغة بنسبة تزيد عن 10%)، إلا أن الطريقة المقترحة تتفوق باستمرار على النماذج الأساسية عبر مختلف تعديلات النص.
• التوسع: يتوسع المخطط بشكل أفضل مع عدد الرموز مقارنة بالنماذج الأساسية؛ فعند 500 رمز، تحقق الطريقة المقترحة دقة بت تزيد عن 90%، بينما يصل أفضل نموذج أساسي إلى حوالي 80%.

الأهمية والادعاءات

تدعي الورقة أنها تفتح اتجاهاً جديداً لأبحاث العلامات المائية متعددة البتات من خلال إثبات أن التشفير ذي الحدين هو نموذج أكثر قوة من تخصيص المواضع. ويؤكد المؤلفون أن نهجهم يشفر بفعالية حمولات كبيرة دون التعقيد الحسابي لأساليب تخصيص المواضع السابقة (مثل Cycle-Shift).

علاوة على ذلك، تسلط هذه الدراسة الضوء على فجوة حرجة في المجال: وهي غياب مقاييس التقييم العملية للعلامات المائية متعددة البتات. ومن خلال تقديم تسجيل الثقة لكل بت، يجادل المؤلفون بأن الأبحاث والنشر المستقبلي يجب أن يأخذا في الاعتبار احتمالية الإيجاب الخاطئ عند فك تشفير الرسائل من نصوص عشوائية، وليس فقط من النصوص المحملة بعلامة مائية.

يظل المؤلفون متواضعين بشأن القيود، حيث يقرون بأن المتانة ضد تعديلات النص (مثل إعادة الصياغة) لا تزال مشكلة مفتوحة، وأنه بينما تظهر نتائجهم التجريبية التفوق على تخصيص المواضع، فإنهم لم يقدموا براهين نظرية على المثالية الصارمة لطرق عدم تخصيص المواضع. كما يشيرون إلى أن المشفر ذو الحالة، رغم تحسينه لدقة الرسالة، قد يقلل قليلاً من مقاييس الثقة لأنه يحسن الدقة المتوقعة بدلاً من الأهمية الإحصائية لكل بت.