ملخص تقني: مخفي في الرموز البسيطة (Hidden in Plain Tokens)

بيان المشكلة

أدى التقدم السريع في الذكاء الاصطناعي التوليدي، لا سيما النماذج ذاتية الانحدار (autoregressive models) للوسائط المستمرة مثل الصوت، إلى حاجة ملحة لإثبات أصل المحتوى (content provenance). وبينما تُعد تقنيات العلامات المائية للنماذج المنفصلة (مثل النصوص) راسخة ومستقرة، فإن تطبيقها على الوسائط المستمرة يواجه عقبة جوهرية: عدم تطابق إعادة الترميز (retokenization mismatch).

في نماذج الصوت ذاتية الانحدار، يتم توليد المحتوى كمتتالية من الرموز المنفصلة (discrete tokens) ولكن يتم ترميزها صوتياً إلى موجة مستمرة. وللكشف عن العلامة المائية، يجب إعادة ترميز الموجة (إعادة تحويلها إلى رموز) بواسطة برنامج الترميز (codec). ومع ذلك، نظرًا لأن برامج الترميز العصبية تعطي الأولوية لجودة إعادة البناء على حساب الحفاظ الدقيق على الفهرس، فإن المتتالية المعاد ترميزها غالبًا ما تختلف عن المتتالية الأصلية المولدة. هذا "خطأ إعادة الترميز" يتسبب في تلاشي إشارة العلامة المائية — التي تُدمج عادةً عبر تحيز احتمالات الرموز (token logits) — بسرعة كبيرة، خاصة مع زيادة حجم نافذة السياق ($h$). تحاول الحلول الحالية معالجة ذلك عبر ضبط برنامج الترميز (finetuning) ليكون متماثل الوظيفة (idempotent)، وهي عملية مكلفة حاسوبياً، وتتطلب وصولاً إلى "الصندوق الأبيض" (white-box access)، وتلغي ميزة "عدم الحاجة للتدريب" التي تتميز بها مخططات العلامات المائية القياسية.

المنهجية

يقترح المؤلفون طريقة "مخفي في الرموز البسيطة" (Hidden in Plain Tokens)، وهي طريقة علامة مائية خفيفة الوزن ولا تعتمد على الاشتقاق (gradient-free)، تستفيد من الحشو الهيكلي المتأصل في تعلم التمثيلات المنفصلة. وبدلاً من إجبار برنامج الترميز على أن يكون متماثل الوظيفة، تقوم الطريقة بتكييف مخطط العلامة المائية مع أنماط الخطأ الطبيعية لبرنامج الترميز.

1. التحليل الإحصائي لإعادة الترميز

يقوم البحث أولاً بنمذجة عملية إعادة الترميز كقناة مشوشة (noisy channel). وقد استنتجوا أن إحصائية الكشف المتوقعة (درجة $z$-score) لعلامة مائية قياسية من نوع KGW (Kirchenbauer et al., 2023) تتلاشى أسياً مع حجم نافذة السياق $h$ ومعدل تطابق الرموز $r$:
$$E[z|H_1] \propto \sqrt{N} \cdot r^{h+1}$$
بما أن $r < 1$ في الوسائط المستمرة، فإن الإشارة تتلاشى بسرعة. لاحظ المؤلفون أنه بينما تكون التطابقات الدقيقة للرموز نادرة، إلا أن الرموز غالباً ما يتم الخلط بينها وبين مجموعة صغيرة من "الجيران الدلاليين" (semantic neighbors).

2. تقليص المفردات عبر كشف المجتمعات

للتخفيف من حدة ذلك، قدم المؤلفون نهج "تجميع المفردات" (vocabulary clustering):

• بناء الرسم البياني: يقومون بترميز وإعادة ترميز مجموعة بيانات من الموجات الصوتية لبناء مصفوفة ارتباك (confusion matrix)، حيث تُعامل الرموز كعقد في رسم بياني، وترددات الارتباك كأوزان للحواف.
• كشف المجتمعات: باستخدام خوارزميات غير خاضعة للإشراف (تحديداً طريقة Leiden)، يحددون مجموعات مستقرة من الرموز التي كثيراً ما يتم الخلط بينها. يؤدي هذا فعلياً إلى تقليص حجم المفردات من $|V|$ إلى مجموعة أصغر من المجموعات (clusters).
• العلامة المائية على مستوى المجموعة: بدلاً من تحيز الرموز الفردية، يتم تطبيق تحيز العلامة المائية على مستوى المجموعة. يتم تعيين كل من تاريخ السياق (المستخدم للـ hashing) واختيار الرمز الحالي إلى مؤشرات المجموعات الخاصة بهما قبل تطبيق قاعدة العلامة المائية.

3. التحسين النظري

من خلال العمل على مستوى المجموعة، تستبدل هذه الطريقة معدل تطابق الرموز $r$ بـ معدل تطابق المجموعات $r_{cl}$. وبما أن $r_{cl} > r$ (حيث تجمع المجموعات أقرب الجيران)، فإن حد التلاشي الأسي يصبح $r_{cl}^{h+1}$، مما يعزز بشكل كبير درجة $z$-score المتوقعة وقوة الكشف دون تعديل النموذج التوليدي أو برنامج الترميز الأساسي.

المساهمات الرئيسية

1. التحليل الإحصائي: يقدم المؤلفون تحليلاً كمياً نظرياً لكيفية تسبب أخطاء إعادة الترميز في تدهور قابلية اكتشاف العلامة المائية، مع تسليط الضوء على التلاشي الأسي للإشارة بالنسبة لنافذة السياق.
2. طريقة لا تعتمد على الاشتقاق (Gradient-Free): يقدمون طريقة مبتكرة "للصندوق الأسود" تكتشف هياكل المفردات الكامنة عبر كشف المجتمعات وتلخصها قبل تطبيق قواعد العلامة المائية. وهذا يحافظ على نموذج "عدم الحاجة للتدريب".
3. القوة والجودة: تحقق الطريقة قوة متأصلة تجاه تعديلات الصوت، مع تقليل التدهور في جودة الصوت الملحوظة.

النتائج التجريبية

تم تقييم الطريقة على نماذج صوتية متطورة، بما في ذلك Moshi (للكلام الحواري) و MusicGen (لتوليد الموسيقى)، بالإضافة إلى نماذج تحويل النص إلى كلام مثل CosayVoice3 و Spark-TTS.

• قابلية الكشف: تعزز الطريقة المقترحة قابلية الكشف بعدة مراتب عشرية مقارنة بالنماذج المرجعية، بما في ذلك "Base" (KGW الخام) و "WMAR" (برنامج الترميز المعدل/Finetuned). وحتى مع سياق من درجات أعلى ($h=1, 2$)، تحافظ الطريقة على معدلات مرتفعة للإيجابيات الحقيقية (TPR) عند معدلات منخفضة جداً للإيجابيات الكاذبة (FPR).
• القوة (Robustness): تظل العلامة المائية قابلة للكشف تحت هجمات متنوعة، بما في ذلك معالجة الإشارات (التنعيم، الترشيح، الضجيج)، والضغط (MP3, DAC, EnCodec)، والتعديلات الزمنية (القص، الإزاحة). وبينما يظل عدم المحاذاة الزمني تحدياً لجميع الطرق القائمة على الرموز، إلا أن الطريقة المقترحة تتفوق على النماذج المرجعية بشكل كبير.
• جودة الصوت: تشير التقييمات باستخدام مقاييس المسافة الصوتية لفريه (FAD) ودرجة الرأي المتوسط (MOS) إلى أن عملية وضع العلامة المائية لا تؤدي إلى تدهور شديد في جودة الصوت. وفي كثير من الحالات، تكون درجات جودة الصوت الموسوم بالعلامة المائية مماثلة أو حتى أفضل من نماذج WMAR المرجعية.

الأهمية والادعاءات

يزعم البحث أنه يضع معياراً جديداً فائقاً (SOTA) للعلامات المائية القائمة على الرموز في الوسائط المتعددة. تكمن أهميته الأساسية في إثبات أن الهشاشة المتصورة للعلامات المائية الصوتية القائمة على الرموز يمكن حلها ليس عبر تدريب النماذج التدخلي، بل عبر استخلاص فضاء تمثيل المفردات المتعلم للنموذج.

يجادل المؤلفون بأن المحاذاة الهيكلية في الفضاء الكامن (التي يتم التقاطها عبر كشف المجتمعات) تترجم مباشرة إلى قوة في مجال الإشارة. يوفر هذا النهج بديلاً عملياً وفعالاً لعمليات ضبط برامج الترميز المكلفة حاسوبياً، مما يجعل العلامات المائية القوية للصوت الاصطناعي أكثر سهولة في الوصول والانتشار. ويشير العمل إلى أن الحشو الموجود في تعلم التمثيل المنفصل هو ميزة يمكن استغلالها للتغلب على قيود الوسائط المستمرة.