⚡ electrical engineering

TriniMark: A Robust Generative Speech Watermarking Method for Trinity-Level Traceability

يُعد TriniMark إطار عمل قويًا للعلامات المائية التوليدية للكلام مصممًا لنماذج الانتشار، ويحقق تتبعًا على مستوى الثالوث من خلال تمكين إثبات المصدر على مستوى المحتوى، والنسب إلى النموذج على مستوى النموذج، وتحديد المستخدم على مستوى المستخدم، مع الحفاظ في الوقت نفسه على جودة الكلام العالية والمرونة ضد هجمات معالجة الإشارات.

المؤلفون الأصليون: Yue Li, Weizhi Liu, Kaiqing Lin, Dongdong Lin, Kassem Kallas

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yue Li, Weizhi Liu, Kaiqing Lin, Dongdong Lin, Kassem Kallas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك اشتريت للتو مزهرية جميلة ومطلية يدوياً من فنان مشهور. أنت تحبها، لكنك تشعر بالقلق: ماذا لو قام شخص ما بتقليدها وبيعها على أنها ملكه؟ ماذا لو أعرتها لصديق، فادعى أنها ملكه؟

في عالم الذكاء الاصطناعي، لدينا مشكلة مماثلة. يمكن للذكاء الاصطناعي الآن توليد أصوات بشرية واقعية للغاية. ولكن إذا استخدم شخص سيء النوايا صوتاً بشرياً مولداً بالذكاء الاصطناعي لتقليد صوت أحد المشاهب لخداع الناس، أو إذا سرقت شركة نموذج صوت ذكاء اصطناعي لجني الأرباح، فكيف نعرف من الذي صنعه، ومن يملك النموذج، ومن الذي طلبه؟

تقدم هذه الورقة البحثية TriniMark، وهو نظام "بصمة رقمية" جديد للأصوات المولدة بالذكاء الاصطناعي. فكر فيه كأنه علامة أمنية ثلاثية الطبقات يتم دمجها مباشرة في الصوت أثناء عملية إنشائه، بدلاً من وضعها عليه لاحقاً.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "القصاصة اللاصقة" مقابل "الحمض النوى"

الطريقة القديمة (بعد الإنتاج - Post-hoc): تخيل أنك تأخذ لوحة فنية مكتملة وتكتب رمزاً سرياً على ظهرها باستخدام قلم تحديد. إذا قام شخص ما بكشط الظهر، سيختفي الرمز. معظم العلامات المائية الحالية لأصوات الذكاء الاصطناعي تعمل بهذه الطريقة؛ فهي تحاول إخفاء رمز داخل ملف الصوت النهائي. وإذا تم ضغط الملف الصوتي أو تعديله، فإن الرمز غالباً ما ينكسر.
طريقة TriniMark (التوليدية - Generative): بدلاً من الكتابة على الظهر، TriniMark يشبه تعليم الفنان كيفية رسم البصمة داخل الطين نفسه أثناء تشكيل المزهرية. حتى لو كُسر جزء من المزهرية أو طُلي فوقها، ستظل البصمة موجودة لأنها جزء من البنية.

2. "الثالوث" (الطبقات الثلاث للإثبات)

يأتي اسم "TriniMark" من فكرة التتبع بمستوى الثالوث (Trinity-Level Traceability). فهو يحل ثلاثة مشكلات في آن واحد، مثل قفل أمني ثلاثي في واحد:

مستوى المحتوى (الـ "ماذا"): "هل هذا المقطع الصوتي المحدد حقيقي أم مزيف؟" إنه يثبت وجود المقطع الصوتي وأنه لم يتم التلاعب به.
مستوى النموذج (الـ "من صنعه"): "أي نموذج ذكاء اصطناعي أنشأ هذا؟" إنه يحدد محرك البرمجيات المستخدم، مما يثبت ملكية أداة الذكاء الاصطناعي.
مستوى المستخدم (الـ "من طلبه"): "أي مستخدم بشري طلب هذا الصوت؟" هذا هو الجزء الأهم. إذا كانت لدى الشركة 10,000 مستخدم، يمكن لـ TriniMark منح كل مستخدم رمزاً فريداً وغير مرئي. إذا تسرب صوت مزيف، يمكنك تتبعه وصولاً إلى الشخص المحدد الذي قام بتوليده.

3. كيف يعمل: التدريب ذو المرحلتين

لم يقم الباحثون بمجرد "اختراق" الذكاء الاصطناعي، بل علموه مهارة جديدة باستخدام منهج دراسي من خطوتين:

المرحلة الأولى: "نادي العلامة المائية الرياضي" (ما قبل التدريب - Pre-training)
تخيل مدرباً متخصصاً (المشفر/فك التشفير - Encoder/Decoder) يتعلم كيفية إخفاء رسالة سرية داخل الصوت دون تغيير كيفية سماع الصوت. يتدربون على هذا آلاف المرات، ويتعلمون كيفية إخفاء الرسالة حتى لو أصبح الصوت مليئاً بالضجيج أو مشوهاً. يصبح هذا المدرب خبيراً في "الحبر السري".
المرحلة الثانية: "التلمذة" (الضبط الدقيق - Fine-tuning)
الآن، يأخذون مولد الصوت الرئيسي (نموذج الانتشار - Diffusion Model) ويزودونه بالمدرب الخبير. هم لا يكتفون بإخبار الذكاء الاصطناعي بأن "يتحدث" فحسب؛ بل يخبرونه أن "يتحدث أثناء حمل الحبر السري".
- السر الجوههري: يستخدمون تقنية تسمى الضبط الدقيق الموجه للموجة (Waveform-Guided Fine-Tuning). تخيل مدرب رقص يوجه طالباً؛ فبدلاً من مجرد تصحيح الخطوات (الضجيج)، يقوم المدرب بتوجيه كامل تدفق الرقصة (الموجة) لضمان دمج الرسالة السرية بشكل مثالي في إيقاع الصوت.

4. لماذا يعد هذا أمراً هاماً؟

إنه غير مرئي: تماماً مثل العلامة المائية على ورقة النقد التي لا يمكنك رؤيتها إلا إذا بحثت عنها، فإن TroniMark لا يجعل صوت الذكاء الاصطناعي يبدو آلياً أو غريباً. إنه يبدو طبيعياً.
إنه صلب: إذا حاول شخص إفساد الصوت بإضافة تشويش، أو تغيير السرعة، أو تسجيله عبر هاتف (الأمر الذي يدمر عادةً العلامات المائية القديمة)، فإن رمز TriniMark يصمد. إنه يشبه الوشم الذي يبقى ظاهراً حتى لو تعرضت لحروق الشمس.
إنه قابل للتوسع: يمكن للنظام التعامل مع 500 بت من البيانات في الثانية. ولتوضيح ذلك، هذا يكفي لإعطاء معرف فريد لملايين المستخدمين في وقت واحد. إنه يشبه امتلاك مكتبة حيث لكل كتاب فيها رمز شريطي فريد لا يتلاشى أبداً.

الخلاصة

TriniMark يشبه منح كل صوت مولد بالذكاء الاصطناعي بطاقة هوية ثلاثية الأجزاء، دائمة وغير قابلة للكسر، منسوجة في نسيج الصوت نفسه.

للجمهور: يوقف عمليات الاحتيال الصوتي والأخبار المزيفة.
للشركات: يحمي نماذج الذكاء الاصطناو الخاصة بهم من السرقة.
للمستخدمين: يضمن المساءلة. إذا استخدمت صوتاً من صنع الذكاء الاصطناعي، فإنك تترك أثراً، مما يمنع الأشرار من الاختباء خلف التكنولوجيا.

إنه يحول "الغرب المتوحش" لأصوات الذكاء الاصطناعي إلى بيئة منظمة، قابلة للتتبع، وآمنة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TriniMark: طريقة علامة مائية توليدية قوية للكلام لتحقيق تتبع على مستوى الثالوث (Trinity-Level Traceability)."

1. بيان المشكلة

أدى التقدم السريع في توليد الكلام القائم على نماذج الانتشار (Diffusion-based) إلى تمكين توليد كلام اصطناعي عالي الدقة، مما خلق مخاطر كبيرة تتعلق بسوء الاستخدام، وإعادة التوزيع غير المصرح به، وانتحال الشخصية الصوتية. وبينما تعد العلامات المائية حلاً قياسياً لإثبات المصدر، تواجه الطرق الحالية ثلاثة قيود حرجة:

عدم توافق النماذج (Paradigm Mismatch): معظم الطرق الحالية مصممة لمسارات عمل تعتمد على شبكات GAN، مما يترك عمليات توليد الكلام القائمة على الانتشار غير مستكشفة بشكل كافٍ.
نطاق تتبع محدود: تركز الأعمال السابقة عادةً إما على إثبات المصدر على مستوى المحتوى (التحقق مما إذا كان المقطع يحتوي على علامة مائية) أو الإسناد على مستوى النموذج (تحديد النموذج المصدر). وهي تفتقر إلى التتبع على مستوى المستخدم (تحديد المستخدم النهائي المحدد الذي طلب عملية التوليد).
القابلية للتوسع والمرونة: غالباً ما تعاني طرق العلامات المائية التوليدية الموجودة من تكوينات ثابتة للعلامات المائية (عدم القدرة على تخصيص معرفات فريدة لمستخدمين مختلفين)، وسعة حمولة منخفضة (مما يحد من عدد المستخدمين الذين يمكن تحديدهم)، وضعف المتانة ضد هجمات معالجة الإشارة المركبة.

2. المنهجية: TriniMark

Trini-Mark هو إطار عمل للعلامات المائية التوليدية القائمة على الانتشار، مصمم لتحقيق التتبع على مستوى الثالوث (Trinity-Level Traceability): أي ربط عينة الكلام بـ (1) الرسالة المضمنة (المحتوى)، و(2) النموذج المصدر، و(3) المستخدم الذي طلب التوليد.

تستخدم الطريقة مسار تدريب مكون من مرحلتين باستخدام تدريب العلامة المائية المتغيرة لضمان القابلية للتوسع.

المرحلة 1: التدريب المسبق لترميز وفك ترميز العلامة المائية

الهدف: تعلم مقدمات (priors) للعلامة المائية قوية وقابلة للنقل ومستقلة عن نموذج الانتشار.
المُرمِّز (Encoder): بنية خفيفة الوزن في المجال الزمني تتكون من كتلة كثيفة (DenseBlock) (لتضمين الرسائل الثنائية) وشبكة إعادة بناء الكلام (SRNet) ذات تصميم على شكل حرف U (كتل خفض/رفع العينات). تعمل مباشرة على ميزات المجال الزمني للحفاظ على المعلومات منخفضة الأبعاد.
فك الترميز (Decoder): يستخدم شبكات تلافيفية بوابية مدركة زمنياً (TGCNs). تقوم هذه الشبكات بتكييف التلافيف البوابية لالتقاط الأنماط الزمنية في الكلام، ودمج الفروع الخطية والبوابية عبر عمليات "هادامارد" (Hadamard products) لتمرير إشارات العلامة المائية بشكل انتقائي.
استراتيجية التدريب:
- تدريب العلامة المائية المتغيرة: بدلاً من رسالة ثابتة، يتم تدريب النموذج باستخدام تسلسلات علامات مائية شبه عشوائية مختلفة لكل دفعة صغيرة (mini-batch) ويتم إعادة توليدها في كل حقبة (epoch). هذا يمنع الإفراط في التخصيص (overfitting) لأنماط محددة ويمكّن التعميم لأي معرف مستخدم (User ID) عشوائي.
- المتانة: تقوم طبقة الضجيج بمحاكاة التشوهات الشائعة (الضجيج، التصفية، الصدى) بين المُرمِّز وفك الترميز أثناء التدريب.
- دالة الخسارة (Loss Function): مزيج من الخسارة الثنائية المتقاطعة (Binary Cross-Entropy) (لاستعادة البتات)، وخسارة مخطط ميل (Mel-spectrogram loss)، وخسارة مقدار STFT اللوغاريتمية لتحقيق التوازن بين دقة الاستخراج وجودة الكلام.

المرحلة 2: الضبط الدقيق الموجه بالموجة (WGFT) لنماذج الانتشار

الهدف: نقل قدرة العلامة المائية إلى مشفر صوتي (Vocoder) مدرب مسبقاً يعتمد على DDPM (مثل DiffWave، PriorGrad، WaveGrad).
الاستراتيجية: على عكس الضبط الدقيق القياسي الذي يقلل خطأ التنبؤ بالضجيج، يقوم WGFT بتقييد الموجة الصوتية المولدة والموسومة ( $\hat{s}^{wm}_0$ ) لتتطابق مع الهدف الموسوم الحقيقي ( $\hat{s}_0$ ) الناتج عن مُرمِّز المرحلة الأولى.
العملية:
1. يقوم المُرمِّز المدرب مسبقاً بتضمين علامة مائية متغيرة $w$ في عينة كلام نظيفة $s_0$ لإنشاء $\hat{s}_0$ .
2. يتم توجيه نموذج الانتشار عبر مخططات ميل (mel-spectrograms) وتدريبه لتوليد $\hat{s}^{wm}_0$ .
3. يقوم فك الترميز المدرب مسبقاً باستخراج العلامة المائية من $\hat{s}^{wm}_0$ لتوفير الإشراف (supervision).
الميزة: يساهم هذا النهج في استقرار التحسين من خلال التركيز على محاذاة مستوى الموجة بدلاً من مطابقة مستوى الضجيج، مما يحافظ على الجودة التوليدية لنموذج الانتشار مع حقن قدرات العلامة المائية.

3. المساهمات الرئيسية

التتبع على مستوى الثالوث: يعد TriniMark أول إطار عمل يوحد التتبع على مستوى المحتوى، والنموذج، والمستخدم في مسار توليدي واحد، يستهدف تحديداً نماذج الانتشار.
إسناد المستخدم القابل للتوسع: من خلال استخدام تدريب العلامة المائية المتغيرة في كلتا المرحلتين، يمكن للنظام تخصيص رسائل علامة مائية متميزة لمستخدمين مختلفين في وقت الاستدلال دون الحاجة لإعادة التدريب، مما يدعم مجموعات مستخدمين ضخمة.
سعة عالية ومتانة: يدعم النظام حمولات عالية (تصل إلى 500 بت في الثانية) مع الحفاظ على المتانة ضد الهجمات الفردية والمركبة (الضجيج، التصفية، الصدى، تمدد الوقت).
الضبط الدقيق الموجه بالموجة: استراتيجية مبتكرة تنقل مقدمات العلامة المائية بفعالية إلى نماذج الانتشار دون تقليل جودة الكلام.

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات LJSpeech و LibriTTS و LibriSpeech باستخدام خلفيات DiffWave و PriorGrad و WaveGrad.

الجودة (Fidelity): يسبب TriMark تدهوراً طفيفاً جداً في الإدراك الحسي. عند 100 بت في الثانية، يكون الكلام الموسوم غير قابل للتمييز إدراكياً عن الكلام المولد غير الموسوم. وحتى عند 500 بت في الثانية، تظل الجودة مقبولة مع وجود ضجيج خلفي طفيف في بعض العينات.
السعة (Capacity): يدعم النظام ما يصل إلى 500 بت في الثانية. تسمح هذه السعة العالية بمساحة مستخدم نظرية تبلغ $2^{500}$ ، مما يتيح تحديداً فريداً لقواعد مستخدمين هائلة ودعم أكواد تصحيح الخطأ لتعزيز المتانة.
المتانة (Robustness):
- الهجمات الفردية: يحقق TriMark دقة عالية في استعادة البتات (غالباً >95%) ضد تصفية تمرير النطاق (band-pass filtering)، وتمدد الوقت، والترشيح (dithering). كما يظل متيناً حتى تحت ضجيج غاوسي قوي (5 ديسيبل) وكبت الطيف.
- الهجمات المركبة: يتفوق المنهج على أفضل النتائج الحالية (SOTA) (مثل AudioSeal، WavMark، HiFi-GANw) تحت تركيبات معقدة مثل "الضجيج الغاوسي + الصدى" أو "الضجيج الوردي + تصفية تمرير النطاق".
- المقارنة: عند 500 بت في الثانية، تفشل معظم نماذج SOTA (حيث تنخفض الدقة إلى ~50%)، بينما يحافظ TriMark على دقة تزيد عن 80% عبر جميع نماذج الانتشار المختبرة.

5. الأهمية

يعالج TriMark فجوة حرجة في سلامة الذكاء الاصطناعي للكلام التوليدي. ومن خلال تمكين المساءلة على مستوى المستخدم على نطاق واسع، فإنه يوفر آلية لمزودي الخدمة لتتبع إعادة التوزيع الضار وصولاً إلى مستخدمين محددين، حتى عندما يخضع الكلام لمعالجة لاحقة كبيرة. إن قدرة إطار العمل على العمل على نماذج الانتشار (التي تمثل أحدث ما توصل إليه العلم في توليد الكلام حالياً) وتصميمه ذو السعة العالية تجعل منه حلاً عملياً للنشر الواقعي لخدمات الكلام التوليدية، مما يوازن بين جودة الكلام، والمتانة، والقدرة على التتبع.