🤖 machine learning

Auditing Training Data in Generative Music Models via Black-Box Membership Inference

تقترح هذه الورقة طريقة استدلال على العضوية بنظام الصندوق الأسود تحقق دقة تصل إلى 98.6% في تدقيق نماذج الموسيقى التوليدية، وذلك عبر الاستفادة من المحاذاة الدلالية والهيكلية الأقوى بين بيانات التدريب ومخرجات النموذج المشروطة بالوصف للتحقق من أصل البيانات دون الوصول إلى معاملات النموذج.

المؤلفون الأصليون: Yi Chen Liu, Jiawei Yu, Kexin Cao, Syed Irfan Ali Meerza, Trishika Movva, Jian Liu

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yi Chen Liu, Jiawei Yu, Kexin Cao, Syed Irfan Ali Meerza, Trishika Movva, Jian Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك آلة موسيقى سحرية وعملاقة. يمكنك كتابة وصف مثل "أغنية جاز حزينة مع ساكسفون"، وتقوم الآلة بإنتاج أغنية جديدة تماماً. لكن المشكلة هي أن لا أحد يعرف بالضبط ما هي الأغاني التي "أكلتها" الآلة أثناء تعلمها لصنع الموسيقى. هل تعلمت من ألبوم لفنان مشهور دون طلب إذن؟ هل حفظت أغنية محددة من فرقة مستقلة صغيرة؟

هذه الورقة البحثية تدور حول بناء أداة كشف (محقق) للإجابة على هذا السؤال. تحاول هذه الأداة معرفة ما إذا كانت أغنية معينة جزءاً من "النظام الغذائي" التدريبي للآلة، حتى لو رفض مالك الآلة إظهار كتاب وصفاتها.

إليك كيف تعمل طريقة الورقة البحثية، مقسمة إلى مفاهيم بسيطة:

1. الفكرة الجوهرية: تأثير "الصدى"

اكتشف الباحثون شيئاً مثيراً للاهتمام: إذا كانت الآلة قد سمعت أغنية من قبل، فإنها "تتذكرها" بطريقة خفية.

فكر في الأمر كطالب يؤدي اختباراً.

السيناريو: تعرض على الآلة وصفاً لأغنية (مثلاً: "مقطوعة بوب مبهجة").
الاختبار: تقوم الآلة بتوليد أغنية جديدة بناءً على ذلك الوصف.
الاكتشاف: إذا كانت الآلة تعرف بالفعل الأغنية الأصلية من بيانات التدريب الخاصة بها، فإن الأغنية الجديدة التي تولدها ستتضمن "صدى" أو "بصمة" قوية وغريبة من الأغنية الأصلية. ستتطابق الأغنيتان تماماً في الإيقاع، واللحن، والأسلوب، وكأنهما توأمان.
التباين: إذا لم تكن الآلة قد سمعت الأغنية الأصلية من قبل، فإن الأغنية الجديدة التي تولدها ستظل تتبع الوصف، لكنها لن تمتلك ذلك التطابق الهيكلي العميق والمحدد. الأمر يشبه طالباً يخمن الإجابة؛ قد يدرك الفكرة العامة، لكن التفاصيل لن تتطابق بدقة.

2. حقيبة أدوات المحقق: النماذج الظلية (Shadow Models)

بما أن الباحثين لا يستطيعون النظر داخل الآلة الحقيقية (فهي "صندوق أسود")، فعليهم تدريب محققين خاصين بهم. يستخدمون "النماذج الظلية".

تخيل أنك تريد تعليم محقق كيفية كشف الهوية المزورة. لا يمكنك عرض الهوية الحقيقية للمجرم عليه، لذا تقوم بإنشاء الكثير من الهويات التدريبية باستخدام آلة مشابهة (ولكن معروفة).

يأخذ الباحثون أغاني يعرفون أنها استُخدمت لتدريب هذه النماذج الظلية.
يطلبون من النماذج الظلية توليد أغاني جديدة بناءً على أوصاف لتلك المسارات الأصلية.
يقارنون المسار الأصلي بالتوليد الجديد. ولأن النموذج الظلي قد رأى بالفعل المسار الأصلي، فإن الاثنين يتطابقان بشكل وثيق.
يفعلون الشيء نفسه مع أغاني لم يرها النموذج الظلي. في هذه الحالة، يكون التطابق فضفاضاً.

من خلال دراسة الآلاف من هذه "التطابقات الوثيقة" مقابل "التطابقات الفضفاضة"، يقوم الباحثون بتدريب "مدقق موسيقي" (مصنف ذكاء اصطناعي صغير). يتعلم هذا المدقق كيفية رصد "الوثاقة" المحددة التي لا تحدث إلا عندما تكون الأغنية جزءاً من بيانات التدريب.

3. عملية التحقيق

عندما يريد الباحثون فحص أغنية حقيقية غير معروفة مقابل مولد موسيقى حقيقي وغير معروف (مثل Suno أو Stable Audio)، فإليك ما يفعلونه:

وصف الأغنية: يستخدمون أداة لكتابة وصف نصي (تعليق) للأغنية التي يريدون فحصها.
سؤال الآلة: يغذون مولد الموسيقى المستهدف بهذا الوصف ويحصلون على أغنية جديدة.
المقارنة: يأخذون الأغنية الأصلية والأغنية المولدة الجديدة ويمررونهما عبر "المدقق الموسيقي" الخاص بهم.
الحكم: يقيس المدقق مدى توافق الأغنيتين. إذا كان التوافق قوياً جداً (مثل "التطابقات الوثيقة" من النماذج الظلية)، يقول المدقق: "نعم، من المرجح أن هذه الأغنية كانت ضمن بيانات التدريب". أما إذا كان التوافق ضعيفاً، فيقول: "لا، من المرجح أن هذه الأغنية لم تكن ضمن بيانات التدريب".

4. ما مدى جودة المحقق؟

اختبرت الورقة هذه الطريقة على ثلاثة نماذج مختلفة من مولدات الموسيقى المتطورة. وكانت النتائج دقيقة بشكل مذهل:

الدقة: أصابت الأداة في تقديرها بنسبة 98.6% من المرات.
الأخطاء: نادراً ما ارتكبت أخطاءً؛ فقد اتهمت أغنية خطأً بأنها كانت في بيانات التدريب بنسبة 1.9% فقط، وفشلت في رصد تطابق حقيقي بنسبة 1.0% فقط.

5. لماذا هذا مهم؟

تخلص الورقة إلى أننا لسنا بحاجة لاقتحام خوادم الشركات أو رؤية شفراتهم السرية لمعرفة ما إذا كانوا يستخدمون موسيقى محمية بحقوق الطبع والنشر لتدريب الذكاء الاصطناعي. فببساطة، من خلال طلب توليد أغنية من الذكاء الاصطناعي بناءً على وصف، والتحقق من مدى قرب النتيجة من الأصل، يمكننا تدقيق بيانات التدريب.

باختختصار: تثبت الورقة أنه إذا "حفظ" الذكاء الاصطناعي أغنية ما، فإنه يترك بصمة يمكن اكتشافها في الأغاني الجديدة التي ينشئها. ومن خلال تعلم كيفية رصد تلك البصمة، يمكننا محاسبة مولدات موسيقى الذكاء الاصطناعي على ما تعلمته، حتى عندما تحاول إبقاء أسرار تدريبها مخفية.

ملخص تقني: تدقيق بيانات التدريب في نماذج الموسيقى التوليدية عبر استدلال العضوية في الصندوق الأسود

بيان المشكلة

أدت التطورات الأخيرة في توليد الموسيقى من النص (مثل MusicGen وStable Audio وSuno) إلى تمكين التخليق عالي الدقة للصوت المهيكل. ومع ذلك، فإن هذه النماذج تُدرب عادةً على مجموعات بيانات ضخمة وغير شفافة يتم تجميعها من مصادر عبر الإنترنت دون توثيق شفاف لمنشأ البيانات أو الموافقة عليها. يخلق هذا النقص في الشفافية فجوة محاسبة حرجة: لا توجد حالياً آلية عملية للفنانين أو أصحاب حقوق الطبع والنشر أو المنظمين للتحقق مما إذا كانت عينة صوتية معينة قد أُدرجت في مجموعة بيانات التدريب لنموذج توليدي مستخدم.

بينما تُدرس هجمات استدلال العضوية (MIAs) بشكل واسع في مجالات الصور والنصوص، إلا أن تطبيقها على الموسيقى التوليدية لا يزال في بداياته. تعاني الأساليب الحالية من قيود كبيرة:

الاعتماد على الصندوق الأبيض: تتطلب بعض الطرق الوصول إلى حالات النموذج الداخلية، أو درجات الاحتمالية، أو حالات الانتشار (diffusion states)، وهي أمور غير متاحة في عمليات النشر الواقعية بنظام الصندوق الأسود.
مقاييس الصندوق الأسود الضعيفة: تعتمد الأساليب الحالية للصندوق الأسود غالباً على إحصاءات قياسية (مثل درجات المميز أو أخطاء إعادة البناء) أو تقسيمات ثابتة لمجموعات البيانات، مما يفشل في نمذجة المحاذاة الدلالية صراحةً بين الصوت الأصلي والمخرجات المولدة.
نقص الموثوقية: تواجه هذه الأساليب صعوبة في تقديم تدقيق موثوق لكل عينة في البيئات الواقعية، وغالباً ما يكون أداؤها قريباً من مستوى الصدفة في النماذج واسعة النطاق.

المنهجية

يقترح المؤلفون إطار عمل لاستدلال العضوية في الصندوق الأسود يستفيد من فرضية أن العضوية في التدريب تؤدي إلى محاذاة دلالية وهيكلية أقوى بشكل منهجي بين عينة صوتية مرشحة والنموذج المولد عند التكيّف مع وصف العينة.

نظرة عامة على النظام

يعمل إطار العمل في مرحلتين: عملية التدريب على نماذج الظل (shadow models) وعملية التدقيق على النموذج المستهدف.

تدريب نموذج الظل (بناء البيانات):
- يستخدم المدقق عدة "نماذج ظل" (shadow models) ( $M_{si}$ ) متاحة لإنتاج الموسيقى من النص مع مجموعات تدريب معروفة ( $D_{in}$ ).
- أزواج الأعضاء: بالنسبة لمقطع $x \in D_{in}$ ، يتم استخراج وصف $C_{in}$ . يقوم نموذج الظل بتوليد $G_{in} = M_{si}(C_{in})$ . يمثل الزوج $(x, G_{in})$ مثالاً لـ "عضو".
- أزواج غير الأعضاء: لضمان المقارنة الدلالية، يُستخدم نفس الوصف $C_{in}$ لتكييف نموذج مساعد ( $M_{aux}$ ، متميز عن النموذج المستهدف ونموذج الظل) لتوليد مقطع غير عضو $x'$ . يتم استخراج وصف $C_{out}$ من $x'$ ، ويقوم نموذج الظل بتوليد $G_{out} = M_{si}(C_{out})$ . يمثل الزوج $(x', G_{out})$ مثالاً لـ "غير عضو".
- يؤدي هذا البناء إلى إنشاء أربع مجموعات متوافقة ( $D_{in}, D_{out}, G_{in}, G_{out}$ ) لعزل التعرض للتدريب كعامل تمييز أساسي، مع التحكم في التباين الدلالي.
استخراج الميزات:
- يتم تضمين العينات الصوتية باستخدام خمسة مشفرات صوتية متنوعة: MERT (الدلالات الموسيقية)، Music2Vec (البنية/النغمة)، DAC (الآثار الصوتية)، Fx-Encoder++ (تأثيرات الإنتاج)، وCLAP (الدلالات الصوتية-النصية).
- تُخرج المشفرات إما تضمينات عالمية أحادية البعد (1D) أو خرائط تضمين ثنائية الأبعاد (2D) (تحافظ على محاور الطبقة/الزمن).
تدريب مدقق الموسيقى:
- يتم تدريب مصنف خفيف الوزن (يسمى "مدقق الموسيقى") للتمييز بين أزواج الأعضاء وأزواج غير الأعضاء بناءً على المحاذاة في فضاء التضمين.
- البنية:
  - للتضمينات أحادية البعد (1D): معالج متعدد الطبقات (MLP) بثلاث طبقات مخفية (256، 128، 64 وحدة) يعالج الزوج المتصل $[f(x) \parallel f(x')]$ .
  - للتضمينات ثنائية البعد (2D): شبكة عصبية تلاففية (CNN) بثلاث طبقات تلاففية تعالج الزوج المكدس.
- يتعلم المدقق أنماط المحاذاة المميزة للعضوية في التدريب دون الوصول إلى معاملات النموذج المستهدف أو بيانات تدريبه.
عملية التدقيق:
- بالنظر إلى مقطع مرشح $x$ ونموذج مستهدف أسود $M_t$ ، يستخرج المدقق الوصف $C_x$ ، ويستعلم من $M_t$ للحصول على $x' = M_t(C_x)$ ، ثم يحسب التضمينات، ويغذي الزوج في المدقق المدرب.
- تشير درجة العضوية العالية إلى أن المحاذاة بين $x$ و $x'$ تشبه الأنماط المتعلمة من أعضاء نماذج الظل، مما يشير إلى أن $x$ كان ضمن مجموعة التدريب.

المساهمات الرئيسية

إطار عمل جديد للصندوق الأسود: يقدم البحث أول إطار عمل عملي للتدقيق في الصندوق الأسود للموسيقى التوليدية لا يتطلب الوصول إلى الحالة الداخلية للنموذج، أو درجات الاحتمالية، أو حالات الصندوق الأبيض.
فرضية المحاذاة الدلالية: يثبت أن العضوية في التدريب تسبب اتساقاً دلالياً وهيكلياً قابلاً للقياس بين المقطع المصدر وتوليده المشروط بالوصف، وهي إشارة يمكن التقاطها في فضاء التضمين.
استراتيجية نموذج الظل: يقترح المؤلفون طريقة قوية لبناء أزواج غير أعضاء متوافقة دلالياً باستخدام التوليد المساعد، مما يضمن أن الاختلافات في المحاذاة تعود إلى التعرض للتدريب وليس للتباين الدلالي.
تحليل المشفرات: تقيم الدراسة بشكل منهجي خمسة مشفرات صوتية مختلفة، وتحدد أي مساحات الميزات هي الأكثر تمييزاً لاستدلال العضوية في الموسيقى.

النتائج التجريبية

تم تقييم إطار العمل على ثلاثة أنظمة حالة من نوع "نص-إلى-موسيقى" متطورة: AudioLDM2 وStable Audio Open وMustango، باستخدام بروتوكول "ترك مولد واحد خارج المجموعة".

الأداء: يحقق الأسلوب دقة تصل إلى 98.6% مع معدل إيجابي كاذب (FPR) قدره 1.9% ومعدل سلبي كاذب (FNR) قدره 1.0% على Stable Audio Open باستخدام مشفر DAC.
فعالية المشفر:
- برز DAC (الآثار الصوتية) كأكثر مشفر فعالية واستقراراً، حيث حقق متوسط دقة 97.7% عبر جميع الأهداف.
- حقق كل من CLAP وMERT أداءً جيداً أيضاً (متوسط دقة > 91%).
- أظهر Music2Vec أداءً أضعف (متوسط دقة 78.3%) ومعدلات إيجابية كاذبة أعلى.
- أظهر Fx-Encoder++ عدم استقرار، خاصة في AudioLDM2.
القابلية للنقل: أظهر المدقق قدرة قوية على نقل الأداء بين المولدات، خاصة بين AudioLDM2 وStable Audio Open. ومع ذلك، أظهر الانتقال إلى/من Mustango (الذي يولد مقاطع قصيرة مدتها 10 ثوانٍ) فجوة في الأداء، ويرجع ذلك على الأرجوبة إلى انزياحات التوزيع بين المقاطع القصيرة والمقاطع الطويلة (150 ثانية).
كفاءة العينات: النظام عالي الكفاءة في استخدام العينات. في بعض الإعدادات (على سبيل المثال، عند استبعاد AudioLDM2)، تجاوزت الدقة 98% مع 100 زوج تدريبي فقط، ووصلت إلى ذروة أدائها مع 1,000 زوج.

الأهمية والادعاءات

يزعم البحث أن التدقيق الموثوق لبيانات التدريب ممكن في سيناريوهات النشر الواقعية للصندوق الأسود. ومن خلال إثبات إمكانية استخراج إشارات العضوية فقط من خلال الوصول إلى الاستعلام وتحليل المحاذاة الدلالية، يوفر هذا العمل أداة عملية لـ:

المساءلة: تمكين التحقق من منشأ البيانات للفنانين وأصحاب حقوق الطبع والنشر.
التحقق من الموافقة: مساعدة المنظمين والمنصات في تقييم ما إذا كانت النماذج قد تدربت على بيانات غير موافق عليها.
الشفافية: تقديم آلية لتدقيق أنظمة الذكاء الاصطناعي "الصندوق الأسود" دون الحاجة إلى وصول ملكي.

يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأن تقييمهم الحالي يعتمد على نماذج ظل معلومة جزئياً (حيث تتوفر الأوصاف والبيانات الوصفية الحقيقية) وأن بناء "غير الأعضاء" هو تقريب عملي. ويشيرون إلى أن العمل المستقبلي يجب أن يعالج عدم تجانس مجموعات البيانات، ويقلل الاعتماد على خطوط الأنابيب المساعدة الثابتة، ويطور إجراءات تدقيق ذات ضمانات إحصائية مبدئية للنشر الأوسع.