🤖 machine learning

Marginal Matching Does Not License Factorized Sampling: Auditing Conditional Style Leakage in Factorized Generative Models

تُثبت هذه الورقة أن مطابقة التوزيع الهامشي لمتغير أسلوب كامن مع توزيع غاوسي مسبق غير كافٍ لضمان الاستقلال عن تسميات الفئات، حيث يمكن للنماذج التوليدية المفككة أن تظهر استمرار تسرب الأسلوب الشرطي بشكل كبير مما يسمح بالتنبؤ بالفئة رغم ظهورها كنموذج غاوسي في المجمل.

المؤلفون الأصليون: Duong Bach, Hai Nguyen Hong, Cuong Do

نُشر 2026-08-07

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Duong Bach, Hai Nguyen Hong, Cuong Do

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء روبوت فنان فائق الذكاء. تريد لهذا الروبوت أن يكون قادرًا على رسم أي شيء — قطة، سيارة، أو سحابة — بمجرد إعطائه تعليمات بسيطة مثل "ارسم قطة". للقيền بهذا، تعلم الروبوت تقسيم دماغه إلى جزأين منفصلين. جزء واحد، لنسمه "دماغ المحتوى"، يتعلم ما الذي يجعل القطة قطة (آذان مدببة، شوارب). والجزء الآخر، "دماغ الأسلوب"، يتعلم التفاصيل العشوائية والفوضوية التي تجعل هذه القطة تحديدًا مختلفة عن تلك القطة (هل هي منفوشة؟ هل هي سوداء؟ هل هي نائمة؟).

الهدف هو أن يكون الروبوت بارعًا في المزج. تريد أن تأخذ "دماغ المحتوى" الخاص بالقطة و"دماغ الأسلوب" الخاص بالكلب، وتجعل الروبوت يرسم كلبًا أسود ومنفوشًا يشبه تمامًا الكلب الذي تدرب عليه، ولكن بتعليمات القطة. إذا عمل الروبوت بشكل مثالي، يجب أن يكون "دماغ الأسلوب" أعمى تمامًا عن نوع الحيوان الذي ينظر إليه؛ يجب أن يرى فقط "العشوائية".

لسنوات، استخدم العلماء خدعة ذكية للتحقق مما إذا كان "دماغ الأسلوب" لدى الروبوت يقوم بعمله. يتحققون مما إذا كان متوسط جميع الأساليب التي رآها الروبوت على الإطلاق يبدو مثل سحابة عشوائية من النقاط (توزيع غاوسي). إذا بدا المتوسط عشوائيًا، يفترضون أن الروبوت قد نجح في نسيان الحيوان الذي كان ينظر إليه. الأمر يشبه التحقق مما إذا كانت حقيبة من الجوارب المختلطة تبدو ككومة عشوائية من الخارج. إذا بدا الأمر كذلك، تفترض أنه لا يمكنك معرفة أي جورب ينتمي لأي قدم بمجرد النظر إلى الكومة.

لكن هنا تكمن الحبكة: ماذا لو كانت حقيبة الجوارب منظمة تمامًا في الداخل، رغم أنها تبدو عشوائية من الخارج؟ ماذا لو كانت جميع الجوارب المخصصة للقدم اليسرى مختبئة سرًا في زاوية واحدة من الحقيبة، وجميع الجوارب المخصصة للقدم اليمنى في زاوية أخرى، لكنها مختلطة جيدًا لدرجة أن الكومة الإجمالية لا تزال تبدو كفوضى عشوائية؟ إذا مددت يدك وأمسكت بجورب، فقد تمسك بالخطأ بجورب للقدم اليسرى، وفجأة سيفكر الروبوت: "أوه، لا بد أنني أرسم مخلوقًا ذا قدم يسرى!".

هذا هو بالضبط ما يكشفه بحث جديد من باحثين في جامعة فين فيتنام. لقد وجدوا أن اختبار "الكومة العشوائية" هو كذبة. مجرد كون متوسط الأسلوب يبدو عشوائيًا لا يعني أن الروبوت قد نسي الملصقات (التصنيفات). في الواقع، قد يكون الروبوت يخفي الهوية السرية لكل صورة داخل "دماغ الأسلوب" الخاص به، منتظرًا استخدامها.

تسريب الأسلوب العظيم

قرر الباحثون، ديونغ باتش، وهاي نغوين هونغ، وكويونغ دو، إجراء تدقيق لمجموعة من هؤلاء الفنانين الآليين لمعرفة ما إذا كانوا يلعبون بنزاهة حقًا. لم ينظروا فقط إلى "الكومة المتوسطة" (الإحصاءات الهامشية)؛ بل نظروا إلى الكومات المحددة لكل حيوان. سألوا: "إذا نظرت فقط إلى أساليب القطط، هل ستبدو مختلفة عن أساليب الكلاب؟"

كانت الإجابة "نعم" مدوية. في الواقع، كان التسريب هائلًا.

اختبروا نموذجًا بنوه (يسمى F-CS-WAE) وأربعة فنانين آليين مشهورين آخرين. على الرغم من أن جميعهم اجتاز اختبار "الكومة العشوائية" ببراعة (إحصاءاتهم العالمية كانت مثالية تقريبًا)، وجد الباحثون أن برنامجًا حاسوبيًا بسيطًا يمكنه النظر إلى "دماغ الأسلوب" وتخمين الحيوان الذي يتم رسمه بدقة مرعبة. في إحدى مجموعات البيانات، كان دماغ الأسلوب للروبوت دقيقًا بنسبة 100% في تخمين ملصق الحيوان. وفي مجموعة أخرى، كانت الدقة 99.15%.

هذا يشبه جاسوسًا حفظ الشفرة السرية لدولة بأكملها. حتى لو بدت ملاحظاته، عند خلطها وتوسيطها، كأنها خربشات عشوائية، يمكن للجاسوس استعادة تشفير الرسالة تمامًا إذا عرف أي صفحة ينظر إليها. أظهر الباحثون أن "دماغ الأسلوب" لم يكن يحمل ضجيجًا عشوائيًا فحسب؛ بل كان يحمل الهوية الدقيقة للحيوان، مخبأة في وضح النهار.

لماذا يفشل الروبوت في الخدعة السحرية؟

إذًا، لماذا يفشل الروبوت عندما تحاول المزج والمطابقة؟

تخيل أنك أنت الروبوت. لقد تم تدريبك على رسم القطط. عندما ترى قطة، يقول "دماغ المحتوى" الخاص بك: "قطة!". ويقول "دماغ الأسلوب": "منفوش، أسود، نائم". تتعلم أن هذين الأمرين يسيران دائمًا معًا. أنت لا ترى أبدًا أسلوب "منفوش، أسود، نائم" مرتبطًا بتعليمات "كلب".

الآن، يُطلب منك رسم "كلب". تحصل على تعليم "الكلب" لدماغ المحتوى الخاص بك. ولكن بالنسبة لـ "دماغ الأسلوب"، يُطلب منك أخذ أسلوب عشوائي من الحقيبة الكبيرة لجميع الأساليب. ولأن الحقيبة منظمة سرًا، قد تمسك بالخطأ بأسلوب "منفوش، أسود، نائم" الذي ينتمي لقطة.

إليك الكارثة: لقد تعلم دماغ الروبوت أن "منفوش، أسود، نائم" لا يذهب إلا مع "القطة". لم يسبق له أن رأى هذا الأسلوب مع "الكلب". لذا، عندما تحاول رسم كلب بأسلوب قطة، يصاب الروبوت بالارتباك. إنه يثق في الأسلوب أكثر من التعليمات. يتجاهل أمر "الكلب" ويرسم قطة بدلاً من ذلك.

وجد الباحثون أن هذا يحدث طوال الوقت. عندما حاولوا إنشاء صورة جديدة لفئة معينة (مثل الرقم "3" في مجموعة بيانات MNIST للأرقام)، باستخدام أسلوب عشوائي، نجح الروبوت في ذلك بنسبة 16% فقط. ظل يرسم الأرقام الخاطئة، وعادة ما تكون الأرقام الأكثر شعبية في "دماغ الأسلوب" الخاص به. كان الروبوت مدمنًا جدًا على أدلة الأسلوب لدرجة أنه نسي التعليمات تمامًا.

لغز الأجزاء الأربعة

الورقة البحثية لا تقول فقط "إنه معطل"؛ بل تفكك سبب العطل بدقة إلى أربعة أجزاء متميزة، مثل محقق يحل جريمة في مسرح الأحداث:

عدم تطابق الأولوية الأسلوبية (The Style Prior Mismatch): "دماغ الأسلوب" لا يشبه تمامًا السحابة العشوائية التي أرادها العلماء.
تسريب الأسلوب (المتهم الرئيسي): "دماغ الأسلوب" يعرف الملصق. يعرف ما إذا كان قطًا أو كلبًا. هذه هي المشكلة الرئيسية.
عدم تطابق الأولوية الدلالية (The Semantic Prior Mismatch): "دماغ المحتوى" ليس متوافقًا تمامًا مع التعليمات أيضًا.
الاعتماد داخل الفئة الواحدة (The Within-Class Dependence): حتى داخل مجموعة "القطط"، يمسك "دماغ المحتوى" و"دماغ الأسلوب" بأيدي بعضهما البعض ويهمسان بالأسرار.

أثبت الباحثون رياضيًا أنه لجعل الروبوت يعمل بشكل مثالي، يجب إصلاح هذه المشكلات الأربع. لا يمكنك مجرد إصلاح التسريب (المشكلة 2) والقول بأن المهمة انتهت. حتى لو أجبرت "دماغ الأسلوب" على نسيان الملصق، إذا كانت المشكلات الثلاث الأخرى لا تزال موجودة، فسيظل الروبوت يفشل.

محاولة إصلاح التسريب

حاول الفريق عدة طرق لسد الثغرة. حاولوا جعل الروبوت ينتبه للملصقات أثناء التعلم، لإجبار "دماغ الأسلوب" على أن يبدو متشابهًا لكل حيوان. جربوا حيلًا رياضية مختلفة، مثل "عكس التدرج" (وهو ما يشبه قولك للروبوت: "إذا خمنت الحيوان بشكل صحيح، فستتعرض للعقاب!").

عملت بعض هذه الحيل بشكل أفضل من غيرها. إحدى الطرق، المسماة "عكس التدرج" (Gradient Reversal)، كانت جيدة جدًا في جعل "دماغ الأسلوب" ينسى الملصق، حيث خفضت دقة التخمين إلى 21% (وهو أفضل بكثير من 100%، لكنه ليس مثاليًا). طريقة أخرى، باستخدام "MMD لكل فئة" (Per-Class Style MMD)، خفضت الدقة إلى 42.6%.

ولكن إليك الخدعة: حتى عندما أصلحوا التسريب، لم يعمل الروبوت بشكل مثالي. لماذا؟ لأن المشكلات الأخرى (مثل "دماغ المحتوى" و"دماغ الأسلوب" وهما يهمسان لبعضهما) كانت لا تزال موجودة. أظهر الباحثون أن إصلاح التسريب ضروري، لكنه ليس كافيًا. الأمر يشبه إصلاح تسرب في قارب مع نسيان أن القارب يحتوي أيضًا على ثقب في قاعه ومجداف مكسور. ستغرق في النهاية.

مفاجأة مجموعة البيانات

اكتشف الباحثون أيضًا شيئًا مثيرًا للاهتمام حول مدى صعوبة المشكلة. اختبروا مجموعتين مختلفتين من الصور: MNIST (أرقام بسيطة باللونين الأبيض والأسود) و CIFAR-10 (صور ملونة ومعقدة لحيوانات وأشياء).

على الأرقام البسيطة (MNIST)، كان الروبوت لصًا محترفًا؛ استطاع تخمين الملصق من الأسلوب بدقة شبه مثالية. أما على الصور المعقدة (CIFAR-10)، فقد كان الروبوت أقل براعة، لكنه لا يزال يسرب الكثير من المعلومات. وجد الباحثون أنه كلما كانت الصور أكثر تعقيدًا وتنوعًا، قل اعتماد الروبوت على الأسلوب لتخمين الملصق. وهذا منطقي: إذا كان كل قط يبدو مختلفًا تمامًا، فمن الصعب إخفاء شفرة سرية في الأسلوب. ولكن حتى في مجموعة البيانات المعقدة، ظل الروبوت يسرب معلومات كافية لتكون خطيرة.

الدرس النهائي

أهم استنتاج من هذه الورقة هو تحذير لأي شخص يبني هؤلاء الفنانين الآليين. لا يمكنك مجرد التحقق مما إذا كان "دماغ الأسلوب" يبدو عشوائيًا في المتوسط. هذا الاختبار هو فخ. يجب عليك التحقق مما إذا كان الأسلوب مستقلًا حقًا عن الملصق لكل فئة على حدة.

أظهر الباحثون أنه حتى لو اجتاز النموذج جميع الاختبارات القياسية وبدا رائعًا على الورق، فقد يكون عديم الفائدة تمامًا في الشيء الوحيد الذي بُني من أجله: المزج والمطابقة. وجدوا أن النموذج يمكن أن يكون دقيقًا بنسبة 99% في التعرف على قطة، ولكن عندما تطلب منه رسم "قطة بأسلوب كلب"، فإنه سيفشل بنسبة 84% من المرات.

في النهاية، تقترح الورقة أننا بحاجة إلى طرق جديدة لاختبار روبوتاتنا. نحن بحاجة إلى النظر تحت الغطاء، وليس فقط إلى غطاء المحرك. نحن بحاجة للتأكد من أن "دماغ الأسلوب" مستقل حقًا، وليس مجرد يتظاهر بذلك. وإلى أن نفعل ذلك، سيستمر فنانونا الآليون في رسم الصور الخاطئة، مرتبكين من الأكواد السرية التي تعلموا إخفاءها.

ملخص تقني: المطابقة الهامشية لا تمنح ترخيصًا لأخذ العينات الموزع

بيان المشكلة

تهدف النماذج التوليدية الموزعة (Factorized generative models) إلى فصل المعلومات المحتواة (الدلالية) عن معلومات الأسلوب في متغيرات كامنة متميزة، $z_c$ و $z_s$ . ومن الممارسات القياسية في هذه النماذج تنظيم المتغير الكامن للأسلوب $z_s$ تجاه توزيع سابق ثابت (عادةً ما يكون توزيع غاوسي معياري، $N(0, I)$ ) باستخدام إحصائية هامشية، مثل تباعد المتوسط الأقصى (MMD) بين التوزيع اللاحق المجمع $q(z_s)$ والتوزيع السابق. وغالبًا ما يعامل الممارسون الانحراف الهامشي المنخفض كشهادة على أن $z_s$ لا يحمل أي معلومات عن الفئة (أي $z_s \perp y$ ).

تجادل الورقة بأن هذه الشهادة معيبة بشكل جوهري. فمطابقة التوزيع الهامشي $q(z_s)$ لتوزيع سابق لا يقيد شيئًا بخصوص التوزيعات الشرطية للفئات $q(z_s | y)$ . فمن الممكن رياضيًا أن يكون $q(z_s)$ توزيعًا غاوسيًا تمامًا بينما يشغل كل توزيع شرطي $q(z_s | y=k)$ منطقة متميزة وغير متداخلة في الفضاء الكامن. وبناءً على ذلك، يمكن لـ $z_s$ أن يظل معلوماتيًا بحد أقصى عن التسمية $y$ حتى عندما تبدو الإحصائيات الهامشية العالمية مثالية.

يؤدي هذا الفجوة إلى تسرب الأسلوب الشرطي (conditional style leakage): أثناء التدريب، يتعلم فك التشفيد (decoder) ربط معلومات فئة محددة بـ $z_s$ لأنه لا يرى سوى أزواج $(z_c, z_s)$ المستمدة من نفس الصورة. وفي وقت التوليد، عندما يتم أخذ عينة من $z_c$ من توزيع سابق شرطي بالفئة، ويتم أخذ عينة من $z_s$ من التوزيع السابق الهامشي (الذي يشمل متوسط جميع الفئات)، يتلقى فك التشفيد زوجًا لم يره من قبل أثناء التدريب. إذا كان $z_s$ يشفر معلومات الفئة، فقد يفشل فك التشفيد في توليد الفئة المقصودة، معتمدًا بدلاً من ذلك على رمز الأسلوب "المسرب" لتحديد الهوية.

المنهجية

التفكيك النظري

يقدم المؤلفون تفكيكًا دقيقًا لعدم التطابق الناجم عن أخذ العينات الموزع، ويرمز له بـ $M_{fact}$ . هذا التباين هو توقع تباعد KL بين التوزيع اللاحق الحقيقي وتوزيع أخذ العينات الموزع:
$M_{fact} = I_q(z_c; z_s | y) + E_y[KL(q(z_c | y) \parallel p(z_c | y))] + I_q(z_s; y) + KL(q(z_s) \parallel p(z_s))$
المصطلحات الأربعة غير السالبة هي:

عدم تطابق سابقة الأسلوب: $KL(q(z_s) \parallel p(z_s))$ (الملاءمة الهامشية العالمية).
تسرب الأسلوب: $I_q(z_s; y)$ (المعلومات المتبادلة بين الأسلوب والتسمية).
عدم تطابق سابقة الدلالة: $E_y[KL(q(z_c | y) \parallel p(z_c | y))]$ .
الاعتماد داخل الفئة الواحدة: $I_q(z_c; z_s | y)$ .

يثبت المؤلفون أن أخذ العينات الموزع الصحيح يتطلب تلاشي المصطلحات الأربعة جميعها. لذلك، فإن القضاء على تسرب الأسلوب (المصطلح 2) ضروري ولكنه ليس كافيًا لأخذ العينات المستقل بنجاح؛ إذ يجب معالجة المصطلحات الأخرى أيضًا.

إطار التدقيق

لاكتشاف التسرب، تقترح الورقة إطارًا تشخيصيًا باستخدام بدائل تقريبية من العينات المحدودة للمصطلحات النظرية:

MMD العالمي: يقرب المصطلح 1.
الانفصال بين الفئات ( $\Delta_{inter}$ ) والمسبار الخطي (LP): يقرب المصطلح 2. يقيس $\Delta_{inter}$ متوسط الانفصال بين توزيعات الأسلوب الشرطية للفئات، بينما يقيس LP دقة مصنف خطي يتنبأ بـ $y$ من $z_s$ .
JointMMD: يقرب المصطلح 4 عبر مقارنة أزواج $(z_c, z_s)$ الحقيقية داخل نفس الفئة مقابل الأزواج المعاد دمجها حيث يتم تبديل $z_s$ داخل نفس الفئة.

دراسة حالة وعلاجات

قام المؤلفون بتطبيق هذه المفاهيم باستخدام F-CS-WAE (F-CS-WAE: Cauchy WAE ذات البنية الفئوية الكروية الموزعة)، والتي تستخدم سابقة دلالية كروية فائقة وتوزيع أسلوب إقليدي. قاموا بتقييم هذا النموذج وأربعة نماذج مرجعية (VAE, WAE-MMD, $\beta$ -TCVAE, FactorVAE) على مجموعتي بيانات MNIST و CIFAR-10.

ولمعالجة التسرب، اختبروا عدة علاجات:

MMD لكل فئة: بدلًا من مطابقة الهامش العالمي، يطابق هذا الفقد توزيع الأسلوب لكل فئة $k$ مع التوزيع السابق $N(0, I)$ بشكل فردي.
عكس التدرج (Gradient Reversal): تقنية تنافسية قياسية لإزالة معلومات التسمية من $z_s$ .
عقوبة HSIC: معاقبة الاعتماد بين $z_s$ و $y$ .
تدخل المصطلح الرابع المشترك: استهداف الاعتماد داخل الفئة الواحدة مباشرة.

كما قيموا استراتيجيات أخذ عينات لاحقة (post-hoc)، مثل استخدام توزيع غاوسي قطري شرطي بالفئة أو بنك أسلوب تجريبي، دون إعادة تدريب النموذج.

النتائج الرئيسية

المقاييس الهامشية تخفي التسرب

تظهر النتائج التجريبية أن MMD العالمي يمكن أن يكون قريبًا من الصفر بينما يكون التسرب شديدًا.

في MNIST، حققت النماذج المرجعية مثل $\beta$ -TCVAE و FactorVAE قيمة MMD عالمي قريبة من الصفر، ومع ذلك سمحت للمسابير الخطية باستعادة التسميات من $z_s$ بدقة 74-76% (نسبة الصدفة هي 10%).
أظهرت دراسة حالة F-CS-WAE أن MMD العالمي بلغ 0.0013، ومع ذلك حقق المسبار الخطي دقة 100%.
والأهم من ذلك، حقق نموذج F-CS-WAE دقة تجميع بلغت 99.15% وجودة إعادة بناء عالية (SSIM 0.983)، ومع ذلك كانت دقة التوليد الشرطي بالفئة (Gen-ACC) تحت أخذ العينات القياسي 16% فقط. يوضح هذا أن التشخيصات القياسية (التجميع، إعادة البناء، MMD العالمي) تفشل في اكتشاف نمط الفشل المتعلق بالتوليد الموزع.

حساسية فك التشفيد

كشفت التجارب التي تضمنت تبديل الكمون (أخذ $z_c$ من الفئة $A$ و $z_s$ من الفئة $B$ ) أن فك التشفيد يعتمد بشدة على $z_s$ لتحديد الهوية. في MNIST، صنف المصنف الخارجي المخرج المبدل على أنه ينتمي إلى فئة مانح الأسلوب بنسبة 96.5% من الوقت، مما يؤكد أن فك التشفيد تعلم قراءة الهوية من رمز الأسلوب "المسرب".

فعالية العلاجات

Per-class MMD: قلل دقة المسبار الخطي من 100% إلى 42.6% ومن $\Delta_{inter}$ بنسبة 81%. ومع ذلك، لم يقضِ على التسرب، وظل JointMMD (بديل المصطلح 4) ثابتًا إحصائيًا.
عكس التدرج (Gradient Reversal): حقق أقوى انخفاض في التسرب بين علاجات المصطلح 2، حيث خفض دقة المسبار إلى 21%.
تدخل المصطلح 4 المشترك: التدخل الذي استهدف المصطلح 4 فقط هو الذي قلل بشكل كبير من بديل JointMMD (بمقدار 2.7 ضعفًا)، مما يؤكد أن تقليل المعلومات المتبادلة $I(z_s; y)$ لا يؤدي تلقائيًا إلى حل الاعتمادات داخل الفئة.
المتانة: فشلت ستة اضطرابات (السعة، المنهج الدراسي، هندسة السابقة، الإشراف) في القضاء على التسرب تمامًا. وبينما عدلت السعة حجم التسرب بقوة (خاصة في CIFAR-10)، لم يكن أي اختيار تصميمي بمفرده هو السبب الوحيد.

قابلية انتقال الحلول

تسلط الورقة الضوء على فجوة كبيرة بين مجموعات البيانات:

MNIST: رفع استخدام سابقة شرطية بالفئة (post-hoc) من Gen-ACC من 0.16 إلى 0.97.
CIFAR-10: لم يصل نفس الإصلاح البارامتري إلى 0.41. بينما وصل بنك الأسلوب التجريبي إلى 0.88، مما يشير إلى أن افتراض التوزيع الغاوسي القطري البسيط غير كافٍ للبيانات المعقدة.

الأهمية والادعاءات

تدعي الورقة أنه لا يوجد تباعد (divergence) يُحسب فقط على الهامش $q(z_s)$ يمكنه منح شهادة بأن $z_s \perp y$ . إن الاعتماد على الإحصائيات الهامشية (مثل MMD العالمي) يوفر شعورًا زائفًا بالأمان فيما يتعلق بثبات الفئة في النماذج الموزعة.

يؤكد المؤلفون على ما يلي:

الضرورة الهيكلية: القضاء على تسرب الأسلوب ضروري ولكنه ليس كافيًا لأخذ العينات الموزع بشكل صحيح؛ يجب أيضًا معالجة المصطلحات الثلاثة الأخرى في التفكيك.
الضرورة التشخيصية: يجب على الممارسين استخدام تشخيصات شرطية (مثل المسابير الخطية، والانفصال بين الفئات) بدلاً من الإحصائيات الهامشية للتحقق من ثبات الفئة.
واقع مستوى فك التشفيد: حتى لو بدا الفضاء الكامن منفصلًا، فقد يستغل فك التشفيد المعلومات المسربة، مما يؤدي إلى فشل في التوليد لا تكتشفه المقاييس القياسية.
الاعتماد على البيانات: العلاجات التي تعمل على مجموعات البيانات البسيطة (MNIST) قد تفشل في مجموعات البيانات الأكثر تعقيدًا (CIFAR-10)، كما أن شدة التسرب تعتمد بقوة على تعقيد البيانات وسعة النموذج.

تخلص الورقة إلى أن الإبلاغ عن الإحصائيات الهامية غير كافٍ للتحقق من خصائص النماذج التوليدية الموزعة التي يدعيها الممارسون، وأن الحاجة ماسة إلى إطار تدقيق أكثر صرامة ومشروط لضمان صحة أخذ العينات المستقل.