Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

ملخص تقني: التوصيف القائم على الإنتروبيا للنظام المستقطب في نماذج المتغيرات الكامنة

بيان المشكلة
غالبًا ما تُظهر المشفرات التلقائية التباينية (VAEs) والنماذج ذات الصلة بالمتغيرات الكامنة "نظامًا مستقطبًا"، حيث تنقسم الأبعاد الكامنة إلى ثلاث مجموعات فرعية متميزة: نشطة (تُشفّر أقصى تباين للبيانات)، خاملة (تنهار نحو التوزيع المسبق وتُشفّر معلومات ضئيلة للغاية)، ومختلطة (تنتقل بين الحالات النشطة والخاملة اعتمادًا على المدخلات). ويعد تحديد هذه المجموعات الفرعية أمرًا بالغ الأهمية لفهم سلوك النموذج، لا سيما فيما يتعلق بـ "انهيار اللاحقة" (posterior collapse)، حيث يفشل النموذج في استغلال الفضاء الكامن بفعالية.

تعتمد الطرق الموجودة لتمييز الأبعاد النشطة عن الخاملة بشكل كبير على توزيعات مسبقة محددة، عادةً ما تكون غاوسية (طبيعية). وتواجه الأساليب الشائعة التي تضع عتبات لتباعد كولباك - ليبلر (KL divergence) أو تحلل إحصائيات المتوسط والتباين ($\mu$ و $\sigma$) بالنسبة لتوزيع غاوسي معياري، قيودًا لأنها ليست محايدة تجاه النموذج؛ فهي تواجه صعوبة في التطبيق على البنى الحتمية (مثل المشفرات التلقائية القياسية) أو النماذج ذات التوزيعات المسبقة غير الغاوسية (مثل الـ iVAEs). علاوة على ذلك، تشير النتائج الحديثة إلى أن المتغيرات "الخاملة" قد تحتفظ بارتباطات دقيقة مع متغيرات أخرى، مما يعني أن استبعادها بناءً على معايير صارمة قائمة على التوزيع المسبق قد يؤدي إلى فقدان معلومات مفيدة. ومن هنا، تبرز الحاجة إلى معيار مبدئي، غير مرتبط بتوزيع مسبق، لتوصيف النشاط الكامن.

المنهجية
يقترح المؤلفون إطارًا معلوماتيًا يعتمد على إنتروبيا تمثيل المتوسط ($H(\mu_i)$) للأبعاد الكامنة.

1. معيار الإنتروبيا: بدلاً من قياس الانحراف عن توزيع مسبق (عبر تباعد KL)، تقوم الطريقة بقياس درجة الاضطراب أو عدم اليقين في التوزيع الهامشي التجريبي لمخرجات المتوسط ($\mu_i$) لكل بُعد كامن عبر مجموعة البيانات.

   • نشط: $H(\mu_i) > \tau$ (إنتروبيا عالية، مما يشير إلى تباين كبير عبر نقاط البيانات).
   • خامل: $H(\mu_i) \le \tau$ (إنتروبيا منخفضة، مما يشير إلى أن البعد شبه ثابت).
   • مختلط: الأبعاد التي تُظهر إنتروبيا عالية لبعض مجموعات البيانات وإنتروبيا منخفضة لأخرى.

2. التحليل النظري: يضع البحث رابطًا نظريًا بين معيار الإنتروبيا هذا والتعريفات القائمة:

   • الإنتروبيا مقابل تباعد KL: باستخدام متباينات إنتروبيا-التباين (تحديدًا $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$)، يُظهر المؤلفون أن الإنتروبيا العالية في تمثيل المتوسط تعني وجود حد أدنى لتباعد KL. وبالتالي، ترتبط الإنتروبيا العالية بالحالة "النشطة" المعرفة بمساهمات KL العالية.
   • الإنتروبيا مقابل معايير بونهيم (Bonheme): يربط المؤلفون نهجهم بتعريف بونهيم وغريز (Grzes) الذي يعتمد على تباين $\mu$ و $\sigma$. ويوضحون أن $H(\mu)$ تلتقط نفس التباين الإحصائي الذي يلتقطه $\text{Var}(\mu)$ ولكن بطريقة نظرية المعلومات.
   • القيود: يوضح التحليل أن إنتروبيا المتوسط وحدها لا يمكنها التمييز بشكل موثوق بين الأبعاد النشطة والمختلطة دون إشارات إضافية من تمثيل التباين، حيث يمكن لكليهما إظهار عدم يقين عالٍ في المتوسط.

3. التقدير: للتقييم التجريبي، يستخدم المؤلفون مُقدر إنتروبيا ريني (Rényi $\alpha$-entropy) القائم على المصفوفات. يتجنب هذا النهج التقدير الصريح للكثافة، مما يجعله مناسبًا للمساحات الكامنة عالية الأبعاد وقادرًا على التعامل مع المتغيرات المستمرة مباشرة عبر مصفوفات جرام (Gram matrices).

التقييم التجريبي
قيم المؤلفون معيار الإنتروبيا عبر أربعة فئات مختلفة من النماذج باستخدام معايير قياسية (MNIST, smallNORB, d-Sprites):

• $\beta$-VAEs: نماذج مع متغيرات $\beta$ فائقة للتحكم في قوة عقوبة KL.
• النماذج التلقائية المتغيرة القابلة للتمييز (iVAEs): نماذج تستخدم معلومات مساعدة لفرض القابلية للتمييز.
• المشفرات التلقائية ذات الحجم الأدنى (LV-AEs): نماذج حتمية يتم تنظيمها بواسطة حجم الفضاء الكامن.
• المشفرات التلقائية المنظمة بـ L2 (L2-AEs): نماذج أساسية حتمية مع عقوبات L2 على الأكواد الكامنة.

النتائج الرئيسية

1. استعادة النظام المستقطب: نجح معيار الإنتروبيا باستمرار في استعادة النظام المستقطب (الانقسام إلى أبعاد نشطة ذات إنتروبيا عالية وأبعاد خاملة ذات إنتروبيا قريبة من الصفر) عبر جميع البنى المختبرة، بما في ذلك النماذج الحتمية التي لا تنطبق عليها تعريفات KL.
2. التماسك مع المقاييس الأخرى: وُجد أن الإنتروبيا، والتباين، والمعلومات المتبادلة ($I(X; \mu)$) تتطور بشكل متماسك أثناء التدريب. تم اختيار الإنتروبيا كمقياس أساسي بسبب متانتها وعدم وجود عبء حسابي مقارنة بتقدير المعلومات المتبادلة.
3. القدرة على التعميم:
   • في LV-AEs، نجح معيار الإنتروبيا في تحديد النظام المستقطب الناجم عن تنظيم الحجم، مما يؤكد أن الاستقطاب ظاهرة عامة في تعلم التمثيل المنظم، وليس مجرد نتاج اصطناعي للنماذج التباينية.
   • في iVAEs، وبينما تم تجنب الانهيار الكلي للاحقة (تماشيًا مع نظرية القابلية للتمييز)، رصد معيار الإنتروبيا انهيارًا انتقائيًا (استقطابًا). والأهم من ذلك، أن الوحدات "المنهارة" في iVAEs احتفظت بإنتروبيا صغيرة ولكن غير صفرية، مما يوفق بين الملاحظة التجريبية للقمع وبين الاستحالة النظرية للانهيار الكلي.
4. الفائدة في المهام اللاحقة: عند استخدام الأكواد الكامنة لمهام الانحدار اللوجستي اللاحقة، أظهرت النماذج المدربة على المتجهات الكامنة الخام ثباتًا في دقة النتائج بمجرد تضمين المتغيرات النشطة. ومع ذلك، عندما تم تطبيع (normalization) الأكواد الكامنة، أدى تضمين المتغيرات "الخاملة" إلى تحسينات طفيفة ولكن ثابتة في الدقة. يشير هذا إلى أن الأبعاد الخاملة ليست خالية تمامًا من المعلومات، بل تم قمعها في المقياس (scale) بدلًا من إزالتها تمامًا.

الأهمية والادعاءات
يدعي البحث أن معيار الإنتروبيا المقترح يوفر أداة محايدة تجاه النموذج ومحايدة تجاه التوزيع المسبق لتوصيف النشاط الكامن. وتكمن أهميته في:

• الشمولية: ينطبق على كل من البنى التباينية والحتمية، متجاوزًا قيود معايير KL المرتبطة بتوزيعات غاوسية.
• التأسيس النظري: يوفر رابطًا مبدئيًا بين نظرية المعلومات (الإنتروبيا) وآليات دفع النظام المستقطب (تقليل KL وقيود التباين).
• الفهم الدقيق للانهيار: تتحدى النتائج الرؤية الثنائية لانهيار اللاحقة. يجادل المؤلفون بأن الانهيار غالبًا ما يكون مسألة مقياس وليس إزالة مطلقة للمعلومات، حيث تحتفظ الأبعاد "الخاملة" بإنتروبيا قابلة للكشف وفائدة لاحقة عند تطبيعها بشكل مناسب.

القيود
يقر المؤلفون بتواضع ببعض القيود:

• المتغيرات المختلطة: لا يمكن لإنتروبيا المتوسط وحدها التمييز بوضوح بين المتغيرات النشطة والمختلطة؛ إذ يتطلب الأمر إشارات تباين إضافية.
• الاستدلال بالعتبة: العتبة $\tau$ لتصنيف النشاط هي عتبة استدلالية وتفتقر إلى طريقة اختيار مبدئية مثالية عالميًا عبر مختلف مجموعات البيانات والبنى.
• النطاق: يقتصر التحقق التجريبي حاليًا على مجموعات بيانات الصور وبنى معينة من المشفرات التلقائية. ويبقى سلوك النماذج التسلسلية أو نماذج الانتشار (diffusion) سؤالًا مفتوحًا.
• المنفعة العملية: بينما توفر المتغيرات الخاملة مكاسب صغيرة في المهام اللاحقة، إلا أن هذه التحسينات متواضقة، مما يشير إلى أن المعيار مفيد أساسًا للتحليل التشخيصي وفهم البنية الكامنة أكثر من كونه أداة مباشرة لتحسين الأداء.