Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

ملخص تقني: "ليس توليدياً للغاية، ولا تمييزياً للغاية: النقطة المثالية للمحاذاة البشرية"

بيان المشكلة
يدور نقاش مركزي في الرؤية الحاسوبية حول ما إذا كانت التمثيلات البصرية الشبيهة بالبشر تُفسر بشكل أفضل من خلال التعلم التمييزي (ربط المدخلات بالتسميات) أو التعلم التوليدي (استنتاج المدخلات من نموذج عالم داخلي). إن المقارنات الحالية بين هذين النموذجين مشوبة باختلافات متزامنة في البنية، وحجم النموذج، وبيانات التدريب. وبناءً على ذلك، يظل من غير الواضح ما إذا كانت الاختلافات الملحوظة في المحاذاة البشرية تنبع من هدف التعلم نفسه أم من خصائص النموذج المرتبطة به. تفترض الورقة أن الثنائية بين الأهداف التوليدية والتمييزية قد تكون المحور الخاطئ لفهم الرؤية المحاذية للبشر، وتقترح بدلاً من ذلك أن التوازن الأمثل يقع في مكان ما بينهما.

المنهجية
لعزل تأثير هدف التعلم، يستخدم المؤلفون نماذج الطاقة المشتركة (Joint Energy-Based Models - JEMs). تُعرف نماذج JEM دالة طاقة واحدة على أزواج (المدخل-التسمية)، $E_\theta(x, y)$، مما يسمح لشبكة واحدة بدعم التنبؤ التمييزي ($p(y|x)$) ونمذجة الكثافة التوليدية ($p(x)$) في آن واحد.

• الاستيفاء (Interpolation): يقدم المؤلفون معامل خلط $\alpha \in [0, 1]$ للتحكم في هدف التدريب. دالة الخسارة هي استيفاء بين لوغاريتم الاحتمالية التمييزي ($L_D$) ولوغاريتم الاحتمالية التوليدي ($L_G$):
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  هنا، $\alpha=0$ يقابل التدريب التمييزي الصرف، و$\alpha=1$ يقابل التدريب التوليدي الصرف. يضمن معدل نسبة تدرج النواة مساهمة كلا الطرفين بمقياس متقارب.
• البنية والتدريب: تستخدم التجارب بنية Wide ResNet. بالنسبة لتجارب مقياس ImageNet، يتم التدريب في الفضاء الكامن لمشفر تلقائي (AutoencoderKL) مدرب مسبقاً لجعل التدريب الهجين ممكناً من الناحية الحسابية. يتم تدريب النماذج عبر كامل المتصل لـ $\alpha$ (11 نموذجاً من 0.0 إلى 1.0 بخطوات قدرها 0.1).
• التقييم: يتم تقييم النماذج الناتجة عبر ستة معايير مختلفة للمحاذاة البشرية تشمل الإدراك منخفض المستوى، والإدراك متوسط المستوى، وعدم اليقين، والمتانة، وتضارب الإشارات، وعزو السمات التشخيصية. وتشمل هذه المعايير:
  1. التشابه الإدراكي (BAPPS): مهام 2AFC وJND.
  2. إدراك اللمعان (Gloss Perception): الارتباط مع الأحكام البشرية على الأسطح الاصطناعية.
  3. عدم يقين الاستجابة (CIFAR-10H): الإنتروبيا المتقاطعة بين توزيعات استجابة النموذج واستجابة البشر.
  4. المتانة (OOD): اتساق الخطأ مع البشر تحت تحولات التوزيع.
  5. تضارب إشارة الشكل-النسيج (Shape–Texture Cue Conflict): الانحياز نحو الشكل مقابل النسيج في الصور المتضاربة.
  6. السمات التشخيصية (ClickMe): محاذاة خرائط تعليل النموذج مع الانتباه البصري البشري.

النتائج الرئيسية
عبر جميع المعايير الستة، يتم تعظيم المحاذاة البشرية باستمرار عند قيم متوسطة لـ $\alpha$، وليس عند الأطراف ($\alpha=0$ أو $\alpha=1$).

• التشابه الإدراكي: تحقق النماذج الهجينة ($\alpha \approx 0.6$) أعلى درجات 2AFC مع مطابقة النماذج التمييزية في مهام JND، متفوقة بذلك على كل من النماذج التوليدية والتمييزية الصرفة.
• إدراك اللمعان: بينما اقترحت الأعمال السابقة أن النماذج التوليدية (PixelVAE) تتفوق على التمييزية (ResNet)، فإن تجارب JEM المنضبطة تظهر أن نموذج JEM التمييزي الصرف يتفوق بالفعل على نموذج JEM التوليدي الصرف. يحدث التوازن الأمثل للمحاذاة عند $\alpha \approx 0.5$، متجاوزاً كلاً من نماذج PixelVAE وResNet الأساسية.
• عدم يقين الاستجابة: أفضل النماذج الهجينة ($\alpha \approx 0.8$) إعادة إنتاج التوزيع الكامل للاستجابات البشرية، موازنةً بين البنية الفئوية والحساسية تجاه الغموض.
• انحياز الشكل-النسيج: يزداد انحياز الشكل بشكل رتيب مع $\alpha$. تحقق النماذج الهجينة انحيازاً للشكل يقترب من 0.7، وهو أعلى بكثير من النماذج التمييزية القياسية (مثل ResNet-50) ويقترب من مستويات النماذج التوليدية الضخمة.
• السمات التشخيصية: تصل المحاذاة مع خرائط السالينسي (Saliency) البشرية إلى ذروتها عند $\alpha \approx 0.3$. تفقد النماذج التوليدية الصرفة القدرة على الانتقائية، بينما تنتج النماذج التمييزية الصرفة خرائط تعليل منتشرة.
• التحسين وقت الاختبار: يوضح المؤلفون أن تطبيق ديناميكيات لانجفان لدرجة التدرج العشوائي (SGLD) لتنقية المدخلات في وقت الاختبار يعزز الاستجابات المتسقة مع الشكل في النماذج الهجينة والتوليدية دون إعادة تدريب، مما يكشف عن مشهد طاقة يفضل الشكل ناتج عن الهدف التوليدي.

الأهمية والادعاءات
تدعي الورقة أنها تعيد صياغة الجدل بين التوليدي والتمييزي. تشير النتائج إلى أن هذه الثنائية ليست الإطار الصحيح لفهم الرؤية المحاذية للبشر. بدلاً من ذلك، تبرز الرؤية الشبيهة بالبشر من خلال موازنة كلا الهدفين:

• التعلم التمييزي يوفر البنية الفئوية الضرورية.
• التعلم التوليدي يوفر الحساسية لتوزيع المدخلات والتماسك العالمي (مثل الشكل).

يجادل المؤلفون بأن المحاذاة البشرية ليست خاصية قياسية واحدة بل هي عائلة من القيود حيث يختلف التوازن الأمثل بين نمذجة العالم التوليدية والوسم التمييزي باختلاف المهمة (على سبيل المثال، تفضل السمات التشخيصية نظاماً أكثر تمييزية، بينما تفضل عدم يقين الاستجابة نظاماً أكثر توليدياً). وتخلص الدراسة إلى أن الذكاء الاصطناعي المحاذي للبشر يتطلب الانتقال من سؤال "أي هدف هو الأفضل؟" إلى فهم "كيف ينبغي موازنة هذه الأهداف؟"

القصور
يقر المؤلفون بأن تدريب النماذج القائمة على الطاقة يظل مكلفاً حاسوبياً ويتطلب استقراراً دقيقاً. كما أن قيمة $\alpha$ المثلى تختلف عبر المعايير، مما يشير إلى أن المحاذاة البشرية متعددة الأبعاد. علاوة على ذلك، بينما تحسن الأهداف الهجينة المحاذاة مع الإدراك البشري وعدم اليقين، فإنها لا تضمن بطبيعتها العدالة أو السلامة أو المتانة، حيث يمكنها أيضاً إعادة إنتاج الأخطاء والانحيازات البشرية.