Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

ملخص تقني: تحديد الفئات الخاصة القائم على الموضعية للتكيف مع النطاق مع الانزياح الشديد في التسميات

بيان المشكلة
يفترض التكيف مع النطاق غير الخاضع للإشراف (UDA) عادةً سيناريو المجموعة المغلقة حيث تشترك النطاقات المصدرية والهدف في فضاء تسميات متطابق. ومع ذلك، تتضمن التطبيقات الواقعية غالبًا "انزياحًا شديدًا في التسميات"، حيث تكون فضاءات التسميات غير متجانسة. ويتجلى هذا في سيناريوهين رئيسيين: التكيف مع النطاق ذو المجموعة المفتوحة (OSDA)، حيث يحتوي نطاق الهدف على فئات خاصة غائبة عن المصدر، والتكيف الجزئي مع النطاق (PDA)، حيث يحتوي النطاق المصدري على فئات خاصة غائبة عن الهدف.

يتمثل التحدي الجوهري في هذه السيناريوهات في "تحديد الفئات الخاصة". تعتمد الطرق الحالية عمومًا على افتراض أن الانزياح الدلالي للفئات الخاصة يكون دائمًا أكبر من انزياح النطاق للفئات المشتركة، حيث تُعامل العينات الخاصة كقيم متطرفة. ويجادل المؤلفون بأن هذا الافتراض غالبًا ما يُنتهك في الممارسة العملية، حيث يمكن أن يتجاوز التباين داخل فئة مشتركة واحدة الفجوة بين فئة خاصة وفئة مشتركة أخرى. وبناءً على ذلك، تفشل الطرق الحالية غالبًا في التمييز بشكل موثوق بين العينات الخاصة، مما يؤدي إلى نقل سلبي وعدم محاذاة.

المنهجية
تقترح الورقة إطار عمل مبتكر يرتكز على تحديد الفئات الخاصة القائم على الموضعية ونموذج نقل موثوق يسمى ReOT (طريقة تعتمد على النقل الأمثل الموثوق).

1. التحديد القائم على الموضعية عبر النقل الأمثل المقنع (MOT):

   • لاحظ المؤلفون أنه بينما قد يكون الانزياحات العالمية غامضة، إلا أن البنية المكانية المحلية تظل ثابتة: ضمن حيز مجاورة محلية لعنقود فئة مشتركة، تكون المسافة بين العينات المشتركة أصغر باستمرار من المسافة بين العينات المشترة والخاصة.
   • يستخدمون النقل الأمثل المقنع (MOT) لتوصيف هذه البنية المحلية. يتم تطبيق مصفوفة قناع على مصفوفة التكلفة لفرض النقل فقط بين العينات ذات التسميات المتوقعة المتطابقة.
   • يتم اشتقاق دالة درجة قائمة على كتلة النقل. بناءً على الخصائص النظرية لـ MOT، فإن إجمالي الكتلة المنقولة إلى عينة فئة خاصة من فئة مشتركة المصدر تكون أصغر بكğu من الكتلة المنقولة إلى عينة فئة مشتركة.
   • يتم تعريف الدرجة $s(z')$ كالتالي: $1/m - \sum \Gamma^*_{ij}$. العينات التي تحقق $s(z') > 0$ (أو تتجاوز هامشًا معينًا) تُحدد كفئات خاصة، بينما العينات التي تحقق $s(z') < 0$ تُحدد كفئات مشتركة. يضمن هذا النهج نظريًا فصل العينات المشتركة والخاصة تحت افتراضات مكانية محلية دون الاعتماد على افتراضات القيم المتطرفة العالمية.

2. إطار عمل ReOT:

   • خسارة النقل الموثوق ($L_{rt}$): بمجرد تحديد العينات الخاصة والمشتركة، يعمل ReOT على تقليل المسافات داخل الفئة عبر النطاقات للفئات المشتركة مع تعظيم المسافة بين الفئات المشتركة والخاصة. يتم تحقيق ذلك باستخدام خطة النقل من MOT لمحاذاة التوزيعات الشرطية فقط ضمن المجموعات المشتركة المحددة.
   • تقليل المخاطر ($L_{cls}$): يقلل النموذج من مخاطر التصنيف التجريبية على كل من النطاق المصدر والعينات الخاصة المحددة في النطاق المستهدف (أو المصدر، بالنسبة لـ PDA).
   • خسارة إعادة بناء المركز الثقلي ($L_{br}$): لتعزيز التمثيل بشكل أكبر، يقوم النموذج بخرائط تمثيل الهدف عائدة إلى النطاق المصدر باستخدام خطة النقل (خريطة المركز الثقلي) ويقلل من خسارة إعادة البناء. يوفر هذا إشرافًا ناعمًا، مما يدفع عينات الهدف نحو النماذج الأولية للفئات المقابلة لها.
   • الهدف النهائي يجمع هذه الخسائر: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. التحليل النظري:

   • تقدم الورقة حدًا علويًا للتعميم لمخاطر الهدف في سيناريوهات الانزياح الشديد في التسميات. يفكك هذا الحد الخطأ إلى مصطلحات تتعلق بمخاطر المصدر، والخطأ في التنبؤ الأقصى، وتفاوت توزيع التسميات، وفجوة الشرط المشترك.
   • يثبت المؤلفون أن ReOT يقلل هذا الحد العلوي عن طريق تقليل مخاطر المصدر، ومحاذاة التوزيعات الشرطية (تقليل فجوة الشرط المشترك)، وتحديد الفئات الخاصة بفعالية لتقليل الأخطاء في تلك العينات المحددة.

المساهمات الرئيسية

• التحديد القائم على الموضعية: طريقة جديدة لتحديد الفئات الخاصة باستخدام دالة درجة مشتقة من كتلة نقل MOT. إنها تخفف من افتراض القيمة المتطرفة العالمي غير الواقعي من خلال الاستففاد من البنى المكانية المحلية.
• الضمان النظري: يقدم البحث إثباتًا نظريًا لقدرة دالة الدرجة على التمييز بين العينات المشتركة والخاصة، بالإضافة إلى حد خطأ التعميم لسيناريوهات الانزياح الشديد في التسميات الذي يظهر أن ReOT يقلله.
• إطار عمل موحد (ReOT): خوارزمية واحدة قادرة على التعامل مع كل من إعدادات OSDA وPDA عن طريق ضبط اتجاه النقل وتعريفات القناع ديناميكيًا بناءً على النطاق الذي يحتوي على الفئات الخاصة.
• التحقق التجريبي: تجارب مكثفة على أربع مجموعات بيانات (Image-CLEF، Office-31، Office-Home، VisDA-2017) تظهر أداءً متفوقًا على الطرق الحالية في كل من إعدادات OSDA وPDA.

النتائج التجريبية

• أداء OSDA: في Image-CLEF وOffice-31 وOffice-Home، حقق ReOT أعلى دقة للمتوسط التوافقي ($H$) في معظم المهام، متفوقًا على طرق SOTA مثل ANNA وMRJT. على سبيل المثال، في Image-CLEF، حقق ReOT متوسط $H$ قدره 84.4%، متجاوزًا ANNA بنسبة 1.5%.
• أداء PDA: أظهر ReOT أداءً قويًا في Office-Home وVisDA-2017، محققًا أفضل متوسط دقة (78.7% في Office-Home) وحافظ على أداء عالٍ في مجموعة بيانات VisDA-2017 الصعبة حيث تدهورت أداء الطرق الأخرى بشكل كبير.
• دراسات الاستئصال: أدى حذف خسارة النقل ($L_{rt}$) أو خسارة إعادة البناء ($L_{br}$) إلى انخفاض في الأداء، مما يؤكد ضرورة كل من محاذاة الشرط للفئة وإعادة بناء المركز الثقلي.
• كفاءة التحديد: نجحت طريقة تحديد الفئة الخاصة في تحديد حوالي 88.2% من العينات الخاصة في OSDA و95.6% في PDA عبر مجموعات البيانات.
• المتانة: ظل الأسلوب مستقرًا عبر إعدادات مختلفة للمعلمات الفائقة وخيارات دالة التكلفة (المسافة الإقليدية المربعة مقابل المعتمدة على المميز).

الأهمية والادعاءات
تدعي الورقة أن ReOT يعالج القصور الأساسي لطرق تحديد الفئات الخاصة الموجودة من خلال تحويل التركيز من اكتشاف القيم المتطرفة العالمية إلى توصيف البنية المكانية المحلية. ومن خلال تأصيل عملية التحديد نظريًا في خصائص النقل الأمثل المقنع، يضمن الأسلوب الموثوقية حتى عندما لا تكون الفئات الخاصة قيمًا متطرفة متميزة.

يؤكد المؤلفون أن ReOT يوفر حلًا موحدًا لكل من OSDA وPDA، مما يسد الفجوة بين هذين السيناريوهين المتماثلين ولكن غالبًا ما يتم التعامل معهما بشكل منفصل. نظريًا، يقدم حد التعميم المقترح منظورًا جديدًا لتفكيك الخطأ في فضاءات التسميات غير المتجانسة، موضحًا أن تقليل الحد يتطلب كلاً من التحديد الدقيق للفئات الخاصة ومحاذاة التوزيع الشرطي. تجريبيًا، تؤكد النتائج أن ReOT يحقق توازنًا أفضل بين التعرف على العينات الخاصة والحفاظ على أداء الفئات المشتركة، مما يؤدي إلى تكيف أكثر متانة مع النطاق في سيناريوهات الانزياح الشديد في التسميات في العالم الحقيقي.

تختتم الورقة بتواضع، مشيرة إلى أنه بينما يعد ReOT فعالاً لسيناريوهات المصدر الواحد/الهدف الواحد، يمكن للعمل المستقبلي توسيع إطار العمل ليشمل سيناريوهات متعددة المصادر، متعددة الأهداف، والسيناريوهات الخالية من المصدر.