Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

Resumen Técnico: Identificación de Clases Privadas Consciente de la Localidad para Adaptación de Dominio con Desplazamiento de Etiquetas Extremo

Enunciado del Problema
La Adaptación de Dominio No Supervisada (UDA) asume típicamente un escenario de conjunto cerrado donde los dominios de origen y destino comparten un espacio de etiquetas idéntico. Sin embargo, las aplicaciones del mundo real a menudo implican un "desplazamiento de etiquetas extremo", donde los espacios de etiquetas son heterogéneos. Esto se manifiesta en dos escenarios principales: Adaptación de Dominio de Conjunto Abierto (OSDA), donde el dominio de destino contiene clases privadas ausentes en el origen, y Adaptación de Dominio Parcial (PDA), donde el dominio de origen contiene clases privadas ausentes en el destino.

El desafío central en estos escenarios es la "identificación de clases privadas". Los métodos existentes generalmente se basan en la suposición de que el desplazamiento semántico de las clases privadas es consistentemente mayor que el desplazamiento de dominio de las clases compartidas, tratando las muestras privadas como valores atípicos. Los autores argumentan que esta suposición a menudo se viola en la práctica, ya que la varianza dentro de una sola clase compartida puede exceder la brecha entre una clase privada y otra clase compartida. En consecuencia, los métodos existentes a menudo fallan en distinguir de manera fiable las muestras privadas, lo que conduce a una transferencia negativa y a un desalineamiento.

Metodología
El artículo propone un marco novedoso centrado en la Identificación de Clases Privadas Consciente de la Localidad y un modelo de transferencia fiable denominado ReOT (Método basado en OT Fiable).

1. Identificación Consciente de la Localidad mediante Transporte Óptimo Enmascarado (MOT):

   • Los autores observan que, aunque los desplazamientos globales pueden ser ambiguos, se mantiene una estructura espacial local: dentro de una vecindad local de un clúster de clase compartida, la distancia entre muestras compartidas es consistentemente menor que la distancia entre muestras compartidas y privadas.
   • Utilizan Transporte Óptimo Enmascarado (MOT) para caracterizar esta estructura local. Se aplica una matriz de máscara a la matriz de costos para imponer el transporte solo entre muestras con las mismas etiquetas predichas.
   • Se deriva una función de puntuación basada en la masa de transporte. Basándose en las propiedades teóricas de MOT, la masa total transportada hacia una muestra de clase privada desde una fuente de clase compartida es significativamente menor que la masa transportada hacia una muestra de clase compartida.
   • Se define una puntuación $s(z')$ como $1/m - \sum \Gamma^*_{ij}$. Las muestras con $s(z') > 0$ (o que exceden un margen) se identifican como privadas, mientras que aquellas con $s(z') < 0$ se identifican como compartidas. Este enfoque garantiza teóricamente la separación de muestras compartidas y privadas bajo suposiciones de espacio local sin depender de suposiciones globales de valores atípicos.

2. El Marco ReOT:

   • Pérdida de Transferencia Fiable ($L_{rt}$): Una vez identificadas las muestras privadas y compartidas, ReOT minimiza las distancias intraclase entre dominios para las clases compartidas mientras maximiza la distancia entre las clases compartidas y privadas. Esto se logra utilizando el plan de transporte de MOT para alinear las distribuciones condicionales solo dentro de los conjuntos compartidos identificados.
   • Minimización del Riesgo ($L_{cls}$): El modelo minimiza el riesgo de clasificación empírico tanto en el dominio de origen como en las muestras privadas identificadas en el dominio de destino (o de origen, para PDA).
   • Pérdida de Reconstrucción del Baricentro ($L_{br}$): Para refinar aún más la representación, el modelo mapea las representaciones del destino de vuelta al dominio de origen utilizando el plan de transporte (mapa de baricentro) y minimiza la pérdida de reconstrucción. Esto proporciona una supervisión suave, empujando las muestras del destino hacia sus prototipos de clase correspondientes.
   • El objetivo final combina estas pérdidas: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. Análisis Teórico:

   • El artículo proporciona un límite superior de generalización para el riesgo del objetivo en escenarios de desplazamiento de etiquetas extremo. El límite descompone el error en términos relacionados con el riesgo de origen, el error de predicción máximo, la discrepancia en la distribución de etiquetas y la brecha condicional compartida.
   • Los autores demuestran que ReOT minimiza este límite superior al reducir el riesgo de origen, alinear las distribuciones condicionales (reduciendo la brecha condicional compartida) e identificar eficazmente las clases privadas para minimizar los errores en esas muestras específicas.

Contribuciones Clave

• Identificación Consciente de la Localidad: Un nuevo método para identificar clases privadas utilizando una función de puntuación derivada de la masa de transporte MOT. Relaja la suposición poco realista de valores atípicos globales aprovechando las estructuras espaciales locales.
• Garantía Teórica: Una demostración teórica que demuestra la capacidad de la función de puntuación para distinguir muestras compartidas y privadas, y un límite de error de generalización para escenarios de desplazamiento de etiquetas extremo que ReOT se muestra capaz de minimizar.
• Marco Unificado (ReOT): Un único algoritmo capaz de manejar tanto los entornos OSDA como PDA ajustando dinámicamente la dirección del transporte y las definiciones de máscara en función de qué dominio contiene las clases privadas.
• Validación Empírica: Experimentos extensos en cuatro conjuntos de datos de referencia (Image-CLEF, Office-31, Office-Home, VisDA-2017) que demuestran un rendimiento superior a los métodos más avanzados en ambos entornos OSDA y PDA.

Resultados Experimentales

• Rendimiento en OSDA: En Image-CLEF, Office-31 y Office-Home, ReOT logró la mayor precisión de media armónica ($H$) en la mayoría de las tareas, superando a métodos SOTA como ANNA y MRJT. Por ejemplo, en Image-CLEF, ReOT alcanzó una $H$ promedio del 84.4%, superando a ANNA en un 1.5%.
• Rendimiento en PDA: ReOT demostró un rendimiento robusto en Office-Home y VisDA-2017, logrando la mejor precisión media (78.7% en Office-Home) y manteniendo un alto rendimiento en el desafiante conjunto de datos VisDA-2017, donde otros métodos se degradaron significativamente.
• Estudios de Ablación: Eliminar la pérdida de transferencia ($L_{rt}$) o la pérdida de reconstrucción ($L_{br}$) resultó en caídas de rendimiento, confirmando la necesidad de tanto la alineación condicional de clases como la reconstrucción del baricentro.
• Eficiencia de Identificación: El método de identificación de clases privadas identificó con éxito aproximadamente el 88.2% de las muestras privadas en OSDA y el 95.6% en PDA a través de los conjuntos de datos.
• Robustez: El método permaneció estable a través de diferentes configuraciones de hiperparámetros y elecciones de funciones de costo (Euclidiana al cuadrado vs. basada en discriminador).

Significado y Afirmaciones
El artículo afirma que ReOT aborda la limitación fundamental de los métodos existentes de identificación de clases privadas al cambiar el enfoque de la detección global de valores atípicos a la caracterización de la estructura espacial local. Al fundamentar teóricamente el proceso de identificación en las propiedades del transporte óptimo enmascarado, el método asegura la fiabilidad incluso cuando las clases privadas no son valores atípicos distintos.

Los autores afirman que ReOT proporciona una solución unificada tanto para OSDA como para PDA, cerrando la brecha entre estos dos escenarios simétricos pero a menudo tratados por separado. Teóricamente, el límite de generalización propuesto ofrece una nueva perspectiva sobre la descomposición del error en espacios de etiquetas heterogéneos, mostrando que minimizar el límite requiere tanto una identificación precisa de clases privadas como una alineación de distribuciones condicionales. Empíricamente, los resultados validan que ReOT logra un mejor equilibrio entre reconocer muestras privadas y preservar el rendimiento de las clases compartidas, lo que conduce a una adaptación de dominio más robusta en escenarios del mundo real con desplazamiento de etiquetas extremo.

El artículo concluye modestamente, señalando que, aunque ReOT es efectivo para escenarios de origen único/destino único, el trabajo futuro podría extender el marco a configuraciones de múltiples orígenes, múltiples destinos y sin origen.