Resumen Técnico: Búsqueda de Arquitectura Neuronal de Redes de Re-ponderación de Muestras para Desplazamientos de Distribución Complejos

Planteamiento del Problema

Los desplazamientos de distribución, específicamente la coocurrencia de ruido de etiquetas e imbalance de clases, plantean desafíos significativos para el aprendizaje supervisado estándar. Si bien el Re-ponderación de Muestras (Sample Reweighting) es un enfoque establecido para mitigar estos problemas, los métodos existentes enfrentan limitaciones en escenarios complejos:

• Ajuste Manual: Los métodos tradicionales (por ejemplo, Focal Loss, self-paced learning) dependen de funciones de ponderación e hiperparámetros diseñados manualmente, lo que requiere conocimiento experto.
• Limitaciones de Meta-Weight-Net (MW-Net): MW-Net automatiza el cálculo de pesos mediante una red neuronal simple (una sola capa oculta de 100 nodos) que toma únicamente la pérdida de clasificación como entrada. Aunque es efectivo para tipos únicos de desplazamientos, MW-Net tiene dificultades cuando el ruido de etiquetas y el imbalance de clases coexisten. En tales casos, tanto las muestras ruidosas (que deberían ser de-ponderadas) como las muestras de clases minoritarias (que deberían ser sobre-ponderadas) suelen exhibir valores de pérdida altos, lo que dificulta que una red simple basada solo en la pérdida infiera los pesos apropiados.

Metodología

Los autores proponen mejorar MW-Net mediante la Búsqueda de Arquitectura Neuronal (NAS) para optimizar tanto la estructura de la red como las características de entrada. Las modificaciones principales son:

1. Características de Entrada Enriquecidas: En lugar de usar solo el valor escalar de la pérdida, la entrada a la red de ponderación se reemplaza con una concatenación de:

   • Representaciones de características intermedias ($b_j$) de un bloque seleccionado del modelo de clasificación (procesadas mediante promedio global de características o global average pooling).
   • Información de etiqueta codificada en un vector one-hot ($y_i$).
   • Fórmula: $\phi(x_i, y_i; w) = (\psi_{ave}(b_j(x_i)), \psi_{onehot}(y_i))$.

2. Optimización Conjunta vía TPE: Los autores emplean el Estimador de Parzen Estructurado en Árbol (TPE), un método de optimización bayesiana, para buscar conjuntamente:

   • Arquitectura de la Red: El número de capas ocultas (1–5) y el número de nodos por capa (64–1024, optimizado en una escala logarítmica).
   • Fuente de Entrada: El índice del bloque específico (11–15) del clasificador ResNet-32 del cual se extraen las características.

3. Marco de Entrenamiento: El método utiliza un marco de meta-aprendizaje con dos conjuntos de datos:

   • Conjunto de Datos de Entrenamiento ($D_{train}$): Contiene datos ruidosos e imbalanceados.
   • Conjunto de Datos Meta ($D_{meta}$): Un conjunto de datos pequeño, limpio y balanceado muestreado de la distribución objetivo.
   • El clasificador y la red de ponderación se actualizan alternadamente. El clasificador minimiza la pérdida ponderada en $D_{train}$, mientras que la red de ponderación minimiza la pérdida en $D_{meta}$ después de la actualización del clasificador.

Principales Contribuciones

• Primera Aplicación de NAS a MW-Net: Hasta donde los autores saben, este es el primer estudio que aplica la Búsqueda de Arquitectura Neuronal a las redes de ponderación de muestras dentro de un entorno de meta-aprendizaje.
• Manejo de Desplazamientos Complejos: El método propuesto aborda el desafío específico donde las muestras ruidosas y las minoritarias comparten valores de pérdida altos, un escenario donde las redes de ponderación basadas solo en la pérdida fallan anteriormente.
• Selección Automática de Características: El método identifica automáticamente si las características de las etapas tempranas o tardías del clasificador son más adecuadas para la estimación de pesos bajo diferentes tipos de ruido (por ejemplo, ruido de inversión/flip noise vs. ruido uniforme).

Resultados Experimentales

El método fue evaluado en los conjuntos de datos CIFAR-10 y CIFAR-100 modificados con ruido de etiquetas sintético (Flip y Uniform, tasa del 40%) e imbalance de clases (Factores de Imbalance de 20 y 100).

• Desempeño en CIFAR-10:

  • Los métodos NAS propuestos superaron consistentemente al baseline estándar de MW-Net (1 capa oculta, 100 nodos) y a un baseline de "Arquitectura Más Grande" (5 capas, 1024 nodos).
  • Ruido de Inversión (Flip Noise): La búsqueda tendió a seleccionar arquitecturas más profundas (3+ capas) y características de los bloques finales (14º/15º) del clasificador.
  • Ruido Uniforme (Uniform Noise): La búsqueda favoreció arquitecturas con menos capas (1–2) y características de los bloques iniciales (11º–13º).
  • Distribución de Pesos: El análisis visual mostró que las redes derivadas de NAS asignaron con éxito pesos bajos a las muestras ruidosas mientras mantenían pesos altos para las muestras minoritarias limpias, una distinción que el baseline no pudo realizar de manera efectiva.

• Desempeño en CIFAR-100:

  • Aunque los métodos NAS generalmente superaron al baseline, la brecha de desempeño fue menor en comparación con CIFAR-10.
  • Los autores atribuyen esto a la extrema escasez de muestras minoritarias limpias en CIFAR-100 (por ejemplo, solo ~3 muestras limpias por clase minoritaria bajo alto imbalance y ruido), lo que hace que la distinción entre datos limpios y ruidosos sea inherentemente difícil independientemente de la arquitectura.

Significancia y Reivindicaciones

El artículo sostiene que aplicar NAS a MW-Net permite al modelo aprender estrategias de ponderación de muestras sofisticadas que son robustas a desplazamientos de distribución complejos. Al optimizar la profundidad, el ancho y la selección de características de entrada, el método se adapta a las características específicas del ruido (por ejemplo, ruido de inversión estructurado vs. ruido uniforme aleatorio).

Los autores mantienen un tono modesto respecto a los resultados en CIFAR-100, reconociendo que la dificultad de la tarea limita las ganancias observables de las diferencias arquitectónicas. Establecen explícitamente que el objetivo principal era examinar el efecto de aplicar NAS a MW-Net en lugar de alcanzar un desempeño absoluto de estado del arte.

Direcciones Futuras:
Los autores sugieren que el trabajo futuro debería enfocarse en:

• Optimizar conjuntamente las arquitecturas tanto de la red de ponderación como del clasificador.
• Expandir el espacio de búsqueda para incluir capas convolucionales y de pooling.
• Reducir los costos computacionales adoptando One-Shot NAS u otros métodos de NAS eficientes, ya que el enfoque actual de "entrenar desde cero" para cada candidato es computacionalmente prohibitivo para conjuntos de datos a gran escala.