Improving Diversity in Black-box Few-shot Knowledge Distillation

1. Planteamiento del Problema

El artículo aborda el desafío de la Destilación de Conocimiento de Pocos Ejemplos en Caja Negra (Black-box Few-shot Knowledge Distillation - KD).

• Contexto: La KD estándar transfiere conocimiento de un modelo "profesor" grande a un modelo "estudiante" más pequeño. Sin embargo, la KD tradicional requiere un gran conjunto de datos de entrenamiento y acceso completo a los parámetros internos del profesor (caja blanca).
• Restricciones: En escenarios del mundo real (por ejemplo, destilar modelos propietarios como FaceNet de Google o ChatGPT), el desarrollador del estudiante a menudo tiene:
  1. Acceso en caja negra: Solo están disponibles las probabilidades de predicción final del profesor; los gradientes internos, logits o parámetros están ocultos.
  2. Datos de pocos ejemplos: Solo hay un número muy pequeño de imágenes etiquetadas ($N$) disponibles para entrenar al estudiante, insuficiente para representar la variedad real de los datos.
• Limitaciones de las Soluciones Existentes: Los métodos actuales de KD de pocos ejemplos a menudo dependen de profesores en caja blanca o utilizan aumentación de datos simple (como MixUp), lo que produce imágenes sintéticas que carecen de diversidad o semántica realista. Otros métodos que utilizan Autoencoders Variacionales (CVAE) sufren de artefactos de desenfoque y no promueven explícitamente la diversidad.

2. Metodología: DivBFKD

Los autores proponen DivBFKD (Destilación de Conocimiento de Pocos Ejemplos en Caja Negra Diversa), un marco de dos fases diseñado para generar imágenes sintéticas diversas que imiten la distribución original de entrenamiento del profesor sin acceder a sus internos.

Fase 1: Generación (WGAN con Selección de Alta Confianza)

La innovación central radica en entrenar una Red Generativa Antagónica de Wasserstein (WGAN) para generar imágenes sintéticas que sean diversas y de alta calidad.

• Imágenes de Alta Confianza: En lugar de usar todas las imágenes generadas, el método filtra las imágenes sintéticas basándose en la confianza del profesor. Una imagen $\tilde{x}$ se considera de "alta confianza" si la probabilidad máxima predicha por el profesor $c_{\tilde{x}}$ supera un umbral $\tau$.
• Umbral Adaptativo ($\tau$): Un umbral fijo es ineficaz porque los profesores exhiben sesgos específicos por clase (por ejemplo, predecir "pantalones" con mayor confianza que "camisas"). Los autores proponen umbrales adaptativos calculados por clase utilizando la $q$-cuantil (por ejemplo, $q=0.1$) de las puntuaciones de confianza de las imágenes reales de pocos ejemplos. Esto asegura que el umbral sea relativo al comportamiento del profesor para cada clase específica.
• Entrenamiento Antagónico en Tiempo Real:
  • El generador de la WGAN ($G$) crea imágenes sintéticas.
  • El discriminador ($D$) se entrena para distinguir entre imágenes reales (del conjunto de pocos ejemplos $D$) e imágenes sintéticas de alta confianza (seleccionadas de la iteración anterior).
  • Bucle de Retroalimentación: Al tratar las imágenes sintéticas de alta confianza como "reales" para el discriminador, se incentiva al generador a producir imágenes más diversas que el profesor clasifica con confianza. Esto crea un bucle de retroalimentación positiva que expande la diversidad del conjunto generado.

Fase 2: Destilación

• Construcción del Conjunto de Datos: Se construye un conjunto de datos de destilación ($D_{KD}$) combinando las imágenes reales originales de pocos ejemplos ($N$) y un presupuesto de imágenes sintéticas ($M$) generadas por la WGAN entrenada.
• Equilibrio de Clases: Para prevenir sesgos, las imágenes sintéticas se generan con equilibrio de clases mediante muestreo por rechazo.
• Entrenamiento: La red estudiante se entrena en $D_{KD}$ utilizando la pérdida estándar de Entropía Cruzada contra las predicciones del profesor (etiquetas suaves).

3. Contribuciones Clave

1. Esquema de Entrenamiento Novel para WGAN: Introduce un mecanismo para inyectar imágenes de alta confianza en el bucle de aprendizaje antagónico en tiempo real. Esto utiliza efectivamente al profesor como supervisor para guiar al generador hacia la distribución de entrenamiento desconocida del profesor.
2. Umbral Adaptativo: Propone un método específico por clase y agnóstico al conjunto de datos para definir "alta confianza" utilizando umbrales basados en cuantiles, mitigando el sesgo del profesor y evitando la selección de imágenes anómalas.
3. KD Diversa en Caja Negra de Pocos Ejemplos (DivBFKD): Un marco completo que aborda la falta de diversidad en los datos sintéticos, un cuello de botella crítico en la KD de pocos ejemplos.
4. Rendimiento de Vanguardia: Demuestra mejoras significativas sobre los métodos existentes de KD de pocos ejemplos en diversos conjuntos de datos y arquitecturas.

4. Resultados Experimentales

El método se evaluó en siete conjuntos de datos (MNIST, FMNIST, SVHN, CIFAR10, CIFAR100, Tiny-ImageNet, Imagenette) con diversas arquitecturas (LeNet, AlexNet, ResNet, VGG).

• Ganancias de Rendimiento:
  • Conjuntos de Datos Simples: DivBFKD superó al segundo mejor método en caja negra (FS-BBT) en aproximadamente un 2% en FMNIST y CIFAR10. Mejoró sobre KD Estándar en un 17% en CIFAR10.
  • Conjuntos de Datos Complejos: En CIFAR100, DivBFKD alcanzó una precisión del 59.91%, superando a FS-BBT (56.28%) en aproximadamente un 3.6%. En Imagenette (alta resolución), alcanzó un 86.48%, cerrando significativamente la brecha con el límite superior "Estudiante-Completo".
  • Entre Arquitecturas: El método permaneció robusto incluso cuando el profesor y el estudiante tenían arquitecturas diferentes (por ejemplo, profesor ResNet a estudiante VGG), mejorando la precisión entre un 14% y un 22% sobre KD Estándar.
• Métricas de Diversidad y Calidad:
  • Cobertura: Las imágenes sintéticas cubrieron el 42% de los vecindarios de imágenes de entrenamiento del profesor, en comparación con solo el 18% para las imágenes de pocos ejemplos y el 29% para las salidas estándar de WGAN.
  • FID/IS: Logró la mejor Distancia de Inception de Fréchet (13.96) y Puntuación de Inception (4.42) entre las líneas base, indicando alta diversidad y calidad.
• Estudios de Ablación: Confirmaron que tanto los Umbral Adaptativo (AT) como el Equilibrio de Clases (CB) son componentes esenciales, siendo AT el que proporciona el impulso más significativo en diversidad.
• Comparación con KD Sin Datos: DivBFKD superó significativamente a los métodos de KD sin datos (zero-shot), demostrando que incluso una pequeña cantidad de datos reales (2K imágenes) combinada con datos sintéticos diversos es superior a no tener datos reales.

5. Significado

Este artículo hace una contribución significativa al campo de la compresión de modelos y la IA que preserva la privacidad:

• Aplicabilidad Práctica: Resuelve un problema crítico del mundo real donde las organizaciones no pueden compartir grandes conjuntos de datos o pesos de modelos debido a preocupaciones de privacidad o propiedad intelectual.
• Enfoque en la Diversidad: Cambia el enfoque de simplemente generar cualquier dato sintético a generar datos diversos y alineados con el profesor, que es la clave para una destilación efectiva en entornos con escasez de datos.
• Eficiencia: El método propuesto añade una sobrecarga computacional negligible (umbralización simple y selección en tiempo real) mientras entrega resultados de vanguardia.
• Generalizabilidad: El enfoque es agnóstico a la arquitectura y funciona en tareas de clasificación de imágenes simples y complejas, convirtiéndolo en una herramienta versátil para desplegar modelos ligeros en entornos restringidos.