Fair Dataset Distillation via Cross-Group Barycenter Alignment

Aquí se presenta un resumen técnico detallado del artículo "Fair Dataset Distillation via Cross-Group Barycenter Alignment" (COBRA).

1. Planteamiento del Problema

La Destilación de Conjuntos de Datos (DD) tiene como objetivo comprimir un conjunto de datos real grande en un conjunto de datos sintético pequeño, preservando el rendimiento predictivo de los modelos entrenados con los datos originales. Sin embargo, cuando se despliega en aplicaciones de alto riesgo (por ejemplo, atención sanitaria, finanzas), los métodos estándar de DD a menudo fallan en mantener la equidad grupal.

El artículo identifica dos problemas críticos:

1. Amplificación del Sesgo: Los procesos de destilación tienden a amplificar los sesgos existentes en los datos originales. Los modelos entrenados con datos destilados a menudo sufren caídas significativas en el rendimiento para subgrupos minoritarios, lo que genera grandes brechas de equidad (medidas por la Diferencia de Probabilidades Iguales, EOD).
2. Concepto Erróneo sobre la Causa Raíz: Trabajos anteriores a menudo atribuían estas brechas únicamente al desequilibrio grupal (disparidades en el tamaño de la muestra). Los autores demuestran que el problema es más complejo: surge de la interacción entre el desequilibrio grupal y la separación representacional (donde diferentes grupos demográficos exhiben patrones predictivos distintos en el espacio de características).
   • La DD estándar alinea los datos sintéticos a un único objetivo agregado (ponderado por las cantidades de muestra).
   • Si los grupos están desequilibrados, el objetivo está dominado por la mayoría.
   • Si los grupos tienen representaciones diferentes, el único objetivo no puede minimizar simultáneamente la distancia a todos los subgrupos, forzando a los datos sintéticos a "elegir" un lado, degradando así el rendimiento para los demás.

2. Metodología: COBRA

Los autores proponen COBRA (Cross-grOup BaRycenter Alignment), un marco que modifica el objetivo de destilación para ser agnóstico al desequilibrio grupal.

Concepto Central: Baricentro Agnóstico al Grupo

En lugar de optimizar el conjunto de datos sintético para que coincida con un promedio ponderado de todas las muestras reales (lo que favorece a la mayoría), COBRA calcula un baricentro de las representaciones específicas de cada subgrupo.

• Entrada: Para cada clase $y$, el método identifica las estadísticas (por ejemplo, gradientes, incrustaciones o trayectorias de entrenamiento) para cada subgrupo demográfico $a$.
• Cálculo del Objetivo: Calcula un baricentro $m^*_y$ que minimiza la distancia total a todas las estadísticas de los subgrupos con pesos uniformes ($w_a = 1/|A|$), independientemente del tamaño del subgrupo ($\pi_{a|y}$).
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  Donde $\Phi$ representa las estadísticas del subgrupo condicionadas a la clase y $d$ es una medida de discrepancia (por ejemplo, distancia euclidiana al cuadrado).
• Objetivo de Destilación: El conjunto de datos sintético se optimiza para coincidir con este objetivo baricéntrico $m^*_y$ en lugar de la mezcla ponderada estándar.

Garantía Teórica

El artículo deriva una cota superior para el residuo del peor caso (la distancia entre la representación real de un subgrupo y el objetivo de destilación).

• Teorema 4.1: Bajo condiciones específicas, COBRA garantiza que el residuo máximo entre todos los subgrupos es menor o igual que el del objetivo estándar (ponderado).
• Al minimizar el residuo del peor caso, COBRA asegura que ningún subgrupo individual sea "empujado" desproporcionadamente lejos de la representación sintética, reduciendo así los patrones de error específicos de subgrupos y mejorando las Probabilidades Iguales.

3. Contribuciones Clave

1. Análisis Teórico del Sesgo: Los autores caracterizan formalmente la amplificación del sesgo en la DD como resultado de la interacción entre el desequilibrio grupal y la separación representacional. Demuestran que corregir únicamente el desequilibrio es insuficiente si las representaciones subyacentes difieren.
2. Marco COBRA: Introducción de una estrategia principista y agnóstica al modelo que reemplaza el objetivo de destilación estándar con un baricentro agnóstico al grupo. Este método es compatible con técnicas de destilación existentes (Ajuste de Gradientes, Ajuste de Distribución, Alineación de Características, Ajuste de Trayectorias).
3. Validación Empírica Exhaustiva: Experimentos extensos en diversos conjuntos de datos (correlaciones espurias sintéticas y conjuntos de datos sesgados del mundo real como UTKFace y BFFHQ) y arquitecturas de destilación (DC, DM, CAFE, IDC, MTT).

4. Resultados Experimentales

El artículo evalúa COBRA frente a la DD Estándar y una línea base consciente de la equidad (FairDD) utilizando la Diferencia de Probabilidades Iguales (EOD) y la Precisión.

• Ganancias en Equidad: COBRA logra consistentemente la EOD más baja en todos los puntos de referencia.
  • Ejemplo: En C-MNIST (Fondo) con Ajuste de Distribución (DM) en IPC=50, la DD Estándar tuvo una EOD de 100.0, mientras que COBRA la redujo a 7.46, aumentando simultáneamente la precisión del 48.8% al 96.8%.
  • En BFFHQ (conjunto de datos de rostros del mundo real), COBRA redujo la EOD de 63.47 a 7.87 con una precisión mejorada.
• Robustez ante Desequilibrio y Separación:
  • A medida que aumenta el desequilibrio grupal (SKEW), la EOD de la DD Estándar aumenta monótonamente. COBRA permanece estable.
  • A medida que aumenta la separación representacional (GAP), la DD Estándar sufre una caída brusca en la equidad. COBRA mitiga este efecto de manera efectiva.
• Generalización:
  • Entre Arquitecturas: Los conjuntos de datos destilados generados por COBRA mantienen la equidad y la precisión al entrenar diferentes arquitecturas (AlexNet, VGG, ResNet) no utilizadas durante la destilación.
  • Régimen de Bajo IPC: COBRA sigue siendo efectivo incluso con muy pocas imágenes por clase (IPC=1, 3, 5), un régimen donde la DD estándar suele fallar en preservar la información minoritaria.
• Estudios de Ablación:
  • Robustez al Ruido: COBRA sigue siendo efectivo incluso cuando las etiquetas de grupo son ruidosas (hasta un 50% de corrupción) o están parcialmente ausentes (usando pseudo-etiquetado).
  • Ajuste de Trayectorias: El método se extiende con éxito a la destilación basada en trayectorias (MTT), demostrando su aplicabilidad más allá del ajuste de representaciones estáticas.

5. Significado e Impacto

• Cambio de Paradigma: El artículo desplaza el enfoque de la equidad en la destilación de conjuntos de datos desde la "reponderación de pérdidas" (post-hoc o durante la optimización) hacia la "redefinición de la representación objetivo". Argumenta que la equidad debe integrarse en el propio objetivo de agregación.
• Aplicabilidad Práctica: COBRA es un reemplazo directo para el cálculo del objetivo en las tuberías de DD existentes. No requiere cambiar el procedimiento de entrenamiento aguas abajo ni los mecanismos centrales del algoritmo de destilación, solo la definición de los "datos sintéticos ideales".
• Abordaje del Sesgo del Mundo Real: Al demostrar éxito en conjuntos de datos del mundo real (UTKFace, BFFHQ) con sesgos complejos y no sintéticos, el trabajo proporciona una solución viable para desplegar modelos comprimidos en dominios sensibles sin sacrificar la equidad.
• Perspectiva Teórica: La derivación de la cota superior sobre la amplificación del sesgo proporciona una nueva lente teórica para comprender por qué las técnicas estándar de compresión fallan en escenarios de aprendizaje equitativo.

En conclusión, COBRA demuestra que al alinear los datos sintéticos a un baricentro compartido y equilibrado por grupos, se puede lograr simultáneamente una alta precisión predictiva y una equidad grupal robusta, desacoplando efectivamente la compensación a menudo observada en la destilación de conjuntos de datos.