Resumen Técnico: CIFA – Auditoría de Equidad Contextual-Interseccional para el Descubrimiento de Subgrupos Ocultos en el Análisis Facial

Declaración del Problema

La evaluación de la equidad actual en visión por computadora se basa predominantemente en la precisión agregada y el análisis de subgrupos demográficos (por ejemplo, raza, género, edad). Si bien estas métricas son estándar, a menudo no logran capturar la degradación del rendimiento causada por la interacción entre las características demográficas y los factores contextuales, tales como la iluminación, el desenfoque, la calidad de la imagen, los accesorios faciales y la pose.

El artículo sostiene que los modelos visuales pueden exhibir una fuerte precisión agregada y una equidad demográfica aceptable y, al mismo tiempo, sufrir fallos sustanciales dentro de subgrupos contextuales-interseccionales específicos. Estos "subgrupos ocultos" surgen cuando los atributos demográficos se intersectan con condiciones visuales desafiantes, creando disparidades de rendimiento que pasan desapercibidas para los protocolos de evaluación convencionales. Los autores citan el arresto erróneo de Robert Williams como una consecuencia del mundo real de tales sesgos, donde un sistema falló al identificar correctamente a un individuo debido a las interacciones entre factores demográficos y contextuales no capturados por las auditorías estándar.

Metodología: El Marco CIFA

Para abordar esta brecha, los autores proponen el Marco de Auditoría de Equidad Contextual-Interseccional (CIFA, por sus siglas en inglés). CIFA es un protocolo estructurado y agnóstico al modelo diseñado para identificar, clasificar y reevaluar las vulnerabilidades de los subgrupos ocultos a través de un proceso unificado de auditoría–mitigación–re-auditoría.

1. Auditoría Multinivel

CIFA evalúa el rendimiento del modelo a través de tres familias distintas de grupos definidos en un conjunto de datos $D = \{(x_i, y_i, a_i, c_i)\}$, donde $x$ es la imagen, $y$ es la etiqueta, $a$ representa los atributos demográficos y $c$ representa los atributos contextuales:

• Auditoría Demográfica ($\mathcal{G}_d$): Evalúa el rendimiento a través de grupos demográficos (por ejemplo, raza, género) de forma independiente.
• Auditoría Contextual ($\mathcal{G}_c$): Evalúa el rendimiento a través de condiciones contextuales (por ejemplo, baja iluminación, desenfoque, anteojos) de forma independiente.
• Auditoría Contextual-Interseccional ($\mathcal{G}_{dc}$): Evalúa la intersección de atributos demográficos y contextuales (por ejemplo, "mujeres negras con baja iluminación"). Esta es la innovación central, definida como $g = \text{raza} \times \text{edad} \times \text{iluminación} \times \text{calidad de imagen}$.

2. Descubrimiento del Peor Grupo

El marco calcula la precisión a nivel de grupo ($A_g$) e identifica el subgrupo con peor desempeño ($A_{\text{worst}}$). Calcula la brecha entre el total y el grupo ($\Delta_g = A_{\text{all}} - A_g$) y la desviación estándar de las precisiones de los grupos para cuantificar la disparidad. Este proceso clasifica las combinaciones de atributos responsables de los mayores fallos, distinguiendo entre disparidades "visibles" (detectadas por auditorías solo demográficas) y disparidades "ocultas" (reveladas solo bajo el análisis contextual-interseccional).

3. Protocolo de Auditoría–Mitigación–Re-Auditoría

CIFA soporta un flujo de trabajo sistemático para verificar la efectividad de la mitigación:

1. Auditoría: Establecer el rendimiento base e identificar los subgrupos de peor caso.
2. Mitigación: Aplicar estrategias establecidas utilizando las mismas definiciones de subgrupos. El artículo evalúa:
   • Aumento de Contexto (transformaciones que preservan la etiqueta para iluminación/calidad).
   • Muestreo Balanceado (sobremuestreo de grupos subrepresentados).
   • Entropía Cruzada Ponderada por Grupo (reponderación de la pérdida basada en la frecuencia del grupo).
   • Optimización Robusta Distribucional de Grupo (Group DRO).
   • Combinaciones de los anteriores.
3. Re-Auditoría: Reaplicar el protocolo CIFA al modelo mitigado. La efectividad se mide mediante cambios en $A_{\text{worst}}$, $\Delta_{\text{worst}}$ y la varianza del grupo, en lugar de la precisión agregada por sí sola.

Configuración Experimental

El marco fue evaluado en tareas de clasificación de género utilizando arquitecturas ResNet-50 y ViT-B/16 a través de tres conjuntos de datos:

• FairFace: Anotaciones equilibradas de raza, género y edad.
• UTKFace: Variación en edad, género y etnia.
• CelebA: Ricas anotaciones de atributos faciales (anteojos, maquillaje, etc.) utilizadas como variables contextuales.

Los atributos contextuales se derivaron de las anotaciones de los conjuntos de datos o se estimaron mediante estadísticas a nivel de imagen (por ejemplo, brillo para la iluminación, varianza de Laplaciano para la calidad de la imagen).

Resultados Clave

Los experimentos demuestran que la precisión agregada a menudo enmascara fallos severos en los subgrupos:

• Disparidades Ocultas: Mientras que la precisión general se mantuvo alta (92.34% – 98.94%), la precisión del peor grupo disminuyó significativamente. En UTKFace con ResNet-50, la precisión del peor grupo fue del 65.91%, creando una brecha de 26.43% respecto al total. Se observaron brechas similares superiores al 21% en FairFace.
• Impacto Contextual: Los factores contextuales (por ejemplo, baja calidad de imagen, alta iluminación, desenfoque) degradaron el rendimiento de forma independiente, pero su intersección con los datos demográficos creó los fallos más graves.
• Limitaciones de la Mitigación: Ninguna estrategia de mitigación eliminó consistentemente las disparidades en todos los conjuntos de datos y arquitecturas.
  • Group DRO mostró una reducción significativa de la brecha en UTKFace (reduciendo la brecha del 26.43% al 16.68% para ResNet-50).
  • Entropía Cruzada Ponderada por Grupo funcionó bien en CelebA y FairFace.
  • Aumento de Contexto mejoró la precisión del peor grupo en FairFace, pero no redujo consistentemente las brechas en todas las configuraciones.
• Necesidad de Re-Auditoría: Los resultados confirman que las estrategias de mitigación deben evaluarse mediante la re-auditoría de definiciones de subgrupos específicos, ya que las mejoras en la precisión agregada no garantizan la reducción de las disparidades del peor grupo.

Significancia y Reivindicaciones

El artículo afirma que CIFA proporciona un marco reproducible para descubrir, priorizar y reevaluar los riesgos de subgrupos ocultos en los sistemas de análisis facial. Sus principales contribuciones son:

1. Marco Unificado: Es el primero en integrar la auditoría demográfica, contextual y contextual-interseccional dentro de un único protocolo que soporta la mitigación iterativa y la reevaluación.
2. Exposición de Vulnerabilidades Ocultas: Demuestra que una alta precisión agregada puede ocultar fallos contextuales-interseccionales sustanciales, afectando particularmente a los grupos subrepresentados en condiciones visuales desafiantes.
3. Evaluación de la Mitigación: Establece que las estrategias de mitigación estándar tienen una efectividad variable y que la re-auditoría sistemática es esencial para verificar si las vulnerabilidades específicas realmente se han reducido.

Los autores posicionan a CIFA como una evolución necesaria más allá de la equidad únicamente demográfica, argumentando que el contexto visual debe tratarse como una dimensión de auditoría explícita para garantizar un rendimiento equitativo en aplicaciones de alto riesgo. El artículo concluye con modestia, señalando que, si bien los resultados resaltan problemas significativos en la clasificación de género, no deben interpretarse como evidencia exhaustiva para todas las tareas de visión por computadora o familias de modelos, y que el trabajo futuro debe extender el marco a tareas y modelos fundacionales más amplios.