Resumen Técnico: FairBED: Un enfoque de Diseño Experimental Bayesiano para la Recolección de Datos más Justos

1. Planteamiento del Problema

Los marcos actuales para garantizar la equidad en el aprendizaje automático se centran predominantemente en el aprendizaje de modelos justos a partir de conjuntos de datos ya pre-recolectados. Sin embargo, este enfoque suele estar fundamentalmente limitado porque los datos mismos pueden codificar ya sesgos sociales y correlaciones no deseadas. Las intervenciones como el reponderado de datos, la optimización con restricciones o el "reparación de datos" de pre-procesamiento intentan mitigar estos problemas de forma descendente (downstream), pero no pueden superar plenamente la inequidad inherente de los datos de origen.

Los autores argumentan que el proceso de adquisición de datos debe modificarse para recolectar datos que sean intrínsecamente más adecuados para el entrenamiento de predictores justos. El desafío central es diseñar una estrategia de adquisición de datos que equilibre dos objetivos contrapuestos:

1. Informatividad: Los datos deben seguir siendo altamente informativos sobre las variables objetivo de interés para asegurar una predicción y generalización efectivas.
2. Equidad (Fairness): Los datos deben ser poco informativos sobre los atributos sensibles (por ejemplo, género, raza, pigmentación de la piel) para evitar que los modelos posteriores exploten estos atributos, mejorando así la equidad de forma natural.

2. Metodología

2.1 Marco Conceptual: "Mundos Justos"

El artículo introduce el concepto de un "mundo justo" donde los atributos sensibles (denotados como $\phi$) son causalmente independientes de las variables objetivo (denotadas como $\theta$). En un mundo así, un predictor justo no necesitaría usar $\phi$ para estimar $\theta$. Los autores proponen medir la inequidad de un conjunto de datos cuantificando cuánto viola esta independencia. Específicamente, si un conjunto de datos permite la transferencia de información entre $\theta$ y $\phi$, se considera inequitativo. El objetivo es guiar el proceso de diseño experimental para recolectar datos que minimicen esta transferencia de información mientras se mantiene la utilidad para $\theta$.

2.2 Métricas de Equidad para Datos

Los autores definen dos métricas novedosas para cuantificar la equidad de un conjunto de datos $D$ basándose en la información que revela sobre los atributos sensibles:

• Equidad Incondicional ($F_u$): Definida como el negativo de la Ganancia de Información Esperada (EIG, por sus siglas en inglés) sobre $\phi$. Mide cuánto revela el dato sobre $\phi$ de forma marginal.
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• Equidad Condicional ($F_c$): Definida como el negativo de la EIG condicional sobre $\phi$ dado $\theta$. Esta es una métrica más estricta que asegura que los datos no revelen $\phi$ para cualquier valor específico del objetivo $\theta$, protegiendo contra efectos de "explicación por eliminación" (explaining away) donde $\phi$ puede volverse recuperable una vez que $\theta$ es conocido.
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

Aquí, $\pi_d$ representa una política de diseño, y la maximización sobre un conjunto de modelos $\mathcal{M}$ asegura la robustez contra deficiencias del modelo.

2.3 El Objetivo FairBED

Para equilibrar la necesidad de datos informativos con la necesidad de equidad, los autores construyen dos objetivos FairBED. Estos objetivos maximizan la Ganancia de Información Esperada (EIG) sobre el objetivo $\theta$ mientras penalizan la EIG sobre el atributo sensible $\phi$ (o $\phi|\theta$).

• Unconditional FairBED ($R_u$):
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• Conditional FairBED ($R_c$):
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

En estas ecuaciones, $\beta > 0$ es un hiperparámetro que controla la fuerza de la imposición de la equidad. Los autores señalan que estos objetivos se definen bajo un modelo conjunto, pero pueden optimizarse utilizando modelos marginales por practicidad. Crucialmente, los autores argumentan que recolectar datos informativos sobre $\theta$ es necesario para la equidad en el mundo real para evitar brechas de generalización que podrían manifestarse como inequidad indirecta.

2.4 Aplicación al Aprendizaje Activo (Active Learning)

El marco se adapta a entornos de Aprendizaje Activo (AL). En este contexto, el objetivo $\theta$ corresponde al par de entradas de tiempo de prueba y etiquetas objetivo $(x^*, y^*_\theta)$, mientras que el atributo sensible $\phi$ corresponde a $(x'^*, y^*_\phi)$. El objetivo se convierte en una modificación de la Ganancia de Información Predictiva Esperada (EPIG):
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
Esto permite la selección de puntos de consulta que mejoran las predicciones para la tarea objetivo mientras limitan deliberadamente la capacidad de aprendizaje del atributo sensible.

3. Contribuciones Clave

1. Nueva Formulación de la Equidad de los Datos: El artículo desplaza el enfoque de la equidad de un modelo a la equidad del conjunto de datos mismo, definiendo la equidad como la falta de fuga de información sobre los atributos sensibles.
2. Objetivos FairBED: La introducción de objetivos de Diseño Experimental Bayesiano (BED) prácticos que intercambian explícitamente la informatividad del objetivo frente a la informatividad del atributo sensible.
3. Vínculo Teórico con la Paridad Demográfica: Los autores demuestran que si la métrica de equidad condicional $F_c(\pi_d) = 0$ (es decir, los datos no transmiten información sobre $\phi$ dado $\theta$), entonces los predictores descendentes entrenados con estos datos logran la Paridad Demográfica (DP) bajo el supuesto de que la distribución previa sobre $\theta$ y $\phi$ es separable y el modelo descendente no toma $\phi$ como entrada.
4. Validación Empírica: Demostración de que FairBED logra consistentemente compromisos (trade-offs) de equidad-precisión superiores a la adquisición aleatoria y al BED convencional a través de múltiples conjuntos de datos y arquitecturas de modelos.

4. Resultados Experimentales

Los autores evaluaron FairBED en tres tareas distintas:

1. Localización de Fuente (Source Location Finding): Un benchmark sintético de BED donde el objetivo es inferir una coordenada objetivo ($\theta$) evitando aprender una coordenada sensible ($\phi$). Los resultados mostraron que los diseños de FairBED se distribuyen a lo largo del eje objetivo mientras colapsan hacia la media previa del eje sensible, suprimiendo efectivamente el aprendizaje de $\phi$ con una pérdida mínima en el aprendizaje de $\theta$.
2. Predicción de Graduación Estudiantil: Una tarea de clasificación binaria que predice el estado de graduación ($y_\theta$) tratando el género ($y_\phi$) como sensible.
3. Predicción de Ingresos del Censo: Predicción de niveles de ingresos ($>50k$) tratando el género como sensible.
4. CelebA: Un conjunto de datos de imágenes a gran escala que predice "Sonrisa" (Smiling) tratando el "Género" como sensible.

Hallazgos Clave:

• Compromiso Equidad-Precisión (Fairness-Accuracy Trade-off): FairBED alcanzó frentes de Pareto óptimos que dominaron a la adquisición aleatoria y al EPIG estándar. Redujo significativamente la predictibilidad del atributo sensible mientras mantenía una alta precisión en la tarea objetivo.
• Equidad a Nivel de Conjunto de Datos: Los experimentos entrenando varios modelos descendentes (Random Forest, XGBoost, MLP, SVM) sobre el mismo conjunto de datos adquirido mediante FairBED mostraron mejoras consistentes en las razones de Paridad Demográfica (DP) e Igualdad de Oportunidades (EO). Esto confirma que la mejora en la equidad es una propiedad de los datos adquiridos, no un artefacto de un modelo específico.
• Complementariedad: El artículo demuestra que FairBED puede combinarse con intervenciones de equidad descendentes (por ejemplo, Representaciones Justas Aprendidas o Clasificación de Opción de Rechazo). La combinación de FairBED y métodos descendentes arrojó mejores resultados que cualquiera de los dos métodos por separado, sugiriendo que son aditivos en lugar de sustitutivos.
• Robustez: Los beneficios de FairBED se generalizaron a través de diferentes arquitecturas de modelos y presupuestos de etiquetas.

5. Significado y Reivindicaciones

El artículo afirma que FairBED proporciona una nueva perspectiva sobre la equidad algorítmica al abordar la causa raíz del sesgo: el proceso de adquisición de datos. Al formalizar la utilidad de los datos para incluir una penalización por la información del atributo sensible, FairBED ofrece un enfoque con principios para recolectar datos que sean "intrínsecamente más justos".

Los autores enfatizan que:

• La Intervención Ascendente (Upstream) es Crítica: Las estrategias de mitigación descendentes suelen verse socavadas por los sesgos ya presentes en los datos. FairBED aborda esto desde la fuente.
• Generalización: Las mejoras en la equidad son intrínsecas al conjunto de datos, lo que significa que cualquier modelo entrenado con estos datos (incluso sin restricciones de equidad específicas) exhibirá naturalmente mejores propiedades de equidad.
• Practicidad: El enfoque es compatible con los marcos estándar de Diseño Experimental Bayesiano (BED) y Aprendizaje Activo (Active Learning), requiriendo solo la especificación de modelos marginales para los atributos objetivo y sensibles, los cuales pueden pre-entrenarse o diseñarse manualmente incluso sin etiquetas sensibles durante la fase de adquisición.

El trabajo abre nuevas direcciones de investigación para la adquisición de datos conscientes de la equidad, sugiriendo que el camino hacia sistemas de IA más justos comienza con cómo se recolectan los datos, no solo con cómo se modelan.