Resumen Técnico: RECAST

Planteamiento del Problema

El artículo aborda el desafío de la reconstrucción de modelos (crear un modelo sustituto para imitar a un clasificador de caja negra) bajo condiciones de acceso a datos severamente limitados y presupuestos de consulta restringidos. Este escenario es común en la auditoría de plataformas de Aprendizaje Automático como Servicio (MLaaS), donde terceros no pueden interactuar de forma interactiva con el modelo objetivo durante la reconstrucción y deben depender de un conjunto de datos fijo y offline.

Específicamente, los autores se centran en entornos donde solo se dispone de explicaciones contrafácticas (CF) de un solo lado. En muchas aplicaciones del mundo real (por ejemplo, rechazos de préstamos), los usuarios reciben explicaciones sobre cómo cambiar un resultado negativo a uno positivo, pero no a la inversa. Los métodos de reconstrucción basados en CF existentes enfrentan tres limitaciones críticas en este régimen:

1. Desplazamientos en la Frontera de Decisión: Tratar las CF como muestras de etiqueta dura de la clase objetivo provoca que el sustituto sea excesivamente confiado en regiones cercanas a la frontera, desplazando incorrectamente la superficie de decisión (como se ilustra en la Figura 1).
2. Sobreajuste (Overfitting): Los enfoques basados en redes neuronales luchan contra el sobreajuste cuando los datos de entrenamiento son escasos y los presupuestos de consulta son ajustados.
3. No Identificabilidad: Bajo el acceso a CF de un solo lado y consultas limitadas, la verdadera frontera de decisión es estadísticamente no identificable; múltiples clasificadores distintos pueden producir comportamientos de entrada-salida idénticos. Por lo tanto, intentar recuperar una frontera geométrica única es un problema mal planteado.

Metodología: RECAST

Los autores proponen RECAST (REconstruction via Counterfactual-Aware waSserstein opTimization), un enfoque centrado en el comportamiento que reconstruye distribuciones a nivel de clase en lugar de fronteras de decisión explícitas.

1. Conjuntos de Incertidumbre Consistentes con CF

En lugar de asumir que las CF se encuentran exactamente en la frontera de decisión, RECAST las trata como restricciones suaves de clase cruzada. Define un conjunto factible consistente con CF $\mathcal{C}_c$ para cada clase $c \in \{0, 1\}$. Este conjunto es la intersección de dos bolas de Wasserstein:

• Una centrada en la distribución empírica condicional de la clase $P_c$.
• Una centrada en la distribución contrafáctica de un solo lado $P_{cf}$.

Esto crea un conjunto de ambigüedad con forma de "lente" en el espacio de Wasserstein, codificando tanto la incertidumbre de muestreo como las restricciones geométricas impuestas por los contrafácticos.

2. Baricentros de Wasserstein Robustos

Para encontrar un representante estable para cada clase dentro de este conjunto de incertidumbre, RECAST calcula baricentros de Wasserstein. El Teorema 3.2 establece que minimizar el riesgo de reconstrucción distributiva en el peor de los casos sobre el conjunto factible es equivalente a encontrar un prototipo $Q_c^*$ que minimiza una suma ponderada de distancias de Wasserstein al cuadrado:
$$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$$
Aquí, $Q_c^*$ es el baricentro de 2-Wasserstein de los datos originales de la clase y los datos contrafácticos. El peso de mezcla $\lambda_c$ se deriva canónicamente de la geometría relativa de las distribuciones ($P_c$, $P_{cf}$ y la clase opuesta $P_{1-c}$), asegurando que el método no requiera el ajuste explícito de los radios de incertidumbre.

3. Clasificador de Prototipos Baricéntricos

El modelo sustituto final $\hat{m}$ clasifica una entrada $x$ comparando su distancia de Wasserstein con los prototipos de clase aprendidos:
$$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$$
donde $\delta_x$ es la medida de Dirac en $x$. Este clasificador es identificable mediante CF, lo que significa que su comportamiento de decisión es invariante a las realizaciones específicas de las distribuciones subyacentes dentro del conjunto de incertidumbre.

4. Diagnóstico de Equidad (Fairness)

El marco adapta la Paridad Demográfica Invariante al Umbral (TIDP) y la Igualdad de Oportunidades Invariante al Umbral (TIEO) a la geometría de Wasserstein. Al comparar las distribuciones de las puntuaciones basadas en Wasserstein a través de grupos sensibles, el método proporciona un diagnóstico sistemático de las disparidades de equidad que persisten a través de todos los umbrales de decisión, independientemente de un corte específico.

Contribuciones Clave

• Marco RECAST: Una solución novedosa para la reconstrucción de modelos basada en el comportamiento mediante prototipos baricéntricos de Wasserstein conscientes de los contrafácticos, diseñada específicamente para el acceso a CF de un solo lado y offline.
• Fundamentación Teórica: Prueba de que la minimización de los límites de riesgo robusto bajo la incertidumbre consistente con CF conduce a baricentros de Wasserstein, proporcionando una representación geométrica estable de las distribuciones de clase incluso cuando la frontera no es identificable.
• Herramienta de Auditoría de Equidad: Un diagnóstico basado en la geometría que cuantifica las disparidades distributivas entre grupos sensibles en relación con la geometría de decisión reconstruida.
• Validación Empírica: Experimentos extensos en cuatro conjuntos de datos del mundo real (Adult, COMPAS, HELOC, California Housing) que demuestran que RECAST logra una mayor fidelidad y eficiencia de consulta que las líneas base (SAMPLES, CCA, TRA), particularmente en regímenes de baja consulta y bajo condiciones de ruido.

Resultados Experimentales

• Fidelidad: RECAST supera consistentemente a las líneas base en fidelidad (acuerdo con las predicciones del modelo objetivo) a través de varios modelos objetivo (MLP, Regresión Logística, Árboles de Decisión) y conjuntos de datos. Muestra una ventaja distintiva en regímenes de baja consulta (por ejemplo, 100 muestras), donde otros métodos sufren de sobreajuste o desplazamientos de frontera.
• Robustez: El método demuestra una estabilidad superior bajo ruido aditivo y cambios de distribución (por ejemplo, evaluación de dominio cruzado de California a Michigan). Mientras que las líneas base se degradan significativamente cerca del umbral de decisión, RECAST se degrada de manera gradual.
• Generadores de CF: RECAST mantiene una alta fidelidad independientemente del método de generación de contrafácticos (MCCF, DiCE, ROAR, etc.), mientras que las líneas base son altamente sensibles a las propiedades específicas y al comportamiento de "sobrepaso" (overshooting) de las CF.
• Equidad: Los diagnósticos propuestos muestran que RECAST preserva los caracteres de equidad del modelo objetivo de manera más fiel que los métodos competidores, incluso bajo perturbación.

Significado y Reivindicaciones

El artículo posiciona a RECAST como una herramienta práctica para la auditoría de sistemas de decisión opacos en dominios de alto riesgo (finanzas, justicia penal, salud) donde el acceso a los datos es restringido y los presupuestos de consulta son limitados.

• Enfoque en el Comportamiento: Los autores enfatizan que, bajo el acceso a CF de un solo lado, recuperar una frontera de decisión única y real es imposible. En su lugar, RECAST se centra en la equivalencia de comportamiento, reconstruyendo la relación de entrada-salida que es estadísticamente identificable.
• Relevancia Regulatoria: El trabajo apoya los objetivos de la Ley de IA de la UE y regulaciones similares al permitir la investigación independiente del comportamiento del modelo, la transparencia y la equidad sin requerir acceso a sus parámetros internos o datos de entrenamiento.
• Limitaciones: Los autores señalan modestamente que el enfoque actual se limita a la clasificación binaria y depende del supuesto de observación pasiva (sin interacción adversaria estratégica con la plataforma). También reconocen que, si bien la distancia de Wasserstein es computacionalmente intensiva, sigue siendo tratable en los regímenes de pocos datos para los cuales el método fue diseñado.

En resumen, RECAST ofrece un enfoque matemáticamente riguroso y empíricamente validado para reconstruir modelos de caja negra cuando solo se dispone de retroalimentación contrafáctica limitada de un solo lado, priorizando la estabilidad y la fidelidad del comportamiento sobre la tarea imposible de la recuperación de la frontera.