Resumo Técnico: RECAST

Definição do Problema

O artigo aborda o desafio da reconstrução de modelos (criar um modelo substituto para mimetizar um classificador de caixa-preta) sob acesso severamente limitado a dados e orçamentos de consulta restritos. Este cenário é comum na auditoria de plataformas de Aprendizado de Máquina como Serviço (MLaaS), onde terceiros não podem interagir de forma interativa com o modelo alvo durante a reconstrução e devem depender de um conjunto de dados fixo e offline.

Especificamente, os autores focam em cenários onde apenas explicações contrafatuais (CFs) de um lado só estão disponíveis. Em muitas aplicações do mundo real (ex: rejeições de empréstimos), os usuários recebem explicações sobre como mudar um resultado negativo para um positivo, mas não o contrário. Os métodos existentes de reconstrução baseados em CF enfrentam três limitações críticas neste regime:

1. Deslocamentos da Fronteira de Decisão: Tratar CFs como amostras de rótulo rígido (hard-labeled) da classe alvo faz com que o substituto se torne excessivamente confiante em regiões próximas à fronteira, deslocando incorretamente a superfície de decisão (conforme ilustrado na Figura 1).
2. Overfitting (Sobreajuste): Abordagens baseadas em redes neurais lutam contra o overfitting quando os dados de treinamento são escassos e os orçamentos de consulta são apertados.
3. Não-Identificabilidade: Sob acesso a CFs de um lado só e consultas limitadas, a verdadeira fronteira de decisão é estatisticamente não-identificável; múltiplos classificadores distintos podem produzir comportamentos de entrada-saída idênticos. Portanto, tentar recuperar uma fronteira geométrica única é um problema mal posto (ill-posed).

Metodologia: RECAST

Os autores propõem o RECAST (REconstruction via Counterfactual-Aware waSserstein opTimization), uma abordagem centrada no comportamento que reconstrói distribuições de nível de classe em vez de fronteiras de decisão explícitas.

1. Conjuntos de Incerteza Consistentes com CF

Em vez de assumir que as CFs residem exatamente na fronteira de decisão, o RECAST trata as CFs como restrições suaves entre classes (soft, cross-class constraints). Ele define um conjunto viável consistente com CF $\mathcal{C}_c$ para cada classe $c \in \{0, 1\}$. Este conjunto é a interseção de dois balões de Wasserstein:

• Um centrado na distribuição condicional de classe empírica $P_c$.
• Um centrado na distribuição contrafatual de um lado só $P_{cf}$.

Isso cria um conjunto de ambiguidade em forma de "lente" no espaço de Wasserstein, codificando tanto a incerteza de amostragem quanto as restrições geométricas impostas pelas contrafatuais.

2. Baricentros de Wasserstein Robustos

Para encontrar um representante estável para cada classe dentro deste conjunto de incerteza, o RECAST calcula baricentros de Wasserstein. O Teorema 3.2 estabelece que minimizar o risco de reconstrução distributiva de pior caso sobre o conjunto viável é equivalente a encontrar um protótipo $Q_c^*$ que minimiza uma soma ponderada de distâncias de Wasserstein ao quadrado:
$$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$$
Aqui, $Q_c^*$ é o baricentro 2-Wasserstein dos dados originais da classe e dos dados contrafatuais. O peso de mistura $\lambda_c$ é derivado canonicamente da geometria relativa das distribuições ($P_c$, $P_{cf}$ e a classe oposta $P_{1-c}$), garantindo que o método não exija o ajuste explícito de raios de incerteza.

3. Classificador de Protótipo Baricêntrico

O modelo substituto final $\hat{m}$ classifica uma entrada $x$ comparando sua distância de Wasserstein aos protótipos de classe aprendidos:
$$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$$
onde $\delta_x$ é a medida de Dirac em $x$. Este classificador é identificável por CF, o que significa que seu comportamento de decisão é invariante às realizações específicas das distribuições subjacentes dentro do conjunto de incerteza.

4. Diagnósticos de Equidade (Fairness)

O framework adapta a Paridade Demográfica Invariante ao Limiar (TIDP) e a Igualdade de Oportunidades Invariante ao Limiar (TIEO) para a geometria de Wasserstein. Ao comparar as distribuições dos escores baseados em Wasserstein entre grupos sensíveis, o método fornece um diagnóstico sistemático de disparidades de equidade que persistem através de todos os limiares de decisão, independentemente de um corte específico.

Principais Contribuições

• Framework RECAST: Uma solução inovadora para reconstrução de modelos comportamentais usando protótipos baricêntricos de Wasserstein conscientes de contrafatuais, projetada especificamente para acesso offline e de um lado só a CFs.
• Fundamentação Teórica: Prova de que a minimização dos limites de risco robusto sob incerteza consistente com CF leva a baricentros de Wasserstein, fornecendo uma representação geométrica estável das distribuições de classe mesmo quando a fronteira é não-identificável.
• Ferramenta de Auditoria de Equidade: Um diagnóstico baseado em geometria que quantifica disparidades distributivas entre grupos sensíveis em relação à geometria de decisão reconstruída.
• Validação Empírica: Experimentos extensos em quatro conjuntos de dados do mundo real (Adult, COMPAS, HELOC, California Housing) demonstrando que o RECAST alcança maior fidelidade e eficiência de consulta do que os baselines (SAMPLES, CCA, TRA), particularmente em regimes de baixa consulta e sob condições de ruído.

Resultados Experimentais

• Fidelidade: O RECAST supera consistentemente os baselines em fidelidade (concordância com as previsões do modelo alvo) através de vários modelos alvo (MLP, Regressão Logística, Árvores de Decisão) e conjuntos de dados. Ele mostra uma vantagem distinta em regimes de baixa consulta (ex: 100 amostras), onde outros métodos sofrem de overfitting ou deslocamentos de fronteira.
• Robustez: O método demonstra estabilidade superior sob ruído aditivo e mudanças de distribuição (ex: avaliação cross-domain de dados da Califórnia para Michigan). Enquanto os baselines degradam significativamente perto do limiar de decisão, o RECAST degrada de forma graciosa.
• Geradores de CF: O RECAST mantém alta fidelidade independentemente do método de geração de contrafatuais (MCCF, DiCE, ROAR, etc.), enquanto os baselines são altamente sensentes às propriedades específicas e ao comportamento de "overshooting" das CFs.
• Equidade: Os diagnósticos propostos mostram que o RECAST preserva as características de equidade do modelo alvo de forma mais fiel do que os métodos concorrentes, mesmo sob perturbação.

Significância e Alegações

O artigo posiciona o RECAST como uma ferramenta prática para auditar sistemas de decisão opacos em domínios de alto risco (finanças, justiça criminal, saúde) onde o acesso aos dados é restrito e os orçamentos de consulta são limitados.

• Foco Comportamental: Os autores enfatem que, sob acesso a CFs de um lado só, recuperar uma fronte verdadeiramente única de decisão é impossível. Em vez disso, o RECAST foca na equivalência comportamental, reconstruindo a relação de entrada-saída que é estatisticamente identificável.
• Relevância Regulatória: O trabalho apoia os objetivos do AI Act da UE e regulamentações similares ao permitir a investigação independente do comportamento do modelo, transparência e equidade sem exigir acesso aos seus parâmetros internos ou dados de treinamento.
• Limitações: Os autores notam modestamente que a abordagem atual é limitada à classificação binária e depende da premissa de observação passiva (sem interação adversária estratégica com a plataforma). Eles também reconhecem que, embora a distância de Wasserstein seja computacionalmente intensiva, ela permanece tratável nos regimes de baixos dados para os quais o método foi desenhado.

Em resumo, o RECAST oferece uma abordagem matematicamente rigorosa e empiricamente validada para reconstruir modelos de caixa-preta quando apenas feedback contrafatual limitado e de um lado só está disponível, priorizando a estabilidade e a fidelidade comportamental sobre a tarefa impossível de recuperação de fronteira.