Resumo Técnico: RecourseBench

Declaração do Problema

O campo do recurso algorítmico tem visto um rápido crescimento metodológico, fornecendo explicações contrafatuais para ajudar indivíduos a reverter decisões de modelos desfavoráveis em domínios de alto risco, como saúde e finanças. No entanto, a comunidade carece de um mecanismo principial para comparar esses métodos. As ferramentas de avaliação existentes sofrem de três deficiências primárias:

1. Falta de Modularidade e Interoperabilidade: Ferramentas anteriores (ex: Alibi, RobustX) frequentemente tratam o recurso como um subrecurso ou dependem de arquiteturas fortemente acopladas (ex: CARLA) ou ecossistemas de hardware específicos (ex: ReLax/JAX), tornando difícil a integração de novos métodos, conjuntos de dados ou métricas de avaliação sem uma refatoração significativa.
2. A Lacuna de Reprodutibilidade: Embora muitos métodos sejam publicados, não há uma verificação sistemática de que suas implementações reproduzem fielmente os resultados originalmente relatados. Fatores como hiperparâmetros ausentes, configurações não documentadas e restrições computacionais frequentemente tornam a verificação independente impossível.
3. Avaliação Dependente de Contexto: Métodos de recurso otimizam objetivos conflitantes (proximidade, esparsidade, robustez, viabilidade), e os critérios de avaliação variam conforme o contexto (ex: mudança de dados vs. multiplicidade de modelo). Os benchmarks atuais carecem da flexibilidade para acomodar essas métricas em evolução enquanto mantêm condições experimentais consistentes.

Metodologia e Design do Framework

Os autores introduzem o RecourseBench, um framework de avaliação unificado construído sobre três compromissos centrais: modularidade, reprodutibilidade e interatividade.

1. Arquitetura Modular

O framework decompõe o pipeline de benchmarking em cinco camadas totalmente desacopladas, governadas por interfaces abstratas e um registro dinâmico:

• Dados (Data): Lida com datasets brutos, divisões de treino/teste e conjuntos fatuais.
• Pré-processamento (Preprocessing): Gerencia a transformação de características e normalização.
• Modelo (Model): Suporta modelos preditivos alvo (ex: PyTorch, Scikit-learn).
• Método de Recurso (Recourse Method): O módulo central onde algoritmos específicos são implementados.
• Avaliação (Evaluation): Computa métricas de desempenho.

Os dados fluem entre essas camadas via containers DatasetObject, garantindo a transferência de dados autossuficiente e evitando vazamentos de abstração. O sistema impõe controles de privilégio estritos (ex: acesso apenas para leitura para modelos) para evitar efeitos colaterais indesejados e garante a integridade experimental através de um fluxo de trabalho centralizado orientado por YAML.

2. Protocolo de Reprodutibilidade

Para abordar a falta de verificação em benchmarks anteriores, o RecourseBench introduz um sistema de classificação de quatro níveis baseado em testes quantitativos:

• Definição de Métrica: Um resultado é definido como uma tupla (dataset, modelo, métrica). O framework calcula o erro relativo simétrico ($\Delta$) entre o valor reportado pelo artigo original ($m$) e a implementação do framework ($\hat{m}$).
• Limiar (Threshold): Um resultado é considerado reproduzido se $\Delta \leq 0,35$ (35% de desvio relativo).
• Níveis de Classificação:
  • Nível 0: Nenhum resultado reproduzido.
  • Nível 1: Reprodução mínima (1 resultado).
  • Nível 2: Reprodução parcial (alguns, mas não todos, resultados).
  • Nível 3: Reprodução total (todos os resultados reportados).
• Automação: Uma suíte de testes automatizada valida cada método integrado contra suas especificações originais. Apenas métodos que atingem o Nível 1 ou superior são incluídos nas avaliações principais do benchmark.

3. Métricas de Avaliação

O framework avalia os métodos através de cinco dimensões usando um conjunto de teste reservado de instâncias desfavoráveis:

• Validade (Validity): Taxa de sucesso em atingir a classe desejada.
• Proximidade (Proximity): Distância euclidiana média ($\ell_2$) entre as instâncias fatuais e contrafatuais.
• Esparsidade (Sparsity): Número médio de características modificadas ($\ell_0$).
• Plausibilidade (Plausibility): Distância média para os $Y$-vizinhos mais próximos no conjunto de treinamento ($Y$-NN).
• Tempo de Execução (Runtime): Tempo total de geração.

As pontuações são normalizadas para uma escala [0, 1] (usando transformação exponencial negativa para métricas onde "menor é melhor") e agregadas via uma média ponderada definida pelo usuário, permitindo que os praticantes priorizem dimensões específicas (ex: velocidade vs. qualidade).

4. Interface Interativa

Uma interface baseada na web permite que os usuários configurem experimentos selecionando datasets, arquiteturas de modelos e métodos de recurso específicos. O sistema filtra automaticamente combinações incompatíveis e apresenta um ranking baseado na estratégia de agregação de métricas selecionada.

Principais Contribuições

1. Framework Modular Unificado: O RecourseBench é o primeiro framework a desacoplar estritamente dados, pré-processamento, modelos, métodos e avaliação, permitindo a integração perfeita de novos componentes sem modificar o código existente.
2. Reprodutibilidade Forçada: Constitui o primeiro benchmark de recurso a impor explicitamente a reprodutibilidade ao nível do método através de testes quantitativos automatizados contra artigos originais, categorizando os métodos pela sua fidelidade aos resultados reportados.
3. Integração Abrangente: O framework integra atualmente 28 métodos de estado da arte abrangendo seis categorias: Baseados em Restrições e Lógica, Baseados em Gradiente, Aprendizado de Representação, Assistidos por Surrogates, Sem Derivadas/Heurísticos e Busca Baseada em Instância.
4. Benchmarking Interativo: Fornece uma interface configurável para comparação multi-métrica, permitindo que os usuários construam rankings personalizados adaptados a restrições específicas de aplicação.

Resultados e Panorama Empírico

Os autores avaliaram 22 métodos (aqueles que atingiram o Nível 1 ou superior) em 3 datasets e 3 tipos de modelos, resultando em 137 configurações compatíveis.

• Descobertas de Reprodutibilidade: A distribuição dos níveis de reprodutibilidade (Nível 0 a 3) revela uma lacuna estrutural de infraestrutura no campo. Muitos métodos sofrem com artefatos ausentes (código, hiperparâmetros) ou restrições computacionais (ex: MACE exigindo >70 horas por configuração) que impedem a reprodução fiel.
• Significância do Nível 1: A transição do Nível 0 (nenhuma reprodução) para o Nível 1 (reprodução mínima) é identificada como o salto epistemicamente mais significativo, movendo-se de zero evidência verificável para a validação independente de pelo menos uma métrica.
• Utilidade do Benchmark: O framework demonstra com sucesso que métodos otimizados para diferentes objetivos (ex: esparsidade vs. proximidade) geram rankings distintos dependendo do peso das métricas do usuário, destacando a necessidade de uma avaliação consciente do contexto.

Significância e Alegações

O artigo posiciona o RecourseBench não como uma reprodução completa de toda a literatura existente, mas como a operacionalização da reprodutibilidade. Ao transformar a reprodutibilidade de uma expectativa implícita em uma propriedade padronizada e mensurável, o framework visa:

• Fornecer uma base confiável para avaliação comparativa onde a fidelidade dos métodos constituintes é estabelecida.
• Reduzir as barreiras tanto para a reprodução de trabalhos anteriores quanto para o desenvolvimento de novas abordagens.
• Servir como uma referência compartilhada para que profissionais selecionem métodos alinhados com restrições de implantação no mundo real.

Os autores reconhecem que alguns desafios de reprodutibilidade advêm de lacunas de documentação na literatura e que o framework atual equilibra a viabilidade prática com o rigor (ex: o limiar de tolerância de 35% e a ausência de agregação de variância de nível de execução). O trabalho futuro é convidado a abordar essas escolhas de design e expandir o registro de métodos.