Resumen Técnico: RecourseBench

Declaración del Problema

El campo del recurso algorítmico ha experimentado un rápido crecimiento metodológico, proporcionando explicaciones contrafácticas para ayudar a los individuos a revertir decisiones de modelos desfavorables en dominios de alto riesgo como la salud y las finanzas. Sin embargo, la comunidad carece de un mecanismo principista para comparar estos métodos. Los marcos de evaluación existentes sufren tres deficiencias primarias:

1. Falta de Modularidad e Interoperabilidad: Las herramientas previas (por ejemplo, Alibi, RobustX) a menudo tratan el recurso como una subcaracterística o dependen de arquitecturas estrechamente acopladas (por ejemplo, CARLA) o ecosistemas de hardware específicos (por ejemplo, ReLax/JAX), lo que dificulta la integración de nuevos métodos, conjuntos de datos o métricas de evaluación sin una refactorización significativa.
2. La Brecha de Reproducibilidad: Aunque muchos métodos se publican, no existe una verificación sistemática de que sus implementaciones reproducen fielmente los resultados reportados originalmente. Factores como la falta de hiperparámetros, configuraciones no documentadas y restricciones computacionales suelen imposibilitar la verificación independiente.
3. Evaluación Dependiente del Contexto: Los métodos de recurso optimizan objetivos en conflicto (proximidad, dispersión, robustez, factibilidad), y los criterios de evaluación varían según el contexto (por ejemplo, desplazamiento de datos frente a multiplicidad de modelos). Los benchmarks actuales carecen de la flexibilidad necesaria para acomodar estas métricas en evolución manteniendo condiciones experimentales consistentes.

Metodología y Diseño del Marco de Trabajo

Los autores introducen RecourseBench, un marco de evaluación unificado construido sobre tres compromisos centrales: modularidad, reproducibilidad e interactividad.

1. Arquitectura Modular

El marco de trabajo descompone el flujo de trabajo de benchmarking en cinco capas totalmente desacopladas, gobernadas por interfaces abstractas y un registro dinámico:

• Datos (Data): Gestiona conjuntos de datos brutos, divisiones de entrenamiento/prueba y conjuntos fácticos.
• Preprocesamiento (Preprocessing): Gestiona la transformación de características y la normalización.
• Modelo (Model): Soporta modelos predictivos objetivo (por ejemplo, PyTorch, Scikit-learn).
• Método de Recurso (Recourse Method): El módulo central donde se implementan algoritmos específicos.
• Evaluación (Evaluation): Calcula las métricas de rendimiento.

Los datos fluyen entre estas capas a través de contenedores DatasetObject, asegurando una transferencia de datos autónoma y evitando fugas de abstracción. El sistema impone controles estrictos de privilegios (por ejemplo, acceso de solo lectura para los modelos) para prevenir efectos secundarios no deseados y garantiza la integridad experimental mediante un flujo de trabajo centralizado impulsado por YAML.

2. Protocolo de Reproducibilidad

Para abordar la falta de verificación en los benchmarks previos, RecourseBench introduce un sistema de clasificación de cuatro niveles basado en pruebas cuantitativas:

• Definición de la Métrica: Un resultado se define como una tupla (conjunto de datos, modelo, métrica). El marco calcula el error relativo simétrico ($\Delta$) entre el valor reportado originalmente en el artículo ($m$) y la implementación del marco ($\hat{m}$).
• Umbral: Un resultado se considera reproducido si $\Delta \leq 0.35$ (35% de desviación relativa).
• Niveles de Clasificación:
  • Nivel 0: No se reprodujeron resultados.
  • Nivel 1: Reproducción mínima (1 resultado).
  • Nivel 2: Reproducción parcial (algunos, pero no todos, los resultados).
  • Nivel 3: Reproducción completa (todos los resultados reportados).
• Automatización: Una suite de pruebas automatizada valida cada método integrado contra sus especificaciones originales. Solo los métodos que alcanzan el Nivel 1 o superior se incluyen en las evaluaciones principales del benchmark.

3. Métricas de Evaluación

El marco evalúa los métodos a través de cinco dimensiones utilizando un conjunto de prueba de instancias desfavorables retenidas:

• Validez (Validity): Tasa de éxito en la obtención de la clase deseada.
• Proximidad (Proximity): Distancia euclidiana media ($\ell_2$) entre las instancias fácticas y las contrafácticas.
• Dispersión (Sparsity): Número medio de características modificadas ($\ell_0$).
• Plausibilidad (Plausibility): Distancia media a los $Y$-vecinos más cercanos en el conjunto de entrenamiento ($Y$-NN).
• Tiempo de Ejecución (Runtime): Tiempo total de generación.

Las puntuaciones se normalizan a una escala de [0, 1] (utilizando una transformación exponencial negativa para las métricas donde "menor es mejor") y se agregan mediante un promedio ponderado definido por el usuario, lo que permite a los profesionales priorizar dimensiones específicas (por ejemplo, velocidad frente a calidad).

4. Interfaz Interactiva

Una interfaz basada en la web permite a los usuarios configurar experimentos seleccionando conjuntos de datos, arquitecturas de modelos y métodos de recurso específicos. El sistema filtra automáticamente las combinaciones incompatibles y presenta una tabla de clasificación (leaderboard) clasificada según la estrategia de agregación de métricas seleccionada.

Contribuciones Clave

1. Marco Modular Unificado: RecourseBench es el primer marco que desacopla estrictamente los datos, el preprocesamiento, los modelos, los métodos y la evaluación, permitiendo la integración fluida de nuevos componentes sin modificar el código existente.
2. Reproducibilidad Forzada: Constituye el primer benchmark de recursos que impone explícitamente la reproducibilidad a nivel de método mediante pruebas cuantitativas automatizadas contra los artículos originales, categorizando los métodos por su fidelidad a los resultados reportados.
3. Integración Integral: El marco integra actualmente 28 métodos de estado del arte que abarcan seis categorías: Basados en Restricciones y Lógica, Basados en Gradientes, Aprendizaje de Representación, Asistidos por Sustitutos (Surrogate-Assisted), Libres de Derivadas/Heurísticos y de Búsqueda Basada en Instancias.
4. Benchmarking Interactivo: Proporciona una interfaz configurable para la comparación de múltiples métricas, permitiendo a los usuarios construir tablas de clasificación personalizadas adaptadas a las restricciones de aplicaciones específicas.

Resultados y Panorama Empírico

Los autores evaluaron 22 métodos (aquellos que alcanzaron el Nivel 1 o superior) a través de 3 conjuntos de datos y 3 tipos de modelos, resultando en 137 configuraciones compatibles.

• Hallazgos de Reproducibilidad: La distribución de los niveles de reproducibilidad (Nivel 0 a 3) revela una brecha estructural de infraestructura en el campo. Muchos métodos sufren de falta de artefactos (código, hiperparámetros) o restricciones computacionales (por ejemplo, MACE requiere >70 horas por configuración) que impiden una reproducción fiel.
• Significancia del Nivel 1: La transición del Nivel 0 (sin reproducción) al Nivel 1 (reproducción mínima) se identifica como el salto epistémicamente más significativo, pasando de evidencia verificable cero a la validación independiente de al menos una métrica.
• Utilidad del Benchmark: El marco demuestra con éxito que los métodos optimizados para diferentes objetivos (por ejemplo, dispersión frente a proximidad) producen clasificaciones distintas dependiendo de la ponderación de métricas del usuario, resaltando la necesidad de una evaluación consciente del contexto.

Significado y Afirmaciones

El artículo posiciona a RecourseBench no como una reproducción completa de toda la literatura existente, sino como la operacionalización de la reproducibilidad. Al transformar la reproducibilidad de una expectativa implícita en una propiedad estandarizada y medible, el marco pretende:

• Proporcionar una base fiable para la evaluación comparativa donde la fidelidad de los métodos constituyentes esté establecida.
• Reducir las barreras tanto para la reproducción de trabajos previos como para el desarrollo de nuevos enfoques.
• Servir como una referencia compartida para que los profesionales seleccionen métodos alineados con las restricciones de despliegue en el mundo real.

Los autores reconocen que algunos desafíos de reproducibilidad provienen de las brechas de documentación en la literatura y que el marco actual equilibra la viabilidad práctica con el rigor (por ejemplo, el umbral de tolerancia del 35% y la falta de agregación de la varianza a nivel de ejecución). Se invita a trabajos futuros a abordar estas decisiones de diseño y expandir el registro de métodos.