Sintesi Tecnica: RecourseBench

Definizione del Problema

Il campo del ricorso algoritmico ha visto una rapida crescita metodologica, fornendo spiegazioni controfattuali per aiutare gli individui a ribaltare decisioni modellate sfavorevoli in domini ad alto impatto come la sanità e la finanza. Tuttavia, la comunità manca di un meccanismo fondato per confrontare questi metodi. Gli esistenti framework di valutazione soffrono di tre carenze primarie:

1. Mancanza di Modularità e Interoperabilità: Gli strumenti precedenti (ad es., Alibi, RobustX) spesso trattano il ricorso come una sotto-funzionalità o si affidano ad architetture strettamente accoppiate (ad es., CARLA) o a specifici ecosistemi hardware (ad es., ReLax/JAX), rendendo difficile l'integrazione di nuovi metodi, dataset o metriche di valutazione senza una significativa ristrutturazione del codice.
2. Il Gap della Riproducibilità: Sebbene molti metodi siano pubblicati, non esiste una verifica sistematica che le loro implementazioni riproducano fedelmente i risultati originariamente riportati. Fattori quali iperparametri mancanti, configurazioni non documentate e vincoli computazionali rendono spesso impossibile la verifica indipendente.
3. Valutazione Dipendente dal Contesto: I metodi di ricorso ottimizzano obiettivi conflittuali (prossimità, sparsità, robustezza, fattibilità), e i criteri di valutazione variano in base al contesto (ad es., shift dei dati vs. molteplicità del modello). Gli attuali benchmark mancano della flessibilità necessaria per accogliere queste metriche in evoluzione pur mantenendo condizioni sperimentali coerenti.

Metodologia e Design del Framework

Gli autori introducono RecourseBench, un framework di valutazione unificato costruito su tre impegni fondamentali: modularità, riproducibilità e interattività.

1. Architettura Modulare

Il framework decompone la pipeline di benchmarking in cinque livelli completamente disaccoppiati, governati da interfacce astratte e un registro dinamico:

• Dati: Gestisce i dataset grezzi, le suddivisioni train/test e i set fattuali.
• Preprocessing: Gestisce la trasformazione delle caratteristiche e la normalizzazione.
• Modello: Supporta i modelli predittivi target (ad es., PyTorch, Scikit-learn).
• Metodo di Ricorso: Il modulo centrale dove vengono implementati algoritmi specifici.
• Valutazione: Calcola le metriche di performance.

I dati fluiscono tra questi livelli tramite contenitori DatasetObject, garantendo un trasferimento dati autosufficiente e prevenendo perdite di astrazione. Il sistema impone rigorosi controlli di privilegio (ad es., accesso in sola lettura per i modelli) per evitare effetti collaterali indesiderati e garantisce l'integrità sperimentale attraverso un workflow centralizzato guidato da YAML.

2. Protocollo di Riproducibilità

Per affrontare la mancanza di verifica nei benchmark precedenti, RecourseBench introduce un sistema di classificazione a quattro livelli basato su test quantitativi:

• Definizione della Metrica: Un risultato è definito come una tupla (dataset, modello, metrica). Il framework calcola l'errore relativo simmetrico ($\Delta$) tra il valore riportato nel paper originale ($m$) e l'implementazione del framework ($\hat{m}$).
• Soglia: Un risultato è considerato riprodotto se $\Delta \leq 0,35$ (deviazione relativa del 35%).
• Livelli di Classificazione:
  • Livello 0: Nessun risultato riprodotto.
  • Livello 1: Riproduzione minima (1 risultato).
  • Livello 2: Riproduzione parziale (alcuni, ma non tutti, i risultati).
  • Livello 3: Riproduzione completa (tutti i risultati riportati).
• Automazione: Una suite di test automatizzati valida ogni metodo integrato rispetto alle sue specifiche originali. Solo i metodi che raggiungono il Livello 1 o superiore sono inclusi nelle valutazioni principali del benchmark.

3. Metriche di Valutazione

Il framework valuta i metodi attraverso cinque dimensioni utilizzando un set di test tenuto separato (held-out) di istanze sfavorevoli:

• Validità: Tasso di successo nel raggiungere la classe desiderata.
• Prossimità: Distanza euclidea media ($\ell_2$) tra le istanze fattuali e quelle controfattuali.
• Sparsità: Numero medio di caratteristiche modificate ($\ell_0$).
• Plausibilità: Distanza media dai $Y$-vicini più prossimi nel set di addestramento ($Y$-NN).
• Tempo di Esecuzione (Runtime): Tempo totale di generazione.

I punteggi sono normalizzati su una scala [0, 1] (utilizzando una trasformazione esponenziale negativa per le metriche dove "minore è meglio") e aggregati tramite una media ponderata definita dall'utente, consentendo ai professionisti di dare priorità a dimensioni specifiche (ad es., velocità vs. qualità).

4. Interfaccia Interattiva

Un'interfaccia web permette agli utenti di configurare gli esperimenti selezionando dataset, architetture di modelli e specifici metodi di ricorso. Il sistema filtra automaticamente le combinazioni incompatibili e presenta una classifica (leaderboard) basata sulla strategia di aggregazione delle metriche selezionata.

Contributi Chiave

1. Framework Modulare Unificato: RecourseBench è il primo framework che disaccoppia rigorosamente dati, preprocessing, modelli, metodi e valutazione, consentendo l'integrazione fluida di nuovi componenti senza modificare il codice esistente.
2. Riproducibilità Imposta: Costituisce il primo benchmark di ricorso che impone esplicitamente la riproducibilità a livello di metodo attraverso test quantitativi automatizzati contro i paper originali, categorizzando i metodi in base alla loro fedeltà ai risultati riportati.
3. Integrazione Comprensiva: Il framework integra attualmente 28 metodi di ricorso allo stato dell'arte suddivisi in sei categorie: Basati su Vincoli e Logica, Basati su Gradiente, Apprendimento di Rappresentazione, Assistiti da Surrogati, Heuristic/Derivative-Free e Ricerca basata su Istanza.
4. Benchmarking Interattivo: Fornisce un'interfaccia configurabile per il confronto multi-metrica, permettendo agli utenti di costruire classifiche personalizzate adattate a specifici vincoli applicativi.

Risultati e Scenario Empirico

Gli autori hanno valutato 22 metodi (quelli che hanno raggiunto il Livello 1 o superiore) su 3 dataset e 3 tipi di modelli, risultando in 137 configurazioni compatibili.

• Risultati sulla Riproducibilità: La distribuzione dei livelli di riproducibilità (Livello 0 - 3) rivela un gap infrastrutturale strutturale nel campo. Molti metodi soffrono di artefatti mancanti (codice, iperparametri) o vincoli computazionali (ad es., MACE richiede >70 ore per configurazione) che impediscono una fedele riproduzione.
• Significatività del Livello 1: La transizione dal Livello 0 (nessuna riproduzione) al Livello 1 (riproduzione minima) è identificata come il salto epistemicamente più significativo, passando da zero prove verificabili a una validazione indipendente di almeno una metrica.
• Utilità del Benchmark: Il framework dimostra con successo che i metodi ottimizzati per obiettivi diversi (ad es., sparsità vs. prossimità) producono classifiche distinte a seconda della ponderazione delle metriche dell'utente, evidenziando la necessità di una valutazione consapevole del contesto.

Significato e Dichiarazioni

Il paper posiziona RecourseBench non come una riproduzione completa di tutta la letteratura esistente, ma come l'operazionalizzazione della riproducibilità. Trasformando la riproducibilità da un'aspettativa implicita a una proprietà standardizzata e misurabile, il framework mira a:

• Fornire una base affidabile per la valutazione comparativa dove la fedeltà dei metodi costituenti è stabilita.
• Abbassare le barriere sia per la riproduzione del lavoro pregresso che per lo sviluppo di nuovi approcci.
• Servire come riferimento comune per i professionisti che devono selezionare metodi allineati con i vincoli di deployment nel mondo reale.

Gli autori riconoscono che alcune sfide di riproducibilità derivano da lacune nella documentazione della letteratura e che l'attuale framework bilancia la fattibilità pratica con il rigore (ad es., la soglia di tolleranza del 35% e la mancanza di aggregazione della varianza a livello di esecuzione). Il lavoro futuro è invitato ad affrontare queste scelte di design ed espandere il registro dei metodi.