Deployment-complete benchmarking

Riepilogo Tecnico: Benchmarking Completo per il Deployment

Enunciato del Problema
I benchmark attuali di machine learning guidano sempre più decisioni critiche relative al deployment, come l'acquisizione di modelli, lo screening di materiali e la triage di composti. Tuttavia, esiste una disconnessione fondamentale: un punteggio di benchmark fornisce prove solo per la specifica risposta che registra (ad esempio, l'accuratezza predittiva su un set di test), non necessariamente per l'azione di deployment richiesta (ad esempio, sicurezza, robustezza o una specifica soglia fisica). Un modello può performare perfettamente su un benchmark mentre l'azione derivata da tale punteggio rimane indeterminata, poiché il deployment dipende da risposte al di fuori del perimetro del benchmark (ad esempio, tossicità, stabilità o robustezza fuori distribuzione). Questo articolo sostiene che metriche standard come accuratezza, calibrazione e incertezza non garantiscono che un punteggio di benchmark supporti una specifica affermazione di deployment.

Metodologia
Gli autori introducono il benchmarking completo per il deployment, un quadro concettuale che tratta la transizione dalle prove del benchmark all'azione di deployment come un problema di fattorizzazione matematica.

• Definizioni Formali:

  • Sia $S$ lo spazio dei candidati, $Z$ lo spazio delle prove registrate (punteggi di benchmark) e $A$ lo spazio delle azioni di deployment.
  • Un benchmark registra una mappa di prove $E: S \to Z$. Un'affermazione di deployment è un'azione $D: S \to A$.
  • Completezza dell'Affermazione: Un benchmark è completo per un'affermazione $D$ se e solo se $D$ è costante su ogni fibra di prove $E^{-1}(z)$. Equivalentemente, deve esistere una mappa $\phi: Z \to A$ tale che $D = \phi \circ E$.
  • Fibre Miste: Se una fibra $E^{-1}(z)$ contiene candidati che richiedono azioni di deployment diverse (ad esempio, un candidato dovrebbe essere deployato, un altro rifiutato), essa è una "fibra mista". Ciò funge da testimonianza matematica che le prove riportate sono insufficienti per determinare l'azione.

• Strumenti Diagnostici:

  • Audit delle Fibre Miste: Una diagnostica che conta la frazione di candidati residenti in fibre miste.
  • Curve di Completamento: Queste quantificano il costo (in termini di sonde di risposta aggiuntive o budget) richiesto per risolvere l'ambiguità. Tracciano la "frazione certificata" (candidati con fibre pure) contro il "budget di risposta".
  • Tipi di Certificazione: L'articolo distingue tra certificazione esatta (insiemi finiti con etichette note), certificazione di calibrazione (rischio empirico su dati tenuti da parte) e certificazione predittiva (limiti di intervallo basati su assunzioni di modellazione).

• Design Sperimentale:

  • Spazi di Risposta Controllati: Esperimenti sintetici in cui la geometria dello spazio di risposta è nota, permettendo il calcolo preciso della "dimensione residua" (la componente della risposta di deployment invisibile al benchmark).
  • Audit Pubblici: Analisi di dataset esistenti (Tox21, Matbench, JARVIS, Vision) per misurare la prevalenza di fibre miste nei benchmark reali.
  • Riproduzioni su Dati Tenuti da Parte: Simulazioni operative in cui viene testato un flusso di lavoro "certifica-poi-acquisisci". I candidati con fibre pure vengono decisi immediatamente; quelli in fibre miste vengono inviati per misurazioni aggiuntive (acquisizione).

Risultati Chiave

1. Accuratezza del Benchmark $\neq$ Completezza per il Deployment:

   • Negli esperimenti controllati, la previsione conformale sul canale del benchmark ha raggiunto una copertura del 94,98% sulle etichette misurate ma solo del 10,07% sul canale di deployment non misurato.
   • Anche con errore di benchmark nullo (predizione perfetta sul benchmark), la copertura del deployment è crollata (al 45,4% a una specifica dimensione residua) perché la direzione di deployment aveva una componente ortogonale allo span del benchmark.
   • Inversione della Classifica: Il modello con il miglior Errore Assoluto Medio (MAE) sul benchmark è stato spesso il peggiore nel certificare i candidati per il deployment. In alcune esecuzioni, il modello con il miglior MAE ha certificato solo il 6% dei suoi candidati principali, mentre un modello con un MAE peggiore ne ha certificati il 100% perché il suo span di risposta copriva la sonda di deployment.

2. Incompletezza Sistemica nei Benchmark Pubblici:

   • Tox21: Il 97,9% delle fibre (gruppi di composti con profili identici di 7 saggi) era misto riguardo all'endpoint di deployment SR-p53.
   • Matbench & JARVIS: Negli audit principali su 20 quantili, la frazione certificabile mediana per le affermazioni di stabilità e di band-gap era 0%.
   • Vision: Le fibre di predizione pulite lasciavano ambigue il 22,7% delle affermazioni di robustezza alla corruzione.

3. Impatto Operativo delle Politiche Consapevoli del Completamento:

   • Riduzione delle Decisioni Falsamente Positive: Nelle riproduzioni su dati tenuti da parte di Tox21, un flusso di lavoro "certifica-poi-acquisisci" ha ridotto le decisioni false empiriche dall'1,19% (politica a maggioranza del benchmark) allo 0,027%. In JARVIS, le decisioni false sul band-gap sono scese dal 20,3% allo 0,128%.
   • Selezione del Modello: I flussi di lavoro consapevoli del completamento hanno selezionato modelli diversi rispetto ai flussi basati sul MAE del benchmark. In una partizione rappresentativa di JARVIS, il modello basato sul MAE del benchmark ha commesso 613 decisioni false sul band-gap, mentre il flusso di lavoro selezionato in base alla risposta non ne ha commesse alcuna.
   • Selezione della Sonda: Le politiche "response-rank" e "residual-greedy" hanno identificato con successo sonde rilevanti per il deployment (ad esempio, saggi di tossicità specifici o calcoli del band-gap) che hanno ridotto l'ambiguità, superando le strategie di acquisizione basate sull'incertezza o sulla diversità.

Significato e Affermazioni
L'articolo sostiene che i benchmark pronti per il deployment devono spostare il loro standard di reporting dai "soli punteggi" a un pacchetto di prove verificabile. Tale pacchetto dovrebbe includere:

1. Il punteggio.
2. La mappa di prove utilizzata.
3. L'azione specifica che il punteggio intende supportare.
4. La frazione di candidati la cui azione è già determinata (fibre pure).
5. La frazione di ambiguità (fibre miste).
6. Il costo di completamento (budget richiesto per risolvere l'ambiguità).

Gli autori sostengono che accuratezza, calibrazione e stima dell'incertezza rimangono preziose per la classificazione e l'affidabilità, ma rispondono a domande diverse. La completezza per il deployment chiede specificamente se il pacchetto di prove determina l'azione. Il quadro fornisce una diagnostica per quando le prove sono insufficienti, un limite su cosa le statistiche possano riparare per quanto riguarda le informazioni mancanti (nulla, se si basano esclusivamente sulle stesse prove) e una regola di progettazione per acquisire le informazioni necessarie a supportare le decisioni di deployment.

Limitazioni e Ambito
L'articolo non sostiene che tutti i benchmark siano inutili, ma piuttosto che sono spesso incompleti per specifiche affermazioni di deployment. Il flusso di lavoro "certifica-poi-acquisisci" tratta i candidati ambigui non come fallimenti, ma come richieste di misurazioni ulteriori. Il quadro è relativo alle prove; l'aggiunta di descrittori, vincoli o nuove misurazioni cambia la mappa di prove e può ridurre i costi di completamento. I risultati sono presentati come valutazioni del rischio empirico su dati tenuti da parte e diagnostici matematici su insiemi finiti, piuttosto che come garanzie formali sulla popolazione per distribuzioni non osservate.