Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

Sintesi Tecnica: Valutazione con Prior Corrispondente di Classificatori Operativi di Osservazione della Terra

Definizione del Problema
I classificatori operativi di osservazione della Terra soffrono spesso di un artefatto sistematico di segnalazione causato da una discrepanza tra il prior di classe utilizzato durante l'addestramento/valutazione e il vero prior riscontrato in fase di distribuzione. Il servizio per le onde interne, che esamina l'archivio Sentinel-1 in modalità Wave per individuare onde solitoniche interne, esemplifica questo problema. Il classificatore del servizio è stato addestrato e valutato su un dataset bilanciato (rapporto 1:1 tra onde e non-onde), una convenzione ereditata dalla fase iniziale di "priorità al richiamo" (recall-first) del servizio, quando il tasso operativo dei positivi era sconosciuto.

Questa discrepanza crea un panorama di valutazione ingannevole. Un modello che riporta un'alta precisione su test bilanciati (ad esempio, 0,794) può fornire una precisione drasticamente inferiore in operatività reale (ad esempio, 0,192) allo stesso livello di soglia decisionale. Il documento sostiene che le metriche standard come la precisione su test bilanciati siano "ottimistiche" e invisibili all'errore sistematico che introducono. Inoltre, si dimostra che i comuni rimedi, come la correzione del prior o la calibrazione della probabilità, sono inefficaci per migliorare la precisione a un richiamo fisso; questi metodi sono trasformazioni monotone dello score che si limitano a rilocare la soglia operativa senza spostare la curva precisione-richiamo sottostante. Il problema centrale non è identificato come un difetto di addestramento, ma come un problema di valutazione che richiede un metodo di segnalazione che corrisponda al prior di distribuzione.

Metodologia
Il documento propone un "metodo di segnalazione con prior corrispondente" basato su un asse a tre numeri per caratterizzare un classificatore operativo, insieme a un ciclo di sviluppo rigoroso progettato per isolare i guadagni di prestazione.

1. L'Asse di Segnalazione a Tre Numeri:

   • Prestazioni su Test Bilanciato: La metrica convenzionale (precisione, richiamo, F1) su un set tenuto separato con proporzioni di classe uguali. Questa funge da base cautelativa, esponendo il divario tra la segnalazione convenzionale e la realtà.
   • Prestazioni con Prior Operativo: La prestazione del modello su un set di test congelato, costruito specificamente al tasso di positivi operativo (0,05). Questa cifra è progettata per prevedere la precisione che un validatore affronterà effettivamente sul campo.
   • Prestazioni Operative Reali: La verità di base (ground truth) ottenuta post-distribuzione attraverso l'adjudicazione esperta delle rilevazioni del modello sullo stream live. Si tratta di un impegno proattivo, pre-registrato per chiudere il ciclo di valutazione.

2. Design dello Strumento di Valutazione:

   • Dataset Congelato e con Controllo delle Perdite (Leakage): Il dataset è stato bloccato prima della suddivisione per evitare che l'archivio in crescita contaminasse la valutazione. La perdita spaziale è controllata a livello di "hotspot" (definito dalla sovrapposenza reale dell'impronta dell'immagine) piuttosto che per raggio di centroide, garantendo che scene quasi identiche della stessa orbita non si distribuiscano tra gli split di train/dev/test.
   • Scatola Nera Sigillata (Sealed Lockbox): Un set di test (1.537 positivi, 29.203 negativi) è sigillato off-site con checksum e letto esattamente una volta a una soglia pre-registrata.
   • Disciplina Operativa: Il servizio opera sotto una disciplina di "priorità alla precisione" con il richiamo mantenuto a un valore minimo di 0,80. Ciò è giustificato dal fatto che le onde mancate sono recuperabili tramite la ripetizione delle orbite e la rielaborazione dell'archivio, mentre i falsi positivi consumano l'attenzione preziosa degli esperti.

3. Ciclo di Sviluppo:

   • I miglioramenti sono stati ricercati tramite interventi a leva singola, ciascuno isolato e promosso solo se superava un margine pre-registrato (0,021).
   • Leve Testate:
     • Regolazione della Soglia: Spostamento del punto operativo lungo la curva esistente (sollievo immediato, ma senza innalzamento della curva).
     • Varietà dei Dati: L'aumento della varietà dei negativi (ampliamento della classe negativa) ha migliorato la precisione, mentre lo spostamento del rapporto di addestramento verso il prior operativo non ha prodotto effetti (confermando l'inerzia della correzione del prior a richiamo fisso).
     • Capacità: L'aumento della larghezza della rete ha mostrato rendimenti decrescenti; oltre un certo punto, l'aggiunta di parametri non ha superato il margine di promozione.
     • Testa di Aggregazione: La sostituzione del global-average pooling con il Generalized-Mean (GeM) pooling ha migliorato significativamente la precisione, sopprimendo meglio i confonditori geofisici specifici (texture superficiali a bande che mimano le onde) che il pooling medio non riusciva a distinguere.

Risultati Chiave

• L'Effetto del Prior: Il modello precedente ha dimostrato l'artefatto sistematico: una precisione su test bilanciato di 0,794 rispetto a una precisione operativa reale di 0,192.
• Miglioramento del Modello: Il modello promosso (utilizzando il GeM pooling e dati negativi variati) ha raggiunto una precisione di 0,927 al prior operativo (richiamo 0,827) sulla scatola nera sigillata. Al contrario, lo stesso modello su un set bilanciato ha riportato una precisione di 0,996, illustrando che la cifra bilanciata supera soglie di prestazione (ad esempio, F1 > 0,090) che la figura operativa onesta manca.
• Robustezza Fuori Tempo (Out-of-Time): Un controllo indipendente su dati raccolti dopo il congelamento del dataset ha mostrato che, sebbene la discriminazione del modello (AUC) sia rimasta stabile (0,993 $\to$ 0,987), il punto operativo fisso è decaduto. La precisione è scesa da 0,927 a 0,810 e il tasso di falsi positivi è triplicato, evidenziando che una soglia fissa non è una quantità "imposta e dimenticata" e richiede una rivalutazione rispetto ai dati attuali.
• Spostamento del Vincolo: Il ciclo di sviluppo ha rivelato che il vincolo limitante si è spostato dall'architettura del modello alla dimensione della massa di falsi positivi riducibile. La leva di aggregazione è stata esaurita e ulteriori aumenti di capacità non hanno prodotto guadagni significativi, indicando che i futuri miglioramenti richiedono dati validati piuttosto che reti più grandi.

Significatività e Rivendicazioni
Il documento sostiene che la discrepanza tra i prior di addestramento e le realtà di distribuzione sia un problema di valutazione, non di addestramento. Il suo contributo primario è un metodo di segnalazione con prior corrispondente che rende visibile l'effetto del prior anziché nasconderlo. Riportando il contrasto tra le figure di test bilanciato, di prior operativo e operative reali, il metodo fornisce una "misura onesta" della capacità del classificatore.

Gli autori sottolineano che questo approccio non è specifico per le onde interne o Sentinel-1, ma è una convenzione portabile per qualsiasi servizio di osservazione della Terra che avvii un rilevatore di eventi rari sotto un prior sconosciuto o variabile. Il lavoro stabilisce anche una disciplina di riproducibilità attraverso dataset fissati, split con controllo delle perdite e valutazioni sigillate a lettura singola. Infine, il documento conclude che il prossimo ciclo di miglioramento per questo servizio non deriverà da modelli più grandi, ma dall'espansione del dataset validato per affrontare la massa di falsi positivi irreducible, e dalla validazione dei punti operativi contro attuali segmenti del catalogo piuttosto che affidarsi alle soglie del set di sviluppo.