Safety-Aware Cascaded Inference for Crop Damage Assessment with Controlled Error Trade-offs

Sintesi Tecnica: Inferenza Cascata Sensibile alla Sicurezza per la Valutazione dei Danni alle Colture

Definizione del Problema
Nell'assicurazione agricola basata su immagini per i piccoli agricoltori, la struttura dei costi degli errori di classificazione è fondamentalmente asimmetrica. Un falso negativo (mancata rilevazione di un raccolto danneggiato) comporta il mancato pagamento di un risarcimento per perdite reali, una conseguenza irreversibile e finanziariamente catastrofica. Al contrario, un falso positivo (segnalare un raccolto sano come danneggiato) innesca una revisione esperta non necessaria, che è operativamente costosa ma reversibile. I classificatori multi-classe standard ottimizzano l'accuratezza globale, fallendo nel codificare questa asimmetria nella propria logica decisionale. Inoltre, i sistemi esistenti spesso faticano sotto i cambiamenti di distribuzione del mondo reale (ad es. illuminazione variabile, rumore dei sensori, dispositivi eterogenei), dove gli obiettivi asimmetrici codificati durante l'addestramento non si traducono in modo affidabile in comportamenti asimmetrici di sicurezza durante l'implementazione.

Metodologia: CascadeCropNet
Gli autori propongono CascadeCropNet, un'architettura a cascata a due stadi progettata per operazionalizzare i vincoli di sicurezza attraverso l'isolamento strutturale piuttosto che attraverso il solo design della funzione di perdita.

1. Stadio 1: SentinelNet (Triage): Un classificatore binario leggero (MobileNetV3-Large) esegue il triage della salute, distinguendo tra colture "Sane" e "Danneggiate".

   • Vincolo di Addestramento: Il modello viene selezionato in base a un vincolo di sicurezza: il Recall sui campioni Danneggiati ($Rec_{Damaged}$) deve essere $\ge 0,95$. Questo è imposto durante la selezione dei checkpoint attraverso le epoche di addestramento, massimizzando la precisione sui campioni danneggiati in presenza di questo limite minimo di recall.
   • Routing: Una soglia calibrata $\tau$ determina l'instradamento. Se $P(Damaged|x) \ge \tau$, il campione viene scalato allo stadio successivo; altrimenti, viene predetto come Sano.
   • Perdita: Utilizza ClassBalancedFocalLoss con un peso elevato (5x) sul compito binario della salute per dare priorità all'accuratezza del triage.

2. Stadio 2: ExpertNet (Diagnosi): Un modello specialista (anch'esso MobileNetV3-Large) esegue la classificazione fine tra tipi specifici di danno (Siccità vs. Erbacce) solo sui campioni instradati da SentinelNet.

   • Isolamento Architetturale: Una caratteristica critica del design è che ExpertNet riceve immagini da una pipeline di pre-elaborazione pulita e controllata, indipendentemente dalla corruzione applicata agli input di SentinelNet. Ciò isola la componente diagnostica dalla degradazione dell'input a monte.
   • Addestramento: Utilizza FocalLoss ($\gamma=2.0$) per affrontare lo sbilanciamento delle classi 4:1 tra Erbacce e Siccità, e impiega la supervisione mascherata dove la testa del tipo di danno riceve gradienti solo dai campioni danneggiati.

3. Controllo Operativo: La soglia $\tau$ è un parametro di implementazione. Gli operatori possono navigare in una frontiera di Pareto tra Carico dell'Esperto ($\rho$, la frazione di campioni instradati all'esperto) e Sicurezza ($Rec_{Damaged}$) senza riaddestrare il modello.

Contributi Chiave

• Architetturali: Un framework sensibile alla sicurezza che separa il triage dalla diagnosi, localizzando i mancati rilevamenti allo stadio di triage piuttosto che tentare di eliminarli globalmente. Questo impone una struttura di etichetta condizionale (il tipo di danno è significativo solo data la presenza di danno) a livello di distribuzione dell'input.
• Operativi: Un meccanismo di instradamento basato su soglia che consente il controllo al momento dell'implementazione del compromesso tra sicurezza ed efficienza. Il sistema permette agli operatori di regolare $\tau$ per bilanciare il carico di lavoro dell'esperto rispetto al rischio di danni mancati.
• Analitici: Una decomposizione del comportamento del sistema che dimostra come la robustezza sotto corruzione dell'input derivi dall'isolamento architetturale (contenimento dell'errore) piuttosto che da una robustezza intrinseca del modello. Il divario rappresentazionale tra la cascata e un baseline piatto si riduce a un +0,008 F1-macro sotto valutazione equa, indicando che il guadagno principale è strutturale, non rappresentazionale.

Risultati
Valutato sul dataset Eyes on the Ground (23.804 immagini da piccole aziende agricole di mais in Kenya):

• Performance di Sicurezza: Con $\tau = 0,5$, la cascata raggiunge $Rec_{Damaged} = 0,974$, riducendo i casi di danno mancati del 54% rispetto a un baseline piatto ($Rec_{Damaged} = 0,943$).
• Efficienza: Con $\tau = 0,5$, il sistema riduce il volume di inferenza dell'esperto del 13,2% mantenendo il limite di sicurezza. Con $\tau = 0,6$, il carico dell'esperto è ridotto del 22,6%, sebbene $Rec_{Damaged}$ scenda a 0,929.
• Robustezza: Sotto corruzione dell'input (rumore di Campo e del Sensore) applicata solo agli input di Sentinel, le metriche diagnostiche di ExpertNet ($F1_{Expert}$, $F1_{DGT}$, $F1_{WED}$) rimangono stabili entro la precisione di misurazione. Al contrario, il baseline piatto degrada del 17–35% attraverso i compiti.
  • Meccanismo: La corruzione aumenta il tasso di instradamento $\rho$ (Sentinel diventa incerto e scala più campioni), ma gli input dell'Esperto rimangono puliti. Il sistema fallisce verso una consulenza "sicura" piuttosto che verso una classificazione errata sicura di sé.
• Modalità di Fallimento: Il sistema mostra una "modalità di fallimento sicuro" sotto grave degradazione del sensore: $\rho$ si avvicina a 1,0 (quasi tutti i campioni sono instradati all'Esperto), eliminando i guadagni di efficienza ma preservando la sicurezza. Tuttavia, se la corruzione raggiunge la pipeline di input dell'Esperto, la garanzia di isolamento fallisce e le performance crollano.
• Limitazioni: $F1_{DGT}$ (Siccità) rimane a 0,791, insufficiente per l'affidabilità a livello di trattamento a causa della sovrapposizione visiva con le erbacce e dello sbilanciamento delle classi. Inoltre, $Rec_{Healthy}$ è basso (0,424 a $\tau=0,5$), riflettendo l'alto costo dei falsi negativi accettati per soddisfare il limite di sicurezza.

Significato e Rivendicazioni
Il paper sostiene che, per applicazioni critiche per la sicurezza come l'assicurazione agricola, la struttura decisionale deve essere imposta a livello di sistema piuttosto che essere inferita esclusivamente dalle funzioni obiettivo. Gli autori affermano che:

1. L'isolamento architetturale fornisce un meccanismo pratico per mitigare il disallineamento tra la codifica del rischio durante l'addestramento e il comportamento durante l'implementazione sotto spostamento della distribuzione.
2. La calibrazione della soglia consente un controllo esplicito, post-addestramento, sul compromesso tra sicurezza ed efficienza, rendendo il sistema adattabile a diversi vincoli operativi (ad es. larghezza di banda dell'esperto vs tolleranza al rischio).
3. La robustezza osservata è condizionale: dipende dall'assunto che la componente diagnostica (ExpertNet) riceva input puliti. Il sistema non possiede una robustezza intrinseca a tutte le forme di corruzione, ma contiene gli errori instradando l'incertezza a uno specialista.

Il lavoro conclude che, sebbene la cascata non risolva le sfide rappresentazionali sottostanti nel distinguere la siccità dalle erbacce, essa riesce ad operazionalizzare con successo i vincoli di sicurezza e il contenimento degli errori in un modo che i classificatori piatti non possono fare, particolarmente in ambienti dove la affidabilità e la controllabilità sono prioritarie rispetto all'accuratezza aggregata.