🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

Questo articolo propone ASAT, un framework human-in-the-loop che adatta dinamicamente le funzioni di punteggio e le soglie utilizzando feedback reali out-of-distribution per massimizzare i tassi di veri positivi controllando rigorosamente i tassi di falsi positivi, superando così i metodi esistenti nel rilevamento robusto di OOD.

Autori originali: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Pubblicato 2026-08-07

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di una nave spaziale che naviga attraverso un campo di asteroidi denso e nebbioso. Il computer della tua nave è incredibilmente intelligente, ma è stato addestrato solo a riconoscere le forme specifiche degli asteroidi che ha visto durante il suo campo di addestramento. Ora, mentre voli sempre più a fondo nello spazio, inizi a incontrare oggetti strani e nuovi: cubetti di ghiaccio galleggianti, meduse luminose e nuvole metalliche. Questi sono input "fuori distribuzione" (OOD - Out-of-Distribution): cose che il computer non ha mai visto prima. Se il computer scambia un oggetto pericoloso e sconosciuto per un asteroid sicuro, la tua nave potrebbe schiantarsi. Questo è il problema centrale del rilevamento di Out-of-Distribution (OOD): insegnare all'IA a dire: "Non so cos'è questo", invece di tirare a indovinare e potenzialmente commettere un errore fatale.

Per risolvere questo problema, gli scienziati solitamente costruiscono un sistema a "scheda di valutazione". Il computer assegna un punteggio a ogni oggetto: punteggi alti significano "sono sicuro che sia un normale asteroide", mentre punteggi bassi significano "questo sembra strano". Poi tracciano una linea, chiamata soglia (threshold), per decidere quando suonare l'allarme. Se il punteggio è sotto la linea, si fermano e chiedono aiuto a un esperto umano. La parte complicata è impostare quella linea. Se la imposti troppo in alto, potresti perdere oggetti pericolosi (un "falso negativo"). Se la imposti troppo in basso, potresti fermare la nave per ogni sassolino, sprecando tempo e carburante (un "falso positivo"). In lavori critici per la sicurezza come la diagnosi medica o le auto a guida autonoma, un falso positivo può essere dannoso quanto un falso negativo; non vuoi che un medico dica a un paziente sano di avere un tumore, né vuoi che un'auto ignori un vero ostacolo.

Questo articolo, intitolato ASAT, affronta il problema di come mantenere la scheda di valutazione e la linea dell'allarme perfette, anche quando l'universo cambia intorno alla nave. Gli autori, Daisuke Yamada, Harit Vishwakarma e Ramya Korlakai Vinayak, propongono un nuovo sistema che non si limita a stabilire una regola e dimenticarla. Invece, hanno creato un framework "human-in-the-loop" (con l'uomo nel ciclo) che impara al volo. Hanno scoperto che i vecchi metodi, che si affidano a una scheda di valutazione fissa e a una linea statica, spesso falliscono quando gli oggetti "strani" cambiano nel tempo. Il loro nuovo approccio, ASatto, aggiorna costantemente sia la scheda di valutazione che la linea dell'allarme basandosi sul feedback in tempo reale di esperti umani, garantendo che il sistema rimanga sicuro pur diventando più intelligente.

Il problema del "Imposta e dimentica"

Immagina di essere una guardia giurata in un museo. Ti viene fornito un elenco di dipinti famosi (i dati "in distribuzione" o ID) e ti viene detto di fermare chiunque ne tenga in mano uno falso. Crei una regola: "Se il dipinto sembra più del 95% simile a uno vero, lascialo passare". È così che funzionano la maggior parte dei sistemi di IA attuali. Sono addestrati su dati noti e impostano una soglia per catturare il 95% delle cose reali.

Ma ecco il trucco: l'articolo evidenzia che questo metodo lascia un enorme buco nella tua sicurezza. Mentre sei impegnato a catturare il 95% dei dipinti reali, potresti accidentalmente far passare il 90% dei falsi perché la tua regola era troppo permissiva sul lato "strano". Nel mondo dell'IA, questo è chiamato un alto Tasso di Falsi Positivi (FPR - False Positive Rate). In un contesto medico, questo significa che l'IA potrebbe dire a una persona sana di avere un tumore, causando panico inutile e test costosi. L'articolo sostiene che mirare semplicemente a un alto "Tasso di Veri Positivi" (catturare le cose buone) senza controllare rigorosamente il "Tasso di Falsi Positivi" (non dare falsi allarmi) è pericoloso.

Inoltre, il vecchio modo è rigido. Immagina che il museo inizi a ricevere un nuovo tipo di falso: gli ologrammi. La tua vecchia regola, progettata per i falsi su carta, potrebbe non funzionare affatto sugli ologrammi. Il sistema rimane bloccato, incapace di adattarsi perché non è mai stato istruito a cambiare le sue regole una volta aperte le porte.

Entra in scena ASAT: La guardia giurata adattiva

Gli autori propongono ASAT (Adaptive Scoring and Thresholding with Human Feedback). Pensa ad ASAT non come a un robot con un libro di regole statico, ma come a un detective che impara da ogni caso.

Ecco come avviene la magia:

La Scheda di Valutazione (Funzione di Scoring): Invece di usare una formula fissa per giudicare quanto un oggetto sia "strano", ASAT può riscrivere la propria formula. Se continua a identificare erroneamente un tipo specifico di oggetto strano, chiede a un esperto umano: "Ehi, questo è un falso?". Se l'umano risponde: "Sì, quello è un ologramma", ASAT aggiorna la sua scheda di valutazione interna per riconoscere meglio gli ologrammi la prossima volta.
La Linea dell'Allarme (Soglia): Anche la linea che decide quando fermare la nave non è statica. ASAT sposta questa linea su o giù per garantire che non lasci passare mai più di una minuscola e sicura percentuale di falsi (controllando rigorosamente l'FPR).
Il Ciclo Umano (Human Loop): Il sistema è abbastanza intelligente da sapere quando non è sicuro. Se un oggetto si trova proprio sul limite della linea dell'allarme, ASAT si ferma e chiede a un umano l'etichetta reale. Questo feedback umano è il carburante che alimenta gli aggiornamenti.

L'articolo dimostra che ASAT è un framework "human-in-the-loop". Non si limita a indovinare; impara. Quando appare un nuovo tipo di dato OOD (come gli ologrammi), ASAT adatta simultaneamente la sua funzione di scoring e la sua soglia.

Cosa hanno scoperto: Più intelligenti e più sicuri

I ricercatori hanno testato ASAT su un celebre benchmark chiamato OpenOOD, utilizzando dataset come CIFAR-10 (che funge da dati "normali") e vari altri dataset come dati "strani". Hanno confrontato ASAT con altri due metodi:

FSFT: Una scheda di valutazione fissa e una soglia fissa (il vecchio modo rigido).
FSAT: Una scheda di valutazione fissa ma una soglia adattiva (una via di mezzo).

Nei loro esperimenti, i risultati sono stati chiari. I vecchi metodi fissi (FSFT) avevano spesso tassi di falsi positivi molto elevati, lasciando passare tra il 32% e il 91% dei dati "strani" come se fossero normali. Questo è un disastro per la sicurezza. Il metodo FSAT è stato migliore nel controllare i falsi allarmi, ma poiché non poteva cambiare la sua scheda di valutazione, ha perso la possibilità di catturare molti degli oggetti "strani" che un sistema più intelligente avrebbe potuto identificare.

ASAT, invece, è riuscito a fare entrambe le cose. Ha mantenuto il tasso di falsi positivi rigorosamente al di sotto del target del 5% (il limite di sicurezza) migliorando significativamente il Tasso di Veri Positivi. In alcuni test, ASAT ha migliorato la capacità di catturare gli oggetti "strani" di oltre il 40% rispetto ai migliori metodi fissi.

L'articolo ha anche esaminato cosa succede quando gli oggetti "strani" cambiano improvvisamente (un contesto non stazionario). Immagina che il museo passi dai falsi su carta agli ologrammi da un giorno all'altro. I vecchi sistemi si confondono e iniziano a far passare i falsi. ASAT, tuttavia, capisce rapidamente che il modello è cambiato. Utilizza il nuovo feedback umano per aggiornare la sua scheda di valutazione e la sua soglia, tornando a uno stato sicuro con solo un breve e temporaneo picco di errori prima di adattarsi.

La rete di sicurezza: Come sanno che funziona

Potresti chiederti: "Se il sistema sta cambiando le proprie regole, come facciamo a sapere che non si romperà?". Gli autori non si sono limitati a eseguire simulazioni sperando nel meglio; hanno costruito una rete di sicurezza matematica. Hanno dimostrato teoricamente che finché gli oggetti "strani" rimangono costanti per un certo periodo (condizioni stazionarie), ASAT garantirà che il tasso di falsi positivi rimanga al di sotto del limite stabilito dall'utente (ad esempio, il 5%) in ogni momento.

Hanno utilizzato uno strumento statistico ingegnoso chiamato "sequenza di confidenza tempo-uniforme". Immagina una rete di sicurezza che si allunga e si restringe mentre cammini su una corda tesa. Anche mentre il sistema impara e cambia, questa rete matematica assicura che la probabilità di cadere (commettere un errore) non superi mai il limite di sicurezza. Hanno dimostrato che anche se il sistema impara da dati che dipendono dalle sue decisioni precedenti (una situazione complicata per la matematica), la garanzia di sicurezza regge.

In sintesi

L'articolo conclude che ASAT è un passo avanti fondamentale per la sicurezza dell'IA. Risolve i due maggiori mal di testa dell'attuale rilevamento OOD: la tendenza ad avere troppi falsi allarmi e l'incapacità di imparare da nuove minacce sconosciute. Permettendo al sistema di adattare la propria "scheda di valutazione" e la "linea dell'allarme" con l'aiuto di esperti umani, ASAT crea un sistema che è non solo più sicuro, ma anche più efficiente, richiedendo meno intervento umano nel tempo perché diventa più bravo a svolgere il proprio compito.

Sebbene gli autori notino che le loro attuali garanzie si basano sul fatto che i dati "strani" rimangano abbastanza costanti, e che il feedback umano rumoroso potrebbe rappresentare una sfida, hanno gettato le basi per un futuro in cui i sistemi di IA possano navigare in sicurezza nell'ignoto, imparando e adattandosi in tempo reale senza perdere le loro protezioni di sicurezza.

Sintesi Tecnica: ASAT – Punteggio Adattivo e Soglia con Feedback Umano per un Rilevamento Robusto Out-of-Distribution

Definizione del Problema

I modelli di machine learning sono tipicamente addestrati sotto l'assunzione di mondo chiuso, dove i dati di test seguono la stessa distribuzione dei dati di addestramento (In-Distribution, o ID). Tuttavia, nelle implementazioni critiche per la sicurezza, i modelli incontrano frequentemente input Out-of-Distribution (OOD): punti dati che non appartengono a nessuna classe di addestramento. Il mancato rilevamento di questi input può portare a errori catastrofici (ad esempio, diagnosticare erroneamente un paziente).

Gli attuali metodi di rilevamento OOD soffrono di due limitazioni primarie:

Tassi di Falsi Positivi (FPR) non controllati: Gli approcci standard progettano funzioni di punteggio e impostano soglie basandosi esclusivamente su dati ID per raggiungere un target di True Positive Rate (TPR). Questo spesso lascia il FPR (classificare erroneamente OOD come ID) incontrollato, portando a tassi di falsi allarmi pericolosamente elevati nelle applicazioni critiche per la sicurezza.
Mancanza di Adattività: Gli input OOD nel mondo reale sono diversificati ed evolvono nel tempo. Funzioni di punteggio e soglie fisse, ottimizzate solo sui dati ID iniziali, spesso non riescono a generalizzare a nuove distribuzioni OOD non viste durante l'implementazione, risultando in un TPR subottimale.

L'obiettivo è sviluppare un sistema che controlli rigorosamente il FPR massimizzando al contempo in modo adattivo il TPR, sfruttando il feedback umano sugli input OOD del mondo reale.

Metodologia: Framework ASAT

Gli autori propongono ASAT (Adaptive Scoring and Adaptive Threshold), un framework human-in-the-loop che aggiorna dinamicamente sia la funzione di punteggio che la soglia decisionale durante l'implementazione.

Workflow

Punteggio e Campionamento: Ad ogni passo temporale $t$ $t$ , il sistema assegna un punteggio a un input $x_t$ $x_{t}$ utilizzando l'attuale funzione di punteggio $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ e la soglia $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- Se il punteggio è inferiore alla soglia, l'input è segnalato come OOD.
- Se il punteggio è superiore alla soglia, l'input è segnalato come ID.
- Campionamento per Importanza (Importance Sampling): Per stimare il FPR in modo non distorto, il sistema richiede un'etichetta umana per gli input segnalati come OOD con probabilità 1, e per gli input segnalati come ID con una piccola probabilità $p$ .
Apprendimento (Aggiornamenti Periodici): ASAT non si aggiorna ad ogni passo per evitare l'overhead computazionale. Gli aggiornamenti avvengono solo quando è stato raccolto un numero sufficiente di nuovi campioni OOD ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ).
- Obiettivo: Il sistema risolve un problema di ottimizzazione vincolata per trovare una nuova funzione di punteggio $g$ e una soglia $\lambda$ che massimizzino il TPR soggetto a un vincolo di FPR ( $\leq \alpha$ ).
- Approssimazione (Relaxation): Poiché le vere distribuzioni sono sconosciute, il sistema utilizza stime empiriche di TPR e FPR derivate dai campioni ID e OOD raccolti. Le funzioni indicatrici non differenziabili vengono approssimate tramite surrogati sigmoide per consentire l'ottimizzazione basata sul gradiente.
- Selezione del Modello: Una nuova funzione di punteggio viene implementata solo se dimostra un miglioramento statisticamente significativo del TPR rispetto al modello precedente, garantendo che gli aggiornamenti non degradino le prestazioni.
Stima della Soglia (Garanzia di Sicurezza): Anche dopo l'ottimizzazione della funzione di punteggio, la soluzione non vincolata potrebbe violare il limite del FPR. Per garantire un controllo rigoroso del FPR, ASAT impiega un passaggio di stima della soglia (basato sul metodo FSAT). Calcola una soglia sicura $\hat{\lambda}_t$ costruendo un Limite Superiore di Confidenza (UCB) Uniformemente Valido sulla stima del FPR. Ciò assicura che, con alta probabilità, il vero FPR rimanga al di sotto della tolleranza $\alpha$ specificata dall'utente.

Garanzie Teoriche

Il documento fornisce garanzie teoriche per il controllo del FPR in condizioni stazionarie (dove la distribuzione $D_0$ di OOD è fissa).

Confidenza Uniforme nel Tempo: Gli autori derivano una sequenza di confidenza uniforme nel tempo utilizzando estensioni della Legge dell'Iterato Logaritmo (LIL) basate sui martingali. Ciò tiene conto delle dipendenze introdotte dal campionamento per importanza e dalle funzioni di punteggio variabili nel tempo.
Risultato: Con una probabilità di almeno $1-\delta$ , il FPR del sistema ASAT rimane al di sotto della soglia $\alpha$ specificata in ogni istante $t$ , anche mentre la funzione di punteggio evolve.

Contributi Chiave

Design del Framework: Introduzione di ASAT, un framework che adatta congiuntamente funzioni di punteggio e soglie utilizzando il feedback umano, contrapponendosi ai baseline Fixed Scoring Fixed Threshold (FSFT) e Fixed Scoring Adaptive Threshold (FSAT).
Sicurezza Teorica: Fornitura di garanzie formali di sicurezza per il controllo del FPR in ogni momento in condizioni stazionarie, nonostante la natura dinamica della funzione di punteggio.
Validazione Empirica: Valutazioni estese sui benchmark OpenOOD che dimostrano come ASAT superi i metodi esistenti, raggiungendo TPR più elevati pur mantenendo un rigoroso controllo del FPR.

Risultati Sperimentali

Gli autori hanno valutato ASAT su benchmark OpenOOD utilizzando CIFAR-10 come dataset ID e vari dataset OOD (CIFAR-100, Places365, ecc.).

Ambienti Stazionari

Controllo del FPR: A differenza di FSFT, che mostrava FPR elevati (spesso tra il 32% e il 91%) quando mirava a un alto TPR, sia FSAT che ASAT hanno mantenuto i FPR costantemente al di sotto del target del 5%.
Prestazioni del TPR: Sebbene inizialmente ASAT fosse in ritardo rispetto a FSAT a causa dei più ampi intervalli di confidenza richiesti per l'ottimizzazione adattiva della funzione di punteggio, alla fine ha superato FSAT. ASAT ha ottenuto TPR significativamente più alti di FSAT (ad esempio, un miglioramento relativo superiore al 40% in alcune configurazioni) imparando funzioni di punteggio meglio allineate con i dati OOD specifici incontrati.
Convergenza: Il TPR empirico di ASAT converge verso l'ottimo del TPR raggiungibile da una funzione di punteggio addestrata sia su ID che su OOD.

Ambienti Non Stazionari

Adattamento ai Cambiamenti (Shifts): Quando la distribuzione OOD cambiava (ad esempio, da "Far-OOD" a "Near-OOD"), ASAT ha dimostrato la capacità di adattarsi.
Violazioni Transitorie: In scenari in cui il nuovo OOD era più difficile da distinguere dall'ID, ASAT ha subito violazioni transitorie del FPR. Tuttavia, si è adattato rapidamente la sua funzione di punteggio e la sua soglia per ridurre il FPR sotto il limite, raggiungendo costantemente un TPR superiore rispetto a FSAT sia prima che dopo lo shift.
Finestra Temporale (Windowing): L'uso di una finestra scorrevole per i campioni OOD ha permesso ad ASAT di adattarsi più velocemente ai cambiamenti di distribuzione, scambiando parte dell'ottimalità con tempi di risposta più rapidi.

Significato e Rivendicazioni

Il documento sostiene che ASAT affronti il divario critico nel rilevamento OOD, dove la sicurezza (controllo del FPR) e l'adattività (massimizzazione del TPR per OOD in evoluzione) sono spesso mutuamente esclusive nei metodi esistenti.

Sicurezza: Decoupling (disaccoppiamento) dell'ottimizzazione della funzione di punteggio dalla verifica di sicurezza della soglia, ASAT assicura che il sistema non comprometta mai il vincolo del FPR, un requisito cruciale nei domini critici per la sicurezza.
Adattività: Sfruttando il feedback umano per aggiornare la funzione di punteggio stessa, ASAT supera i limiti dei modelli statici, permettendo al sistema di migliorare le proprie capacità di rilevamento man mano che incontra nuovi tipi di dati OOD.
Praticità: Il framework è progettato per l'implementazione online, bilanciando l'efficienza computazionale (aggiornamenti periodici) con rigorose garanzie statistiche.

Gli autori posizionano ASAT come un passo verso sistemi di ML robusti e auto-migliorabili che possono operare in sicurezza in ambienti a mondo aperto dove le distribuzioni dei dati non sono statiche.