LOCUS: A Distribution-Free Loss-Quantile Score for Risk-Aware Predictions

Each language version is independently generated for its own context, not a direct translation.

Immagina di essere un capitano di una nave mercantile. Il tuo compito è consegnare merci a destinazione. La tua nave è un'intelligenza artificiale (un modello di machine learning) che è bravissima a prevedere le rotte: in media, arriva quasi sempre a tempo.

Tuttavia, c'è un problema: a volte, per un caso sfortunato o un errore di calcolo, la nave rischia di incagliarsi su uno scoglio invisibile. Anche se la nave è veloce e precisa al 99%, quel 1% di incidenti può costare milioni di dollari o mettere in pericolo vite umane.

Il problema delle attuali tecnologie è che ci dicono: "La nave è veloce in media!", ma non ci dicono: "Attenzione, per questo specifico carico, c'è un alto rischio di affondare".

Ecco dove entra in gioco Locus.

Cos'è Locus? (La "Sveglia di Sicurezza")

Locus è come un sistema di allarme intelligente che si aggancia alla tua nave (il modello di previsione). Non cerca di dire se la nave è "confusa" o se il mare è agitato in generale. Invece, fa una domanda molto più pratica:

"Se partiamo ora con questo carico specifico, qual è la probabilità che il danno (la perdita) superi una certa soglia di disastro?"

Locus non si preoccupa della "confusione" del modello, ma guarda direttamente al danno reale che potrebbe subire.

Come funziona? (L'analogia del Meteo e dell'Assicurazione)

Immagina di dover decidere se uscire di casa.

I metodi vecchi (come la "Varianza") ti dicono: "Oggi il meteo è molto variabile, potrebbe piovere o fare sole." Questo è utile, ma non ti dice se pioverà proprio sopra di te con un temporale che ti bagna i vestiti.
Locus ti dice: "Per la tua specifica posizione, c'è il 90% di probabilità che la pioggia non superi i 5 millimetri. Se la tua soglia di 'vestiti bagnati' è di 10 millimetri, puoi uscire tranquillo. Se invece la soglia è di 2 millimetri, meglio restare a casa."

Locus trasforma la previsione in una cifra di rischio concreta (es. "Per questo cliente, la perdita finanziaria potrebbe arrivare a 50.000 euro").

I 3 Passaggi Magici di Locus

Il "Campionamento" (La Prova Generale):
Prima di affidare la nave al mare, Locus prende un gruppo di dati storici (una "prova generale") e simula migliaia di viaggi. Guarda quanti incidenti sono accaduti e quanto sono stati gravi.
La "Calibrazione" (L'Aggiustamento del Righello):
Locus usa una tecnica matematica speciale (senza bisogno di assumere che il mondo sia perfetto o che le sue formule siano infallibili) per assicurarsi che il suo righello sia preciso. È come se prendesse un righello di gomma e lo stirasse finché non misura esattamente quanto promette. Se dice "10 cm", sono davvero 10 cm, anche se il righello era fatto di gomma.
La "Soglia di Allarme" (Il Filtro):
Tu, come capitano, imposti una regola: "Non voglio accettare rischi superiori a 10.000 euro".
Locus guarda ogni singola previsione.
- Se il suo calcolo dice: "Il rischio massimo probabile è 5.000 euro", allora Locus dice: "OK, procedi!" (Non flaggato).
- Se il calcolo dice: "Il rischio massimo probabile è 15.000 euro", allora Locus alza la mano: "STOP! Rivedi questa decisione!" (Flaggato).

Perché è così speciale?

Non è un "indovino", è un "assicuratore": Molti sistemi dicono "sono incerto". Locus dice "il danno potrebbe essere questo". È molto più utile per prendere decisioni.
Funziona anche se il modello sbaglia: Anche se il tuo modello di intelligenza artificiale non è perfetto, Locus garantisce che, se segui le sue regole, non avrai più di un certo numero di disastri tra quelli che decidi di accettare. È una garanzia matematica, non una speranza.
Vede l'invisibile: A volte un modello fa errori grandi anche quando sembra molto sicuro (bassa variabilità). Locus vede questo errore potenziale perché guarda il danno reale, non solo la confusione del modello.

In sintesi

Immagina di avere un controllore di qualità per ogni singola decisione che prende la tua intelligenza artificiale.
Invece di fidarsi ciecamente della media, Locus ti dice: "Per questo caso specifico, il danno peggiore che potresti subire è X. Se X è accettabile per te, vai avanti. Se no, fermati e controlla di nuovo."

È uno strumento che trasforma l'incertezza matematica in una regola di sicurezza pratica, permettendo alle aziende di usare l'AI in modo più sicuro, specialmente quando gli errori costano molto.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

I moderni modelli di machine learning possono essere altamente accurati in media, ma nelle applicazioni reali (come supporto decisionale clinico, scoring del credito o sistemi autonomi), il costo di un singolo errore catastrofico può dominare i costi complessivi di deployment.

Limiti delle metriche attuali: Le metriche standard (RMSE, accuratezza, AUC) sono globali e non forniscono informazioni sul rischio di una singola previsione.
Limiti dell'incertezza: Gli approcci esistenti basati sull'incertezza (varianza predittiva, dropout bayesiano, ensemble) misurano la dispersione dell'etichetta $Y$ dato $X$ , ma non sono necessariamente allineati con il loss reale (l'errore effettivo) che il sistema subirà. Una previsione può avere bassa varianza ma un errore enorme se il modello è localmente errato (es. un modello lineare in una regione non lineare).
Obiettivo: Creare un sistema di "flagging" (segnalazione) che identifichi le previsioni rischiose con garanzie finite, senza assumere che il modello probabilistico sottostante sia corretto, e controllando direttamente la frequenza di errori grandi.

2. Metodologia: Locus

Locus è un "wrapper" (un livello di elaborazione aggiuntivo) distribution-free (senza assunzioni sulla distribuzione dei dati) progettato per una funzione di previsione fissa $g(x)$ . Il metodo non cerca di quantificare l'incertezza su $Y$ , ma modella direttamente la distribuzione del loss realizzato $Z = L(g(X), Y)$ .

Il processo si articola in tre fasi principali:

A. Costruzione della Distribuzione Predittiva del Loss (Step 1 e 2)

Split dei dati: Il set di calibrazione viene diviso in due parti: $D_1$ (per addestrare il modello del loss) e $D_2$ (per la calibrazione).
Modello Base: Su $D_1$ $D_{1}$ , viene adattato un modello probabilistico per stimare la distribuzione cumulativa (CDF) del loss $Z$ $Z$ dato $X$ $X$ , denotata come $\hat{F}(\cdot | x)$ $\hat{F} (\cdot ∣ x)$ .
- Il paper utilizza modelli come Bayesian Additive Regression Trees (BART) o Mixture Density Networks con MC Dropout.
- Inflazione Epistemica: Per gestire le regioni con pochi dati (incertezza epistemica), viene introdotta una tecnica di "inflazione". Invece di usare la media delle distribuzioni posteriori, si prende un quantile inferiore (es. il 15-esimo percentile) delle CDF generate dai campioni posteriori. Questo rende la stima più conservativa (coda destra più pesante) nelle zone di scarsità di dati, senza alterare le garanzie di calibrazione successive.

B. Calibrazione Distribution-Free (Step 3)

Per garantire validità anche se il modello base è sbagliato, Locus applica una calibrazione basata sui valori PIT (Probability Integral Transform) su $D_2$ :

Si calcolano i valori $W_i = \hat{F}(Z_i | X_i)$ per ogni punto in $D_2$ .
Si determina un livello di soglia $t_{1-\alpha}$ come il quantile $(1-\alpha)$ dei valori $W_i$ .
Si definisce il punteggio di rischio locale $U_\alpha(x)$ come l'inverso della CDF calibrata:
$U_\alpha(x) = \hat{F}^{-1}(t_{1-\alpha} | x)$
Questo punteggio rappresenta una stima calibrata del quantile $(1-\alpha)$ del loss per un dato input $x$ .

C. Regole di Flagging

Una volta ottenuto $U_\alpha(x)$ , si definisce una regola di accettazione basata su una soglia di tolleranza $\tau$ (definita dall'utente come errore inaccettabile):

Regola Base: Accettare la previsione se $U_\alpha(x) \le \tau$ , altrimenti flaggare.
Garanzia Teorica: Il metodo garantisce che la probabilità congiunta di accettare una previsione che poi risulta avere un loss superiore a $\tau$ è limitata da $\alpha$ :
$P(Z > \tau, X \in A_{\tau;\alpha}) \le \alpha$
Inoltre, la probabilità condizionata di un errore grande tra le previsioni accettate è approssimativamente $\le \alpha$ .

D. Ottimizzazione (Locus-Tuned)

Per soddisfare obiettivi specifici di tasso di superamento condizionato ( $\eta$ ) tra i punti accettati, il paper propone una variante "Locus-Tuned" che ottimizza la soglia di accettazione $\lambda$ su un set di validazione, mantenendo le garanzie distribution-free.

3. Contributi Chiave

Punteggio di Loss-Quantile Calibrato: Trasforma qualsiasi stima della distribuzione del loss in un punteggio interpretabile direttamente nella scala del loss (es. dollari, gradi di errore), non in unità di varianza.
Controllo Distribution-Free: Offre garanzie finite e rigorose sul controllo degli eventi a "perdita catastrofica" senza assumere che il modello probabilistico sottostante sia corretto.
Interpretabilità Operativa: Il punteggio $U_\alpha(x)$ è direttamente confrontabile con la soglia di tolleranza operativa $\tau$ , permettendo regole di decisione trasparenti (es. "se il limite superiore stimato dell'errore è > 70k$, rifiuta").
Gestione dell'Incertezza Epistemica: Introduce un meccanismo per inflare conservativamente le stime nelle regioni con pochi dati, migliorando la robustezza senza rompere le garanzie di calibrazione.

4. Risultati Sperimentali

Il metodo è stato testato su 13 dataset di regressione (inclusi prezzi delle case, dati energetici, dati medici).

Confronto: Locus è stato confrontato con baseline come Isolation Forest (rilevamento OOD) e VARNet (stima della varianza dell'etichetta).
Performance:
- A parità di tasso di accettazione (circa 70%), Locus ha dimostrato tassi di superamento condizionato ( $P(Z > \tau | \text{accettato})$ ) significativamente inferiori rispetto alle baseline su tutti i dataset.
- Mentre la varianza dell'etichetta fallisce nel catturare errori dovuti a un cattivo adattamento del modello (es. linearità in regioni non lineari), Locus cattura direttamente il rischio di perdita.
- Le varianti con inflazione epistemica ( $\gamma$ -inflated) hanno mostrato una maggiore robustezza in scenari di extrapolazione.
Validità: I test confermano che la copertura marginale empirica soddisfa la condizione $P(Z \le U_\alpha(X)) \ge 1-\alpha$ .

5. Significato e Impatto

Locus rappresenta un passo avanti cruciale verso il Machine Learning affidabile per il deployment.

Shift di Paradigma: Sposta il focus dalla quantificazione dell'incertezza sull'etichetta ( $Y$ ) al controllo diretto del rischio operativo (Loss).
Sicurezza: Permette di implementare sistemi di sicurezza "a prova di errore" in settori critici, dove è preferibile rifiutare una previsione piuttosto che accettare un errore costoso, con garanzie matematiche precise.
Flessibilità: Essendo un wrapper, può essere applicato a qualsiasi modello di regressione o classificazione (con loss scalare) esistente, rendendolo immediatamente utilizzabile in contesti industriali senza dover ri-addestrare i modelli predittivi principali.

In sintesi, Locus fornisce agli ingegneri del machine learning uno strumento pratico e teoricamente solido per trasformare modelli "accurati in media" in sistemi "sicuri per ogni singola istanza".