Least trimmed squares regression with missing values and cellwise outliers

Il paper propone un nuovo metodo di regressione Least Trimmed Squares che è robusto sia agli outlier a livello di caso che a livello di cella, gestisce i valori mancanti e permette previsioni robuste fuori campione.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque, anche senza un background in statistica.

Immagina di essere un cuoco stellato (il tuo modello statistico) che sta cercando di preparare il brodo perfetto (la previsione) basandosi su una lista di ingredienti (i dati).

Il Problema: Il Brodo Rovinato

Di solito, quando cucini, segui una ricetta. Ma a volte succede che:

1. Qualcuno butta via un'intera pentola di brodo: Un intero caso è sbagliato (es. un dato che non c'entra nulla). Questo è un outlier casistico.
2. Qualcuno mette un po' di veleno in un singolo ingrediente: Un singolo numero nella lista è sbagliato (es. scrivi "400 anni" invece di "40 anni" per l'età di una persona). Questo è un outlier cellulare.

I metodi statistici tradizionali (come la "Media" o l'OLS) sono come cuochi ingenui: se trovi un po' di veleno in un pomodoro, assaggiano tutto il brodo e dicono: "Oh, il brodo è velenoso!". Se trovi una pentola intera di sabbia, buttano via tutto il pasto.

La Soluzione: Il "Detective del Brodo" (CellLTS)

Gli autori di questo paper, Jakob e Peter, hanno inventato un nuovo metodo chiamato CellLTS. Immaginalo come un detective super-attento che lavora in due fasi:

Fase 1: La Pulizia degli Ingredienti (Prima di cucinare)

Prima ancora di accendere il fuoco, il detective guarda la lista degli ingredienti (le variabili indipendenti, come età, reddito, ecc.).

• Rileva le bugie: Se vede che un ingrediente ha un valore assurdo (es. "reddito: 1 milione di dollari" per un bambino), non lo butta via. Lo corregge. Immagina di dire: "Ehi, questo numero è strano, probabilmente è un errore di battitura. Basandomi sugli altri ingredienti, ti sostituisco con un valore più realistico".
• Gestisce i buchi: Se manca un ingrediente (dato mancante), il detective lo immagina (imputazione) basandosi su ciò che sa degli altri ingredienti. Non si ferma, continua a cucinare.
• Lo Specchio Magico (Simmetrizzazione): Per essere sicuro di non essere ingannato da forme strane dei dati (distribuzioni asimmetriche), il detective usa uno "specchio magico". Prende ogni dato e lo confronta con un suo "gemello" casuale. Questo rende i dati più regolari e facili da gestire, come se trasformasse un groviglio di spaghetti in una pasta dritta e ordinata.

Fase 2: La Cottura Robusta (La Regressione)

Ora che gli ingredienti sono puliti, il detective inizia a cucinare (calcolare la regressione).

• Usa una tecnica chiamata Least Trimmed Squares (LTS). Immagina di avere 100 pentole di prova. Invece di assaggiarle tutte e fare la media (che potrebbe essere rovinata da 2 pentole avvelenate), il detective dice: "Assaggerò solo le 75 pentole che sembrano più simili tra loro e scarterò le 25 più strane".
• In questo modo, anche se ci sono ancora alcuni ingredienti "strani" nella lista finale, la ricetta del brodo rimane perfetta perché ignora le pentole che non tornano.

Il Superpotere: Prevedere il Futuro (Out-of-Sample)

La vera magia di questo metodo è quando devi cucinare per un nuovo cliente che non hai mai visto prima (un dato di previsione).

• I metodi vecchi dicono: "Ecco i tuoi ingredienti, cucino subito". Se il cliente ti porta un'età di 400 anni, il metodo vecchio ti dà una risposta assurda.
• CellLTS dice: "Aspetta, prima controllo i tuoi ingredienti". Se il nuovo cliente ha un dato strano, il detective lo pulisce e corregge prima di calcolare la previsione.
• Analogia: È come se un commesso di un negozio di vestiti, vedendo un cliente che entra con una taglia "Gigante", non ti desse subito un vestito da gigante (che non starà bene), ma ti chiedesse: "Scusi, forse ha sbagliato a misurarsi? Proviamo a correggere la misura e poi le diamo il vestito giusto".

Perché è importante?

Il paper dimostra con dei test (simulazioni) e con dati reali (sulle morti per cancro negli USA) che questo metodo:

1. È più preciso: Trova le relazioni vere tra le cose ignorando le bugie nei dati.
2. È più sicuro: Non si lascia ingannare da errori di battitura o dati mancanti.
3. Funziona nel mondo reale: Quando si analizzano dati veri (che sono sempre sporchi e pieni di errori), questo metodo dà risultati molto migliori rispetto ai vecchi metodi.

In sintesi:
Il paper presenta un nuovo modo di fare previsioni che non si fida ciecamente dei numeri che gli vengono dati. Prima controlla, corregge le bugie, riempie i buchi e poi calcola. È come avere un assistente che ti dice: "Non preoccuparti, ho sistemato quel numero strano, ora la previsione è affidabile".

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Least trimmed squares regression with missing values and cellwise outliers" di Jakob Raymaekers e Peter J. Rousseeuw, presentata in italiano.

1. Il Problema

La regressione statistica è spesso applicata a dati reali che contengono outlier (valori anomali). Tradizionalmente, la letteratura si è concentrata sugli outlier casistici (casewise outliers), ovvero intere righe di dati corrotte o appartenenti a una popolazione diversa. Metodi robusti esistenti, come i Least Trimmed Squares (LTS), gestiscono efficacemente questi casi.

Tuttavia, i dati moderni presentano spesso outlier cellistici (cellwise outliers): singole celle all'interno della matrice dei dati (sia nelle variabili esplicative $X$ che nella risposta $Y$) che sono sospette o errate, mentre il resto della riga è corretto.

• Sfide attuali: I metodi esistenti per la regressione robusta cellistica (es. 3SGS, Shooting S, CR-Lasso) hanno limitazioni significative:
  • Spesso assumono distribuzioni sottostanti gaussiane.
  • Non gestiscono bene i valori mancanti.
  • Non forniscono previsioni fuori campione (out-of-sample) robuste: se un nuovo dato di input contiene outlier cellistici, i metodi attuali tendono a propagare l'errore nella previsione.
  • Non gestiscono bene distribuzioni asimmetriche (skewed).

2. Metodologia Proposta: CellLTS

Gli autori propongono un nuovo metodo chiamato CellLTS, un approccio in due fasi che combina la pulizia dei dati a livello di cella con la regressione robusta a livello di caso. Il metodo è progettato per gestire outlier casistici, outlier cellistici, valori mancanti e distribuzioni asimmetriche.

Fase 1: Pulizia della Matrice dei Regressori ($X$)

Prima di stimare i coefficienti di regressione, la matrice $X$ viene "pulita" senza utilizzare informazioni sulla variabile risposta $Y$.

1. Simmetrizzazione: Per gestire l'asimmetria e avvicinarsi alla normalità, i dati vengono trasformati calcolando le differenze a coppie ($X - X'$). Questo rende le variabili simmetriche attorno allo zero.
2. Stimatore CellMCD: Viene applicato lo stimatore Cellwise Minimum Covariance Determinant (CellMCD) ai dati simmetrizzati. Questo stimatore:
   • Stima la posizione e la matrice di covarianza robusta.
   • Identifica le celle sospette (flaggandole come 0) basandosi sulla loro contribuzione alla verosimiglianza.
   • Gestisce i valori mancanti.
3. Imputazione: Le celle flaggate come outlier o mancanti vengono imputate utilizzando la previsione lineare migliore basata sulla struttura di covarianza robusta stimata. Il risultato è una matrice $X$ "pulita" ($\hat{X}$).

Fase 2: Regressione Robusta sulla Risposta ($Y$)

Una volta ottenuta la matrice $X$ pulita, si procede alla stima dei coefficienti di regressione.

1. Simmetrizzazione della Risposta: Anche la variabile risposta $Y$ viene simmetrizzata e standardizzata.
2. Least Trimmed Squares (LTS): Viene eseguita una regressione LTS sulla matrice pulita $\hat{X}$ e sulla risposta simmetrizzata. L'LTS minimizza la somma dei quadrati dei residui su un sottoinsieme di dati (es. il 75% migliore), rendendo la stima robusta agli outlier casistici nella risposta.
3. Penalizzazione: Viene aggiunta una piccola penalità Ridge ($\lambda ||\beta||^2$) per evitare problemi di collinearità.
4. Ritrasformazione: I coefficienti stimati vengono riportati alla scala originale dei dati per ottenere $\hat{\alpha}$ e $\hat{\beta}$.

Previsioni Fuori Campione (Out-of-Sample)

Un contributo chiave è la capacità di fare previsioni robuste su nuovi dati $x^*$ che potrebbero contenere a loro volta outlier cellistici o valori mancanti:

1. Non si applica direttamente $x^*$ alla regressione.
2. Si applica la stessa procedura di pulizia usata in fase di training: si flaggano le celle sospette in $x^*$ usando le stime di posizione e covarianza ottenute in Fase 1.
3. Si imputano le celle sospette e i valori mancanti in $x^*$.
4. Si calcola la previsione usando il vettore pulito $\hat{x}^*$ e i coefficienti robusti.

3. Contributi Chiave

• Primo metodo con risultato di "Breakdown" cellistico: Il paper dimostra teoricamente il valore di breakdown (la percentuale massima di contaminazione che il metodo può tollerare prima di fallire) per un metodo di regressione cellistico. Il valore è circa $1 - 1/\sqrt{2} \approx 29%$, simile alla regressione di Theil-Sen.
• Previsioni Robuste Fuori Campione: È il primo metodo che gestisce sistematicamente la pulizia dei dati di input prima di fare previsioni su nuovi casi, evitando che outlier nelle variabili esplicative distorcano il risultato.
• Gestione dell'Asimmetria: L'uso della simmetrizzazione permette di applicare tecniche robuste (progettate per dati ellittici/gaussiani) a dati con distribuzioni fortemente asimmetriche.
• Gestione Unificata dei Valori Mancanti: Il metodo imputa automaticamente i valori mancanti durante la fase di pulizia, senza bisogno di pre-processing separato.

4. Risultati Sperimentali

Gli autori hanno valutato CellLTS attraverso simulazioni estese e un'applicazione su dati reali.

• Simulazioni:

  • Confronto: CellLTS è stato confrontato con OLS, 3SGS, Shooting S e CR-Lasso (STMW).
  • Accuratezza dei Coefficienti: CellLTS mostra errori (distanza di Mahalanobis) inferiori rispetto ai competitor, specialmente quando i valori anomali sono molto distanti (alto $\gamma$).
  • Previsioni: CellLTS supera significativamente tutti gli altri metodi nel Mean Squared Error (MSE) delle previsioni fuori campione, grazie alla capacità di pulire i dati di input prima della previsione.
  • Robustezza alla Simmetrizzazione: L'uso di un sottoinsieme di differenze a coppie (invece di tutte le $n(n-1)$ coppie) con $k=20$ permutazioni casuali offre prestazioni quasi identiche al calcolo completo, riducendo la complessità computazionale.
  • Distribuzioni: Il metodo funziona bene sia con dati normali che con dati esponenziali o log-normali (asimmetrici).

• Dati Reali (Cancro negli USA):

  • Dataset: 3047 contee USA con 33 variabili (mortalità per cancro, reddito, età, istruzione, ecc.).
  • Risultati: Il modello CellLTS ha identificato outlier cellistici critici che OLS ha ignorato. Ad esempio, ha corretto valori errati di "età mediana" (es. 400 anni) e tassi di incidenza del cancro anomali, producendo coefficienti di regressione più sensati (es. un impatto negativo significativo dell'età sulla mortalità, che OLS aveva stimato vicino a zero).
  • Interpretabilità: La "cellmap" (mappa delle celle sospette) ha permesso di diagnosticare errori di dati specifici (es. contee con dati mancanti o valori fuori scala) e di spiegare comportamenti atipici (es. Alaska).

5. Significato e Conclusione

Il paper rappresenta un avanzamento significativo nella statistica robusta. Mentre i metodi precedenti si concentravano sulla stima dei coefficienti, CellLTS estende la robustezza all'intero processo di modellazione, inclusa la fase di predizione.
La capacità di trattare dati sporchi (outlier cellistici e valori mancanti) sia nel training set che nel test set rende questo metodo particolarmente prezioso per applicazioni pratiche dove la qualità dei dati non è garantita. La dimostrazione teorica del valore di breakdown e le prestazioni superiori nelle simulazioni confermano la sua superiorità rispetto alle tecniche esistenti per la regressione robusta cellistica.

Il codice R per riprodurre l'analisi è disponibile pubblicamente, facilitando l'adozione del metodo nella comunità statistica.