Riepilogo Tecnico: Analisi Discriminante Robusta Cellulare

Enunciato del Problema

L'Analisi Discriminante (DA) classica, incluse le varianti Lineare (LDA) e Quadratica (QDA), si basa sulla media aritmetica e sulla matrice di covarianza empirica per stimare i parametri di classe. Questi stimatori sono altamente sensibili ai valori anomali. Sebbene la statistica robusta tradizionale si sia concentrata sui valori anomali per caso (interi punti dati che si discostano notevolmente dal centro della classe), l'analisi dei dati moderna incontra sempre più frequentemente valori anomali per cella. Si tratta di voci inaspettate all'interno di una matrice di dati dove solo alcune celle di un caso sono corrotte, mentre le celle rimanenti contengono informazioni preziose.

Rimuovere un intero caso a causa di poche celle anomale comporta una significativa perdita di informazioni. Inoltre, i metodi robusti per caso spesso falliscono in presenza di contaminazione cellulare, poiché anche una piccola percentuale di celle anomale può inquinare la maggior parte dei casi. La letteratura esistente ha affrontato la stima robusta cellulare per i dati di addestramento (ad es. Aerts e Wilms, 2017), ma persiste un divario critico: la predizione robusta su campioni esterni. I metodi attuali faticano a classificare nuovi dati di test che potrebbero contenere essi stessi celle anomale o valori mancanti (NA), portando spesso a errori di classificazione.

Metodologia

Gli autori propongono cellLDA e cellQDA, un quadro unificato per l'analisi discriminante robusta cellulare che affronta sia la fase di addestramento che quella di predizione.

1. Addestramento Robusto (In-Campione)

Il metodo stima la posizione ($\mu_g$) e la matrice di dispersione ($\Sigma_g$) per ogni classe $g$ utilizzando lo stimatore cellMCD (Raymaekers e Rousseeuw, 2024).

• Obiettivo: cellMCD minimizza una verosimiglianza logaritmica negativa penalizzata che include una distanza di Mahalanobis al quadrato parziale calcolata solo sulle celle non segnalate.
• Segnalazione: Stima simultaneamente una matrice binaria di maschera $W_g$ dove $w_{ij}=0$ indica una cella segnalata (anomala o NA) e $w_{ij}=1$ indica una cella pulita.
• Adattamento LDA: Per la DA Lineare, una matrice di dispersione condivisa viene stimata raggruppando i dati centrati e applicando cellMCD con un centro fisso.

2. Predizione su Campioni Esterni (Dati di Test)

La novità fondamentale risiede nella fase di predizione, che gestisce casi di test contenenti valori anomali per cella e NA.

• Cellflagger: Per un nuovo punto di test $x$, un "cellflagger" basato sulla verosimiglianza segnala iterativamente le celle. Minimizza una funzione obiettivo penalizzata per determinare quali celle sono anomale rispetto a una specifica classe $g$. Una cella viene segnalata se il suo residuo standardizzato supera un intervallo di tolleranza robusto (basato sul quantile $\chi^2$).
• Modello di Contaminazione: Gli autori introducono un nuovo modello statistico che estende il quadro di contaminazione cellulare (Alqallaf et al., 2009) a più classi. Il modello assume:
  • Le celle pulite seguono una distribuzione normale multivariata $N(\mu_g, \Sigma_g)$.
  • Le celle anomale seguono una distribuzione di Laplace a code pesanti.
  • Le celle anomale si verificano con una specifica probabilità $p_{gj}$.
• Funzione Discriminante Robusta: Sulla base della verosimiglianza congiunta dei dati e degli indicatori di contaminazione secondo il modello sopra, viene derivata una nuova funzione discriminante $\delta_g(x, w_g)$. Questa funzione include:
  1. La verosimiglianza logaritmica standard delle celle non segnalate.
  2. Un termine di penalità per il numero di celle segnalate (basato sulla probabilità di Bernoulli di contaminazione).
  3. Un termine che tiene conto dell'entità delle celle anomale (basato sulla densità di Laplace).
• Gestione dei Dati Mancanti: Il quadro gestisce naturalmente gli NA fissando i pesi corrispondenti a 0 (trattandoli come permanentemente esclusi) prima di applicare il cellflagger, assicurando che la funzione discriminante sommi solo sulle celle pulite disponibili.
• Rilevamento di Valori Anomali per Caso: Se un caso di test ha più di $d/2$ celle segnalate o una grande distanza di Mahalanobis sulle celle rimanenti, viene assegnato a una nuova classe "anomala" (classe 0).

Contributi Chiave

1. Quadro Unificato: L'approccio unifica la stima dei parametri, il rilevamento dei valori anomali e la classificazione sotto un unico principio di massima verosimiglianza penalizzata.
2. Predizione Robusta: A differenza dei precedenti metodi robusti cellulari, questo approccio fornisce un meccanismo per classificare dati di test che possono contenere celle anomale, prevenendo la classificazione errata di casi con errori di dati minori.
3. Gestione dei Valori Mancanti: Il metodo si adatta naturalmente ai dati mancanti senza richiedere l'imputazione prima della classificazione.
4. Interpretabilità: Gli autori introducono strumenti grafici (Classmap e Cellmap) per visualizzare i risultati della classificazione, distinguendo tra casi puliti, casi classificati correttamente con celle anomale e valori anomali per caso.

Risultati

Simulazioni

I metodi sono stati valutati su dati simulati con dimensioni $d=5$ e $d=20$, in vari scenari di contaminazione (cellulare, per caso e misti) e strutture di correlazione.

• Dati di Test Puliti: Quando i dati di addestramento contenevano valori anomali per cella, cellQDA e cellLDA hanno mantenuto un'alta accuratezza, superando la DA classica (CQDA/CLDA) e i metodi robusti per caso (RQDA/RLDA).
• Dati di Test Contaminati: Quando i dati di test contenevano valori anomali per cella, solo cellQDA e cellLDA hanno mantenuto prestazioni robuste. I metodi classici e robusti per caso hanno subito cali significativi di accuratezza perché le loro regole discriminanti non erano progettate per gestire celle anomale nell'insieme di test.
• Scenari Misti: I metodi proposti hanno costantemente superato le robuste linee di base esistenti (GLQDA/RLDA) quando sia i dati di addestramento che quelli di test erano contaminati.

Applicazione su Dati Reali

Il metodo è stato applicato a un insieme di dati di 804 dolci svizzeri (Biscotti, Gelati, Torte, Pudding) con 9 variabili nutrizionali.

• Accuratezza: cellQDA ha raggiunto la massima accuratezza convalidata incrociata (0,832), superando CQDA (0,569), RQDA (0,805) e GLQDA (0,767).
• Interpretazione: Le visualizzazioni grafiche hanno rivelato che cellQDA ha classificato correttamente prodotti con profili nutrizionali insoliti (ad es. specifici marchi "Weight Watchers") che erano stati classificati erroneamente da altri metodi o segnalati come valori anomali globali. Le cellmap hanno identificato con successo ingredienti specifici insoliti (ad es. sale inaspettatamente alto/basso) che guidavano la classificazione.
• Dati Mancanti: Il metodo ha mantenuto un'alta accuratezza (76%) anche quando fino al 60% delle celle di test era stato impostato come mancante, superando significativamente la DA classica applicata ai dati completi.

Significato e Affermazioni

Il documento afferma che il significato principale di questo lavoro è lo sviluppo di un metodo di predizione robusto su campioni esterni per l'analisi discriminante. Sebbene l'addestramento robusto sia consolidato, la capacità di classificare nuovi dati contenenti valori anomali per cella senza scartare l'intera osservazione è un contributo innovativo.

Gli autori sottolineano che il loro approccio è coerente, poiché le fasi di stima, segnalazione e classificazione derivano tutte dallo stesso modello di verosimiglianza penalizzata. Questa unificazione permette una gestione naturale dei valori mancanti e fornisce un modo statisticamente fondato per penalizzare il numero di celle segnalate. I risultati delle simulazioni dimostrano che questi metodi offrono prestazioni superiori in scenari realistici in cui la contaminazione dei dati si verifica sia nella fase di addestramento che in quella di test, senza sacrificare l'efficienza sui dati puliti.