Maximum softly penalised likelihood in factor analysis

1. Il Problema: I Casi Heywood nell'Analisi Fattoriale Esplorativa

L'analisi fattoriale esplorativa (EFA) è ampiamente utilizzata nelle scienze sociali per misurare costrutti latenti e ridurre la dimensionalità. Tuttavia, l'estimazione tramite Massima Verosimiglianza (ML) spesso porta a soluzioni improprie note come casi Heywood.

• Definizione: I casi Heywood si verificano quando le stime delle varianze degli errori ($\psi_j$) sono nulle o negative, o quando le stime delle correlazioni superano 1 in valore assoluto.
• Conseguenze: Questi casi causano fallimenti nella convergenza numerica, stime di errori standard inaffidabili, punteggi fattoriali distorti e problemi nella selezione del modello.
• Cause: Sono attribuibili a fluttuazioni campionarie, campioni piccoli, sovrastima del numero di fattori, specificazione errata del modello o valori veri vicini al confine dello spazio dei parametri.
• Limiti delle soluzioni attuali:
  • Imporre vincoli ($\psi_j \ge 0$) viola le condizioni di regolarità della ML, rendendo difficile valutare le proprietà degli stimatori.
  • Gli approcci bayesiani o le penalizzazioni "naive" (es. Akaike 1987, Hirose et al. 2011) risolvono il problema dell'esistenza ma introducono un bias di campione finito significativo e possono compromettere le proprietà asintotiche (consistenza e normalità) degli stimatori.

2. Metodologia: Massima Verosimiglianza Penalizzata "Morbida" (MSPL)

Gli autori introducono un nuovo framework chiamato Maximum Softly Penalised Likelihood (MSPL). L'obiettivo è garantire l'esistenza di stime nello spazio dei parametri interno (evitando i casi Heywood) preservando al contempo le proprietà asintotiche ottimali della ML.

A. Funzione di Verosimiglianza Penalizzata

Si definisce una funzione di verosimiglianza penalizzata:
$$\ell^*(\theta; S) = \ell(\theta; S) + P^*(\theta; S)$$
dove $\ell$ è la log-verosimiglianza profilata e $P^*$ è una funzione di penalità.

B. Condizioni per l'Esistenza (Teorema 4.1)

Vengono derivati condizioni sufficienti sulla penalità $P^*$ per garantire che lo stimatore MPL esista sempre all'interno dello spazio dei parametri (evitando $\psi_j = 0$):

1. Continuità: $P^*$ deve essere continua.
2. Limitatezza superiore: $P^*$ deve essere limitata superiormente.
3. Divergenza: $P^*$ deve divergere a $-\infty$ quando una sequenza di parametri si avvicina al confine dello spazio (dove almeno una varianza tende a zero) ma la matrice di covarianza rimane definita positiva.

• Risultato chiave: Viene dimostrato che le penalità proposte da Akaike (1987) e Hirose et al. (2011) soddisfano queste condizioni, garantendo teoricamente l'assenza di casi Heywood.

C. Il Concetto di "Soft Penalisation"

Il contributo metodologico principale è la scalatura della penalità. Le versioni "vanilla" delle penalità precedenti usano un fattore di scala costante o proporzionale a $n$, che introduce un bias eccessivo.

• Scalatura Morbida: Gli autori propongono di scalare la penalità in modo che sia asintoticamente trascurabile rispetto all'informazione accumulata dai dati.
• Fattore di scala: Si dimostra che scegliendo un fattore di scala $c_n = O(n^{-1/2})$ (specificamente $\rho = 2\sqrt{2/n}$), la penalità diventa $P^*(\theta) = O_p(1)$ rispetto alla verosimiglianza che cresce come $O(n)$.
• Questo approccio, chiamato MSPL, garantisce che la penalità sia abbastanza forte da evitare i casi Heywood nei campioni finiti, ma abbastanza debole da non alterare le proprietà asintotiche dello stimatore ML.

3. Contributi Chiave Teorici

1. Dimostrazione di Esistenza: Prima prova formale che le penalità di Akaike (1987) e Hirose et al. (2011) garantiscono l'esistenza di stime interne, risolvendo i casi Heywood.
2. Proprietà Asintotiche: Sotto l'assunzione di specificazione corretta del modello, gli stimatori MSPL sono:
   • Consistenti: Convergono al vero valore dei parametri.
   • Asintoticamente Normali: Hanno la stessa distribuzione asintotica dello stimatore ML ($\sqrt{n}$-consistenza), a patto che la penalità sia scalata correttamente ($c_n = o(\sqrt{n})$).
3. Invarianza: Le penalità proposte preservano le proprietà di equivarianza della ML rispetto alla ridimensionamento dei dati e alle rotazioni fattoriali.

4. Risultati Sperimentali (Simulazioni e Dati Reali)

Gli autori hanno condotto studi di simulazione estesi e analisi su dati reali (Davis, Emmett, Maxwell) confrontando ML, MPL (con penalità non scalate) e MSPL.

• Gestione dei Casi Heywood:
  • La ML produce un numero significativo di casi Heywood, specialmente con campioni piccoli o carichi fattoriali deboli.
  • Sia MPL che MSPL eliminano quasi completamente i casi Heywood.
• Proprietà di Campione Finito:
  • Le versioni "naive" (MPL con $\rho$ costante) mostrano un bias elevato e una sottostima sistematica delle varianze e dei carichi fattoriali.
  • Gli stimatori MSPL (con scalatura $n^{-1/2}$) mostrano un bias trascurabile, un errore quadratico medio (RMSE) minimo e una probabilità di sottostima vicina a 0.5 (comportamento ideale), recuperando le proprietà della ML.
• Selezione del Modello (AIC/BIC):
  • L'uso di penalità "naive" degrada le prestazioni della selezione del numero di fattori tramite AIC e BIC.
  • La selezione basata su MSPL performa meglio, specialmente in campioni piccoli, selezionando correttamente il numero di fattori con alta probabilità.
• Dati Reali:
  • Nei dataset storici (es. Davis, Emmett), la ML produceva varianze negative o communalità irrealisticamente alte (casi Heywood).
  • L'approccio MSPL ha prodotto stime di varianze positive e ragionevoli, senza alterare significativamente i valori di AIC/BIC rispetto alla ML quando non vi erano casi Heywood.

5. Significato e Implicazioni

Questo lavoro risolve un problema decennale nell'analisi fattoriale fornendo un framework teorico solido e pratico:

• Risoluzione del dilemma Esistenza vs. Bias: Dimostra che è possibile evitare le soluzioni improprie (Heywood) senza sacrificare l'efficienza asintotica o introdurre bias significativi, a condizione che la penalità sia "morbida" (softly penalised).
• Validazione di Metodi Esistenti: Conferma la validità teorica di penalità storiche (Akaike, Hirose) ma ne corregge l'implementazione pratica suggerendo una scalatura adattiva.
• Applicabilità Pratica: Offre una procedura robusta per ricercatori e praticanti che utilizzano l'analisi fattoriale, specialmente in contesti con campioni limitati o strutture fattoriali complesse, garantendo stime affidabili e inferenze statistiche valide.
• Estendibilità: Il framework è applicabile anche all'analisi fattoriale confermativa (CFA) e può essere esteso ad altri modelli (es. modelli logistici per dati binari) dove si verificano stime infinite.

In sintesi, gli autori propongono un metodo che combina la robustezza necessaria per gestire i casi limite (Heywood) con l'efficienza statistica della massima verosimiglianza classica, rendendo l'analisi fattoriale più affidabile in scenari reali.