Maximum softly penalised likelihood in factor analysis

1. El Problema: Casos Heywood en el Análisis Factorial Exploratorio

El análisis factorial exploratorio (AFE) es una herramienta fundamental en ciencias sociales y otras disciplinas para medir constructos latentes y reducir la dimensionalidad. Sin embargo, la estimación mediante Máxima Verosimilitud (MV) a menudo conduce a soluciones impropias conocidas como casos Heywood.

• Definición: Un caso Heywood ocurre cuando las estimaciones de las varianzas de error ($\psi_j$) son cero o negativas, o cuando las correlaciones estimadas exceden 1 en valor absoluto.
• Tipos:
  • Heywood exacto: Al menos una varianza de error es cero.
  • Ultra-Heywood: Al menos una varianza de error es negativa.
• Consecuencias: Estos casos provocan fallos en la convergencia de los algoritmos de optimización numérica, estimaciones de puntuaciones factoriales sesgadas, errores estándar no confiables y problemas en la selección de modelos.
• Causas: Se atribuyen a fluctuaciones de muestreo, tamaños de muestra pequeños, especificación incorrecta del modelo, valores atípicos, o parámetros verdaderos cercanos al límite del espacio de parámetros.
• Soluciones existentes y sus limitaciones:
  • Restringir las varianzas a $[0, \infty)$ viola las condiciones de regularidad de la MV, dificultando la inferencia asintótica.
  • Enfoques bayesianos o penalizaciones "vanilla" (como las propuestas por Akaike, 1987, y Hirose et al., 2011) eliminan los casos Heywood pero introducen un sesgo considerable en muestras finitas y pueden afectar negativamente la selección de modelos si la penalización no se escala adecuadamente.

2. Metodología: Máxima Verosimilitud Suavemente Penalizada (MSPL)

Los autores proponen un marco de Máxima Verosimilitud Suavemente Penalizada (MSPL). La idea central es añadir una función de penalización $P^*(\theta)$ a la función de log-verosimilitud $\ell(\theta; S)$ para asegurar que el estimador se mantenga en el interior del espacio de parámetros, pero con una penalización que se desvanezca asintóticamente para no comprometer las propiedades óptimas del estimador de MV.

La función objetivo es:
$$\ell^*(\theta; S) = \ell(\theta; S) + P^*(\theta)$$

Condiciones para la Existencia (Teorema 4.1)

Se derivan condiciones suficientes para la función de penalización $P^*$ que garantizan que el estimador exista en el interior del espacio de parámetros (evitando casos Heywood):

1. Continuidad: $P^*$ debe ser continua.
2. Cota Superior: $P^*$ debe estar acotada superiormente.
3. Divergencia al Límite: Si una secuencia de parámetros se acerca al límite del espacio (donde alguna varianza tiende a 0) pero la matriz de covarianza sigue siendo definida positiva, la penalización debe tender a $-\infty$.

Se demuestra que las penalizaciones propuestas por Akaike (1987) y Hirose et al. (2011) satisfacen estas condiciones, garantizando teóricamente la ausencia de casos Heywood.

Escalamiento Suave (Soft Penalisation)

El aporte metodológico clave es la introducción de un factor de escala $c_n$ en la penalización:
$$P^*(\theta) = c_n P(\theta)$$
Para preservar las propiedades asintóticas de la MV (consistencia y normalidad asintótica), el término de penalización debe ser asintóticamente despreciable en relación con la información acumulada.

• Los autores proponen que $c_n = O(n^{-1/2})$.
• Específicamente, para las penalizaciones de Akaike y Hirose, se sugiere escalar el parámetro de penalización $\rho$ como $\rho = 2\sqrt{2/n^3}$.
• Esto asegura que, aunque la penalización evita los casos Heywood en muestras finitas, su influencia en la estimación desaparece a medida que $n \to \infty$, recuperando la eficiencia de la MV.

3. Contribuciones Clave

1. Prueba Formal de Existencia: Por primera vez, se demuestra formalmente que las penalizaciones de Akaike (1987) y Hirose et al. (2011) satisfacen las condiciones necesarias para garantizar la existencia de estimadores en el interior del espacio de parámetros, eliminando matemáticamente los casos Heywood.
2. Propiedades Asintóticas: Se establecen condiciones bajo las cuales los estimadores MSPL son consistentes y asintóticamente normales. Se demuestra que, con un escalamiento suave ($O(n^{-1/2})$), los estimadores MSPL convergen a la misma distribución asintótica que los estimadores de MV, preservando la eficiencia óptima.
3. Propiedades de Equivariancia: Se confirma que las penalizaciones propuestas mantienen las propiedades de equivariancia de la MV bajo reescalado de los datos y rotación de los factores, lo cual es crucial para la interpretación en AFE.
4. Marco Unificado: Se proporciona una guía teórica para escalar penalizaciones existentes, transformando métodos que originalmente podían tener sesgos finitos en procedimientos con propiedades estadísticas óptimas.

4. Resultados Empíricos

Los autores validan su propuesta mediante estudios de simulación exhaustivos y análisis de datos reales.

Estudios de Simulación

• Manejo de Casos Heywood: Mientras que la MV produce un porcentaje significativo de casos Heywood (especialmente en muestras pequeñas o con cargas factoriales bajas), los estimadores MSPL eliminan casi por completo estos casos.
• Sesgo y Error Cuadrático Medio (RMSE):
  • Las versiones "vanilla" de las penalizaciones (sin escalamiento suave, $\rho$ fijo) muestran un sesgo considerable y una subestimación sistemática de las cargas factoriales y varianzas.
  • Los estimadores MSPL (con escalamiento $n^{-1/2}$) exhiben un sesgo mínimo y un RMSE comparable o superior al de la MV, manteniéndose cercanos a cero a medida que aumenta el tamaño de la muestra.
• Selección de Modelos (AIC/BIC):
  • La selección de modelos basada en AIC y BIC utilizando estimadores MSPL funciona correctamente, seleccionando el número verdadero de factores con alta probabilidad a medida que $n$ crece.
  • En contraste, las penalizaciones "vanilla" (fuerza de penalización constante) deterioran el rendimiento de la selección de modelos, a menudo subestimando el número de factores debido al exceso de penalización.

Datos Reales

Se analizaron tres conjuntos de datos clásicos (Davis, Emmett, Maxwell) donde la MV había fallado previamente produciendo casos Heywood (varianzas negativas o comunidades excesivamente grandes).

• Resultado: El método MSPL resolvió todos los casos Heywood, produciendo estimaciones de varianzas positivas y comunidades razonables.
• Comparación: Las estimaciones MSPL fueron muy similares a las de la MV en los casos donde la MV no fallaba, pero proporcionaron soluciones estables y válidas donde la MV fallaba, sin alterar significativamente los criterios de información (AIC/BIC).

5. Significado e Impacto

Este trabajo es fundamental para la práctica del análisis factorial por varias razones:

• Robustez Práctica: Ofrece una solución robusta y teóricamente fundamentada a un problema persistente (casos Heywood) que a menudo obliga a los investigadores a descartar datos o modificar modelos de manera ad hoc.
• Equilibrio Teórico-Práctico: Logra el equilibrio difícil entre la necesidad de estabilidad en muestras finitas (evitando soluciones impropias) y la necesidad de eficiencia asintótica (manteniendo las propiedades óptimas de la MV).
• Mejora de la Inferencia: Al evitar estimaciones en la frontera, se restaura la validez de los procedimientos de inferencia estándar (pruebas de hipótesis, intervalos de confianza) que suelen fallar cuando hay casos Heywood.
• Generalización: El marco propuesto no solo se aplica al análisis factorial lineal normal, sino que sugiere vías para extenderse a modelos confirmatorios y otros tipos de modelos de variables latentes (como modelos logísticos), donde los casos de estimaciones infinitas o impropias también son comunes.

En resumen, los autores demuestran que la Máxima Verosimilitud Suavemente Penalizada es un enfoque superior al uso de penalizaciones fijas o restricciones duras, proporcionando estimadores que son a la vez estables en muestras finitas y óptimos asintóticamente.