Maximum softly penalised likelihood in factor analysis

1. O Problema: Casos Heywood na Análise Fatorial Exploratória

A análise fatorial exploratória (AFE) é amplamente utilizada para medir construtos latentes e reduzir a dimensionalidade. No entanto, a estimação por máxima verossimilhança (MV) frequentemente resulta em soluções impróprias, conhecidas como Casos Heywood.

• Definição: Um caso Heywood ocorre quando as estimativas das variâncias dos erros ($\psi_j$) são zero ou negativas, ou quando as correlações estimadas excedem 1 em valor absoluto.
• Causas: Flutuações amostrais, tamanhos de amostra pequenos, má especificação do modelo, outliers, ou valores verdadeiros próximos à fronteira do espaço paramétrico.
• Consequências:
  • Falhas na convergência de algoritmos de otimização numérica.
  • Estimativas de parâmetros, erros padrão e escores fatoriais não confiáveis.
  • Viés nas estimativas e inferências enganosas.
  • Abordagens comuns, como forçar variâncias negativas para zero ou restringir o espaço paramétrico, violam condições de regularidade da MV, tornando as propriedades assintóticas dos estimadores difíceis de avaliar.

2. Metodologia: A Abordagem de Máxima Verossimilhança Suavemente Penalizada (MSPL)

Os autores propõem um novo quadro teórico e prático chamado Máxima Verossimilhança Suavemente Penalizada (MSPL). A ideia central é adicionar uma função de penalidade à log-verossimilhança para garantir que as estimativas permaneçam no interior do espaço paramétrico (variâncias estritamente positivas), mas de forma que essa penalidade se torne assintoticamente negligenciável.

A Função de Penalidade

O estimador MSPL, $\tilde{\theta}$, é definido como:
$$\tilde{\theta} = \arg \max_{\theta \in \Theta} \{ \ell(\theta; S) + P^*(\theta; S) \}$$
Onde $\ell$ é a log-verossimilhança perfilada e $P^*$ é a função de penalidade.

O artigo foca em duas penalidades existentes propostas por Akaike (1987) e Hirose et al. (2011), que possuem propriedades de equivariância desejáveis (invariância sob escalonamento dos dados e rotação dos fatores):

1. Penalidade de Akaike: $P^*(\theta) = -\frac{\rho n}{2} \text{tr}(\Psi^{-1/2}\Lambda\Lambda^\top\Psi^{-1/2})$
2. Penalidade de Hirose: $P^*(\theta) = -\frac{\rho n}{2} \text{tr}(\Psi^{-1/2}S\Psi^{-1/2})$

O Conceito de "Suavidade" (Soft Penalisation)

O contributo crucial do artigo é a derivação de uma taxa de decaimento adequada para o parâmetro de penalidade $\rho$.

• Penalidades "vanilla" (com $\rho$ fixo, não decrescente) resolvem o problema de existência, mas introduzem um viés significativo em amostras finitas e afetam negativamente a seleção de modelos.
• A abordagem MSPL exige que a penalidade seja "suave", ou seja, que a força da penalidade diminua à medida que a informação sobre os parâmetros se acumula com o aumento do tamanho da amostra ($n$).
• Os autores derivam que a escolha adequada é $\rho = 2\sqrt{2/n^3}$ (ou equivalentemente, o termo de penalidade total deve ser da ordem $O_p(n^{-1/2})$). Isso garante que a penalidade seja $o_p(\sqrt{n})$, permitindo que o estimador herde as propriedades assintóticas ótimas da MV.

3. Principais Contribuições Teóricas

O artigo estabelece rigorosamente as condições sob as quais a MSPL funciona:

1. Existência de Estimadores (Teorema 4.1):

   • São derivadas condições suficientes para que o estimador de máxima verossimilhança penalizada (MPL) exista no interior do espaço paramétrico.
   • Condição chave: A penalidade deve divergir para $-\infty$ quando qualquer variância de erro se aproxima de zero (desde que a matriz de covariância total permaneça definida positiva).
   • Resultado: Prova-se formalmente, pela primeira vez, que as penalidades de Akaike e Hirose satisfazem essas condições, garantindo que nenhum caso Heywood ocorra (todas as variâncias estimadas serão estritamente positivas).

2. Consistência e Normalidade Assintótica (Teoremas 5.1 e 5.2):

   • Demonstra-se que, sob a penalização suave (escalonamento adequado), os estimadores MSPL são consistentes e assintoticamente normais.
   • O estimador MSPL converge para o verdadeiro parâmetro (ou para o "menos falso" em caso de má especificação) na mesma taxa $\sqrt{n}$ do estimador de máxima verossimilhança (MV).
   • Isso significa que a MSPL não sacrifica a eficiência assintótica para ganhar estabilidade numérica.

3. Propriedades de Equivariância:

   • Confirma-se que as penalidades propostas mantêm a equivariância sob escalonamento dos dados e rotação dos fatores, propriedades essenciais para a análise fatorial exploratória.

4. Resultados Empíricos (Simulações e Dados Reais)

Os autores validaram a teoria através de estudos de simulação extensivos e análise de conjuntos de dados reais (Davis, Emmett e Maxwell).

• Desempenho em Casos Heywood:

  • A MV padrão falha frequentemente, produzindo casos Heywood, especialmente em amostras pequenas ou com baixa razão item-fator.
  • A MSPL elimina quase totalmente a ocorrência de casos Heywood, mesmo em cenários difíceis.

• Propriedades de Amostra Finita (Viés e RMSE):

  • Penalizações "Vanilla" (não escalonadas): Introduzem um viés considerável e subestimam consistentemente as cargas fatoriais e variâncias.
  • MSPL (escalada suavemente): Apresentam viés e erro quadrático médio (RMSE) muito baixos, comparáveis à MV quando esta converge, mas com a vantagem de sempre existir. A probabilidade de subestimação é bem calibrada (próxima de 0.5).

• Seleção de Modelo (AIC e BIC):

  • A seleção do número de fatores baseada em MSPL (usando AIC/BIC calculados na verossimilhança não penalizada, mas avaliada nos estimadores MSPL) supera a MV em amostras pequenas, onde a MV falha.
  • Penalidades fortes (não suaves) degradam o desempenho da seleção de modelos, levando à subestimação do número de fatores.

• Dados Reais:

  • Em três conjuntos de dados clássicos onde a MV produziu casos Heywood (variâncias negativas ou comunidades atípicas), a MSPL forneceu estimativas de variâncias positivas e razoáveis, sem alterar significativamente os valores de AIC/BIC ou as conclusões do modelo.

5. Significado e Conclusão

O artigo oferece uma solução definitiva e teoricamente fundamentada para o problema persistente dos Casos Heywood na análise fatorial.

• Inovação: A distinção entre penalização "dura" (que corrige o problema mas introduz viés) e "suave" (que corrige o problema mantendo as propriedades ótimas da MV) é o avanço central.
• Aplicabilidade Prática: O método MSPL permite que pesquisadores utilizem procedimentos de inferência padrão (erros padrão, testes de hipóteses, seleção de modelos) sem se preocupar com falhas de convergência ou soluções impróprias, mesmo em amostras pequenas.
• Extensibilidade: Embora focado na análise fatorial linear normal, a estrutura teórica pode ser estendida para outros modelos, como análise fatorial logística ou modelos de resposta ao item, onde estimativas infinitas também são um problema comum.

Em resumo, a MSPL permite que a análise fatorial explore dados complexos com a robustez de métodos bayesianos (evitando soluções impróprias), mas com as propriedades frequentistas ótimas da máxima verossimilhança.