A constrained iteratively-reweighted least-squares framework for generalised linear models

1. O Problema

Os Modelos Lineares Generalizados (GLMs) são ferramentas estatísticas ubíquas em diversas ciências. No entanto, em muitas aplicações práticas, é desejável ou necessário impor restrições lineares aos coeficientes do modelo. Exemplos incluem:

• Restrições de não-negatividade: Coeficientes que devem ser positivos (ex: concentrações de poluentes).
• Restrições de monotonicidade: Relações que devem ser estritamente crescentes ou decrescentes (ex: dose-resposta).
• Dados composicionais: Variáveis que somam uma constante (ex: proporções de orçamento), exigindo restrições de soma zero.
• Seleção de variáveis: Como no Lasso.

Apesar da utilidade, a implementação de GLMs com restrições enfrenta barreiras significativas:

1. Falta de um framework unificado para estimação, inferência e seleção de modelos.
2. Algoritmos existentes são frequentemente limitados a modelos lineares ou carecem de eficiência computacional.
3. A inferência estatística padrão (intervalos de confiança, testes) torna-se inválida quando restrições são aplicadas, pois a distribuição assintótica normal padrão não se aplica a estimadores truncados.
4. Deficiência de software acessível para a comunidade de pesquisa.

2. Metodologia

O artigo propõe um framework unificado baseado no algoritmo CIRLS (Constrained Iteratively-Reweighted Least-Squares - Mínimos Quadrados Iterativamente Ponderados com Restrições).

A. Algoritmo de Estimação (CIRLS)

O CIRLS estende o algoritmo IRLS padrão usado em GLMs. Em cada iteração do IRLS, o problema de atualização dos coeficientes $\beta$ é formulado como um Programa Quadrático (QP) sujeito a restrições lineares:
$$\min_{\beta} (\mathbf{z} - \mathbf{X}\beta)^T \mathbf{W} (\mathbf{z} - \mathbf{X}\beta) \quad \text{sujeito a} \quad \mathbf{l} \leq \mathbf{C}\beta \leq \mathbf{u}$$
Onde $\mathbf{z}$ é o vetor de pseudo-resposta e $\mathbf{W}$ a matriz de pesos. O algoritmo utiliza métodos eficientes de programação quadrática (como o algoritmo dual de Goldfarb e Idnani) para garantir convergência rápida e estabilidade, tratando o CIRLS como um caso particular de Programação Quadrática Sequencial (SQP).

B. Inferência Estatística

Devido às restrições, a distribuição dos coeficientes estimados não é mais uma Normal Multivariada padrão, mas uma Distribuição Normal Multivariada Truncada (TMVN).

• O framework utiliza a propriedade de que a transformação linear dos coeficientes $\mathbf{C}\hat{\beta}$ segue uma TMVN.
• Para calcular intervalos de confiança e momentos, o método emprega amostragem por importância (especificamente o método de exponential tilting de Botev) para simular da distribuição TMVN, permitindo a obtenção de estatísticas robustas mesmo em dimensões altas.
• Reconhece-se que o estimador restrito é viesado (bias), mas possui variância reduzida, oferecendo um compromisso (trade-off) que pode melhorar o erro quadrático médio (RMSE).

C. Graus de Liberdade e Seleção de Modelos

O papel propõe duas métricas para quantificar a complexidade do modelo restrito, essenciais para critérios como AIC e BIC:

1. Graus de Liberdade Observados (odf): Baseado no número de restrições ativas na solução final. Pode ser instável e superestimar a redução de complexidade.
2. Graus de Liberdade Esperados (edf): Calculado como $p - \sum k \cdot P(m_a = k)$, onde $m_a$ é o número de restrições ativas. Esta métrica considera a probabilidade de ativação das restrições, fornecendo uma estimativa mais estável e menos enviesada da complexidade do modelo, especialmente perto dos limites da região viável.

3. Contribuições Principais

1. Framework Unificado: Uma abordagem geral para GLMs com restrições lineares que cobre estimação, inferência e seleção de modelos.
2. Algoritmo Eficiente: O CIRLS oferece convergência rápida e estabilidade computacional, superando barreiras práticas de aplicação.
3. Inferência Corrigida: Desenvolvimento de procedimentos de inferência baseados em TMVN e simulação, corrigindo a validade dos intervalos de confiança que falhariam com métodos assintóticos padrão.
4. Implementação de Software: Criação do pacote R cirls, que integra o algoritmo na função padrão glm() do R, facilitando a adoção por estatísticos e pesquisadores. O pacote inclui funções para especificação de restrições, cálculo de graus de liberdade esperados e intervalos de confiança.

4. Resultados

O estudo apresenta simulações extensivas e dois estudos de caso reais:

• Estudos de Simulação:

  • Erro de Estimação: O CIRLS demonstrou reduzir o RMSE em comparação com GLMs não restritos, mesmo quando as restrições eram ligeiramente incorretas (o verdadeiro parâmetro estava fora da região viável, mas próximo). O ganho vem da redução da variância, compensando o viés introduzido.
  • Inferência: Os intervalos de confiança baseados na TMVN atingiram cobertura próxima ao nível nominal (95%) quando as restrições eram viáveis. A correção de viés melhorou a cobertura em cenários de restrições excessivas.
  • Graus de Liberdade: A métrica edf mostrou-se superior ao odf na estimativa da complexidade real do modelo, apresentando menor variância e melhor desempenho em cenários com múltiplas restrições.

• Estudos de Caso Reais:

  1. Anomalia de Temperatura Global: Aplicação de regressão monótona (não decrescente) para estimar o aquecimento global entre 1850 e 2015. O modelo restrito suavizou o ajuste, eliminando flutuações não físicas e fornecendo uma estimativa mais estável da tendência de aumento, com intervalos de confiança que respeitam a monotonicidade.
  2. Composição do PIB e Expectativa de Vida: Análise de dados composicionais de 27 países da UE. O modelo estimou como a proporção de gastos em diferentes setores (agricultura, saúde, transporte, etc.) afeta a expectativa de vida, impondo a restrição de soma zero. Isso permitiu interpretações diretas sem depender da escolha de uma variável de referência arbitrária (comum em abordagens de log-ratio).

5. Significado e Conclusão

O trabalho preenche uma lacuna crítica na estatística aplicada ao fornecer uma solução prática e computacionalmente viável para GLMs restritos.

• Flexibilidade: Permite incorporar conhecimento prévio (físico, biológico ou lógico) diretamente na modelagem, melhorando a interpretabilidade e a precisão das estimativas.
• Acessibilidade: A implementação no R democratiza o uso de técnicas avançadas de otimização restrita, permitindo que pesquisadores em áreas como epidemiologia, ciências ambientais e economia apliquem esses métodos sem necessidade de programação complexa.
• Limitações e Futuro: O artigo reconhece limitações atuais, como a dificuldade de inferência quando o número de restrições excede o número de parâmetros ($m > p$) e a necessidade de testes de hipóteses para as próprias restrições. O trabalho sugere o uso de Bootstrap paramétrico ou métodos condicionais para futuras extensões.

Em suma, o framework CIRLS representa um avanço significativo na capacidade de modelar relações complexas com restrições, oferecendo um equilíbrio entre viabilidade computacional, rigor estatístico e facilidade de uso.