Functional Liu Regression for Scalar-on-Functional Models in High-Dimensional Settings

Resumo Técnico: Regressão de Liu Funcional para Modelos Escalar-sobre-Funcional em Cenários de Alta Dimensionalidade

Declaração do Problema
A regressão escalar-sobre-funcional, um componente central da Análise de Dados Funcionais (FDA), modela uma resposta escalar dependente de um ou mais preditores funcionais definidos sobre um contínuo (por exemplo, tempo ou espaço). Embora flexível, essa abordagem enfrenta desafios significativos quando os preditores são discretizados ou expandidos em funções de base. A estrutura suave dos dados funcionais induz forte multicolinearidade entre os regressores resultantes, levando a matrizes de projeto mal condicionadas ou singulares. Em cenários de alta dimensionalidade onde o número de coeficientes de base ($m$) se aproxima ou excede o tamanho da amostra ($n$), as estimativas de Mínimos Quadrados Ordinários (OLS) tornam-se instáveis com variância inflada. Embora a regressão ridge e penalidades de suavidade (por exemplo, regularização de Tikhonov) ofereçam estabilização, elas aplicam contração uniforme ou restrições de suavidade específicas que podem não equilibrar otimamente viés e variância em todas as direções. Além disso, critérios de ajuste padrão como Validação Cruzada Generalizada (GCV) e Validação Cruzada Leave-One-Out (LOO-CV) foram observados a falhar em regimes subdeterminados, contudo as razões teóricas para essa falha em contextos do tipo Liu permanecem pouco exploradas.

Metodologia
O artigo propõe um estimador de contração do tipo Liu funcional (fLiu) projetado para abordar a multicolinearidade e a instabilidade na regressão escalar-sobre-funcional. A metodologia procede da seguinte forma:

1. Formulação do Modelo: O modelo escalar-sobre-funcional é aproximado via uma expansão truncada de base (por exemplo, B-splines ou base de Fourier), transformando o problema de dimensão infinita em um modelo linear de dimensão finita $y = Zb + \epsilon$, onde $Z$ é a matriz de projeto e $b$ representa os coeficientes de base.
2. Estrutura de Penalidade Híbrida: Para lidar tanto com a singularidade quanto com a suavidade, os autores definem uma matriz de penalidade híbrida $Q_{\lambda, \alpha} = \lambda(\alpha I + (1-\alpha)R)$, onde $R$ é uma matriz de penalidade de suavidade (penalizando curvatura) e $I$ é a matriz identidade. O parâmetro $\lambda$ controla a magnitude geral da regularização, enquanto $\alpha$ equilibra a contração ridge isotrópica contra a rugosidade dependente da base.
3. O Estimador fLiu: O estimador proposto minimiza um critério penalizado centrado:
   $$J_{\lambda, d, \alpha}(b) = \|y - Zb\|^2 + (b - d\hat{b}_{LS})^\top Q (b - d\hat{b}_{LS})$$
   Isso produz a solução de forma fechada:
   $$\hat{b}_{fLiu} = (S + Q)^{-1}(Z^\top y + dQ\hat{b}_{LS})$$
   onde $S = Z^\top Z$, $\hat{b}_{LS}$ é o estimador OLS, e $d$ é o parâmetro de viés do tipo Liu.
   • Papel dos Parâmetros: $\lambda$ e $\alpha$ governam a geometria e a magnitude da penalidade (estabilidade e suavidade), enquanto $d$ controla o trade-off viés-variância em relação ao OLS. Quando $d=1$, o estimador reduz-se ao OLS; quando $d=0$, reduz-se ao estimador ridge generalizado.
4. Seleção de Parâmetros:
   • Caso Sobredeterminado ($n \ge m$): Os autores empregam otimização contínua (utilizando SLSQP e diferenciação automática) para minimizar critérios GCV ou PRESS/LOO-CV sobre os três parâmetros $(\lambda, d, \alpha)$.
   • Caso Subdeterminado ($n < m$): O artigo deriva um resultado teórico mostrando que GCV e PRESS tornam-se constantes em relação a $d$ neste regime, tornando-os não informativos para o ajuste de $d$. Para abordar isso, uma regra de ajuste plug-in é proposta, derivando um $d$ ótimo explícito minimizando a decomposição do Erro Quadrático Médio (MSE) usando estimativas empíricas de viés e variância.

Principais Contribuições

• Extensão Teórica: O estudo estende o estimador clássico de Liu (Liu 1993) para o cenário funcional, integrando contração direcional com regularização de suavidade.
• Análise de Risco: Uma decomposição explícita de MSE é derivada, provando que o risco do estimador fLiu é uma função quadrática convexa do parâmetro $d$. Isso estabelece a existência de um $d$ ótimo único que domina o OLS em termos de MSE sob condições específicas.
• Insight de Alta Dimensionalidade: O artigo fornece uma explicação teórica para a falha de GCV e LOO-CV em cenários funcionais subdeterminados. Ele prova que, para matrizes de projeto de posto de linha completo, esses critérios são independentes do parâmetro Liu $d$, explicando por que a literatura existente do tipo Liu focou predominantemente em regimes sobredeterminados.
• Implementação Prática: Os autores desenvolveram o pacote Python fLiu.py (e utilizaram o pacote R fda) para implementar o estimador, utilizando diferenciação automática para resolver eficientemente o problema de otimização não convexo para seleção de parâmetros.

Resultados Empíricos
A metodologia foi avaliada usando o conjunto de dados climáticos do Canadá (35 estações, prevendo precipitação anual a partir de curvas de temperatura).

• Cenário Sobredeterminado ($K=11$ funções de base): O estimador fLiu alcançou o menor valor de Validação Cruzada Generalizada (GCV) e a menor perda de previsão no conjunto de teste (0,0203) em comparação com OLS, Ridge, Liu clássico e Ridge Generalizado. Ele demonstrou um trade-off viés-variância favorável, produzindo estimativas de coeficientes estáveis que capturaram padrões sazonais sem sobreajuste.
• Cenário Subdeterminado ($K=35$ funções de base): Neste regime de alta dimensionalidade, a curva GCV foi observada como plana em relação a $d$, confirmando a degeneração teórica. A regra de ajuste plug-in forneceu com sucesso uma escolha orientada por dados para $d$, superando escolhas arbitrárias (como $d=0$) e demonstrando a necessidade de estratégias de ajuste alternativas quando $n < m$.

Significado e Alegações
O artigo afirma que o estimador fLiu oferece uma alternativa principiante, flexível e estável aos métodos existentes de regressão funcional penalizada. Ao desacoplar a imposição de suavidade/estabilidade ($\lambda, \alpha$) do ajuste de viés-variância ($d$), o método fornece controle adicional sobre o processo de estimação.

Os autores afirmam modestamente que o estudo:

1. Esclarece o comportamento teórico de estimadores do tipo Liu em cenários funcionais, especificamente regarding decomposição de risco e seleção de parâmetros.
2. Identifica e explica as limitações de critérios padrão de validação cruzada em regressão funcional de alta dimensionalidade, motivando o uso de regras plug-in em tais cenários.
3. Demonstra, através de análise empírica, que o método proposto produz precisão preditiva competitiva e funções de coeficientes interpretáveis, particularmente na presença de forte multicolinearidade.

O artigo conclui que, embora o estimador fLiu seja uma adição significativa à classe de métodos de regressão funcional penalizada, trabalhos futuros poderiam explorar extensões para regressão funcional-sobre-funcional, análise teórica das propriedades do estimador plug-in e a incorporação de esparsidade para múltiplos preditores correlacionados.