Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

Resumo Técnico: Regressão de Mínimos Quadrados Parciais Híbrida com Múltiplos Preditores Funcionais e Escalares

1. Definição do Problema

O artigo aborda o desafio da redução de dimensionalidade supervisionada e regressão em cenários onde a variável resposta é influenciada por uma mistura de covariáveis escalares e múltiplos preditores funcionais (curvas). Este cenário híbrido, formalizado como um Modelo Linear Parcialmente Funcional (PFLM), apresenta duas dificuldades primárias:

1. Parsimônia: A necessidade de representações interpretáveis e de baixa dimensão, particularmente quando são exigidas regras de decisão clínica.
2. Multicolinearidade: A presença de dependências complexas em quatro níveis: (i) correlações intra-funcionais, (ii) correlações entre funções, (iii) correlações entre preditores escalares e (iv) correlações intermodais entre preditores funcionais e escalares.

Métodos existentes frequentemente falham em abordar essas questões simultaneamente. Métços euclidianos de alta dimensão (ex: Lasso, SCAD) assumem estruturas de dados homogêneas. Métodos de regressão funcional tipicamente focam em preditores funcionais únicos ou utilizam procedimentos de dois estágios (ex: converter dados funcionais em representações de dimensão finita via PCA não supervisionada, seguido de regressão) que ignoram correlações entre modalidades e tratam as representações funcionais como agnósticas à resposta.

2. Metodologia: PLS Híbrido

Os autores propõem o Mínimos Quadrados Parciais Híbrido (Hybrid PLS), um framework que unifica preditores funcionais e escalares em uma única estrutura matemática para realizar a redução de dimensionalidade supervisionada.

A. Espaço de Hilbert Híbrido Unificado
O método constró o espaço produto $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$ para tratar preditores funcionais e escalares conjuntamente. Um elemento $h \in \mathcal{H}$ é uma tupla ordenada $(f_1, \dots, f_K, u)$. O produto interno é definido como:
$$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$$
onde $\omega$ é um parâmetro de peso que equilibra as escalas dos componentes funcionais e escalares. Isso permite a extensão do algoritmo de Mínimos Quadrados Parciais Iterativo Não Linear (NIPALS) para o cenário híbrido.

B. Algoritmo ao Nível da População
Ao nível da população, o método busca direções de PLS $\xi$ que maximizam a covariância quadrada entre o preditor $W$ e a resposta $Y$, sujeito a restrições de ortogonalidade. Os autores estabelecem que o problema de otimização é equivalente a encontrar os autofunções de um operador composto $U = \Sigma_{YW} \otimes \Sigma_{YW}$, garantindo que o problema seja bem posto sob condições de momento suaves. O algoritmo garante a ortogonalidade dos escores latentes e dos resíduos não correlacionados.

C. Implementação ao Nível da Amostra
O algoritmo de amostra proposto (Algoritmo 3) alterna entre dois passos:

1. Estimativa Regularizada das Direções de PLS: Para evitar o sobreajuste (overfitting) e garantir a suavidade (crucial para dados funcionais), a direção de PLS $\hat{\xi}$ é estimada maximizando a covariância empírica sujeita a uma penalidade de rugosidade nas segundas derivadas dos componentes funcionais. Isso leva a um problema de quociente de Rayleigh generalizado.
   • Insight Computacional Chave: Devido à estrutura de posto único da matriz de covariância, os autores derivam uma solução em forma fechada que requer apenas a resolução de sistemas lineares. Isso evita a instabilidade computacional frequentemente associada a problemas de autovalores generalizados.
2. Residualização: Tanto os preditores quanto a resposta são residualizados contra os escores estimados, espelhando o procedimento NIPALS padrão, mas dentro do espaço de Hilbert híbrido.

D. Estimativa Final
O coeficiente de regressão $\hat{\beta}$ é reconstruído como uma combinação linear das direções de PLS estimadas, ajustada pelos passos de residualização para garantir consistência com o modelo original.

3. Principais Contribuições

• Extensão Teórica: Estende rigorosamente o algoritmo NIPALS para um cenário híbrido envolvendo múltiplos preditores funcionais e escalares ao definir um espaço de Hilbert unificado e provar a existência de um sistema completo de autofunções ortonormais para o operador associado.
• Eficiência Algorítmica: Deriva uma solução em forma fechada computacionalmente eficiente para os passos iterativos regularizados, tornando o método escalável para dados funcionais densos ou irregulares.
• Propriedades Geométricas: Estabelece que o framework proposto preserva as propriedades geométricas centrais do PLS, especificamente a ortogonalidade das direções de PLS (sob um produto interno sensível à rugosidade) e a ortogonalidade dos escores latentes.
• Tratamento de Correlação Intermodal: Ao contrário das abordagens de PFLM de dois estágios, o Hybrid PLS modela explicitamente as dependências conjuntas entre preditores funcionais e escalares, evitando a perda de informação preditiva contida nas correlações entre modalidades.

4. Resultados

Estudos Numéricos:

• Validação Geométrica: Simulações confirmaram que as propriedades de ortogonalidade (entre direções, escores e resíduos) sustentam-se robustamente através de diferentes intensidades de regularização, com desvios na ordem de $10^{-11}$ a $10^{-16}$.
• Poder Preditivo vs. Parsimônia: Em cenários sintéticos envolvendo variância dominante não preditiva (fatores de incômodo/nuisance) e fortes correlações intermodais, o Hybrid PLS superou significativamente a Regressão de Componentes Principais (PCR). O Hybrid PLS identificou o sinal preditivo no primeiro componente, enquanto o PCR foi induzido ao erro por fatores de incômodo de alta variância, resultando em maior erro e representações redundantes.
• Estimativa de Coeficientes: Análises de sensibilidade mostraram que as penalidades de rugosidade controlam efetivamente o erro de estimativa tanto para coeficientes funcionais quanto escalares, com parâmetros de regularização selecionados via validação cruzada.

Aplicação em Dados Reais (Estudo Renal da Emory University):

• O método foi aplicado a um conjunto de dados de 216 rins com duas curvas de renograma funcionais (basal e pós-furosemida) e 14 covariáveis farmacocinéticas escalares.
• Desempenho: O Hybrid PLS alcançou um Erro Quadrático Médio (RMSE) de teste menor e maior estabilidade do que a Regressão Funcional Penalizada (PFR) e a OLS apenas escalar.
• Eficiência: Igualou o poder preditivo do PCR, mas com muito mais parsimônia. Enquanto o PCR exigia $3L$ componentes (extraindo $L$ de cada uma das três fontes) para atingir precisão semelhante, o Hybrid PLS alcançou desempenho comparável com apenas $L$ componentes.
• Interpretabilidade: O primeiro componente latente extraído pelo Hybrid PLS alinhou-se ao conhecimento clínico de obstrução renal (ex: distinguindo padrões de acúmulo vs. drenagem), enquanto o PCR exibiu correlações potencialmente redundantes entre seus escores de componentes através das modalidades.

5. Significância e Alegações

O artigo afirma que o Hybrid PLS fornece um framework parsimonioso e robusto para regressão na presença de modalidades de dados mistas. Ao incorporar preditores funcionais e escalares em um espaço unificado, o método:

1. Mitiga a Multicolinearidade: Lida efetivamente com as complexas correlações intermodais que degradam o desempenho de abordagens padrão de dois estágios.
2. Preserva a Estrutura Preditiva: Extrai componentes latentes que maximizam a covariância com a resposta, garantindo que representações de baixa dimensão mantenham o poder preditivo mesmo quando a variância primária nos dados é não preditiva.
3. Garante a Viabilidade Computacional: A solução em forma fechada permite computação eficiente sem sacrificar as garantias teóricas de ortogonalidade e suavidade.

Os autores concluem que esta abordagem unificada é particularmente valiosa em contextos biomédicos, como o de imagem renal, onde a combinação de trajetórias funcionais completas com resumos escalares produz modelos preditivos superiores aos métodos que tratam esses tipos de dados separadamente ou sequencialmente. Trabalhos futuros sugeridos incluem a derivação de taxas de convergência teórica e limites de otimalidade minimax.