Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

Technische Samenvatting: Hybride Partiële Least Squares Regressie met Meerdere Functionele en Scalaire Predictoren

1. Probleemstelling

Het artikel behandelt de uitdaging van supervised dimensiereductie en regressie in situaties waarin de respons variabele wordt beïnvloed door een mengeling van scalaire covariaten en meerdere functionele predictoren (curven). Deze hybride setting, geformaliseerd als een Gedeeltelijk Functioneel Lineair Model (PFLM), presenteert twee primaire moeilijkheden:

1. Parsimonie: De noodzaak voor interpreteerbare, laagdimensionale representaties, met name wanneer klinische beslissingsregels vereist zijn.
2. Multicollineariteit: De aanwezigheid van complexe afhankelijkheden op vier niveaus: (i) binnen-functionele correlaties, (ii) tussen-functionele correlaties, (iii) correlaties tussen scalaire predictoren, en (iv) intermodale correlaties tussen functionele en scalaire predictoren.

Bestaande methoden falen vaak in het gelijktijdig aanpakken van deze kwesties. Hoogdimensionale Euclidische methoden (bijv. Lasso, SCAD) gaan uit van homogene datastructuren. Functionele regressiemethoden richten zich doorgaans op enkelvoudige functionele predictoren of maken gebruik van twee-fasen procedures (bijv. het omzetten van functionele data naar einddimensionale representaties via ongesuperviseerde PCA, gevolgd door regressie) die cross-modale correlaties negeren en functionele representaties als respons-agnostisch behandelen.

2. Methodologie: Hybride PLS

De auteurs stellen Hybride Partiële Least Squares (Hybride PLS) voor, een raamwerk dat functionele en scalaire predictoren verenigt in één enkele wiskundige structuur om supervised dimensiereductie uit te voeren.

A. Verenigde Hybride Hilbertruimte
De methode construeert een productruimte $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$ om functionele en scalaire predictoren gezamenlijk te behandelen. Een element $h \in \mathcal{H}$ is een geordende tupel $(f_1, \dots, f_K, u)$. De inproduct is gedefinieerd als:
$$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$$
waarbij $\omega$ een gewichtsparameter is die de schalen van de functionele en scalaire componenten balanceert. Dit maakt de uitbreiding van het Nonlinear Iterative Partial Least Squares (NIPALS) algoritme naar de hybride setting mogelijk.

B. Algoritme op Populatieniveau
Op populatieniveau zoekt de methode naar PLS-richtingen $\xi$ die de gekwadrateerde covariantie tussen de predictor $W$ en de respons $Y$ maximaliseren, onderworpen aan orthogonaliteitsrestricties. De auteurs stellen vast dat het optimalisatieprobleem equivalent is aan het vinden van de eigenfuncties van een samengestelde operator $U = \Sigma_{YW} \otimes \Sigma_{YW}$, wat garandeert dat het probleem goed gesteld is onder milde momentvoorwaarden. Het algoritme garandeert de orthogonaliteit van latente scores en ongecorreleerde residuen.

C. Implementatie op Steelniveau
Het voorgestelde steenalalgoritme (Algoritme 3) wisselt af tussen twee stappen:

1. Geregulariseerde Schatting van PLS-richtingen: Om overfitting te voorkomen en gladheid te waarborgen (cruciaal voor functionele data), wordt de PLS-richting $\hat{\xi}$ geschat door de empirische covariantie te maximaliseren, onderworpen aan een ruwheidstraf op de tweede afgeleiden van de functionele componenten. Dit leidt tot een gegeneraliseerd Rayleigh-quotiënt probleem.
   • Belangrijk Computationeel Inzicht: Vanwege de rang-één structuur van de covariantie-matrix, leiden de auteurs een gesloten vorm oplossing af die alleen het oplossen van lineaire systemen vereist. Dit voorkomt de computationele instabiliteit die vaak gepaard gaat met gegeneraliseerde eigenproblemen.
2. Residulering: Zowel de predictoren als de respons worden gerestualiseerd tegen de geschatte scores, wat de standaard NIPALS-procedure nabootst maar dan binnen de hybride Hilbertruimte.

D. Finale Schatting
De regressiecoëfficiënt $\hat{\beta}$ wordt gereconstrueerd als een lineaire combinatie van de geschatte PLS-richtingen, aangepast voor de residuleringsstappen om consistentie met het originele model te waarborgen.

3. Belangrijkste Bijdragen

• Theoretische Uitbreiding: Breidt het NIPALS-algoritme rigoureus uit naar een hybride setting met meerdere functionele en scalaire predictoren door een verenigde Hilbertruimte te definiëren en het bestaan van een compleet orthonormaal systeem van eigenfuncties voor de bijbehorende operator te bewijzen.
• Algoritmische Efficiëntie: Leidt een computationeel efficiënte gesloten vorm oplossing af voor de geregulariseerde iteratieve stappen, waardoor de methode schaalbaar is voor dichte of onregelmatige functionele data.
• Geometrische Eigenschappen: Stelt vast dat het voorgestelde raamwerk de kerngeometrische eigenschappen van PLS behoudt, specifiek de orthogonaliteit van PLS-richtingen (onder een ruwheidsgevoelige inproduct) en de orthogonaliteit van latente scores.
• Omgaan met Intermodale Correlatie: In tegen tegenoverstelling van twee-fasen PFLM-benaderingen, modelleert Hybride PLS expliciet de gezamenlijke afhankelijkheden tussen functionele en scalaire predictoren, waardoor het verlies van voorspellende informatie door cross-modale correlaties wordt voorkomen.

4. Resultaten

Numerieke Studies:

• Geometrische Validatie: Simulaties bevestigden dat de orthogonaliteitseigenschappen (tussen richtingen, scores en residuen) robuust standhouden over verschillende mate van regularisatie, met afwijkingen in de orde van grootte van $10^{-11}$ tot $10^{-16}$.
• Voorspellende Kracht vs. Parsimonie: In synthetische scenario's met dominante niet-predictieve variantie (ruisfactoren) en sterke cross-modale correlaties, presteerde Hybride PLS significant beter dan Principal Component Regression (PCR). Hybride PLS identificeerde het voorspellende signaal in de eerste component, terwijl PCR werd misleid door hoog-variante ruisfactoren, wat resulteerde in hogere fouten en redundante representaties.
• Schatting van Coëfficiënten: Gevoeligheidsanalyses toonden aan dat ruwheidstraffen effectief de schattingsfout voor zowel functionele als scalaire coëfficiënten controleren, waarbij regularisatieparameters worden geselecteerd via cross-validatie.

Toepassing op Real-world Data (Emory University Renal Study):

• De methode werd toegepast op een dataset van 216 nieren met twee functionele renogram-curven (baseline en post-furosemide) en 14 scalaire farmacokinetische covariaten.
• Prestaties: Hybride PLS bereikte een lagere test Root Mean Squared Error (RMSE) en grotere stabiliteit dan Penalized Functional Regression (PFR) en scalaire-alleen OLS.
• Efficiëntie: Het kwam qua voorspellende kracht overeen met PCR, maar met aanzienlijk grotere parsimonie. Terwijl PCR $3L$ componenten vereiste (waarbij $L$ uit elk van de drie bronnen wordt geëxtraheerd) om een vergelijkbare nauwkeurigheid te bereiken, bereikte Hybride PLS een vergelijkbare prestatie met slechts $L$ componenten.
• Interpreteerbaarheid: De eerste latente component geëxtraheerd door Hybride PLS stemde overeen met klinische kennis van nierobstructie (bijv. het onderscheid tussen accumulatie versus drainagepatronen), terwijl PCR sterke, potentieel redundante correlaties vertoonde tussen de componentscores over de modaliteiten heen.

5. Betekenis en Claims

Het artikel claimt dat Hybride PLS een parsimonisch en robuust raamwerk biedt voor regressie in aanwezigheid van gemengde datamodaliteiten. Door functionele en scalaire predictoren in een verenigde ruimte in te bedden, kan de methode:

1. Multicollineariteit Mitigeren: Het gaat effectief om met de complexe intermodale correlaties die de prestaties van standaard twee-fasen benaderingen verslechteren.
2. Voorspellende Structuur Preserveren: Het extraheert latente componenten die de covariantie met de respons maximaliseren, waardoor laagdimensionale representaties hun voorspellende kracht behouden, zelfs wanneer de primaire variantie in de data niet-predictief is.
3. Computationele Haalbaarheid Waarborgen: De gesloten vorm oplossing maakt efficiënte berekening mogelijk zonder de theoretische garanties van orthogonaliteit en gladheid op te offeren.

De auteurs concluderen dat deze verenigde aanpak bijzonder waardevol is in biomedische contexten, zoals renale beeldvorming, waar het combineren van volledige functionele trajecten met scalaire samenvattingen superieure voorspellende modellen oplevert vergeleken met methoden die deze datatypen apart of sequentieel behandelen. Voorgesteld toekomstig werk omvat het afleiden van theoretische convergentiesnelheden en minimax optimaliteitsgrenzen.