Efficient Gaussian process learning via subspace projections

Résumé technique : Apprentissage efficace des processus gausiens via des projections de sous-espaces

Énoncé du problème
Les processus gausiens (GP) sont une approche standard pour l'analyse de séries temporelles, particulièrement dans des scénarios impliquant un échantillonnage irrégulier, des données manquantes et une quantification de l'incertitude. Cependant, l'entraînement exact d'un GP via le maximum de vraisemblance (ML) entraîne un coût computationnel de $O(n^3)$, ce qui le rend irréalisable pour des jeux de données dépassant quelques milliers de points. Bien que les méthodes de GP parcimonieuses, telles que l'approche de l'Énergie de Vraisemblance Variationnelle (VFE) utilisant des variables induites, réduisent la complexité à $O(nm^2)$, elles introduisent des inconvénients spécifiques :

1. Biais : Elles produisent souvent des estimations de paramètres biaisées (par exemple, la VFE a tendance à surestimer la variance du bruit, tandis que la FITC la sous-estime) en raison du choix restreint de la distribution variationnelle approximative.
2. Efficacité asymptotique : Leur supériorité computationnelle n'est réalisée qu'asymptotiquement (pour un $n$ suffisamment grand), et la perte d'entraînement implique des opérations complexes (décompositions de Cholesky multiples) qui peuvent nécessiter plus d'étapes d'optimisation pour converger.

Les auteurs identifient le besoin d'une méthode d'entraînement qui équilibre l'efficacité computationnelle avec la précision pour des jeux de données modérément larges, en évitant les biais inhérents aux approximations parcimonieuses actuelles.

Méthodologie : Vraisemblance Projetée (PL - Projected Likelihood)
Le papier propose un nouvel objectif d'entraînement nommé Vraisemblance Projetée (PL). Au lieu d'approximer la distribution a posteriori via des variables induites, la PL construit un GP de substitution sur une projection linéaire de dimension inférieure des données.

• Mécanisme de projection : Le vecteur d'observation $n$-dimensionnel $y$ est projeté sur $k$ directions ($k \ll n$) définies par des vecteurs $\omega_1, \dots, \omega_k$ sur la sphère unité $S^{n-1}$. Cela produit un vecteur compressé de dimension $k$ : $z = \Omega^\top y$.
• Objectif d'entraînement : L'entraînement minimise la log-vraisemblance négative (NLL) de ces données projetées. La fonction d'objectif résultante, $L_{PL}(\theta)$, a un coût computationnel de $O(kn^2)$.
• Analyse de la perte d'information : Les auteurs dérivent une expression en forme close de la perte d'information de Fisher encourue en utilisant la PL au lieu du ML exact. Ils prouvent que cette perte est quadratique dans la covariance conditionnelle $\Sigma_{Y|Z}$.
  • Insight théorique : Les directions de projection optimales correspondent aux $k$ vecteurs propres supérieurs de la matrice de covariance $K_x$. Comme ces derniers sont inconnus avant l'entraînement, les auteurs évaluent expérimentalement diverses stratégies de projection aléatoire.
  • Résultat empirique : Parmi diverses structures de projection (One-hot, Localisée, Répulsive et Sphérique), les projections aléatoires uniformément distribuées sur la sphère unité (Sphérique) ont été jugées capables de minimiser efficacement la trace de la covariance résiduelle $\Sigma_{Y|Z}$, réduisant ainsi la perte d'information.

Contributions clés

1. Nouvel objectif : Introduction de la Vraisemblance Projetée (PL) comme objectif d'entraînement basé sur des projections linéaires de faible dimension plutôt que sur des variables induites.
2. Quantification théorique : Une dérivation de la perte d'information associée à la PL, démontrant qu'elle peut être minimisée via des projections aléatoires sur la sphère unité.
3. Compromis Efficacité vs Précision : Le papier démontre que bien que la PL ait une complexité théorique de $O(kn^2)$ (ce qui semble plus élevé que le $O(nm^2)$ des GP parcimonieux pour un petit $m$), elle est empiriquement plus efficace. Cela s'explique par le fait que la PL nécessite nettement moins d'étapes d'optimisation pour converger par rapport à la VFE, qui peine souvent face à un paysage de perte plus complexe.
4. Réduction du biais : Contrairement à la VFE, connue pour biaiser les estimations de paramètres (spécifiquement la variance du bruit), la PL atteint des solutions proches de la référence ML exacte.

Résultats expérimentaux
Les auteurs ont validé la PL par rapport à la VFE et au ML exact sur des jeux de données synthétiques et réels (Sunspots et EEG néonatal) en utilisant divers noyaux (SE, Laplace, RQ, LocPer) et optimiseurs (BFGS, Adam).

• Vitesse d'optimisation : Dans des expériences avec 1 000 échantillons, la PL a atteint une NLL plus proche de la référence ML exacte que la VFE tout en nécessitant moins d'itérations. Par exemple, avec l'optimiseur Adam, la PL a pris 0,574 seconde contre 1,57 seconde pour la VFE.
• Scalabilité : Pour des jeux de données allant de 500 à 4 000 points, la PL a atteint la NLL cible plus rapidement que la VFE pour $n < 3000$. À mesure que $n$ augmentait, l'écart de performance se réduisait, mais la PL maintenait une précision supérieure ou comparable.
• Performance en conditions réelles : Sur le jeu de données Sunspot (3 319 points) et le jeu de données EEG (8 000 points d'entraînement), la PL a systématiquement surpassé la VFE en termes de précision (NLL ou RMSE plus faible) à travers tous les noyaux testés. Bien que les temps de calcul soient devenus similaires pour des jeux de données très larges, la PL a maintenu un avantage clair en termes de précision.
• Estimation de la variance : Les estimations de la variance a posteriori issues de la PL sont restées plus proches de l'estimation ML, tandis que la VFE avait tendance à surestimer la variance.

Signification et affirmations
Le papier affirme que la méthode PL offre une alternative compétitive aux GP parcimonieux pour des jeux de données modérément larges (jusqu'à 8 000 points). Sa principale importance réside dans la démonstration que des représentations de données compressées peuvent être exploitées dans l'apprentissage des GP pour éliminer les redondances naturelles des séries temporelles sans sacrifier significativement la précision de l'apprentissage.

Crucialement, les auteurs soutiennent que l'évaluation des méthodes de vraisemblance approchée ne doit pas reposer uniquement sur le coût computationnel d'une seule évaluation de perte (ex: $O(nm^2)$ vs $O(kn^2)$), mais doit également considérer la complexité du paysage de perte. La capacité de la PL à converger en moins d'étapes la rend pratiquement plus efficace que la VFE, malgré la complexité théorique de son objectif. L'étude valide que les projections aléatoires sur la sphère unité fournissent un mécanisme robuste et à faible surcharge pour approximer la vraisemblance exacte du GP.