📊 statistics

Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials

Cet article propose une méthode d'automatisation différentielle robuste pour les filtres de Kalman à racine carrée en dérivant une règle de chaîne fermée basée sur la différentielle de la matrice de Gram, ce qui permet de calculer des gradients exacts même lorsque les matrices d'entrée sont de rang déficient.

Auteurs originaux : Adrien Corenflos

Publié 2026-03-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adrien Corenflos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧱 Le Problème : Construire une maison avec des briques instables

Imaginez que vous essayez de prédire le temps qu'il fera demain, ou le trajet d'une voiture autonome. Pour cela, les ordinateurs utilisent un outil mathématique très puissant appelé le Filtre de Kalman. C'est un peu comme un GPS qui se corrige tout seul en temps réel.

Pour que ce GPS soit précis, il doit calculer des "incertitudes" (à quel point il a confiance en sa position). En mathématiques, on représente ces incertitudes par des tableaux de nombres (des matrices).

Le souci ?
Parfois, ces calculs deviennent instables. C'est comme si vous construisiez une tour de cartes : à force de faire des calculs, de petites erreurs d'arrondi (comme une carte mal posée) font que la tour s'effondre. Pour éviter ça, les ingénieurs utilisent une version "carrée" (Square-Root) du filtre. Au lieu de manipuler la tour entière, ils ne manipulent que la demi-tour (la base triangulaire). C'est plus stable.

Mais il y a un nouveau problème : comment apprendre de nos erreurs ?
Si le GPS se trompe, on veut pouvoir ajuster les paramètres pour qu'il ne se trompe plus la prochaine fois. Pour cela, on utilise une technique appelée différentiation automatique (c'est-à-dire : "comment changer la sortie si je change légèrement l'entrée ?").

Le hic, c'est que l'opération mathématique utilisée pour construire cette "demi-tour" (appelée décomposition QR) est capricieuse.

Parfois, elle n'a pas de réponse unique (comme si plusieurs formes de base étaient possibles).
Parfois, elle devient "cassée" (mathématiquement, elle devient infinie) quand les données sont imparfaites.

Résultat : les ordinateurs modernes (comme ceux qui entraînent les intelligences artificielles) ne savent pas comment ajuster les paramètres, car le chemin mathématique est bloqué.

💡 La Solution : Regarder l'ombre plutôt que l'objet

L'auteur de ce papier, Adrien Corenflos, a eu une idée brillante. Il a dit : "Attendez, pourquoi essayons-nous de calculer comment la 'demi-tour' change ?"

Voici l'analogie :
Imaginez que vous tenez un objet complexe sous une lampe torche. Vous voulez savoir comment l'ombre projetée sur le mur change si vous bougez l'objet.

L'approche classique : On essaie de calculer exactement comment chaque arête de l'objet bouge. C'est compliqué, et si l'objet a des formes bizarres, le calcul devient impossible.
L'approche de l'auteur : Il se rend compte que l'ombre elle-même (ce qui compte vraiment pour le résultat final) ne dépend pas de la forme exacte de l'objet, mais seulement de la surface totale qu'il bloque.

En mathématiques, cette "surface totale" s'appelle la Gramienne (c'est-à-dire le produit de la matrice par elle-même).
L'auteur démontre que pour le filtre de Kalman, tout ce qui compte (la prédiction, la confiance, la probabilité) dépend uniquement de cette "surface totale" (la Gramienne), et non de la forme précise de la "demi-tour".

Le génie de la méthode :
Au lieu de forcer l'ordinateur à suivre le chemin compliqué et cassé de la "demi-tour", l'auteur propose de calculer directement comment l'ombre (la Gramienne) change.

C'est comme si, au lieu de calculer comment chaque brique bouge, on calculait directement comment la surface de l'ombre change.
Cette opération est lisse et douce (mathématiquement parlant), même quand les données sont imparfaites ou "cassées".

🛠️ Comment ça marche concrètement ?

L'auteur a inventé une nouvelle règle de calcul (une formule) qui fonctionne dans deux cas :

Quand tout va bien (Données parfaites) : Sa formule redonne exactement le même résultat que les anciennes méthodes classiques.
Quand ça coince (Données imparfaites ou "rank-deficient") : C'est là que la magie opère. Quand les données sont incomplètes (par exemple, si le capteur ne donne qu'une seule information au lieu de deux), les anciennes méthodes s'effondrent. La nouvelle méthode, elle, utilise une astuce intelligente :
- Elle sépare le problème en deux parties : ce qui est "visible" (l'espace des colonnes) et ce qui est "invisible" (l'espace nul).
- Elle traite chaque partie avec un outil mathématique adapté (l'inverse de Moore-Penrose, qui est une version "intelligente" de la division quand on ne peut pas diviser).
- Elle assemble le tout pour obtenir une réponse parfaite, même dans le chaos.

🚀 Pourquoi c'est important pour vous ?

Des IA plus robustes : Cela permet d'entraîner des modèles d'intelligence artificielle qui gèrent des données bruitées, incomplètes ou imparfaites, sans que le système ne plante.
Plus de stabilité : On peut maintenant utiliser ces filtres sur de très longues périodes (comme pour prédire la météo sur un an) sans que les erreurs ne s'accumulent jusqu'à l'explosion.
Facilité d'usage : L'auteur a montré que cette méthode est compatible avec les outils modernes d'IA (comme PyTorch ou JAX). C'est comme si on avait inventé un nouveau moteur de voiture qui fonctionne aussi bien sur la route que dans la boue, et qu'on pouvait le mettre dans n'importe quelle voiture existante sans changer le châssis.

En résumé

Ce papier dit : "Arrêtez de vous casser la tête à calculer la forme exacte de l'objet quand vous voulez juste connaître son ombre. L'ombre est plus simple à calculer, plus stable, et c'est tout ce dont vous avez besoin pour apprendre."

C'est une solution élégante qui transforme un problème mathématique "cassé" en un problème fluide, permettant aux machines d'apprendre plus vite et plus sûrement.

1. Problématique

Les filtres de Kalman à racine carrée (Square-Root Kalman Filters) sont essentiels pour la stabilité numérique dans les modèles d'espace d'état, car ils propagent les covariances sous forme de facteurs de Cholesky triangulaires inférieurs ( $S_t$ ) plutôt que sous forme de matrices de covariance complètes ( $P_t = S_t S_t^\top$ ). Cela évite la perte de la propriété de définie positivité due aux erreurs d'arrondi.

Cependant, l'apprentissage de paramètres par gradient (via l'automatisation de la différenciation ou Automatic Differentiation - AD) dans ces filtres se heurte à deux obstacles majeurs lors de la différentiation de l'opérateur de triangularisation (généralement implémenté via une décomposition QR) :

Non-unicité du gradient : Lorsque la matrice d'entrée $M$ est large ( $m > n$ ), le facteur orthogonal $Q$ de la décomposition QR n'est pas unique. Cela rend le gradient de la factorisation triangulaire $L$ indéfini ou ambigu.
Instabilité sur les rangs défectueux : Les formules standards de différentiation de la décomposition QR impliquent l'inverse de la matrice triangulaire $R$ . Si la matrice $M$ est de rang défectueux (ce qui arrive souvent lorsque les matrices de covariance du bruit $U$ ou $V$ sont singulières), $R$ n'est pas inversible, ce qui provoque une divergence des gradients.

2. Méthodologie

L'auteur propose une approche fondée sur l'observation clé suivante : toutes les sorties pertinentes pour l'apprentissage (vraisemblance marginale, moyenne filtrée, covariance filtrée) ne dépendent du facteur triangulaire $L$ que via la matrice de Gram $LL^\top = MM^\top$ .

Bien que l'opérateur de triangularisation $T(M) = L$ ne soit pas différentiable partout, la composition de la fonction de perte avec $T$ est lisse car elle passe par la carte polynomiale lisse $M \mapsto MM^\top$ .

La méthodologie développée consiste à :

Éviter la décomposition QR directe : Au lieu de différencier à travers l'algorithme QR, l'auteur dérive une règle de chaîne fermée directement à partir de l'identité différentielle de la matrice de Gram :
$dL L^\top + L dL^\top = dM M^\top + M dM^\top$
Décomposition de l'espace : Pour résoudre cette équation pour le vecteur tangent $dL$ (le Jacobien-Produit-Vectoriel ou JVP), même lorsque $L$ $L$ est de rang défectueux, la solution est décomposée en deux parties :
1. Composante de l'espace colonne : Elle gère les perturbations à l'intérieur de l'espace colonne de $L$ . Elle utilise la pseudo-inverse de Moore-Penrose ( $L^\dagger$ ) et la décomposition QR pour construire une solution unique.
2. Composante de l'espace nul : Elle corrige les perturbations situées en dehors de l'espace colonne de $L$ , assurant que l'équation différentielle est satisfaite même dans les directions où $L$ est singulier.

3. Contributions Clés

L'article apporte quatre contributions principales :

Formule fermée du JVP : Une expression analytique pour le produit Jacobien-Vectoriel de l'opérateur de triangularisation. Cette formule est exacte pour toute perte dépendant de la matrice de Gram, récupère la formule classique basée sur QR lorsque la matrice est de plein rang, et reste valide pour les entrées de rang défectueux.
Preuve de suffisance de la matrice de Gram : Une démonstration rigoureuse montrant que toutes les sorties critiques du filtre de Kalman (moyenne, covariance, vraisemblance) ne dépendent que de la matrice de Gram, justifiant ainsi l'approche de différentiation indirecte.
Différenciation en mode inverse (VJP) gratuite : Grâce à la linéarité de la carte $dM \mapsto dL$ (pour des quantités primales fixes), le produit Vectoriel-Jacobien (VJP) nécessaire au mode inverse peut être obtenu par transposition automatique des opérations primitives, sans nécessiter de dérivation manuelle supplémentaire.
Implémentation open-source : Le code est disponible et compatible avec les frameworks d'AD modernes comme JAX et PyTorch.

4. Résultats

L'approche a été validée empiriquement sur un modèle linéaire gaussien (LGSSM) avec des matrices de covariance de bruit interpolant entre un rang plein et un rang un (singulier).

Comparaison : La méthode proposée produit des gradients cohérents et corrects pour la vraisemblance marginale logarithmique, même en présence de rang défectueux et de dimensions inégales.
Échec des méthodes classiques : L'approche naïve basée sur la décomposition QR échoue complètement dans ces scénarios, renvoyant des valeurs invalides ou divergentes, ce qui empêche l'apprentissage.
Visualisation : Les tangentes calculées par la méthode proposée s'alignent parfaitement avec la courbe de vraisemblance, confirmant la précision du gradient.

5. Signification et Impact

Ce travail résout un problème fondamental limitant l'application de l'apprentissage par gradient aux filtres de Kalman à racine carrée, particulièrement dans des contextes où les covariances peuvent être singulières ou de rang faible (fréquent en pratique).

Robustesse : Il permet l'entraînement de modèles d'espace d'état complexes et stables numériquement sans risque de divergence des gradients.
Généralité : La technique de différentiation via les différentielles de Gram est applicable à tout opérateur dont la sortie n'est pertinente que via sa matrice de Gram, offrant une nouvelle voie pour la différenciation automatique d'opérateurs non lisses ou non uniques.
Adoption : L'intégration native avec JAX et PyTorch facilite l'adoption immédiate par la communauté du Machine Learning pour l'estimation de paramètres dans les modèles dynamiques.