📊 statistics

BAMIFun: Bayesian Multiple Imputation for Functional Data

Cet article présente BAMIFun, un nouveau cadre d'imputation multiple bayésienne qui utilise des modèles de rang faible avec des splines pénalisées pour les données à un seul niveau et la décomposition en valeurs singulières fonctionnelles des tenseurs pour les données multidimensionnelles afin de surmonter les limites de l'imputation unique dans les ensembles de données fonctionnels, fournissant ainsi une reconstruction précise des courbes et une inférence en aval fiable en présence de données manquantes sévères.

Auteurs originaux : Ziren Jiang, Lei Xuan, Eric F. Lock, Erjia Cui

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziren Jiang, Lei Xuan, Eric F. Lock, Erjia Cui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Puzzle Cassé »

Imaginez que vous essayez de reconstituer une belle peinture lisse représentant l'activité quotidienne d'une personne (comme son rythme cardiaque ou ses pas) sur toute une journée. C'est ce que les scientifiques appellent des données fonctionnelles — une courbe continue d'informations.

Cependant, dans le monde réel, nos capteurs tombent souvent en panne. Peut-être que la batterie de la montre est morte, ou que le signal a été perdu. Vous vous retrouvez avec une peinture comportant d'énormes trous. Vous avez quelques points ici et là, mais les lignes qui les relient manquent.

Le Défi :

La Méthode de la « Simple Devinette » (Ancienne Méthode) : Les méthodes traditionnelles (appelées PACE) examinent les points que vous avez effectivement et dessinent la ligne la plus lisse possible à travers eux. Elles comblent les trous avec une seule hypothèse parfaite en apparence.
- Le Défaut : Cette méthode agit comme si elle connaissait la vérité. Elle n'admet pas : « Je ne fais qu'essayer de deviner ». Parce qu'elle pense que son hypothèse est parfaite, toute mathématique effectuée par la suite (comme la prédiction de résultats de santé) devient excessivement confiante et souvent erronée. C'est comme parier tout votre argent sur un lancer de pièce parce que vous pensez savoir sur quel côté elle va tomber.
La Méthode de la « Multiple Devinette » (Nouvelle Méthode) : Les auteurs ont créé un nouvel outil appelé BAMIFun. Au lieu de dessiner une seule ligne, il dessine plusieurs lignes différentes et plausibles qui pourraient s'adapter aux points. Certaines lignes vont un peu plus haut, d'autres un peu plus bas. Cela capture l'incertitude de la devinette.

La Solution : BAMIFun

BAMIFun signifie Imputation Multiple Bayésienne pour Données Fonctionnelles. Voici comment cela fonctionne, décomposé en concepts simples :

1. La Règle de la « Lissage »

Dans le monde réel, des choses comme les rythmes cardiaques ou la croissance bactérienne ne sautent pas de haut en bas de manière aléatoire ; elles s'écoulent de manière fluide.

La Métaphore : Imaginez que les points de données sont des piquets sur un tableau. Si vous reliez simplement les piquets avec un élastique, cela pourrait paraître irrégulier. BAMIFun utilise une « règle élastique » spéciale (mathématiquement appelée splines pénalisées) qui force la ligne à être lisse, tout comme un véritable processus biologique le serait.
Pourquoi c'est important : Cela empêche l'ordinateur de dessiner des lignes folles et irrégulières qui ressemblent à de la neige sur un écran de télévision.

2. L'Approche des « Mondes Multiples » (Imputation Multiple)

Au lieu de vous donner une seule réponse, BAMIFun exécute une simulation des milliers de fois.

La Métaphore : Imaginez que vous essayez de deviner la météo de la semaine prochaine en vous basant sur quelques jours nuageux.
- Ancienne Méthode : Vous dites : « Il va certainement pleuvoir. »
- BAMIFun : Vous dites : « Il pourrait pleuvoir, ou il pourrait bruiner, ou il pourrait être partiellement ensoleillé. » Vous créez 100 « mondes possibles » différents de ce que la météo pourrait être.
L'Avantage : Lorsque les scientifiques utilisent ces données plus tard pour faire des prédictions, ils peuvent voir la plage des possibilités. Cela rend leurs conclusions finales beaucoup plus honnêtes et fiables.

3. Gestion de Données Complexes (Données Multiway)

Parfois, les données ne sont pas juste une ligne unique ; c'est un bloc en 3D.

La Métaphore : Imaginez une pile de cartes.
- Couche 1 : Différentes personnes.
- Couche 2 : Différentes parties du corps (ou, dans l'exemple du document, différents types de bactéries intestinales).
- Couche 3 : Temps.
L'Innovation : BAMIFun est le premier outil capable de combler les trous manquants dans cette « pile de cartes » en 3D tout en respectant la règle de lissage. Les outils précédents ne pouvaient gérer que la version 2D de « ligne unique » ou la version 3D sans la règle de lissage.

Ce que le Document a Découvert (Les Résultats)

Les auteurs ont testé leur nouvel outil contre les anciennes méthodes en utilisant deux éléments principaux : des Simulations (fausses données où ils connaissaient la réponse) et des Données Réelles (études du monde réel).

1. Le Test de la « Vérité » (Simulations)

Précision : BAMIFun était tout aussi bon pour deviner les nombres manquants que les anciennes méthodes.
Confiance : C'est la grande victoire. Les anciennes méthodes étaient « trop confiantes ». Elles affirmaient être sûres à 95 %, mais elles n'avaient raison que 50 à 60 % du temps. BAMIFun avait raison environ 95 % du temps. Il disait la vérité sur son degré d'incertitude.

2. Les Tests du Monde Réel

Test A : Activité Humaine (Données NHANES)
- Ils ont utilisé des données de personnes portant des trackers d'activité. Ils ont supprimé artificiellement 97,5 % des données (ne laissant que 2,5 % des points !) pour voir si l'outil pouvait récupérer.
- Résultat : Même avec presque aucune donnée, BAMIFun a fourni des intervalles de confiance honnêtes. L'ancienne méthode a donné des intervalles très étroits et trompeurs qui étaient faux.
Test B : Bactéries Intestinales de Bébés
- Ils ont examiné des données de bébés prématurés, suivant 152 types différents de bactéries sur 118 jours. Les données étaient incroyablement désordonnées et manquaient 91 % du temps.
- Résultat : BAMIFun a comblé les lacunes bien mieux qu'un outil qui ne respectait pas la « lissage » de la croissance bactérienne. Il a fourni une image fiable de la façon dont les intestins des bébés se développaient.

La Conclusion

Le document présente BAMIFun, un nouvel outil statistique qui comble les données manquantes pour des courbes continues (comme les tendances de santé) de manière plus intelligente.

Ancienne Méthode : Dessine une ligne parfaite et fait semblant que c'est la vérité absolue. (Risqué !)
BAMIFun : Dessine plusieurs lignes possibles, respecte la lissage naturelle des données et admet honnêtement : « Voici une plage de ce qui pourrait être vrai. »

Cela rend les conclusions scientifiques finales beaucoup plus dignes de confiance, surtout lorsque les données sont très clairsemées ou désordonnées. Le code de cet outil est disponible pour que d'autres puissent l'utiliser.

Résumé technique de BAMIFun : Imputation multiple bayésienne pour données fonctionnelles

Énoncé du problème
Les ensembles de données fonctionnelles modernes sont fréquemment caractérisés par des observations éparses et irrégulières, où les trajectoires ne sont pas entièrement observées sur un continuum (par exemple, le temps ou l'espace). Bien que l'Analyse en Composantes Principales Fonctionnelles (ACPF) soit un outil standard pour reconstruire des courbes incomplètes, les approches existantes — spécifiquement le cadre « PACE » (Principal Components Analysis through Conditional Expectation) — reposent généralement sur une imputation unique. Cela traite les trajectoires reconstruites comme des vérités connues, échouant à quantifier l'incertitude inhérente au processus d'imputation. Par conséquent, les inférences statistiques en aval (par exemple, les coefficients de régression) souffrent souvent d'intervalles de confiance trop optimistes et de taux de couverture médiocres, en particulier sous une absence de données sévère. De plus, les méthodes d'imputation multiple existantes pour les données fonctionnelles nécessitent souvent des résultats scalaires auxiliaires ou des covariables, et aucune ne traite actuellement les défis spécifiques des données fonctionnelles multiway (données tensorielles où un mode est un continuum) sans imposer de contraintes de lissage.

Méthodologie
Les auteurs proposent BAMIFun, un cadre d'imputation multiple bayésienne conçu à la fois pour les données fonctionnelles à un seul niveau et pour les données fonctionnelles multiway. La méthodologie repose sur trois composantes principales :

Cadre de modélisation :
- Données à un seul niveau : La méthode emploie un modèle bayésien de rang faible où la matrice de données fonctionnelles $X$ est approximée par $X \approx VU^T + E$ . Crucialement, les fonctions propres $U$ sont représentées via des bases de splines pénalisées ( $U^T = B\Theta$ ). Un terme de pénalité sur la dérivée seconde des fonctions propres est incorporé dans la log-vraisemblance, ce qui équivaut à placer un priori normal multivarié sur les coefficients de spline $B$ . Cela impose un lissage des trajectoires tout en quantifiant conjointement l'incertitude des fonctions propres et des scores.
- Données multiway : Le cadre s'étend aux données tensorielles ( $N \times J \times K$ ) en utilisant un modèle de Décomposition en Valeurs Singulières Tensorielles Fonctionnelles (FTSVD). Ce modèle décompose le tenseur en une somme de composantes de rang un impliquant des vecteurs de sujets, des vecteurs de caractéristiques/visites et des courbes fonctionnelles lisses. Contrairement à l'ACPF multiniveau (MFPCA) qui utilise des effets mixtes additifs, la FTSVD utilise une factorisation de type CP multiplicative adaptée aux structures tensorielles cohérentes.
Algorithme d'inférence :
- Les auteurs dérivent un échantillonneur de Gibbs efficace pour le calcul postérieur. L'algorithme échantillonne itérativement les scores de composantes principales ( $V$ ), les coefficients de spline ( $B$ ), la variance d'erreur ( $\sigma^2$ ) et les paramètres de lissage ( $\sigma^2_B$ ) à partir de leurs distributions conditionnelles complètes.
- Les valeurs manquantes sont imputées en tirant de la distribution prédictive postérieure (Gaussienne avec une moyenne égale à la trajectoire reconstruite et une variance égale à la variance d'erreur) à chaque itération.
- Une procédure de validation croisée est proposée pour sélectionner le nombre de composantes principales ( $R$ ) et le paramètre de lissage, bien que les auteurs notent que l'estimation du paramètre de lissage dans le cadre bayésien offre des performances comparables avec un coût computationnel inférieur.
Inférence en aval :
- Le cadre génère $S$ ensembles de données complétés. Pour les analyses en aval (par exemple, Régression Scalaire-sur-Fonction), les estimations ponctuelles sont regroupées et la variance est calculée en utilisant les règles de Rubin, qui combinent les variances intra-imputation et inter-imputation pour produire des intervalles de confiance valides tenant compte de l'incertitude d'imputation.

Contributions clés

Cadre novateur : BAMIFun est présenté comme la première procédure d'imputation multiple spécifiquement conçue pour les données fonctionnelles multiway intégrant des contraintes de lissage via des splines pénalisées.
Quantification de l'incertitude : Contrairement aux méthodes d'ACPF à imputation unique, BAMIFun modélise explicitement l'incertitude d'imputation, conduisant à une inférence statistique valide dans les analyses en aval.
Efficacité algorithmique : Le développement d'un échantillonneur de Gibbs intégrant des splines pénalisées au sein d'une décomposition tensorielle de rang faible permet de traiter des grilles éparse et irrégulières sans nécessiter de données scalaires auxiliaires.
Disponibilité logicielle : Les auteurs fournissent une implémentation open-source à l'adresse https://github.com/ZirenJiang/BAMIFun.

Résultats
L'article évalue BAMIFun à travers des études de simulation extensives et deux études de cas réels :

Simulations à un seul niveau : Comparé à l'approche PACE et à l'algorithme tensoriel BAMITA (qui manque de contraintes de lissage), BAMIFun a atteint une précision d'imputation comparable à celle de PACE. Cependant, BAMIFun a démontré des taux de couverture nettement améliorés (proches du niveau nominal de 95 %) pour les intervalles de confiance, alors que PACE présentait une sous-coverage significative. BAMIFun a également surpassé BAMITA en précision grâce à l'imposition du lissage.
Simulations multiway : Dans des configurations à structures de rang faible, BAMIFun a surpassé l'approche fréquentiste MFPCA (PACE) tant en précision qu'en couverture. Dans des configurations non à rang faible, BAMIFun a montré un Erreur Quadratique Moyenne (MSE) légèrement supérieur à celui de PACE, mais a maintenu des taux de couverture robustes et proches du nominal, soulignant sa fiabilité à travers diverses structures de données.
Études de cas :
- NHANES (Activité physique) : Sous une absence de données sévère (jusqu'à 97,5 %), BAMIFun a maintenu une couverture proche de 92–94 %, tandis que la méthode PACE basée sur l'ACPF est tombée aussi bas que 53–71 %.
- Microbiome intestinal d'infants : Dans un ensemble de données avec 91,1 % de données manquantes, BAMIFun a constamment surpassé BAMITA tant en MSE qu'en couverture, gérant avec succès la structure multiway complexe où les méthodes MFPCA standard étaient inapplicables.

Importance et affirmations
Les auteurs affirment que BAMIFun comble des lacunes méthodologiques critiques dans l'analyse des données fonctionnelles éparse. En allant au-delà de l'imputation unique, la méthode prévient les inférences « trop optimistes » qui affectent les approches actuelles basées sur l'ACPF. L'article souligne que si la précision d'imputation (MSE) est souvent comparable aux méthodes fréquentistes existantes, le principal avantage réside dans la validité de l'inférence en aval. La capacité à traiter les données fonctionnelles multiway sans variables auxiliaires et à fournir une quantification appropriée de l'incertitude fait de BAMIFun un outil robuste pour les applications modernes impliquant des dispositifs portables, la génomique et l'imagerie cérébrale, où les données sont intrinsèquement éparse et de haute dimension. Les auteurs notent modestement que la performance dépend du choix de la base de splines et suggèrent que des travaux futurs pourraient explorer des paramétrisations alternatives, telles que celles sur la variété de Stiefel.