FunctionalCalibration: an R package for estimation in aggregated functional data model

Le package R FunctionalCalibration propose des méthodes d'estimation de courbes constitutives à partir de données fonctionnelles agrégées, notamment via des expansions en splines ou en ondelettes, pour répondre à des problèmes statistiques tels que ceux rencontrés en chimie analytique.

L'essentiel

🎨 Le Défi : Reconstruire une Recette à partir du Gâteau

Imaginez que vous êtes un chef pâtissier. Vous avez devant vous un magnifique gâteau (la courbe agrégée). Vous savez exactement combien de sucre, de farine et d'œufs ont été utilisés pour le faire (les poids ou concentrations), mais vous avez oublié à quoi ressemblait le goût pur du sucre, de la farine ou de l'œuf pris séparément.

Votre mission ? Goûter le gâteau et deviner à quoi ressemblait chaque ingrédient individuel avant qu'ils ne soient mélangés. C'est exactement le problème mathématique que résout ce papier.

Dans le monde réel, cela s'appelle la calibration. Par exemple, en chimie, on peut mesurer la lumière absorbée par un mélange de liquides (le gâteau), mais on veut connaître la signature lumineuse de chaque liquide pur (les ingrédients) pour pouvoir analyser de nouveaux échantillons rapidement et sans laboratoire coûteux.

🧰 La Boîte à Outils : Le Package FunctionalCalibration

Les auteurs, Alex et Vitor, ont créé un outil informatique (un "package" pour le logiciel R) appelé FunctionalCalibration. C'est comme une boîte à outils magique qui permet de séparer le mélange pour retrouver les ingrédients purs.

Pour y parvenir, l'outil utilise deux méthodes principales, un peu comme deux types de sculpteurs différents :

1. Le Sculpteur aux Ondes (Les Ondelettes / Wavelets) 🌊

Imaginez que vous essayez de dessiner une montagne avec des pics très pointus et des vallées profondes.

• La méthode : Les ondelettes sont comme des pinceaux très fins et agiles. Elles sont excellentes pour capturer les détails brusques, les coupures nettes ou les pics soudains.
• L'analogie : Si votre ingrédient a un goût très "pimenté" ou une texture irrégulière (comme un ingrédient qui change soudainement de goût), les ondelettes sont parfaites. Elles ne lissent pas trop, elles gardent les "cicatrices" et les détails précis.
• Dans le papier : La fonction functional_calibration_wavelets utilise cette méthode. Elle est idéale pour les données qui ont des "accidents" ou des changements soudains.

2. Le Sculpteur aux Courbes Douces (Les Splines) 🌉

Maintenant, imaginez que vous devez dessiner une colline douce et vallonnée, sans aucun pic.

• La méthode : Les splines sont comme des règles flexibles en bois que l'on plie pour créer des courbes lisses. Elles sont parfaites pour les formes régulières et continues.
• L'analogie : Si votre ingrédient a un goût qui évolue doucement (comme le sucre qui fond), les splines sont idéales. Elles créent une ligne fluide et élégante.
• Dans le papier : La fonction functional_calibration_splines utilise cette méthode. Elle fonctionne très bien pour les courbes lisses, mais elle a du mal si l'ingrédient a des coupures nettes (elle va essayer de "lisser" la coupure, ce qui fausse le résultat).

🧪 L'Expérience : Le Cas de la Viande (Tecator)

Pour prouver que leur boîte à outils fonctionne, les auteurs l'ont testée sur un cas célèbre : l'analyse de la viande.

• Le problème : On a un spectre de lumière qui traverse un morceau de viande. Ce spectre est un mélange de la lumière absorbée par l'eau, les protéines et les graisses.
• Le but : Retrouver la courbe d'absorption de l'eau, des protéines et des graisses séparément.
• Le résultat :
  • Quand ils ont utilisé les splines (courbes douces) pour une fonction qui avait des changements brusques, le résultat était un peu flou, comme si on avait essayé de dessiner un carré avec un pinceau mou.
  • Quand ils ont utilisé les ondelettes, ils ont pu retrouver les détails précis, y compris les changements soudains, comme un photographe qui zoome sur les détails.

🛠️ Ce que le Package Vous Permet de Faire

Si vous installez ce logiciel, vous avez accès à quatre fonctions principales :

1. simulated_data() : C'est votre terrain de jeu. Le package génère un faux mélange (des données simulées) pour que vous puissiez vous entraîner sans risquer de gâcher de vraies expériences.
2. functional_calibration_wavelets() : Utilisez ceci si vous pensez que vos ingrédients ont des formes irrégulières, des pics ou des coupures nettes.
3. functional_calibration_splines() : Utilisez ceci si vos ingrédients sont lisses et continus, comme une vague douce.
4. weight_estimation() : C'est l'inverse ! Parfois, vous connaissez les ingrédients (les courbes pures) et vous voulez savoir combien il y en a dans le mélange. Cette fonction calcule les proportions (les poids).

💡 En Résumé

Ce papier nous dit : "Ne soyez pas bloqué par un mélange complexe !"

Que vous soyez un chimiste analysant de la viande, un économiste regardant des données agrégées, ou simplement quelqu'un qui veut comprendre comment des parties forment un tout, FunctionalCalibration vous donne les outils pour décomposer le tout.

• Si c'est lisse, utilisez les Splines.
• Si c'est irrégulier ou pointu, utilisez les Ondelettes.

C'est une boîte à outils intelligente qui s'adapte à la forme de vos données pour vous aider à voir clairement ce qui se cache derrière le mélange.

Résumé technique

1. Problématique : Estimation de courbes constitutives à partir de données agrégées

L'article aborde un problème statistique fondamental en analyse de données fonctionnelles : l'estimation de courbes individuelles (constituantes) à partir de l'observation de leurs courbes agrégées. Ce problème, souvent appelé problème de calibration, se rencontre dans divers domaines, notamment en chimie analytique (chimiométrie).

• Contexte physique : Le modèle repose sur la loi de Beer-Lambert, où l'absorbance d'un mélange est la somme pondérée des absorbances de ses constituants. Les poids correspondent aux concentrations.
• Le défi : L'objectif est de reconstruire les courbes d'absorbance individuelles ($\alpha_l(t)$) à partir de la courbe agrégée observée ($A(t)$) et des poids connus ($y_l$), en présence d'erreurs aléatoires.
• Limites des méthodes existantes : Les approches traditionnelles utilisent des techniques multivariées (Régression en Composantes Principales, Moindres Carrés Partiels) ou des méthodes bayésiennes. Cependant, ces méthodes ne traitent pas toujours efficacement la nature fonctionnelle des données ou les singularités locales (discontinuités, pics).

2. Méthodologie et Modèle Statistique

Le package FunctionalCalibration implémente une approche basée sur l'analyse de données fonctionnelles (FDA) avec deux stratégies d'expansion de base distinctes :

A. Le Modèle Statistique

Le modèle agrégé est défini par l'équation :
$$A(t) = \sum_{l=1}^{L} y_l \alpha_l(t) + \epsilon(t)$$
Où :

• $A(t)$ est la fonction observée (agrégée).
• $\alpha_l(t)$ sont les fonctions composantes inconnues à estimer.
• $y_l$ sont les poids connus (concentrations).
• $\epsilon(t)$ est un terme d'erreur aléatoire suivant une loi normale $\mathcal{N}(0, \sigma^2)$.

Le modèle est discrétisé sur $M$ points pour $N$ échantillons.

B. Approche par Bases d'Ondelettes (Wavelets)

Cette méthode, basée sur les travaux de Sousa (2024), est conçue pour gérer des fonctions présentant des singularités locales (discontinuités, pics, oscillations rapides).

• Expansion : Les fonctions $\alpha_l(t)$ sont développées sur une base d'ondelettes orthonormées (ex: Haar, Daubechies).
• Estimation :
  1. Transformation en ondelettes discrètes (DWT) des données.
  2. Application d'une règle de rétrécissement (shrinkage) sur les coefficients empiriques pour éliminer le bruit. Le package propose plusieurs règles, dont une règle Bayésienne spécifique utilisant un mélange d'une masse ponctuelle en zéro et d'une distribution logistique.
  3. Estimation des coefficients par moindres carrés.
  4. Reconstruction des fonctions par transformation inverse (IDWT).
• Avantage : Excellente capacité à capturer les discontinuités (comme dans la fonction $\alpha_2$ de l'exemple simulé).

C. Approche par Spline (B-splines)

Cette méthode, basée sur Saraiva et Dias (2009), est adaptée aux fonctions lisses.

• Expansion : Les fonctions sont développées sur une base de B-splines.
• Estimation : Le problème est formulé sous forme matricielle et résolu par la méthode des moindres carrés ordinaires (OLS) pour estimer les coefficients de la base.
• Avantage : Très efficace pour les fonctions continues et régulières.
• Limite : Performe mal sur les fonctions discontinues (phénomène de Gibbs).

3. Contributions Clés du Package R FunctionalCalibration

Le package, développé par Perrone et Sousa (2025) et disponible sur CRAN, offre une implémentation complète de ces méthodes avec les fonctionnalités suivantes :

1. Fonctions principales :

   • functional_calibration_wavelets(): Implémente l'estimation par ondelettes avec divers choix de familles d'ondelettes et de règles de rétrécissement (Bayésien, Universal, SURE, etc.).
   • functional_calibration_splines(): Implémente l'estimation par B-splines avec un nombre de bases paramétrable.
   • weight_estimation(): Résout le problème inverse : estimation des poids (concentrations) si les courbes constitutives sont connues.
   • plot_aggregated_curve(): Outil de visualisation pour reconstruire une courbe agrégée à partir de composantes et de poids donnés.

2. Données de test :

   • Inclusion d'un jeu de données simulé (simulated_data) contenant 100 échantillons générés à partir de deux fonctions types : une fonction lisse ($\sin(5x)e^{-x^2}$) et une fonction à discontinuités (fonction en escalier), permettant de valider les deux approches.

3. Flexibilité :

   • Gestion des paramètres hyperparamétriques bayésiens ($\tau, p, \sigma$) soit manuellement, soit par estimation automatique.
   • Support de l'approximation par Monte Carlo pour les intégrales bayésiennes.

4. Résultats et Validation

Les auteurs ont validé le package sur des données simulées et mentionnent l'application potentielle sur le jeu de données réel "Tecator" (absorbance de viande dans le spectre NIR).

• Performance des Ondelettes : Sur les données simulées, l'approche par ondelettes a réussi à reconstruire fidèlement les discontinuités de la fonction $\alpha_2(x)$ tout en préservant la forme générale de la fonction lisse $\alpha_1(x)$.
• Performance des Splines : L'approche par splines a bien estimé la fonction lisse $\alpha_1(x)$ mais a échoué à capturer les discontinuités de $\alpha_2(x)$, produisant des oscillations indésirables autour des sauts.
• Conclusion empirique : Le choix de la méthode doit dépendre de la nature des fonctions constitutives : les splines pour les fonctions lisses, les ondelettes pour les fonctions avec singularités locales.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Complémentarité méthodologique : Il formalise et rend accessible l'application de l'analyse fonctionnelle (FDA) au problème de calibration chimique, en offrant un choix critique entre splines et ondelettes selon la régularité des données.
• Accessibilité : En fournissant un package R complet sur CRAN, il démocratise l'accès à des méthodes d'estimation avancées (notamment le rétrécissement bayésien sur les ondelettes) pour les chercheurs en chimiométrie et en statistiques appliquées.
• Application pratique : Il permet de réduire les coûts analytiques en permettant d'estimer les concentrations de constituants dans de nouveaux échantillons une fois le modèle calibré, évitant ainsi des analyses de laboratoire coûteuses.

En résumé, FunctionalCalibration est un outil robuste qui comble un vide méthodologique en permettant une estimation précise de courbes constitutives, en adaptant la technique d'expansion de base (ondelettes vs splines) aux caractéristiques intrinsèques des données fonctionnelles.