📊 statistics

Robust model selection using likelihood as data

Cet article propose une nouvelle méthode robuste de sélection de modèles sous spécification erronée qui traite les valeurs de vraisemblance comme des données pour estimer et quantifier l'incertitude des divergences de Kullback-Leibler via un modèle multivarié normal, offrant ainsi des inférences calibrées avec garanties théoriques.

Auteurs originaux : Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

Publié 2026-03-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous êtes un chef cuisinier talentueux. Vous avez devant vous une liste de dix recettes différentes (vos modèles) pour préparer un plat. Votre objectif est de trouver celle qui se rapproche le plus du "goût parfait" que vos clients recherchent (la vérité ou le processus de génération de données).

Le problème ? Vous ne connaissez pas le goût parfait. De plus, aucune de vos recettes n'est parfaite : elles sont toutes un peu imparfaites, soit trop salées, soit pas assez épicées. C'est ce que les statisticiens appellent un modèle mal spécifié.

Le problème des anciennes méthodes

Jusqu'à présent, pour choisir la meilleure recette, les chefs (les statisticiens) utilisaient deux outils principaux :

Les critères d'information (comme l'AIC ou le BIC) : C'est comme compter les calories de chaque recette. Cela donne un score, mais ne vous dit pas à quel point vous êtes incertain. Si deux recettes ont un score très proche, ces méthodes ne vous disent pas si l'une est vraiment meilleure ou si c'est juste une coïncidence due à la chance.
Les méthodes Bayésiennes classiques : Elles vous donnent une probabilité : "Il y a 90 % de chances que la recette A soit la meilleure". Mais attention ! Si toutes les autres recettes sont terribles, la recette A aura 90 % de probabilité, même si elle est elle-même médiocre. Cela ne mesure pas la distance réelle par rapport au goût parfait.

De plus, si vous augmentez la taille de votre échantillon (plus de clients), ces méthodes ont tendance à devenir folles et à choisir des recettes de plus en plus complexes (avec 50 ingrédients) pour essayer de coller parfaitement aux données, même si un plat simple aurait presque aussi bien fonctionné.

La nouvelle idée : "La Vraisemblance comme Données" (Likelihood as Data)

Les auteurs de cet article, Jongwoo Choi, Neil Spencer et Jeffrey Miller, proposent une approche révolutionnaire. Au lieu de regarder les recettes comme des formules magiques, ils disent : "Regardons les notes de chaque client pour chaque recette comme des données en soi."

Voici l'analogie simple :

Le test de dégustation : Pour chaque recette (modèle) et pour chaque client (donnée), vous notez à quel point le plat est loin du goût idéal. Plus la note est élevée, plus le plat est mauvais.
La matrice des notes : Vous créez un tableau géant où chaque ligne est un client et chaque colonne est une recette.
L'observation clé : Si vous faites la moyenne des notes pour une recette donnée, vous obtenez une mesure de sa "distance" par rapport à la vérité (appelée divergence de Kullback-Leibler).

La méthode magique : Le modèle "Gentil"

Au lieu de simplement prendre la moyenne, les auteurs utilisent un modèle statistique (un modèle Bayésien) pour dessiner une courbe de probabilité autour de ces moyennes.

Imaginez que vous ne dites pas : "La recette A a une note moyenne de 5".
Vous dites plutôt : "La recette A a une note moyenne qui se situe probablement entre 4,8 et 5,2, et voici comment cela se compare à la recette B".

Cela permet de répondre à des questions intelligentes :

"La recette A est-elle vraiment meilleure que la recette B, ou est-ce juste du bruit ?"
"La recette C est-elle presque aussi bonne que la recette A, mais beaucoup plus simple (moins d'ingrédients) ?"

Le compromis : La tolérance (δ)

C'est ici que la méthode devient très pratique. Les auteurs introduisent un concept de tolérance (noté δ).

Imaginez que vous êtes prêt à sacrifier un tout petit peu de goût pour avoir un plat plus simple à cuisiner.

Si vous êtes très exigeant (tolérance faible), vous choisirez la recette la plus complexe qui est très proche du goût parfait.
Si vous êtes plus flexible (tolérance élevée), vous choisirez la recette la plus simple qui est "assez bonne".

La méthode calcule un score pour chaque recette en fonction de cette tolérance. Elle vous dit : "Pour une tolérance de 5 %, la recette simple est le meilleur choix. Pour une tolérance de 0,1 %, il faut passer à la recette complexe."

Pourquoi c'est génial ?

Robustesse : Même si aucune recette n'est parfaite, la méthode trouve celle qui est "la moins pire" de manière stable.
Gestion de l'incertitude : Elle ne vous donne pas juste une réponse binaire ("C'est la recette A !"). Elle vous dit : "Il y a 80 % de chances que ce soit la recette A, mais la recette B n'est pas loin."
Stabilité : Si deux recettes sont exactement à égalité, la méthode ne panique pas et ne choisit pas au hasard. Elle reconnaît qu'elles sont toutes deux de bonnes options.

En résumé

Cette nouvelle méthode change la façon dont nous choisissons nos modèles statistiques. Au lieu de chercher la "perfection" (qui n'existe pas), elle cherche le meilleur compromis entre simplicité et précision, tout en quantifiant honnêtement nos incertitudes.

C'est comme passer d'un chef qui crie "C'est la recette A !" à un chef qui dit : "Voici un tableau de bord qui montre que la recette A est excellente, mais que la recette B, plus simple, ferait presque aussi bien si on accepte un tout petit peu moins de saveur."

1. Problématique

La sélection de modèles est une tâche centrale en statistique visant à choisir le modèle le plus approprié parmi un ensemble de candidats. Cependant, les méthodes standard (critères d'information comme AIC/BIC et inférence bayésienne classique) présentent des limites majeures dans des contextes de spécification erronée (misspecification), c'est-à-dire lorsque le processus générateur de données (DGP) réel n'appartient pas à l'ensemble des modèles candidats.

Les problèmes identifiés sont les suivants :

Absence de quantification de l'incertitude : Les critères d'information fournissent un point unique sans mesurer l'incertitude sur la proximité du modèle par rapport à la vérité.
Instabilité et concentration excessive : Les posteriori bayésiens et les critères d'information tendent à se concentrer asymptotiquement sur le modèle ayant la plus petite divergence de Kullback-Leibler (KL), même si ce modèle est très complexe. Si plusieurs modèles ont une divergence KL minimale (ou très proche), ces méthodes deviennent instables et peuvent sélectionner arbitrairement un modèle complexe plutôt qu'un modèle plus simple et presque aussi bon.
Manque de robustesse : Aucune méthode standard ne quantifie de manière fiable l'incertitude sur la qualité d'approximation de chaque modèle face à un DGP inconnu et potentiellement non inclus dans les candidats.

2. Méthodologie : Le cadre « Likelihood as Data » (LaD)

Les auteurs proposent une approche novatrice appelée Likelihood as Data (LaD). Au lieu d'utiliser la vraisemblance uniquement pour estimer des paramètres ou calculer un score global, ils traitent les valeurs de la log-vraisemblance négative par observation comme des données à part entière.

A. Formulation de base

Soit $n$ observations $X_1, \dots, X_n$ et $K$ modèles candidats. Pour chaque observation $i$ et chaque modèle $k$ , on calcule la log-vraisemblance négative :
$Z_{ik} = -\log(f_k(X_i))$
Ces valeurs forment une matrice de données $Z \in \mathbb{R}^{n \times K}$ . Chaque vecteur ligne $Z_i = (Z_{i1}, \dots, Z_{iK})^T$ est traité comme un point de données multivarié.

L'espérance de chaque composante $Z_{ik}$ est liée à la divergence KL entre le DGP réel $f_0$ et le modèle $k$ :
$\mu_k = E[Z_{ik}] = D(f_0 \| f_k) + H(f_0)$
où $H(f_0)$ est l'entropie du DGP (constante inconnue mais commune à tous les modèles). Ainsi, le vecteur $\mu = (\mu_1, \dots, \mu_K)^T$ représente les divergences KL relatives entre les modèles et la vérité.

B. Inférence Bayésienne Multivariée

Pour estimer $\mu$ et quantifier l'incertitude, les auteurs modélisent les vecteurs $Z_i$ comme suivant une loi normale multivariée :
$Z_1, \dots, Z_n \mid \mu, \Sigma \overset{iid}{\sim} \mathcal{N}(\mu, \Sigma)$
Un prior Normal-Inverse-Wishart (NIW) est placé sur $(\mu, \Sigma)$ . La vraisemblance de ce modèle dépend uniquement des statistiques suffisantes (moyenne et covariance empiriques des $Z_i$ ), ce qui rend l'inférence robuste même si la distribution réelle des $Z_i$ n'est pas exactement normale.

C. Critère de Sélection Robuste (SLC)

L'objectif n'est pas seulement de trouver le modèle avec le $\mu_k$ minimal, mais d'identifier le modèle le plus simple dont la divergence KL est dans une tolérance $\delta$ du minimum.

Définition $\delta$ -optimal : Un modèle $k$ est $\delta$ -optimal si $D(f_0 \| f_k) \le \min_j D(f_0 \| f_j) + \delta$ .
Score SLC (Smooth LaD Criterion) : Pour éviter l'instabilité des minima durs (hard minimum) lorsque plusieurs modèles sont à égalité, les auteurs introduisent un score de sélection « doux » (soft selection). Le score $w_\delta(k)$ $w_{δ} (k)$ est le produit de :
1. La probabilité que le modèle $k$ appartienne à la classe de complexité minimale parmi les modèles $\delta$ -optimaux.
2. Un facteur de sélection intra-classe basé sur une fonction exponentielle lisse ( $\exp(-\alpha_n(\mu_k - \mu_{min}^{c(k)}))$ ) qui pénalise doucement les modèles moins performants au sein de leur classe de complexité.

D. Correction de Biais et Échelle Interprétable

Correction de biais : Pour les modèles à paramètres estimés, une correction de biais (basée sur le théorème de Wilks) est appliquée aux valeurs $Z_{ik}$ pour compenser le surajustement (overfitting) : $Z_{ik}^{bc} = Z_{ik} + d_k/(2n)$ , où $d_k$ est le nombre de paramètres.
Tolérance relative ( $\tau$ ) : Pour rendre le choix de $\delta$ interprétable, ils le normalisent par rapport à un modèle « bruit » (noise model) et le meilleur modèle candidat, définissant $\tau = \delta / (\mu_{noise} - \mu_{min})$ . Cela représente la proportion d'information explicative que l'on est prêt à sacrifier pour la simplicité.

3. Contributions Clés

Nouveau paradigme : Traitement des valeurs de vraisemblance comme données d'entrée pour une inférence directe sur les distances KL.
Robustesse à la spécification erronée : La méthode ne suppose qu'aucun modèle candidat n'est correct ; elle vise à trouver le meilleur approximant.
Gestion des égalités (Ties) : Contrairement aux méthodes classiques qui échouent ou sont instables lorsque plusieurs modèles ont la même qualité d'ajustement, le score SLC reste stable et distribue l'incertitude de manière cohérente.
Garanties théoriques : Les auteurs prouvent la consistance asymptotique du score SLC : lorsque $n \to \infty$ , la probabilité de sélectionner le bon ensemble de modèles $\delta$ -optimaux de complexité minimale tend vers 1.
Interprétabilité : Introduction de l'échelle $\tau$ permettant aux praticiens de choisir un compromis complexité/précision de manière intuitive.

4. Résultats Empiriques

Les auteurs valident leur méthode sur plusieurs jeux de données et simulations :

Mélange de Gaussiens (Données de galaxies de Shapley) :
- Les méthodes classiques (AIC, BIC, Posteriori Bayésien standard) continuent de sélectionner un nombre de composantes $k$ de plus en plus élevé à mesure que $n$ augmente, même sous spécification erronée.
- LaD stabilise le choix de $k$ et montre clairement le compromis : pour des tolérances $\tau$ raisonnables (ex: sacrifier 1% de l'amélioration KL), un modèle simple ( $k \approx 8$ ) est suffisant, contrairement aux méthodes classiques qui poussent vers $k > 10$ .
Modèles Normaux Multivariés Épars (Sparse MVN) :
- Comparaison avec des méthodes alternatives (c-posterior, BayesBag, AIC/BIC).
- LaD (version « soft ») obtient le meilleur score de Brier (erreur de prédiction probabiliste) sur une large gamme de tolérances $\delta$ .
- La méthode gère correctement les cas d'égalité (modèles 4 et 5 ayant la même complexité et la même distance KL) en attribuant des scores égaux, tandis que les méthodes « hard » sélectionnent arbitrairement l'un ou l'autre.
Courbes de performance thermique (Microbiologie) :
- Application à 9 modèles de croissance microbienne. LaD permet de sélectionner des modèles plus simples (3-4 paramètres) lorsque la tolérance $\tau$ est augmentée, tout en identifiant que certains modèles complexes sont inadaptés (faibles scores SLC).
Modèles d'Admixture (Génétique des populations) :
- Application aux données de truites d'Érié. Contrairement à la méthode d'Evanno (souvent utilisée avec STRUCTURE) qui suggère $k=2$ , LaD montre que $k=2$ n'apporte qu'une amélioration marginale par rapport à $k=1$ et que $k=3$ ou $4$ est nécessaire pour des gains significatifs, offrant une vision plus nuancée de la structure des populations.

5. Signification et Conclusion

L'article propose une avancée significative dans la sélection de modèles en adressant le problème fondamental de la spécification erronée. En déplaçant le focus de l'estimation des paramètres vers l'estimation des distances KL relatives avec quantification de l'incertitude, la méthode LaD offre :

Une stabilité accrue face aux données réelles complexes.
Une flexibilité pour choisir des modèles parsimonieux sans sacrifier excessivement la qualité d'ajustement.
Une interprétabilité directe via l'échelle de tolérance relative $\tau$ .

Cette approche est particulièrement pertinente dans les domaines où les modèles sont par nature des approximations (écologie, génétique, physique) et où le choix d'un modèle trop complexe ou trop simple a des conséquences pratiques importantes. La méthode est facile à calculer (basée sur des échantillonnages MCMC standards ou des formules fermées pour les modèles conjugués) et théoriquement fondée.