Learn your entropy from informative data: an axiom ensuring the consistent identification of generalized entropies

Cet article propose un nouvel axiome stipulant qu'aucun paramètre entropique ne peut être déduit d'une distribution uniforme, ce qui permet d'identifier de manière cohérente l'entropie de Rényi parmi les généralisations existantes et d'étendre le principe du maximum de vraisemblance pour estimer ces paramètres directement à partir des données.

L'essentiel

Imaginez que vous êtes un détective essayant de reconstituer un crime à partir de quelques indices. En science, nous faisons souvent la même chose : nous essayons de comprendre un système complexe (comme le climat, un réseau social ou un marché boursier) en observant quelques données.

Pour faire cela, les scientifiques utilisent un outil mathématique appelé l'entropie. On peut voir l'entropie comme une mesure du chaos ou de l'incertitude. Plus un système est imprévisible, plus son entropie est élevée.

Pendant des décennies, il n'y avait qu'une seule règle pour mesurer ce chaos : l'entropie de Shannon (la version "classique"). Mais récemment, les scientifiques ont découvert que pour certains systèmes très complexes, cette règle classique ne fonctionnait pas bien. Ils ont donc inventé des "nouvelles règles" avec des paramètres supplémentaires (comme des boutons de réglage) pour s'adapter à ces systèmes bizarres.

Le problème ? Comment savoir quel bouton régler ?
Souvent, les scientifiques devaient deviner la valeur de ce bouton en fonction de ce qu'ils pensaient déjà savoir du système. C'est comme essayer de régler la radio sans connaître la fréquence : on ne peut pas trouver la bonne station sans une connaissance préalable. De plus, si on utilisait ces nouvelles règles, les mathématiques devenaient incohérentes : les résultats ne correspondaient plus aux méthodes statistiques éprouvées.

La solution proposée dans ce papier : La règle de l'ignorance totale

Les auteurs de ce papier (Andrea Somazzi et Diego Garlaschelli) ont proposé une idée simple mais puissante pour résoudre ce casse-tête. Ils ont introduit une nouvelle règle, qu'ils appellent l'axiome de l'absence d'information.

Voici l'analogie pour comprendre :

Imaginez que vous avez une boîte remplie de boules de toutes les couleurs.

1. Situation 1 (Données informatives) : Vous regardez dans la boîte et vous voyez qu'il y a beaucoup de boules rouges et très peu de bleues. Vous avez de l'information. Vous pouvez utiliser n'importe quelle "règle d'entropie" pour analyser cette situation.
2. Situation 2 (Données non informatives) : Vous ne regardez pas dans la boîte. Vous savez juste qu'il y a des boules, mais vous n'avez aucune idée de la répartition des couleurs. C'est le cas le plus "ignorant" possible.

La nouvelle règle dit ceci :

"Si vous êtes dans un état d'ignorance totale (toutes les couleurs sont également probables), votre mesure du chaos (l'entropie) doit être la même, peu importe la règle mathématique que vous choisissez d'utiliser."

C'est comme dire : "Si vous ne savez rien, votre niveau de confusion doit être identique, que vous utilisiez une règle simple ou une règle complexe."

Pourquoi cette règle est-elle magique ?

En appliquant cette règle simple, les auteurs ont découvert quelque chose de surprenant :

1. Elle élimine les mauvaises règles : Beaucoup de nouvelles formules d'entropie (comme celle de Tsallis, très populaire) échouent à cette test. Elles donnent des valeurs de chaos différentes selon le "bouton" réglé, même quand on ne sait rien. Elles sont donc rejetées.
2. Elle sauve la règle de Rényi : Seule une famille spécifique de règles, appelée entropie de Rényi, passe le test. Elle est compatible avec notre axiome.
3. Elle permet d'apprendre sans savoir : Grâce à cette règle, on peut maintenant déterminer le "bouton" manquant (le paramètre) uniquement à partir des données, sans avoir besoin de connaître le système à l'avance. C'est comme si la radio trouvait sa propre fréquence en écoutant le bruit ambiant.

Le résultat final : Un retour aux sources

Le résultat le plus élégant de cette découverte est le suivant :

Même si vous utilisez une règle complexe (Rényi) pour modéliser un système compliqué, dès que vous avez plusieurs observations indépendantes (comme plusieurs témoins d'un même événement), la science vous dit que la mesure de l'incertitude doit redevient celle de la règle classique (Shannon).

C'est comme si, au début, vous utilisiez une loupe spéciale pour voir des détails invisibles (Rényi), mais que dès que vous avez assez de témoins, la vision globale redevient claire et standard (Shannon).

En résumé

Ce papier dit aux scientifiques :

• Arrêtez de deviner les paramètres de vos formules complexes.
• Utilisez cette nouvelle règle simple : "L'ignorance totale doit toujours donner le même résultat, peu importe la formule."
• Cela vous forcera à utiliser la bonne formule (Rényi) et vous permettra de trouver les paramètres exacts directement à partir de vos données, en restant cohérent avec les méthodes statistiques modernes.

C'est une façon de remettre de l'ordre dans le chaos, en s'assurant que nos outils mathématiques ne nous disent pas des mensonges quand nous ne savons rien.

Résumé technique

---

1. Problématique

L'entropie de Shannon est la pierre angulaire de la théorie de l'information et de la physique statistique, unique identification garantie par les axiomes de Shannon-Khinchin (SK) ou Shore-Johnson (SJ). Cependant, l'étude des systèmes non-extensifs ou non-ergodiques a conduit à la proposition de nombreuses généralisations de l'entropie (familles paramétrées par des « paramètres entropiques », notés souvent $q$, $c$, $d$).

Le papier identifie trois problèmes majeurs dans l'application actuelle de ces entropies généralisées (GMEP - Generalized Maximum Entropy Principle) :

1. Incohérence avec le principe du Maximum de Vraisemblance (ML) : Pour la plupart des entropies généralisées, la distribution qui maximise l'entropie sous contrainte ne correspond pas à la distribution qui maximise la vraisemblance des données observées.
2. Impossibilité d'inférer les paramètres : Il est généralement impossible de déterminer les paramètres entropiques (comme $q$) uniquement à partir des données empiriques sans connaissance a priori du système (par exemple, via des lois d'échelle).
3. Incohérence avec l'indépendance : Lorsqu'on dispose de multiples observations indépendantes d'un même système, l'entropie généralisée devrait se réduire à l'entropie de Shannon (selon l'axiome SJ3 d'indépendance des systèmes). Or, les approches actuelles ne parviennent pas à expliquer pourquoi un système serait décrit par une entropie non-shannonienne pour une seule observation et par l'entropie de Shannon pour plusieurs.

2. Méthodologie : L'Axiome de Non-Informativité

Les auteurs introduisent un nouvel axiome simple mais puissant, applicable à toute famille paramétrique d'entropies :

Axiome de Non-Informativité (Uninformativeness Axiom) :

Dans une famille paramétrique d'entropies, la valeur de l'entropie atteinte par la distribution de probabilité uniforme ($P_u$) ne doit pas dépendre de la valeur du ou des paramètres entropiques.

Logique sous-jacente :

• Une distribution uniforme représente un état de connaissance totalement nul (absence d'information).
• Si l'entropie mesurée sur cet état dépendait du paramètre $q$, cela impliquerait que le paramètre $q$ lui-même contient de l'information, ce qui est absurde si l'on ne dispose que de données uniformes.
• Cet axiome impose une « échelle universelle » : toutes les entropies valides de la famille doivent atteindre la même valeur maximale ($\ln \Omega$) sur la distribution uniforme.

3. Contributions Clés et Résultats Théoriques

A. Sélection des familles d'entropies valides

L'application de cet axiome filtre drastiquement les familles d'entropies existantes :

• Famille UJK (Uffink-Jizba-Korbel) : L'axiome impose que la fonction $f$ transformant le fonctionnel $U_q[P]$ ne dépende pas de $q$. Cela élimine l'entropie de Tsallis (où $f$ dépend de $q$ via le $q$-logarithme) et sélectionne uniquement l'entropie de Rényi comme membre viable.
• Famille HT (Hanel-Thurner) : Pour les entropies composables de type $(c, d)$, l'axiome impose que $(c, d) = (1, 1)$. Cela sélectionne à nouveau l'entropie de Shannon et l'entropie de Rényi, tout en rejetant l'entropie de Tsallis (qui correspondrait à $(q, 0)$).

Conclusion théorique : Seule l'entropie de Rényi (ou une classe asymptotiquement équivalente) satisfait cet axiome tout en restant une généralisation non-triviale.

B. Cohérence avec le Principe du Maximum de Vraisemblance (ML)

Les auteurs démontrent que l'utilisation de l'entropie de Rényi, couplée à cet axiome, restaure la cohérence avec le principe ML :

• Estimation des paramètres structurels : Le Lagrangien généralisé permet d'estimer les multiplicateurs de Lagrange ($\theta$ ou $\psi$) de manière cohérente avec la maximisation de la vraisemblance.
• Estimation du paramètre entropique ($q$) : En étendant le principe ML pour inclure $q$ comme paramètre à estimer, les auteurs montrent que la condition d'optimalité pour $q$ conduit à une relation surprenante mais cruciale :
  $$S_1[P_{q^*}] = -\ell_{q^*}$$
  Où $S_1$ est l'entropie de Shannon et $\ell$ est la log-vraisemblance.
  Cela signifie que, même si la distribution estimée maximise l'entropie de Rényi, la vraisemblance maximale des données correspond exactement à l'opposé de l'entropie de Shannon.

C. Résolution du paradoxe de l'indépendance

Pour $M$ observations indépendantes ($M > 1$) :

• La relation directe entre la vraisemblance moyenne et l'entropie de Rényi se brise (comme prévu par l'indépendance).
• Cependant, la relation entre la vraisemblance et l'entropie de Shannon est restaurée.
• Cela résout le paradoxe : un système avec une seule observation peut être décrit par une entropie de Rényi (non-extensive), mais dès que l'on considère un ensemble de copies indépendantes du système, l'entropie effective qui décrit l'incertitude combinée redevient l'entropie de Shannon. L'axiome permet donc une transition cohérente entre les régimes.

4. Validation Numérique

Les auteurs valident leurs résultats théoriques par des simulations numériques sur deux exemples :

1. Distribution exponentielle et $q$-exponentielle : Ils génèrent des échantillons de distributions avec des paramètres $q$ connus (y compris des cas où la moyenne diverge, $q > 1.5$).
   • En maximisant la vraisemblance par rapport à $q$ et $\psi$, ils retrouvent les paramètres vrais.
   • Ils montrent graphiquement que la courbe de la log-vraisemblance partielle et celle de l'opposé de l'entropie de Shannon s'intersectent précisément au point où $q = q_{true}$.
2. Variable de Bernoulli : Un cas dégénéré où l'inférence de $q$ est impossible car toutes les distributions maximisant l'entropie sont identiques pour ce système binaire, confirmant que l'inférence de $q$ nécessite des données « informatives » (non-uniformes).

5. Signification et Implications

Ce travail apporte une solution fondamentale aux problèmes de sélection de modèles dans les systèmes complexes :

1. Sélection de modèle automatique : Il n'est plus nécessaire de connaître a priori la valeur du paramètre entropique. L'approche ML généralisée permet d'inférer $q$ directement à partir des données.
2. Critère de sélection unifié : Le critère de sélection de modèle devient la maximisation de la vraisemblance (ou l'opposé de l'entropie de Shannon), même lorsque le modèle sous-jacent est une distribution $q$-exponentielle maximisant l'entropie de Rényi.
3. Réhabilitation de l'entropie de Rényi : L'entropie de Rényi est identifiée comme la seule généralisation cohérente des axiomes classiques et du principe ML, tandis que l'entropie de Tsallis est rejetée dans ce cadre d'inférence (bien que ses distributions maximisantes restent utiles pour décrire les phénomènes physiques, leur quantification de l'incertitude via l'entropie de Tsallis elle-même est incohérente pour la sélection de modèles).
4. Gestion de la non-extensivité : La non-extensivité n'est plus une propriété intrinsèque de la forme de l'entropie, mais découle de la façon dont le nombre de configurations accessibles ($\Omega$) évolue avec la taille du système. L'entropie de Shannon (ou Rényi) reste le bon outil de quantification, à condition d'utiliser la bonne contrainte (moyenne $q$-généralisée).

En résumé, l'article propose un cadre rigoureux où l'on peut « apprendre » l'entropie appropriée d'un système directement à partir de ses données, garantissant la cohérence entre la physique statistique, la théorie de l'information et les méthodes d'estimation statistique modernes.