Mutual information-entropy plane: a new quantifier space for time series analysis

Dans l'étude des systèmes complexes, du vacillement d'un marché boursier au déclenchement des neurones dans un cerveau, les scientifiques cherchent souvent des moyens de mesurer à quel point un système est imprévisible et à quel point il partage des caractéristiques avec un autre. Deux outils puissants ont longtemps aidé les chercheurs à naviguer dans ce terrain : l'entropie et l'information mutuelle. L'entropie est une mesure du désordre ou de l'aléatoire ; une horloge parfaitement prévisible a une faible entropie, tandis qu'un système de pur bruit statique a une entropme élevée. L'information mutuelle, quant à elle, mesure à quel point deux systèmes différents nous renseignent l'un sur l'autre. Si le fait de connaître l'état d'un système permet de deviner l'état d'un autre avec une grande précision, ils partagent beaucoup d'information mutuelle. Pendant des décennies, les scientifiques ont utilisé ces outils séparément, les plaçant sur des cartes pour distinguer les comportements ordonnés, chaotiques et aléatoires. Cependant, une lacune importante subsistait : bien que ces outils puissent décrire le chaos d'un système unique ou le lien entre deux systèmes, ils peinaient à montrer simultanément l'incertitude interne d'un système et sa connexion avec un autre, et ne pouvaient pas non plus révéler facilement quel système dirigeait l'autre.

Une équipe de chercheurs d'Argentine a maintenant proposé une nouvelle façon de visualiser ces relations, créant une carte bidimensionnelle qui combine ces concepts en une image unique et intuitive. En prenant la mesure standard du désordre et en la couplant avec une mesure de l'information partagée, ils ont construit un plan où chaque point raconte une histoire complète sur une paire de séries temporelles en interaction. Cette nouvelle approche, qu'ils appellent le plan de l'information mutuelle-entropie, permet aux scientifiques de voir non seulement à quel point un système est chaotique ou étroitement lié à un partenaire, mais aussi de déterminer la direction de l'influence entre eux. Les chercheurs ont testé cette méthode sur trois types de comportements distincts : un mouvement régulier et prévisible ; un mouvement chaotique et déterministe qui semble aléatoire mais suit des règles strictes ; et un bruit purement aléatoire. Ils ont découvert que cette nouvelle carte pouvait séparer clairement ces différents comportements, même lorsqu'ils partageaient la même quantité d'information, résolvant ainsi un problème que les méthodes précédentes ne pouvaient pas résoudre.

Le cœur de cette nouvelle méthode réside dans la manière dont les chercheurs ont organisé leurs données. Ils ont pris la mesure du désordre interne d'un système et l'ont placée sur un axe, tandis que la mesure de l'information qu'il partage avec un partenaire est allée sur l'autre. Lorsqu'ils ont tracé les résultats, un motif géométrique clair est apparu. Les chercheurs ont découvert que la distance d'un point de données par rapport à une ligne diagonale spécifique sur la carte révèle quelque chose de profond : le degré auquel un système reste indépendant de l'autre. Si un point se situe directement sur la ligne, les deux systèmes sont si étroitement couplés que connaître l'un explique complètement l'autre. Si le point se situe loin sous la ligne, cela signifie que même si les systèmes sont liés, une partie significative du comportement de l'un reste un mystère lorsqu'on observe l'autre. Cette distance verticale agit comme une mesure directe de « l'indépendance informationnelle », un concept qui était difficile à visualiser auparavant.

Ce qui rend cette découverte particulièrement puissante, c'est sa capacité à révéler la directionnalité sans calculs complexes. Dans de nombreux domaines scientifiques, déterminer si le système A provoque des changements dans le système B, ou vice versa, nécessite des outils de calcul intensifs. Les chercheurs ont montré qu'en plaçant les deux systèmes sur cette même carte, la géométrie elle-même révèle le flux d'influence. Si le système A dirige le système B, le point représentant A se situera plus près de la ligne diagonale que le point représentant B. Cette asymétrie crée une flèche visuelle simple, pointant du moteur vers le moteur entraîné, permettant aux chercheurs de voir la direction du flux d'information par la simple observation des positions relatives des points. C'est une façon de voir qui mène et qui suit dans une danse de données, sans avoir besoin de calculer les pas de la danse elle-même.

Pour prouver l'utilité de leur nouvelle carte, les chercheurs ont simulé trois scénarios classiques. D'abord, ils ont observé un mouvement régulier et prévisible, comme un pendule oscillant. Ensuite, ils ont examiné des systèmes chaotiques, qui sont déterministes mais paraissent aléatoires, tels que la célèbre carte logistique utilisée pour modéliser la croissance des populations. Enfin, ils ont étudié le bruit blanc pur, qui est totalement aléatoire. Ils ont ensuite créé un second système pour chaque cas, qui était un mélange de l'original et d'un certain bruit aléatoire, contrôlé par un facteur de couplage. À mesure qu'ils ajustaient ce facteur, ils observaient comment les points se déplaçaient sur leur nouvelle carte. Ils ont constaté que, tandis que la quantité d'information partagée augmentait régulièrement à mesure que les systèmes devenaient plus couplés, la position des points sur la carte restait distincte pour chaque type de dynamique. Les systèmes réguliers, chaotiques et aléatoires occupaient des régions différentes du plan, permettant de les distinguer clairement. Ce fut une découverte cruciale car les méthodes précédentes peinaient souvent à distinguer les systèmes chaotiques du bruit aléatoire lorsqu'ils partageaient des niveaux d'information similaires.

Les chercheurs ont également démontré que cette méthode fonctionne pour des applications réelles où la direction importe. En traçant l'entropie du système moteur par rapport à l'information partagée, puis en traçant l'entropie du système résultant par rapport à la même information partagée, ils ont pu observer une séparation claire. Le point pour le système moteur restait plus proche de la ligne de dépendance parfaite, tandis que le point pour le système résultant s'éloignait davantage. Cet écart visuel confirmait que l'information circulait dans une seule direction, du moteur vers le récepteur. Les chercheurs ont noté que cette approche offre une manière plus directe et géométrique de comprendre ces relations par rapport aux techniques plus anciennes et plus coûteuses en calcul.

Cependant, les auteurs prennent soin de noter les limites de leur nouvel outil. Comme toute méthode reposant sur des modèles statistiques, elle est sensible à la préparation des données. La manière dont les séries temporelles sont décomposées, la taille des fenêtres utilisées pour l'analyse et la quantité de données disponibles peuvent toutes déplacer la position des points sur la carte. Pour des ensembles de données très courts ou très bruités, la carte peut perdre de sa netteté, rendant plus difficile la distinction de différences subtiles. Dans ces cas, les chercheurs suggèrent de traiter les résultats comme des tendances générales plutôt que comme des mesures précises. Malgré ces contraintes, le nouveau plan offre un cadre robuste pour comparer les dynamiques complexes. Il offre un moyen de caractériser simultanément l'incertitude interne d'un système et sa relation avec un autre, transformant des concepts mathématiques abstraits en un paysage visuel que les chercheurs peuvent parcourir avec clarté.

Ce travail représente une étape importante dans l'analyse des systèmes complexes, offrant une vue unifiée de l'incertitude et de la connexion. En combinant les mesures du désordre et de l'information partagée dans un seul espace bidimensionnel, les chercheurs ont fourni un outil qui est à la fois intuitif et puissant. Il permet aux scientifiques de voir non seulement à quel point un système est chaotique ou aléatoire, mais aussi comment il se rapporte aux autres et dans quelle direction l'influence circule. Qu'elle soit appliquée aux marchés financiers, à l'activité cérébrale ou aux systèmes physiques, cette nouvelle carte promet d'aider les chercheurs à démêler le réseau complexe de cause à effet qui définit notre monde complexe, transformant les motifs invisibles de l'information en un récit visuel clair.