Time delay embeddings to characterize the timbre of musical instruments using Topological Data Analysis: a study on synthetic and real data

Cette étude démontre que l'application de l'analyse de données topologiques aux plongements par retard temporel de signaux audio, plus précisément en utilisant des retards liés à des fractions de la période fondamentale, caractérise efficacement le timbre musical en révélant les structures harmoniques et en distinguant les instruments dans les données synthétiques et réelles.

L'essentiel

Imaginez que vous essayiez de faire la différence entre un violon et une flûte jouant exactement la même note à la même intensité. À vos oreilles, ils sonnent complètement différemment. Ce « timbre » ou « couleur sonore » est ce que l'on appelle le timbre.

Pendant longtemps, les scientifiques ont essayé de mesurer le timbre à l'aide d'outils qui analysent le son comme une carte plate de fréquences (comme un piano déroulé). Mais les auteurs de cet article soutiennent que cela passe à côté de la « forme » cachée et complexe du son. Ils proposent une nouvelle façon d'écouter : utiliser l'Analyse de Données Topologiques (TDA).

Voici une décomposition simple de ce qu'ils ont fait et de ce qu'ils ont trouvé, en utilisant des analogies de la vie quotidienne.

1. Le Problème : Le son est en 3D, mais nous le regardions en 2D

Considérez une onde sonore comme une ligne sinueuse sur une feuille de papier. Les méthodes traditionnelles regardent simplement si la ligne monte ou descend. Mais les auteurs disent : « Cela ne suffit pas. Nous devons voir la forme que la ligne dessine lorsqu'elle revient sur elle-même. »

Pour ce faire, ils utilisent une astuce appelée Plongement par Délai Temporel (Time Delay Embedding).

• L'analogie : Imaginez que vous regardez un coureur sur une piste. Si vous prenez une photo chaque seconde, vous ne voyez qu'une ligne de points. Mais si vous prenez une photo du coureur et de l'endroit où il se trouvait une seconde plus tôt, vous pouvez commencer à voir s'il court en cercle, en forme de huit ou en ligne droite.
• L'affirmation de l'article : En prenant l'onde sonore et en la traçant contre une version « retardée » d'elle-même, ils transforment une simple ligne sinueuse en une forme 3D complexe (un « nuage de points »).

2. L'Outil : Compter les trous

Une fois qu'ils ont cette forme 3D, ils utilisent la TDA pour compter les « trous » qu'elle contient.

• L'analogie : Imaginez que la forme du son soit faite d'argile.
  • Une boule pleine n'a pas de trous.
  • Un beignet a un trou.
  • Un bretzel a trois trous.
• L'affirmation de l'article : Les sons purs (comme une onde sinusoïdale parfaite) créent une forme simple avec un seul grand « trou » (comme un beignet). Mais les instruments réels ajoutent des « ondulations » supplémentaires au son (harmoniques). Ces ondulations modifient la forme de l'argile, créant de nouveaux trous ou changeant la taille des trous existants. La TDA compte ces trous pour distinguer les instruments.

3. L'Ingrédient Secret : Le réglage du « Délai »

La plus grande découverte de cet article est que la manière dont vous prenez cette photo retardée importe énormément. C'est comme prendre la photo d'un ventilateur en rotation.

• Si vous prenez la photo à la mauvaise vitesse, le ventilateur ressemble à un flou solide.
• Si vous la prenez à la bonne vitesse, vous pouvez voir les pales individuelles.

Les auteurs ont testé différents « délais » (écarts de temps) pour voir lequel révélait les formes les plus intéressantes. Ils ont trouvé deux « réglages magiques » :

• Réglage A : La moitié de la période ($T_0/2$)

  • Ce qu'il fait : Ce réglage est comme un miroir. Si le son est une onde mathématique parfaite, la forme s'effondre en une ligne droite (pas de trous). Mais si l'instrument ajoute des harmoniques « entières » (des multiples parfaits de la note), la ligne se brise et forme de nouveaux trous.
  • Le résultat : Ce réglage est excellent pour repérer les harmoniques mathématiques parfaites. Il met en évidence la différence entre un ton pur et un ton doté d'harmoniques propres basées sur des nombres entiers.

• Réglage B : Un quart de la période ($T_0/4$)

  • Ce qu'il fait : Ce réglage est plus sensible aux parties « désordonnées » ou « imparfaites » du son.
  • Le résultat : Ce réglage est excellent pour repérer les harmoniques non entières et le bruit. Les instruments réels présentent souvent de légères imperfections ou une certaine « rugosité » dans leur son. Ce réglage fait apparaître ces imperfections sous forme de caractéristiques topologiques distinctes.

4. L'Expérience : Synthétique vs Réel

Les auteurs ont testé cela de deux manières :

1. Sons factices (Synthétiques) : Ils ont construit des sons informatiques qui sont des ondes sinusoïdales parfaites, puis ont ajouté des « ondulations » spécifiques (harmoniques) ou du « statique » (bruit).
   • Résultat : Ils ont prouvé qu'en basculant entre les délais de « la Moitié de la Période » et de « l'Un Quart de la Période », ils pouvaient mathématiquement distinguer un son avec des ondulations parfaites d'un son avec du statique désordonné. Les outils de fréquence traditionnels manquaient souvent ces différences subtiles.
2. Sons réels : Ils ont appliqué cette méthode à une base de données d'instruments réels (guitares, flûtes, violons, etc.).
   • Résultat : La méthode a fonctionné. Par exemple, une flûte (qui est très pure) montrait très peu de changement dans le réglage de la « Moitié de la Période », ce qui signifie qu'elle possède très peu d'ondulations supplémentaires. Une guitare (qui est complexe) montrait de grands changements dans les deux réglages, prouvant qu'elle est pleine de la fois d'harmoniques parfaites et désordonnées.

Résumé

L'article affirme qu'en prenant une onde sonore et en l'étirant dans le temps à l'aide de délais spécifiques, nous pouvons transformer le son en une forme 3D. En comptant les trous dans cette forme, nous pouvons décrire mathématiquement la « couleur » du son.

• Utilisez un délai de la moitié de la longueur de la note pour trouver les harmoniques mathématiques parfaites.
• Utilisez un délai d'un quart de la longueur de la note pour trouver les parties désordonnées, uniques et bruyantes qui font qu'un instrument est lui-même.

Cela ne se contente pas de regarder quelles fréquences sont présentes ; cela regarde comment ces fréquences interagissent pour créer la forme unique d'un son.

Résumé technique

Résumé technique : Plongements par retard temporel pour la caractérisation du timbre via l'analyse de données topologiques

Énoncé du problème
Le timbre est un attribut acoustique fondamental qui permet de distinguer des sources sonores partageant une hauteur et une intensité identiques, jouant un rôle critique dans la recherche d'informations musicales et la séparation de locuteurs. L'analyse traditionnelle repose sur des métriques basées sur la fréquence (par exemple, la netteté, l'aplatissement spectral) ou l'extraction de caractéristiques par apprentissage automatique. Cependant, ces méthodes peinent souvent à capturer la richesse perceptuelle du timbre, qui provient d'interactions complexes entre les harmoniques entières (multiples exacts de la fréquence fondamentale) et les harmoniques non entières (issues d'effets de pincement, de variations de flux d'air ou de bruit). Bien que l'Analyse de Données Topologiques (TDA) offre un cadre rigoureux pour extraire la « forme » des données et identifier des propriétés structurelles telles que les cycles et les vides, son application au timbre est restée limitée. Une barrière principale est l'absence de critères établis pour représenter efficacement les signaux audio unidimensionnels sous forme de nuages de points multidimensionnels adaptés à la TDA, spécifiquement concernant la sélection des paramètres de plongement par retard temporel.

Méthodologie
L'étude propose un cadre combinant le plongement par retard temporel avec l'Analyse de Données Topologiques pour caractériser les structures timbrales. La méthodologie centrale implique :

1. Plongement par retard temporel : Le signal audio unidimensionnel $x_t$ est reconstruit dans un espace de haute dimension en utilisant le vecteur de plongement $X_d(x_t; \tau) = (x_t, x_{t+\tau}, \dots, x_{t+(d-1)\tau})$. L'étude se concentre sur un plongement en deux dimensions ($d=2$) pour équilibrer le coût computationnel et l'extraction de caractéristiques.
2. Extraction de caractéristiques topologiques : En utilisant le nuage de points plongé, un complexe simplicial filtré (spécifiquement le complexe de Vietoris–Rips) est construit. L'homologie persistante est appliquée pour calculer les nombres de Betti ($\beta_0, \beta_1$), qui quantifient les composantes connexes et les cycles (trous).
3. Quantification du timbre : Pour quantifier les différences de timbre, l'étude définit une caractéristique topologique $m$ comme la distance de Wasserstein entre le diagramme de persistance du signal analysé et celui d'une onde sinusoïdale pure ayant la même fréquence fondamentale. Cette métrique mesure l'écart structurel causé par le contenu harmonique.
4. Validation sur données synthétiques et réelles :
   • Données synthétiques : Des signaux ont été générés avec des forces harmoniques contrôlées ($a \in [0,1]$) et des types d'harmoniques variables (harmoniques entières comme les ondes triangulaires/carrées, et harmoniques non entières comme le bruit coloré).
   • Données réelles : Le jeu de données NSynth (1 006 instruments) a été analysé en utilisant des segments correspondant à quatre périodes fondamentales, centrés sur le pic d'amplitude.

Contributions clés et résultats
L'étude examine systématiquement comment le paramètre de retard temporel $\tau$ influence la détection des structures harmoniques :

• Sensibilité au retard temporel : La structure géométrique de l'espace de plongement et les caractéristiques topologiques résultantes sont hautement sensibles à $\tau$. Il n'existe pas de retard optimal unique pour tous les types de signaux ; au contraire, des délais spécifiques améliorent la détection de caractéristiques harmoniques spécifiques.
• Harmoniques entières vs non entières :
  • $\tau = T_0/2$ (Demi-période fondamentale) : Ce délai est particulièrement efficace pour les signaux contenant des harmoniques d'ordre entier. Pour une onde sinusoïdale pure, ce délai produit une trajectoire rectiligne (pas de trous). L'ajout d'harmoniques entières brise cette symétrie, créant des structures de trous distinctes dans l'espace de plongement qui sont capturées par l'homologie persistante.
  • $\tau = T_0/4$ (Quart de période fondamentale) : Ce délai est plus efficace pour détecter les harmoniques non entières (composantes de type bruit). Une onde sinusoïdale pure à ce délai forme une trajectoire circulaire. L'ajout d'harmoniques non entières perturbe ce cercle, réduisant la persistance de la structure du trou.
• Différenciation des formes d'onde : La méthode parvient à distinguer des formes d'onde qui semblent similaires dans leurs spectres de fréquences (par exemple, une onde sinusoïdale avec une harmonique légèrement désaccordée par rapport à une harmonique entière pure). La TDA capture ces différences sous forme de changements dans le nombre et la persistance des trous topologiques, que les mesures spectrales comme la netteté pourraient manquer.
• Application au monde réel : Appliquée au jeu de données NSynth, la méthode a révélé des distributions distinctes de valeurs de caractéristiques topologiques à travers les catégories d'instruments. Par exemple, les flûtes présentaient des valeurs faibles pour $\tau = T_0/2$ (indiquant moins d'harmoniques entières), tandis que les guitares présentaient des valeurs élevées pour les deux délais, suggérant un mélange riche d'harmoniques entières et non entières.

Signification et affirmations
L'article affirme que la méthode proposée offre une nouvelle perspective sur l'analyse harmonique en exploitant la topologie intrinsèque des données sonores. La principale signification réside dans la démonstration que :

1. Le réglage des paramètres est critique : Le choix du retard temporel n'est pas arbitraire mais détermine quelles caractéristiques harmoniques (entières vs non entières) sont mises en évidence par l'analyse topologique.
2. Sensibilité accrue : La TDA, lorsqu'elle est couplée à des délais optimisés, peut révéler des différences structurelles subtiles dans le contenu harmonique, difficiles à quantifier à l'aide des descripteurs classiques du domaine fréquentiel.
3. Faisabilité : L'approche est efficace tant pour les signaux synthétiques que pour les sons d'instruments de musique réels.

Les auteurs concluent modestement que, bien que la méthode ouvre de nouvelles voies pour explorer la topologie du son, des travaux futurs sont nécessaires pour traiter les coûts de calcul, étendre le cadre à des plongements de plus haute dimension pour des sons complexes (ex: accords), et incorporer des statistiques de persistance supplémentaires (ex: durée de vie moyenne) pour une évaluation plus complète. L'étude ne prétend pas remplacer les pipelines existants d'apprentissage automatique, mais vise à fournir un outil complémentaire pour l'extraction de caractéristiques structurelles.