Attractive and Repulsive Pattern Control in Sequence Generation

Résumé Technique : Contrôle des Motifs Attractifs et Répulsifs dans la Génération de Séquences

Énoncé du Problème
Les modèles de Markov d'ordre variable (VOM) sont efficaces pour la génération de séquences symboliques car ils préservent la syntaxe et le style locaux tout en adaptant la longueur du contexte. Cependant, sur de longues continuations, ces modèles entrent fréquemment dans des « tunnels » : des corridors de type attracteur caractérisés par des contextes d'ordre élevé récurrents, des suffixes répétés ou des passages localement périodiques. Cette auto-réutilisation dépasse souvent l'ordre de Markov formel du modèle, entraînant un effondrement de la diversité. Si la réduction de la mémoire ou l'ajout de bruit peut briser ces répétitions, cela dégrade simultanément la cohérence structurelle qui rend le générateur utile. Des travaux antérieurs (BP-Regular) ont démontré que les contraintes régulières strictes (par exemple, interdire des blocs plus longs qu'une certaine longueur) pouvaient être compilées en automates et échantillonnées exactement via la propagation de croyance (Belief Propagation - BP). Cependant, cette approche était binaire (acceptation/rejet) et manquait de la capacité de moduler doucement la probabilité de motifs spécifiques.

Méthodologie
Cet article introduit le contrôle de motif signé, un mécanisme qui étend l'interface BP-Regular pour supporter un contrôle doux, adaptatif et symétrique de la récurrence.

1. Champ de Récurrence Signé : Au lieu d'un automate binaire qui accepte ou rejette une continuation, le système emploie un reconnaisseur à états finis pondéré qui calcule une activation de récurrence non négative $R(x)$ pour une séquence candidate $x$.
2. Échantillonnage Repondéré : L'échantillonneur tire d'une distribution repondérée définie par :
   $$P_\beta(x) \propto P_0(x) \exp(\beta R(x))$$
   où $P_0(x)$ est la distribution de Markov originale et $\beta$ est un scalaire de couplage.
   • Couplage Négatif ($\beta < 0$) : Pénalise les motifs reconnus, créant un régime « homéostatique » qui décourage les répétitions trop actives sans les interdire strictement.
   • Couplage Positif ($\beta > 0$) : Récompense les motifs reconnus, les transformant en attracteurs contrôlés.
   • Couplage Nul ($\beta = 0$) : Restitue le générateur non modifié.
3. Homéostasie Adaptative : Dans les expériences principales, les motifs cibles ne sont pas fixes mais sont extraits de manière adaptative de l'historique de génération. Le système suit les $k$-grammes projetés (par exemple, les classes de hauteur) à travers plusieurs ordres ($k \in \{2, 3, 4, 6, 8\}$). Les motifs qui deviennent trop actifs dans une fenêtre récente ou sur la durée de vie de la génération se voient attribuer des forces d'activation basées sur une combinaison de la fréquence récente et de la fréquence de vie.
4. Échantillonnage Exact : L'automate pondéré est intégré dans le graphe de facteurs BP. Parce que le pondération exponentielle $\exp(\beta R)$ reste positive, l'algorithme de propagation de croyance somme-produit peut toujours calculer les masses de normalisation exactes et les marginales conditionnelles, garantissant que l'échantillonnage reste mathématiquement exact malgré les contraintes douces.

Contributions Clés

• Contrôle Signé Unifié : L'article démontre que le même interface automate/BP utilisé pour les contraintes strictes peut être détourné pour un contrôle doux et signé. Cela permet à un mécanisme unique de fonctionner à la fois comme une force répulsive (anti-effondrement) et une force attractive (sonde d'attracteur).
• Anti-Effondrement Homéostatique : En identifiant et en pénalisant dynamiquement les motifs trop actifs, le système réduit l'auto-réutilisation sur long horizon tout en maintenant la structure sous-jacente du modèle d'ordre variable.
• Sonde d'Attracteur : La branche positive fournit une méthode contrôlée pour créer et mesurer les bassins d'attraction, les transitions de phase et l'hystérésis dans les modèles d'ordre variable.
• Séparation des Préoccupations : L'approche sépare la sélection des motifs (ce qui est contrôlé) de la mécanique d'échantillonnage (comment contrôler), permettant aux motifs cibles d'être extraits, conçus manuellement ou fournis par une source externe.

Résultats Expérimentaux
Le mécanisme a été évalué sur de la musique symbolique monophonique, un domaine où la récurrence est audible et structurellement significative. Les expériences ont couvert six sources porteuses de durée (Bach et Telemann) et cinq solos de jazz basés uniquement sur la hauteur (Weimar Jazz Database).

• Branche Négative (Homéostatique) :
  • Réduction de l'Auto-Réutilisation : La branche de pénalité a significativement réduit le taux de réutilisation des 8-grammes générés (passant par exemple de 0,140 à 0,064 dans les données de base de Bach à 4096 événements).
  • Augmentation de la Diversité : Le nombre effectif de 8-grammes générés a augmenté (par exemple, de 3269 à 3728), et le suffixe répété le plus long a diminué.
  • Préservation du Support : Le support d'ordre inférieur (2- et 3-grammes) est resté élevé, avec seulement une légère baisse (1 à 3 points de pourcentage) de la couverture des contextes supportés par l'entraînement.
  • Coût : Le mécanisme a engendré une augmentation mesurable de la perte statique du modèle et un surcoût computationnel (environ 4 fois plus lent par événement dû à la reconstruction de l'analyseur adaptatif), mais a maintenu l'échantillonnage exact.
• Branche Positive (Sonde d'Attracteur) :
  • Les sondes de motifs fixes ont démontré que des motifs spécifiques pouvaient être rendus attractifs ou répulsifs à volonté.
  • Les balayages de transition de phase ont montré qu'augmenter le $\beta$ positif conduit à une augmentation abrupte de l'activation cible et à une chute correspondante de la diversité, permettant de mesurer les points de couplage critiques.
  • Les scénarios d'« addiction et sevrage » ont confirmé l'existence d'hystérésis, où le contexte généré conserve les propriétés de l'attracteur même après la suppression du signal de récompense.

Signification et Revendications
L'article affirme fournir un outil général pour diriger et sonder le paysage de récurrence des générateurs de séquences symboliques.

• Pour la Stabilisation : La branche négative offre un moyen de prévenir le « tunnel » et l'effondrement dans les modèles d'ordre élevé sans sacrifier le style local ou nécessendre un réentraînement complet du modèle. Elle agit comme un régulateur homéostatique.
• Pour l'Exploration : La branche positive transforme le générateur en un instrument expérimental, permettant aux chercheurs de créer programmatiquement des attracteurs, d'étudier les transitions de phase et de tester les dynamiques de récupération.
• Portée : Les auteurs limitent explicitement leurs revendications au cadre testé de l'ordre variable/BP avec des séquences monophoniques. Ils ne prétendent pas résoudre la qualité musicale ou de composition générale, mais visent plutôt à fournir un mécanisme précis et mesurable pour contrôler la pression de récurrence. Le travail relie la nouveauté à la typicalité par le biais du contrôle d'énergie signé.