Résumé technique : SIREM – Reconstruction IRM de la parole informée par l'audio avec échantillonnage appris

Énoncé du problème

L'imagerie par résonance magnétique (IRM) en temps réel de la production de la parole (rtMRI) est essentielle pour visualiser les mouvements dynamiques du tractus vocal sans rayonnement ionisant, soutenant à la fois la science de la parole et l'évaluation clinique. Cependant, la rtMRI est fondamentalement contrainte par le compromis entre résolution spatiale, résolution temporelle et vitesse d'acquisition. Pour atteindre des fréquences d'images élevées, les systèmes doivent sous-échantillonner l'espace k, rendant la reconstruction un problème inverse fortement mal posé.

Bien que les méthodes existantes exploitent la structure temporelle (par exemple, les modèles de rang faible) ou les redondances des bobines (imagerie parallèle), elles ignorent généralement l'onde sonore synchronisée disponible lors de l'acquisition. Les auteurs postulent que le signal acoustique n'est pas simplement une annotation, mais une conséquence physique de la configuration du tractus vocal. Étant donné que les articulateurs (langue, lèvres, voile du palais) façonnent directement l'enveloppe spectrale et les trajectoires des formants, le canal audio contient des indices structurés sur le contenu image sous-jacent qui sont actuellement rejetés par les pipelines de reconstruction standard.

Méthodologie : Cadre SIREM

Les auteurs proposent SIREM, un cadre hybride qui formule la reconstruction rtMRI de la parole comme un problème inverse multimodal. L'hypothèse centrale est qu'une partie de la configuration articulatoire est prévisible à partir de la parole synchronisée, tandis que l'anatomie restante doit être récupérée à partir des données IRM mesurées.

1. Architecture

SIREM modélise chaque image comme une fusion de deux composantes via une carte de pondération spatiale :

• Branche pilotée par l'audio : Un encodeur HuBERT figé extrait des caractéristiques de parole contextuelles à partir du segment audio synchronisé. Ces caractéristiques sont regroupées temporellement et transmises à un décodeur d'image entraînable pour produire une estimation pilotée par l'audio ($x^a_t$). Cette branche vise à capturer les géométries articulatoires fortement couplées à l'acoustique (par exemple, langue, lèvres, voile du palais).
• Branche pilotée par l'IRM : Cette branche traite les données sous-échantillonnées de l'espace k multi-bobines ($k_t$). Elle applique un profil d'bras spiralés doux apprenable ($p$) aux mesures brutes avant reconstruction. Le profil est paramétré par des logits entraînables et passé à travers une fonction sigmoïde, permettant une modulation différentiable de l'utilisation des bras. L'espace k pondéré est reconstruit en utilisant une transformée de Fourier rapide non uniforme (NUFFT) adjointe et une combinaison de bobines SENSE pour produire une estimation pilotée par l'IRM ($x^m_t$).
• Fusion spatiale : L'image finale ($\hat{x}_t$) est générée par une somme pondérée pixel par pixel :
  $$\hat{x}_t = w_{EbA} \odot x^a_t + (1 - w_{EbA}) \odot x^m_t$$
  Ici, $w_{EbA}$ est la carte de pondération spatiale « expliquée par l'audio ». Dans les expériences rapportées, cette carte est dérivée de masques de segmentation manuels (mettant en évidence les régions articulatoires) plutôt que d'être apprise, afin de fournir une priorité anatomique interprétable et de stabiliser l'entraînement sur le jeu de données limité USC-16.

2. Apprentissage et optimisation

Le cadre est entraîné pour minimiser une fonction de perte composite :

• Perte de reconstruction ($L_{recon}$) : Fidélité $\ell_2$ entre la sortie fusionnée et l'image de référence.
• Régularisation de la fonction de dispersion ($L_{psf}$) : Pénalise l'énergie de la transformée de Fourier inverse du profil d'bras $p$ pour décourager les pondérations irrégulières qui causent des artefacts.
• Régularisation du budget ($L_{budget}$) : Encourage la somme des poids des bras à correspondre à un budget effectif cible ($K=2$).
• Régularisation du masque ($L_{mask}$) : Pénalise l'énergie de Fourier du complément de $w_{EbA}$ pour assurer des transitions douces entre les régions dominées par l'audio et celles dominées par l'IRM.

3. Politique d'échantillonnage

Une innovation clé est le profil d'bras spiralés doux apprenable. Contrairement aux motifs de sous-échantillonnage statiques, ce profil est optimisé conjointement avec la reconstruction. Bien qu'interprété rétrospectivement dans cette étude (comme un substitut différentiable de l'importance des bras), il permet d'investiguer comment la fusion informée par la parole interagit avec l'utilisation spécifique des bras de l'espace k.

Contributions clés

1. Formulation multimodale : Les auteurs formulent la reconstruction rtMRI de la parole comme un problème d'estimation multimodal où l'audio synchronisé sert de priorité intermodale sur la structure du tractus vocal.
2. Cadre hybride : SIREM introduit une méthode qui fusionne les prédictions pilotées par l'audio avec les reconstructions pilotées par l'IRM via une carte de pondération spatiale, couplée à un profil de repondération d'bras spiralés doux apprenable.
3. Étalonnage : Le travail établit un étalon initial pour la reconstruction rtMRI de la parole informée par l'audio multimodale sur le corpus USC, en comparaison avec des bases de référence standard (gridding, compression sensing basée sur les ondelettes, et variation totale).

Résultats

L'évaluation a été menée sur le corpus rtMRI de la parole USC (sous-ensemble USC-16) en utilisant une séparation indépendante des sujets.

• Fidélité vs Débit : SIREM ne surpasse pas uniformément les méthodes itératives classiques sur les métriques basées sur la distorsion (par exemple, PSNR, SSIM). La compression sensing basée sur les ondelettes et la variation totale (TV) conservent les scores les plus élevés dans la plupart des protocoles d'évaluation.
• Valeur de l'audio : Bien qu'il ne corresponde pas à la fidélité absolue des bases de référence classiques, SIREM surpasse systématiquement sa propre variante ablatée (SIREM sans audio) dans toutes les 21 comparaisons métrique-cible. Cela confirme que la parole synchronisée fournit des informations complémentaires utiles.
• Efficacité : L'avantage le plus significatif de SIREM est le débit de traitement.
  • SIREM : ~14,6 ms par image (inférence feed-forward).
  • Ondelettes/TV : ~600–658 ms par image (100 itérations d'optimisation).
  • SIREM est environ 41 à 45 fois plus rapide que les bases de référence de compression sensing itératives, opérant dans le régime temps réel (<33,3 ms/image), ce que les méthodes itératives ne font pas.
• Performance qualitative : SIREM produit des reconstructions avec des limites articulatoires plus nettes par rapport au gridding et maintient un pipeline d'inférence directe, bien qu'il puisse préserver moins de détails anatomiques fins que la TV dans certains contextes.

Signification et affirmations

L'article affirme que SIREM établit un nouveau paradigme pour la reconstruction rtMRI qui privilégie un compromis fidélité-efficacité distinct. Bien que les méthodes itératives classiques offrent une fidélité supérieure, elles sont computationnellement prohibitives pour les applications temps réel. SIREM démontre que :

1. Faisabilité : Une reconstruction directe et multimodale utilisant l'audio synchronisé comme priorité auxiliaire est faisable.
2. Débit : La méthode opère dans un régime de débit substantiellement plus élevé que les approches itératives, la rendant adaptée aux applications temps réel où la vitesse est une contrainte critique.
3. Priorité auxiliaire : La parole synchronisée est une priorité valide et utile pour reconstruire directement la rtMRI de la parole sous-échantillonnée à partir de l'espace k brut.

Les auteurs concluent modestement, notant que si SIREM ne surpasse pas encore les bases de référence classiques en pure fidélité d'image, il démontre avec succès le potentiel de la fusion multimodale pour une reconstruction rapide. Ils reconnaissent les limitations, notamment l'utilisation de masques de segmentation fixes pour la pondération et le caractère rétrospectif du profil d'échantillonnage, suggérant que les travaux futurs devraient explorer des prédicteurs de fusion appris et des stratégies d'échantillonnage prospectives.