INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

Imaginez que vous essayiez de trouver une aiguille spécifique dans une botte de foin, mais que l'aiguille change de forme selon la façon dont vous la demandez. Si vous demandez une aiguille brillante, vous en obtenez une différente de celle que vous obtiendriez si vous demandiez une aiguille rouge, ou une aiguille qui a été abandonnée près d'un bruit fort. Pendant des décennies, les ordinateurs se sont améliorés pour trouver l'information, mais ils ont principalement reposé sur un système rigide de correspondance. Si vous cherchez un mot, l'ordinateur cherche ce mot exact. Si vous cherchez un son, il cherche un son qui ressemble exactement à votre recherche. Cela fonctionne bien lorsque vous savez exactement ce que vous cherchez, mais cela échoue lorsque vos besoins sont plus complexes. Dans le monde réel, les gens ne veulent pas seulement trouver un enregistrement qui a le même son ; ils pourraient vouloir trouver un enregistrement où le locuteur semble en colère, ou bien où le bruit de fond est le son de la pluie, ou encore où la personne qui parle est la même que celle qui parlait dans un clip précédent. Le défi pour les scientifiques a été d'apprendre aux ordinateurs à comprendre ces instructions changeantes et humaines plutôt que de simplement faire correspondre des motifs statiques.

Une équipe de chercheurs de l'Université Nationale de Taïwan a franchi une étape majeure vers la résolution de ce problème en créant un nouveau terrain d'essai appelé INSPIRE. Il ne s'agit pas d'un nouveau programme informatique qui règle tout, mais plutôt d'un banc d'essai soigneusement construit pour voir comment la technologie actuelle peut gérer ces instructions flexibles. Les chercheurs ont construit une immense bibliothèque d'enregistrements vocaux et les ont associés à des milliers de commandes en langage naturel. Ces commandes vont de requêtes simples, comme « trouvez la partie suivante de cette conversation », à des demandes complexes et multicouches, telles que « trouvez un enregistrement de la même personne parlant tristement alors que des bruits de pas sont entendus en arrière-plan ». L'objectif était de voir si les systèmes d'intelligence artificielle existants pouvaient regarder une question parlée et une instruction écrite, puis traquer avec succès l'extrait audio exact qui correspond à cette description spécifique.

Les chercheurs ont testé quatre types différents de systèmes informatiques pour voir comment ils s'en sortaient. Le premier groupe consistait en de grands modèles audio-langage, qui sont des systèmes avancés entraînés pour comprendre à la fois le son et le texte. Le deuxième groupe utilisait un « pipeline en cascade », une méthode où l'ordinateur transforme d'abord l'audio parlé en texte écrit et en légendes, puis recherche ce texte à l'aide d'outils de recherche textuelle standard. Le troisième groupe s'appuyait sur des modèles de parole auto-supervisés, qui apprennent à comprendre les motifs sonores directement sans les convertir en texte. Le dernier groupe utilisait des modèles contrastifs qui tentent de lier le texte et l'audio ensemble. L'équipe a mesuré la fréquence à laquelle chaque système trouvait avec succès l'extrait audio correct parmi des milliers d'options erronées.

Les résultats ont révélé une division claire et surprenante dans la façon dont ces machines pensent. Les systèmes qui convertissent la parole en texte d'abord étaient excellents pour trouver des clips basés sur ce qui était réellement dit. Si l'instruction consistait à trouver une phrase spécifique ou une continuation de conversation, ces méthodes basées sur le texte performaient très bien. Cependant, elles éprouvaient d'immenses difficultés lorsque l'instruction concernait la manière dont le son était produit. Lorsqu'on leur demandait de trouver un clip basé sur l'identité du locuteur, son ton émotionnel ou le bruit de fond, ces systèmes basés sur le texte ne performaient pas mieux qu'un choix aléatoire. Ils étaient simplement incapables d'« entendre » la différence entre une voix joyeuse et une voix triste une fois le son transformé en mots.

D'un autre côté, les systèmes qui écoutaient directement les ondes sonores sans les transformer en texte montraient la force opposée. Ils étaient bien meilleurs pour reconnaître la voix du locuteur, le style de sa parole et les sons environnementaux qui l'entouraient. Mais ces mêmes systèmes échouaient lorsque l'instruction nécessitait de comprendre le sens des mots ou de suivre une commande complexe à plusieurs parties. Ils pouvaient entendre la voix, mais ils ne pouvaient pas suivre l'instruction de trouver une voix spécifique parlant une chose spécifique d'une manière spécifique. Même les modèles audio-langage les plus avancés, qui étaient censés combler ce fossé, n'y parvenaient pas. Ils performaient raisonnablement bien sur certaines tâches, mais échouaient lorsque la tâche exigeait une compréhension profonde à la fois du son et de l'instruction.

L'étude a également examiné ce qui se passe lorsqu'on donne à l'ordinateur une « référence » de métadonnées parfaites, comme savoir exactement qui est le locuteur ou quel est le bruit de fond, plutôt que d'essayer de le deviner à partir de l'audio. Même avec cette information parfaite, les systèmes basés sur le texte ne pouvaient toujours pas trouver les clips de manière fiable lorsque les instructions impliquaient des combinaisons complexes de caractéristiques. Cela suggère que le problème n'est pas seulement que les ordinateurs sont mauvais pour entendre, mais que leur architecture actuelle n'est pas conçue pour gérer des instructions qui mélangent différents types d'informations. Les chercheurs ont constaté qu'aucune méthode testée ne pouvait gérer de manière robuste toutes les façons dont un humain pourrait chercher un son.

En fin de compte, l'article conclut que le domaine est à la croisée des chemins. Les outils actuels sont trop spécialisés : certains sont excellents pour lire la transcription mais sourds au ton, tandis que d'autres sont excellents pour entendre le ton mais illettrés face aux instructions. Les chercheurs soutiennent que la prochaine génération de technologie doit être un système unifié, capable d'écouter un son, de lire une instruction complexe et de comprendre que la réponse réside dans la combinaison des deux. Tant qu'un tel système n'aura pas été construit, la capacité de rechercher dans une bibliothèque de voix avec la même facilité et la même précision que nous recherchons du texte restera hors de portée. Ce travail n'offre pas de solution finale, mais il cartographie clairement le terrain, montrant précisément là où la technologie actuelle échoue et vers où la recherche future sur la récupération de la parole doit se diriger.