BAT: Learning to Reason about Spatial Sounds with Large Language Models
Cet article introduit BAT, un nouveau cadre qui intègre un encodeur audio binaural appelé Spatial-AST à un grand modèle de langage (LLaMA-2) pour permettre une perception et un raisonnement spatiaux avancés du son, appuyés par un ensemble de données nouvellement synthétisé et un banc d'essai de questions-réponses spécialisé.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous marchez dans une rue de ville animée, les yeux fermés. Vous n'entendez pas seulement du « bruit » ; vous entendez une voiture klaxonner à votre gauche, une sirène hurler au loin derrière vous, et un chien aboyer juste à côté de votre oreille. Votre cerveau est un détective hors pair, utilisant les infimes différences dans la façon dont le son frappe vos deux oreilles pour construire une carte 3D du monde sans jamais le voir. Ce superpouvoir est appelé le raisonnement audio spatial. Pendant longtemps, les ordinateurs ne pouvaient écouter le son que comme un microphone unique dans une pièce calme, vous disant ce qu'était un son (comme un chien qui aboie), mais pas où il se trouvait ni à quelle distance. Récemment, nous avons doté les ordinateurs de « cerveaux » appelés Grands Modèles de Langage (LLM) qui sont incroyables pour lire et écrire, et nous leur avons appris à comprendre les images et même l'audio classique. Mais il restait un fossé énorme : ces cerveaux informatiques intelligents ne pouvaient toujours pas comprendre la disposition 3D d'une pièce bruyante et résonnante simplement en écoutant. Ils étaient comme des personnes capables de lire un livre, mais incapables de naviguer dans une forêt sombre.
C'est ici qu'intervient un nouveau projet appelé BAT. Les chercheurs derrière BAT voulaient apprendre à un ordinateur comment « écouter » le monde comme le font les humains, en utilisant un type spécial d'audio qui imite nos deux oreilles (appelé audio binaural). Ils ont réalisé que pour enseigner cette compétence à un ordinateur, ils ne pouvaient pas simplement utiliser d'anciennes données ; ils devaient construire un terrain de jeu entièrement nouveau. Ils ont donc créé un monde simulé massif utilisant la l'infographie et la physique pour générer des milliers d'heures de paysages sonores réalistes et résonnants. Ils ont couplé cela à un nouveau type de « professeur » appelé SPATIAL-AST, un cerveau spécialisé capable de décomposer le son pour trouver sa direction et sa distance. Enfin, ils ont connecté ce cerveau expert en son à un modèle de langage géant (LLaMA-2) pour créer BAT. Le résultat est un système qui ne se contente pas de dire « j'entends un chien » ; il peut répondre à des questions complexes telles que : « Est-ce que le chien est plus proche de moi que la musique, et est-ce que la musique vient de derrière le canapé ? »
L'équipe a constaté que cette approche fonctionne étonnamment bien. Lors de leurs tests, l'encodeur SPATIAL-AST seul pouvait identifier les événements sonores avec un haut niveau de précision (une précision moyenne de 50,03 %) et deviner la direction d'un son avec une erreur moyenne d'environ 17,94 degrés. Lorsqu'ils ont combiné cela avec le modèle de langage, BAT est devenu un champion du raisonnement spatial. Il a atteint une précision de 76,89 % sur des questions délicates qui nécessitaient de comparer l'emplacement de deux sons différents, comme déterminer si un bruit de respiration sifflante était plus proche que le battement d'ailes d'un oiseau. Les chercheurs ont découvert que l'ordre dans lequel ils enseignaient le modèle importait beaucoup. S'ils essayaient d'enseigner le raisonnement complexe immédiatement, le modèle éprouvait des difficultés. Mais en utilisant un « curriculum » qui commençait par des tâches simples (trouver un seul son) et passait progressivement à des tâches plus difficiles (trouver deux sons, puis les comparer), le modèle a appris à séparer et à raisonner sur plusieurs sources sonores efficacement.
Cependant, l'article note prudemment qu'il s'agit d'une avancée basée sur la simulation, et non encore d'une baguette magique pour le monde réel. Les données ont été créées dans une simulation informatique à l'aide d'un outil appelé SoundSpaces 2.0, qui imite la façon dont le son rebondit sur les murs dans des bâtiments en 3D. Bien que les résultats soient solides, les auteurs admettent que les environnements du monde réel sont désordonnés et imprévisibles d'une manière que les simulations pourraient ne pas pleinement capturer. Ils soulignent également que leur modèle actuel est plus performant pour gérer jusqu'à deux sources sonores à la fois et repose fortement sur le format spécifique « binaural » (deux oreilles). Ils soutiennent explicitement l'idée que le simple fait de nourrir un modèle de langage standard avec des données audio ne suffit pas ; sans l'encodeur spatial spécialisé et les bonnes étapes d'apprentissage, le modèle échoue à comprendre la nature 3D du son. L'article suggère que, bien que BAT soit une étape significative, le voyage vers un ordinateur capable de naviguer dans le monde réel uniquement par le son est encore en cours, des travaux futurs étant nécessaires pour gérer des environnements plus complexes à sources multiples et pour combler l'écart entre l'entraînement simulé et l'application dans la vie réelle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.