Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

Imaginez que vous soyez assis lors d'une longue réunion bondée où les voix se chevauchent, les gens s'interrompent les uns les autres et la conversation dévie d'une discussion budgétaire à un soudain éclat de frustration. Si l'on vous demandait plus tard d'expliquer précisément pourquoi une personne spécifique a haussé le ton à la dix-neuvième minute, ou de retracer comment une décision prise au début de l'heure a influencé une plainte formulée vingt minutes plus tard, vous ne vous contenteriez pas de vous rappeler les mots prononcés. Vous vous rappelleriez le ton, le volume, les pauses et la manière dont la conversation passait d'une personne à l'autre. Pendant des décennies, les ordinateurs ont eu du mal à faire de même. Bien que les machines soient devenues excellentes pour transformer la parole en texte, elles échouent souvent à comprendre le contexte complet des conversations longues et complexes. Elles ont tendance à traiter une réunion comme une liste plate de phrases, perdant ainsi les détails cruciaux de qui a dit quoi, quand cela a été dit et comment cela a été dit. Cette limitation devient un obstacle majeur lorsqu'il s'agit de répondre à des questions sur des enregistrements de plusieurs heures, où la réponse à une question simple peut être cachée au cœur d'un réseau d'interactions s'étendant sur toute la durée.

Des chercheurs de l'Université de Soochow en Chine ont développé une nouvelle approche pour résoudre ce problème, créant un système qui ne se contente pas d'écouter l'audio, mais qui planifie activement la manière de trouver la réponse. Ils ont commencé par reconnaître que les modèles d'intelligence artificielle existants, conçus pour traiter la parole, écartent souvent des informations acoustiques précieuses comme le volume de la voix et l'émotion au profit du texte brut. De plus, ces modèles ont du mal à se souvenir de détails du début d'un enregistrement long lorsqu'ils tentent de répondre à une question sur la fin. Pour y remédier, l'équipe a d'abord construit un nouveau jeu de données appelé LongAudioQA, qui contient des centaines de questions sur des réunions du monde réel, allant de simples requêtes factuelles à des questions complexes qui nécessitent de comprendre l'état émotionnel d'un locuteur ou le lien logique entre deux parties distantes d'une conversation.

Le cœur de leur solution est un système qu'ils appellent un agent de recherche et de génération basé sur des graphes. Au lieu de nourrir l'intégralité du fichier audio dans un seul modèle à la fois, les chercheurs décomposent d'abord la réunion en une carte structurée. Dans cette carte, chaque phrase prononcée devient un nœud, et les connexions entre elles sont tracées en fonction de qui parle, de quand la personne parle et de ce dont elle parle. Cette structure permet à l'ordinateur de voir la réunion non pas comme un flux de mots, mais comme un réseau de relations. Lorsqu'un utilisateur pose une question, le système ne se contente pas de chercher des mots correspondants. Au contraire, il agit comme un expert humain qui planifie sa recherche. Il décompose la question, décide quelles parties de la carte explorer, puis progresse étape par étape à travers les connexions pour rassembler des preuves.

Si la recherche initiale ne fournit pas suffisamment d'informations, le système a la capacité de réfléchir à ses propres progrès. Il peut réaliser qu'il lui manque une pièce du puzzle, telle que le ton spécifique d'une voix ou le contexte d'une déclaration précédente, puis replanifier sa recherche pour trouver cette pièce manquante. Ce cycle de recherche, de collecte et de réflexion se poursuit jusqu'à ce que le système soit convaincu d'avoir trouvé la bonne réponse. Cette méthode permet au système de gérer des questions qui nécessitent de relier des points à travers le temps, comme identifier pourquoi un locuteur semblait en colère à un moment précis en liant ce moment à une promesse non tenue précédemment.

Les résultats de leurs tests montrent que cette approche basée sur la planification surpasse considérablement les modèles de pointe actuels qui reposent sur une simple recherche textuelle ou un traitement audio direct. Dans des tests impliquant des réunions de plus de trente minutes, le nouveau système a été capable de répondre à des questions complexes avec une précision bien plus élevée, particulièrement lorsque les questions nécessitaient de comprendre le ton émotionnel des locuteurs ou de suivre le flux d'une conversation sur une longue période. Les chercheurs ont constaté qu'en modélisant explicitement les relations entre les locuteurs et le temps, et en permettant au système de planifier sa propre stratégie de recherche, ils pouvaient surmonter le problème courant de la « fragmentation du contexte », où des détails importants sont perdus parce qu'ils sont trop éloignés dans l'enregistrement.

Ce travail suggère que pour que les ordinateurs comprennent véritablement les conversations humaines de longue durée, ils ont besoin de plus que de puissants processeurs ; ils ont besoin d'un moyen d'organiser l'information qui reflète la façon dont les humains naviguent naturellement dans des interactions sociales complexes. En traitant une réunion comme une carte structurée et en donnant à l'ordinateur la capacité de réfléchir à son processus de recherche, les chercheurs ont créé un système capable d'écouter une réunion, d'en comprendre les relations et de fournir des réponses fondées sur les preuves réelles de l'enregistrement. Bien que le système soit encore confronté à des défis avec les enregistrements extrêmement bruyants, sa capacité à planifier et à réfléchir marque une étape significative vers une intelligence artificielle capable de comprendre toute la profondeur du dialogue humain.