Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

Imagine estar sentado em uma reunião longa e lotada onde as vozes se sobrepõem, as pessoas se interrompem e a conversa deriva de uma discussão de orçamento para um súbito surto de frustração. Se lhe pedissem mais tarde para explicar exatamente por que uma pessoa específica levantou a voz aos dezenove minutos, ou para rastrear como uma decisão tomada no início da hora influenciou uma reclamação feita vinte minutos depois, você dependeria de mais do que apenas as palavras faladas. Você se lembraria do tom, do volume, das pausas e da maneira como a conversa fluía de uma pessoa para outra. Por décadas, os computadores têm lutado para fazer o mesmo. Embora as máquinas tenham se tornado excelentes em transformar fala em texto, elas frequentemente falham em compreender o contexto completo de conversas longas e complexas. Elas tendem a tratar uma reunião como uma lista plana de frases, perdendo os detalhes cruciais de quem disse o quê, quando disse e como disse. Essa limitação torna-se um grande obstáculo ao tentar responder a perguntas sobre gravações de horas de duração, onde a resposta para uma pergunta simples pode estar escondida profundamente dentro de uma teia de interações que abrangem toda a duração.

Pesquisadores da Universidade de Soochow, na China, desenvolveram uma nova abordagem para resolver este problema, criando um sistema que não apenas ouve o áudio, mas planeja ativamente como encontrar a resposta. Eles começaram reconhecendo que os modelos de inteligência artificial existentes, que são projetados para processar a fala, frequentemente descartam informações acústicas valiosas, como o volume da voz e a emoção, em favor do texto bruto. Além disso, esses modelos têm dificuldade em lembrar detalhes do início de uma gravação longa quando estão tentando responder a uma pergunta sobre o final. Para enfrentar isso, a equipe construiu primeiro um novo conjunto de dados chamado LongAudioQA, que contém centenas de perguntas sobre reuniões do mundo real, variando de consultas factuais simples a perguntas complexas que exigem a compreensão do estado emocional de um falante ou a conexão lógica entre duas partes distantes de uma conversa.

O núcleo de sua solução é um sistema que chamam de agente de recuperação e geração baseado em grafos. Em vez de alimentar todo o arquivo de áudio em um único modelo de uma só vez, os pesquisadores primeiro decompõem a reunião em um mapa estruturado. Neste mapa, cada frase falada torna-se um nó, e as conexões entre elas são desenhadas com base em quem está falando, quando está falando e sobre o que está falando. Esta estrutura permite que o computador veja a reunião não como um fluxo de palavras, mas como uma rede de relacionamentos. Quando um usuário faz uma pergunta, o sistema não busca simplesmente palavras correspondentes. Em vez disso, ele age como um especialista humano que planeja sua busca. Ele decompõe a pergunta, decide quais partes do mapa explorar e, então, move-se passo a passo através das conexções para reunir evidências.

Se a busca inicial não fornecer informações suficientes, o sistema tem a capacidade de refletir sobre seu próprio progresso. Ele pode perceber que está sentindo falta de uma peça do quebra-cabeça, como o tom específico de uma voz ou o contexto de uma declaração anterior, e então replanejar sua busca para procurar por essa peça faltante. Este ciclo de busca, coleta e reflexão continua até que o sistema se sinta confiante de que encontrou a resposta correta. Este método permite que o sistema lide com perguntas que exigem a conexão de pontos ao longo do tempo, como identificar por que um falante soou irritado em um momento específico, ligando esse momento a uma promessa anterior que foi quebrada.

Os resultados de seus testes mostram que esta abordagem baseada em planejamento supera significativamente os modelos atuais de ponta que dependem de busca de texto simples ou processamento direto de áudio. Em testes envolvendo reuniões com mais de trinta minutos de duração, o novo sistema foi capaz de responder a perguntas complexas com uma precisão muito maior, particularmente quando as perguntas exigiam a compreensão do tom emocional dos falantes ou o rastreamento do fluxo de uma conversa ao longo de um longo período. Os pesquisadores descobriram que, ao modelar explicitamente as relações entre os falantes e o tempo, e ao permitir que o sistema planeje sua própria estratégia de busca, eles puderam superar o problema comum da "fragmentação de contexto", onde detalhes importantes são perdidos porque estão muito distantes na gravação.

Este trabalho sugere que, para os computadores compreenderem verdadeiramente a conversa humana de longa duração, eles precisam de mais do que processadores poderosos; eles precisam de uma maneira de organizar a informação que espelhe como os humanos navegam naturalmente em interações sociais complexas. Ao tratar uma reunião como um mapa estruturado e dar ao computador a capacidade de pensar através de seu processo de busca, os pesquisadores criaram um sistema que pode ouvir uma reunião, entender as relações dentro dela e fornecer respostas que estão fundamentadas nas evidências reais da gravação. Embora o sistema ainda enfrente desafios com gravações extremamente ruidosas, sua capacidade de planejar e refletir marca um passo significativo para tornar a inteligência artificial capaz de compreender a profundidade total do diálogo humano.