INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

Imagine tentar encontrar uma agulha específica em um palheiro, mas a agulha muda de forma dependendo de como você a solicita. Se você pedir por uma agulha que seja brilhante, receberá uma diferente do que se pedir por uma agulha que seja vermelha, ou uma que tenha sido derrubada perto de um ruído alto. Por décadas, os computadores têm melhorado na busca de informações, mas têm dependido majoritariamente de um sistema rígido de correspondência. Se você procura por uma palavra, o computador procura exatamente por aquela palavra. Se você procura por um som, o computador procura por um som que soe exatamente como a sua busca. Isso funciona bem quando você sabe exatamente o que está procurando, mas falha quando suas necessidades são mais complexas. No mundo real, as pessoas não querem apenas encontrar uma gravação que soe igual; elas podem querer encontrar uma gravação onde o falante pareça irritado, ou onde o ruído de fundo seja o som de chuva, ou onde a pessoa que fala seja a mesma que falou em um clipe anterior. O desafio para os cientistas tem sido ensinar os computadores a entender essas instruções variáveis e humanas, em vez de apenas corresponder padrões estáticos.

Uma equipe de pesquisadores da Universidade Nacional de Taiwan deu um passo importante para resolver esse problema ao criar um novo campo de testes chamado INSPIRE. Este não é um novo programa de computador que resolve tudo, mas sim um benchmark cuidadosamente construído para ver o quão bem a tecnologia atual consegue lidar com essas instruções flexíveis. Os pesquisadores construíram uma biblioteca massiva de gravações de voz e as parearam com milhares de comandos de linguagem natural. Esses comandos variam de pedidos simples, como "encontre a próxima parte desta conversa", a demandas complexas e de múltiplas camadas, como "encontre uma gravação da mesma pessoa falando tristemente enquanto passos são ouvidos ao fundo". O objetivo era ver se os sistemas de inteligência artificial existentes poderiam olhar para uma pergunta falada e uma instrução escrita e, então, caçar com sucesso o clipe de áudio exato que se encaixa nessa descrição específica.

Os pesquisadores testaram quatro tipos diferentes de sistemas computacionais para ver como eles se saíam. O primeiro grupo consistiu em grandes modelos de áudio-linguagem, que são sistemas avançados treinados para entender tanto o som quanto o texto. O segundo grupo usou um "pipeline em cascata", um método onde o computador primeiro transforma o áudio falado em texto escrito e legendas, e depois pesquisa esse texto usando ferramentas padrão de busca de texto. O terceiro grupo baseou-se em modelos de fala autossupervisionados, que aprendem a entender padrões de som diretamente, sem convertê-los em texto. O grupo final usou modelos contrastivos que tentam ligar texto e áudio. A equipe mediu a frequência com que cada sistema encontrava o clipe de áudio correto entre milhares de opções erradas.

Os resultados revelaram uma divisão clara e surpreendente na forma como essas máquinas pensam. Os sistemas que convertem a fala em texto primeiro foram excelentes em encontrar clipes baseados no que foi realmente dito. Se a instrução fosse encontrar uma frase específica ou uma continuação de uma conversa, esses métodos baseados em texto tiveram um desempenho muito bom. No entanto, eles tiveram dificuldades imensas quando a instrução era sobre como o som era feito. Quando solicitados a encontrar um clipe baseado na identidade do falante, no tom emocional ou no ruído de fundo, esses sistemas baseados em texto tiveram um desempenho não superior ao de um palpite aleatório. Eles simplesmente não consegravam "ouvir" a diferença entre uma voz feliz e uma voz triste uma vez que o som era transformado em palavras.

Por outro lado, os sistemas que escutavam diretamente as ondas sonoras sem transformá-las em texto mostraram a força oposta. Eles foram muito melhores em reconhecer a voz do falante, o estilo de sua fala e os sons ambientais ao redor. Mas esses mesmos sistemas falharam quando a instrução exigia que entendessem o significado das palavras ou que seguissem um comando complexo e de várias partes. Eles podiam ouvir a voz, mas não conseguiam seguir a instrução para encontrar uma voz específica falando algo específico de uma determinada maneira. Mesmo os modelos de áudio-linguagem mais avançados, que se esperava que fizessem a ponte entre esses dois mundos, não conseguiram fazê-lo. Eles tiveram um desempenho razoavelmente bom em algumas tarefas, mas ficaram aquém quando a tarefa exigia uma compreensão profunda tanto do som quanto da instrução simultaneamente.

O estudo também observou o que acontece quando o computador recebe uma "referência" de metadados perfeitos, como saber exatamente quem é o falante ou qual é o ruído de fundo, em vez de tentar descobrir isso a partir do áudio. Mesmo com essa informação perfeita, os sistemas baseados em texto ainda não conseguiam encontrar os clipes de forma confiável quando as instruções envolviam combinações complexas de características. Isso sugere que o problema não é apenas que os computadores são ruins em ouvir, mas que sua arquitetura atual não foi construída para lidar com instruções que misturam diferentes tipos de informação. Os pesquisadores descobriram que nenhum método testado poderia lidar de forma robusta com todas as diferentes maneiras que um humano poderia pedir para encontrar um som.

Em última análise, o artigo conclui que a área está em uma encruzilhada. As ferramentas atuais são muito especializadas; algumas são ótimas em ler a transcrição, mas surdas ao tom, enquanto outras são ótimas em ouvir o tom, mas analfabetas nas instruções. Os pesquisadores argumentam que a próxima geração de tecnologia precisa ser um sistema unificado, um que possa ouvir um som, ler uma instrução complexa e entender que a resposta reside na combinação de ambos. Até que tal sistema seja construído, a capacidade de pesquisar uma biblioteca de vozes com a mesma facilidade e precisão natural com que pesquisamos texto permanece fora de alcance. O trabalho não oferece uma solução final, mas mapeia claramente o terreno, mostrando exatamente onde a tecnologia atual falha e para onde deve ir o futuro da recuperação de fala.