ExSampling: a system for the real-time ensemble performance of field-recorded environmental sounds

O artigo apresenta o ExSampling, um sistema integrado que utiliza aprendizado profundo para mapear automaticamente gravações de campo em faixas do Ableton Live, permitindo a performance musical em tempo real e a interação entre gravadores, compositores e performers.

O essencial

Imagine que você está em um parque, ouvindo o vento nas árvores, o barulho de uma bicicleta passando ou o canto de um pássaro. Agora, imagine que você poderia pegar esses sons do mundo real e transformá-los instantaneamente em uma música ao vivo, como se estivessem tocando um piano ou uma bateria, sem precisar de horas de edição.

É exatamente isso que o ExSampling faz. Vamos descomplicar como funciona, usando algumas analogias simples:

1. O Problema: A "Cozinha" Lenta

Antes desse sistema, se um músico quisesse usar sons da natureza em uma apresentação ao vivo, ele tinha que:

• Gravar o som.
• Voltar para casa.
• Ouvir gravação por gravação para escolher a melhor.
• Editar e organizar tudo no computador.

Era como tentar cozinhar um jantar especial, mas você só pode ir ao mercado uma vez por semana. Você perde a frescura e a espontaneidade do momento. O som do mundo real ficava "preso" no passado.

2. A Solução: O "Robô Chef" em Tempo Real

Os autores criaram o ExSampling, um sistema que funciona como um robô chef super-rápido que cozinha enquanto você ainda está no mercado.

O sistema é dividido em três partes principais que trabalham juntas:

• O "Gravador Mágico" (App Web):
  Imagine que qualquer pessoa no mundo pode abrir um site no celular e gravar um som ao seu redor. Não precisa de equipamento caro, só o microfone do celular. Assim que a pessoa grava, o som viaja pela internet até o computador do músico.

• O "Cérebro IA" (Deep Learning):
  Aqui entra a mágica. Assim que o som chega, um "cérebro" de computador (Inteligência Artificial) olha para ele e diz: "Ah, isso é um cachorro latindo!" ou "Isso é chuva!" ou "Isso é um sino!".

  • A Analogia: Pense nisso como um tradutor instantâneo. O som é o idioma "natureza", e a IA traduz rapidamente para o idioma "música". Ela não apenas identifica, mas decide qual instrumento musical aquele som deve virar.

• O "Maestro" (O Músico no Palco):
  O músico, usando um software chamado Ableton Live, recebe esses sons traduzidos. Se a IA diz que o som é de "vento", o sistema pode transformá-lo automaticamente em uma nota de piano suave. Se for de "pedras caindo", pode virar um som de bateria.
  O músico não precisa escolher o som manualmente; ele apenas toca as notas no teclado, e o sistema toca o som do mundo real que acabou de chegar.

3. Como Funciona na Prática?

Imagine uma apresentação de música onde:

1. O Público (ou pessoas em outros lugares) usa seus celulares para gravar sons da rua, do parque ou de casa.
2. O Sistema pega esses sons, identifica o que é e os joga para o palco.
3. O Músico vê no mapa do computador de onde o som veio (ex: "Alguém gravou isso no Rio de Janeiro") e decide: "Vou usar esse som de chuva agora para fazer uma melodia triste".
4. O Resultado: Uma música única, feita em tempo real, com sons que nem existiam 10 segundos atrás.

4. Por que isso é legal? (A "Serendipidade")

O papel destaca um ponto muito interessante: a surpresa.
Às vezes, a IA pode errar um pouco na classificação (ex: achar que um grito de criança é um violino). Em vez de ser um erro, isso cria algo novo e inesperado. É como jogar dados e descobrir uma melodia que você nunca teria pensado em criar sozinho. Isso traz uma tensão divertida e criativa para o show.

Resumo Final

O ExSampling é como uma ponte mágica entre o mundo real e o palco de música. Ele permite que qualquer pessoa, em qualquer lugar, contribua com o som do seu ambiente para uma música ao vivo, e que o músico transforme esses sons em arte instantaneamente, sem precisar de horas de trabalho manual.

É a democratização da criação musical: você não precisa ser um técnico de som para fazer parte da música; basta estar vivo, ouvir o mundo e apertar um botão.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "ExSampling: a system for the real-time ensemble performance of field-recorded environmental sounds", apresentado em português:

Visão Geral do Problema

O artigo aborda uma limitação significativa na prática da música concreta e da performance ao vivo com sons ambientais (field recording). Tradicionalmente, artistas precisam selecionar manualmente amostras sonoras de grandes arquivos de gravação, processá-las (equalização, deformação) e mapeá-las para instrumentos ou cenas musicais antes de uma apresentação. Esse processo é demorado, limita o número de amostras utilizáveis e, crucialmente, perde a natureza "real-time" (tempo real) da gravação de campo. O tempo gasto no processamento e na seleção pós-gravação impede que sons gerados globalmente sejam utilizados instantaneamente em performances ao vivo, desconectando a origem do som da expressão musical imediata.

Metodologia e Implementação do Sistema

Os autores propõem o ExSampling, um sistema integrado que combina uma aplicação de gravação baseada na web e um ambiente de Deep Learning para automatizar o mapeamento de sons ambientais para faixas de performance em tempo real. O sistema é composto por três módulos principais:

1. Módulo de Gravação (Web-based Recorder):

   • Desenvolvido em p5.js e utilizando a biblioteca recorder.js (wrapper da Web Audio API).
   • Permite que participantes gravem sons ambientais através de seus dispositivos móveis ou computadores.
   • Utiliza o ngrok para fazer port forwarding, expondo o servidor local à internet, permitindo que qualquer pessoa participe da gravação via um link ou QR Code.
   • Envia os dados de áudio e informações de geolocalização (via Web Geolocation API e MapBox) para o servidor do artista.

2. Módulo de Processamento e Inferência (Python Server & Deep Learning):

   • Atua como servidor backend e ambiente de execução de IA.
   • Pré-processamento: Corta o áudio recebido em incrementos de 5 segundos, remove partes abaixo de 20dB e converte o áudio em imagens espectrais (espectrogramas) usando a biblioteca Librosa.
   • Classificação: Utiliza o modelo MobileNetV2 (uma arquitetura CNN leve e eficiente para inferência de baixa latência) para classificar o som em uma das 41 categorias (baseado no conjunto de dados do Kaggle).
   • Detecção de Pitch: Identifica a altura dominante do som original.
   • Comunicação: Envia o caminho do arquivo, o tipo de som classificado, a altura e a localização para o software de performance via OSC (Open Sound Control).

3. Módulo de Performance (Max for Live / Ableton Live):

   • Um patch em Max/MSP (integrado ao Ableton Live) recebe os dados via OSC.
   • Mapeia automaticamente as amostras de áudio recebidas para faixas MIDI específicas baseadas na classificação do som (ex: sons percussivos para bateria, sons melódicos para instrumentos de sopro ou piano).
   • Ajusta a reprodução: sons percussivos tocam na altura original, enquanto sons melódicos são transpostos para a nota MIDI tocada pelo performer.
   • Fornece feedback visual ao performer, mostrando onde o som foi gravado em um mapa.

Principais Contribuições

• Primeira Aplicação de ML para Field Recording em Tempo Real: O artigo afirma ser pioneiro em propor o uso de aprendizado de máquina para empregar sons de campo diretamente em expressão musical ao vivo, automatizando a seleção de amostras.
• Redução da Latência Criativa: Elimina a necessidade de curadoria manual prévia de sons, permitindo que gravações feitas em qualquer lugar do mundo sejam transformadas em instrumentos musicais instantaneamente.
• Novo Modelo de Interação Coletiva: Cria um ecossistema onde múltiplos gravadores (participantes) contribuem ativamente para a performance de um compositor/performer, gerando uma "serendipidade" controlada. O performer não sabe exatamente qual som chegará, mas tem controle sobre como ele é mapeado, criando tensão e interesse musical.
• Interface Unificada: Integração de geolocalização e reconhecimento de áudio em uma interface visual acessível tanto para o gravador (que vê a classificação de seu som) quanto para o performer (que vê o mapa de origem).

Resultados e Casos de Uso

• O sistema foi testado em demonstrações de performance onde participantes gravaram sons ambientais via navegador, que foram imediatamente classificados e mapeados para faixas MIDI no Ableton Live.
• Os performers puderam usar esses sons tanto para ritmos (batidas) quanto para melodias, misturando-os com fontes sonoras pré-gravadas ou instrumentos tradicionais.
• Os participantes sentiram um senso de contribuição ao verem como seus sons locais eram transformados em música global em tempo real.
• O sistema demonstrou sucesso em manter a "natureza" das gravações de campo dentro de um contexto de performance ao vivo, algo que anteriormente era perdido devido ao processamento offline.

Significado e Limitações Futuras

• Significado: O ExSampling democratiza a criação de música concreta ao vivo, permitindo que músicos focuem na estrutura musical de alto nível em vez de tarefas manuais de seleção de amostras. Ele propõe uma nova forma de cultura de performance ao vivo, conectando o contexto geográfico do gravador com a expressão artística do performer.
• Limitações e Futuro:
  • O sistema atual não suporta transmissão de vídeo ou fotos junto com o áudio (planejado para futuras atualizações para enriquecer a expressão visual).
  • Os performers ainda não têm uma interface para ouvir e selecionar ativamente se desejam usar um som específico antes de tocá-lo (necessidade de um novo interface de monitoramento).
  • A diversidade de instrumentos mapeados é limitada pelo conjunto de dados de treinamento atual. Os autores planejam permitir que os próprios performers treinem modelos com seus próprios datasets para maior flexibilidade.

Em suma, o ExSampling representa um avanço significativo na interseção entre computação musical, aprendizado de máquina e performance ao vivo, transformando o ato passivo de gravar sons em um ato ativo de composição colaborativa em tempo real.