Resumo Técnico: LiveBand – Geração de Acompanhamento ao Vivo no Domínio de Áudio

1. Definição do Problema

O artigo aborda o desafio da geração de acompanhamento musical em tempo real a partir de um fluxo de entrada de áudio ao vivo. A dificuldade central reside na causalidade estrita: o modelo deve gerar quadros de acompanhamento de alta fidelidade com baixa latência, sem acesso ao futuro da entrada (o "mix futuro").

As abordagens existentes enfrentam duas limitações primárias neste cenário:

1. Viés de Exposição e Acúmulo de Erro: Modelos autorregressivos tradicionais treinados com "teacher forcing" (alimentando os quadros passados da verdade fundamental durante o treinamento) sofrem de um desvio de distribuição durante a inferência. Quando o modelo utiliza suas próprias previsões passadas como entrada, pequenos erros se acumulam, levando ao desvio de longo horizonte e à assincronia musical.
2. Objetivos de Nível de Quadro vs. Nível de Sequência: Objetos de previsão de nível de quadro padrão penalizam rigidamente erros antecipatórios menores. No entanto, em um cenário de tempo real onde o contexto futuro é desconhecido, até mesmo músicos especialistas realizam pequenos ajustes de tempo. Objetivos rígidos de nível de quadro falham em capturar a coerência holística necessária para uma sessão de improviso (jam session) natural.
3. Dependência de Lookahead (Antecipação): Trabalhos recentes sugerem que uma forte aderência entre o acompanhamento gerado e o mix de entrada pode exigir "lookahead" (acesso a quadros futuros do mix), o que viola as restrições estritas de tempo real.

2. Metodologia: LiveBand

O LiveBand é um sistema de tempo real que gera acompanhamentos no espaço latente contínuo de um autoencoder de áudio causal pré-treinado. A arquitetura e o paradigma de treinamento são projetados para eliminar o descompasso entre treinamento e inferência.

2.1 Componentes Principais

• Autoencoder de Áudio Causal (AE): Uma variante estritamente causal do CoDiCodec, pré-treinada. Ele codifica formas de onda estéreo (44,1 kHz) em sequências latentes contínuas (~10 Hz, dimensão 128) com uma razão de downsampling de 4096×. Nem o encoder nem o decoder acessam o contexto de áudio futuro.
• Gerador (G): Um transformer causal que opera sobre quadros latentes.
  • Entradas: Em cada passo de tempo $t$, ele recebe um histórico de mix causal disponível ($m_{\le t}$) e um vetor de ruído Gaussiano independente ($z_t$).
  • Arquitetura: Blocos de transformer pre-norm com normalização de camada adaptativa, autoatenção multi-cabeça causal (usando normalização query-key e Rotary Position Embeddings) e redes feed-forward SwiGLU.
  • Mecanismo: Ele prevê um quadro de acompanhamento futuro $a_{t+1+\delta}$ (onde $\delta$ é a antecipação em quadros latentes) sem acessar informações de mix futuras ou latentes alvo da verdade fundamental.
• Discriminador (D): Uma rede convolucional 1D não-causal (usada apenas durante o treinamento) que pontua o realismo de uma sequência completa de acompanhamento condicionada ao mix correspondente. Ele avalia a sequência conjunta dos latentes do mix e do acompanhamento.

2.2 Paradigma de Treinamento: Eliminando o Teacher Forcing

A inovação central é a remoção do teacher forcing para garantir a equivalência entre treinamento e inferência:

• Sem Feedback da Verdade Fundamental: Durante o treinamento, o gerador nunca recebe os quadros de acompanhamento passados da verdade fundamental como entrada. Em vez disso, ele depende da autoatenção interna sobre os estados ocultos e do vetor de ruído independente em cada etapa.
• Passagem Causal Paralela: Como o gerador não depende de suas próprias saídas anteriores, toda a sequência pode ser gerada em uma única passagem direta paralela sob uma máscara causal. Isso é computacionalmente idêntico ao processo de inferência autorregressivo passo a passo (usando um cache KV), eliminando o viés de exposição por design.
• Supervisão Adversária de Nível de Sequência: Em vez de minimizar o erro de previsão quadro a quadro, o modelo é treinado usando um objetivo de GAN Relativística (R3GAN). O discriminador avalia a sequência inteira gerada contra a sequência real, fornecendo supervisão de nível de distribuição que incentiva a coerência musical global e tolera pequenas variações de tempo locais.

2.3 Técnicas de Estabilização

• Sinks de Atenção (Attention Sinks): Para evitar o desvio em fluxos de longa duração causados pela evasão do cache KV, o modelo emprega um mecanismo de sink de atenção escalar, garantindo que os tokens iniciais permaneçam acessíveis.
• Penalidade de Gradiente Adaptativa (AdaGP): Um mecanismo online que ajusta dinamicamente o peso da penalidade de gradiente ($\lambda$) na perda do discriminador para manter uma vantagem alvo fixa ($a^*$) do discriminador sobre o gerador. Isso estabiliza o treinamento adversarial sem necessidade de ajuste manual de hiperparâmetros.

3. Principais Contribuições

1. Transformer Estritamente Causal com Supervisão Adversária: A introdução de um modelo treinado com supervisão adversária de nível de sequência que opera sem lookahead, alcançando forte aderência ao mix.
2. Equivalência Treinamento-Inferência: O primeiro modelo de acompanhamento de streaming que iguala totalmente as condições de treinamento e inferência por design, eliminando o viês de exposição e o acúmulo de erro sem a necessidade de rollouts sequenciais caros durante o treinamento.
3. Penalidade de Gradiente Adaptativa: Um método novel (AdaGP) que mantém automaticamente a estabilidade do discriminador, removendo a necessidade de ajuste manual dos pesos de penalidade de gradiente.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados Slakh2100 (e um corpus interno para uma variante condicionada por CLAP) contra o StreamMusicGen (SMG), um baseline autorregressivo de estado da arte.

• Métricas Objetivas: O LiveBand supera o SMG em todas as métricas (FAD, Alinhamento de Batida, COCOLA) tanto em configurações síncronas ($\tau=0$) quanto antecipatórias ($\tau=0.1s, 1s$).
  • Desvio (Drift): Ao contrário do SMG, que mostra degradação de desempenho ao longo do tempo, o LiveBand exibe desvio quase nulo ou favorável, indicando que não acumula erros locais.
  • Antecipação: O LiveBand mantém alto desempenho mesmo quando gera 1 segundo à frente do mix de entrada, um regime onde o SMG apresenta dificuldades.
• Testes de Escuta Subjetiva: Em um estudo com 19 participantes, o LiveBand foi significativamente preferido em relação ao SMG em qualidade de áudio, consistência temporal e aderência ao mix.
• Desempenho em Tempo Real: Em uma GPU RTX 3090 de consumo, o LiveBand atinge um Fator de Tempo Real (RTF) de 1.1× (modo eager) e 2.1× (modo compilado) para um orçamento de antecipação de 0.1s, confirmando sua capacidade de implantação em hardware de consumo.

5. Significância e Alegações

O artigo argumenta que a limitação de exigir lookahead futuro para um acompanhamento ao vivo de alta qualidade não é fundamental para a tarefa, mas sim um resultado de descompassos de aprendizado supervisionado (teacher forcing e objetivos de nível de quadro).

• Resolução do Desvio: Ao substituir a supervisão preditiva de próximo passo por supervisão adversária de nível de sequência e remover o teacher forcing, o modelo consegue gerar à frente da entrada ao vivo sem acúmulo de erro.
• Coerência Holística: O objetivo adversarial incentiva o modelo a preservar a estrutura musical de longo alcance, permitindo que ele tolere as pequenas correções de tempo naturais exigidas em uma performance ao vivo.
• Viabilidade: O trabalho demonstra que modelos generativos robustos e interativos em tempo real podem ser construídos usando treinamento adversarial de nível de sequência, permitindo que músicos façam jam sessions com companheiros de IA que se adaptam ao tempo, tom e dinâmica sem a asincronia induzida pela latência.

Os autores reconhecem que, embora o sistema alcance forte coerência musical, a qualidade do áudio (fidelidade) ainda deixa espaço para melhorias em comparação com a verdade fundamental, sugerindo que trabalhos futuros devem focar em autoencoders causais de maior fidelidade.