SqueezeComposer: Temporal Speed-up is A Simple Trick for Long-form Music Composing

Título: SqueezeComposer: Aceleração Temporal é um Truque Simples para Composição Musical de Longa Duração

1. O Problema

A composição de música coerente de longa duração (vários minutos) permanece um desafio significativo para os modelos de IA atuais devido a dois fatores principais:

• Requisitos Computacionais e de Memória: A representação de áudio em sua velocidade original gera sequências temporais extremamente longas. Por exemplo, 5 minutos de áudio com uma resolução comum de 10ms resultam em 30.000 timesteps. Isso torna a modelagem direta proibitiva para arquiteturas atuais devido ao custo quadrático da atenção (em Transformers) ou limitações de contexto.
• Coerência Global: Manter a consistência estrutural e a continuidade temática ao longo de durações estendidas é difícil. Modelos que geram áudio passo a passo frequentemente perdem a coerência global, resultando em músicas sem estrutura clara ou com descontinuidades.

As abordagens existentes tentam resolver isso usando representações latentes compactas (VAEs) ou codecs discretos, mas muitas vezes dependem de arquiteturas complexas, re-treinamento massivo ou ainda lidam com sequências longas demais para modelagem eficiente.

2. Metodologia: SqueezeComposer

O núcleo da proposta é uma técnica simples, porém poderosa: assumir que os modelos de IA podem entender e gerar áudio acelerado no tempo (ex: 2x, 4x, 8x ou 16x mais rápido que o tempo real).

O framework SqueezeComposer opera em um paradigma hierárquico de "Comprimir e Expandir":

1. Aceleração Temporal (Squeezing):

   • O áudio de entrada é acelerado por um fator $r$ (ex: 4x).
   • Isso reduz drasticamente o comprimento temporal da representação (ex: um áudio de 16 minutos torna-se equivalente a 4 minutos em termos de timesteps de processamento).
   • Representações intermediárias (como espectrogramas Mel) são extraídas desse áudio acelerado.

2. Geração no Domínio Acelerado:

   • Um modelo gerador (implementado como um Diffusion Transformer - DiT) gera a música no domínio comprimido.
   • Como a sequência é mais curta, o modelo consegue capturar dependências de longo alcance e estruturas globais com muito menos custo computacional.
   • O modelo suporta tarefas como: geração do zero, continuação (continuation) e preenchimento (completion).

3. Restauração e Refinamento (Restoring):

   • A representação gerada (no domínio acelerado) é expandida de volta para a resolução temporal original.
   • Um segundo estágio de difusão (ou um modelo de refinamento) é utilizado para preencher os detalhes de alta frequência e garantir a fidelidade do áudio, transformando a estrutura abstrata acelerada em áudio de alta fidelidade.
   • Um vocoder pré-treinado (como BigVGAN) converte o espectrograma restaurado em waveform de áudio.

Pontos Técnicos Importantes:

• Compatibilidade: O processo de "squeeze" e "restore" é aplicado no nível do espectrograma Mel. Os autores descobriram que os vocoders existentes funcionam bem com esses espectrogramas restaurados sem necessidade de re-treinamento (embora o fine-tuning do vocoder melhore ainda mais a qualidade).
• Arquitetura: Utiliza modelos de difusão baseados em DiT para ambas as etapas de geração e restauração, permitindo geração não autoregressiva e paralela.

3. Principais Contribuições

1. SqueezeComposer: Um framework geral e agnóstico ao modelo para geração de música de longa duração que utiliza a aceleração de áudio para reduzir o comprimento da sequência e o custo computacional, preservando a coerência musical.
2. Paradigma de Geração Hierárquica: Estabelece que o domínio acelerado serve como uma representação abstrata da estrutura global da música, enquanto o processo de restauração refina essa estrutura em detalhes de alta fidelidade.
3. Validação em Tarefas Diversas: O método foi validado em duas tarefas principais:
   • Geração de Música de Longa Duração: Controle temporal (continuação, preenchimento, geração do zero).
   • Geração de Acompanhamento Vocal (Whole-song Singing Accompaniment): Controle de faixas (gerar acompanhamento instrumental para uma melodia vocal completa).

4. Resultados Experimentais

Os experimentos foram realizados em vários conjuntos de dados (incluindo Lakh MIDI, dados de música pura e dados de canções com vocais).

• Eficiência e Duração:

  • O SqueezeComposer consegue gerar músicas de até 10 minutos (com fator de aceleração 8x) em cerca de 1 minuto de tempo de geração (RTF muito baixo).
  • Em comparação, modelos como MusicGen são limitados a clipes curtos (15s) com RTF alto, e modelos baseados em difusão latente (AudioLDM) são limitados a 60s.
  • O PyramidCodec (baseline) gera apenas até 3 minutos e com RTF muito superior (mais lento).

• Qualidade de Áudio:

  • Restauração: Mesmo usando vocoders pré-treinados sem fine-tuning, a qualidade do áudio restaurado a partir de 4x de aceleração é perceptivelmente consistente, com degradação mínima nas métricas objetivas. O fine-tuning do vocoder elimina quase completamente a degradação, igualando a qualidade ao BigVGAN original.
  • Métricas Estéticas: O modelo superou ou foi competitivo com os baselines em métricas de qualidade de produção (PQ), complexidade (PC) e utilidade (CU).
  • Coerência: Visualizações de espectrogramas mostram que o modelo mantém evolução espectral suave e coerência harmônica e rítmica ao longo de gerações longas, sem descontinuidades abruptas.

• Acompanhamento Vocal:

  • O modelo consegue gerar acompanhamentos para canções inteiras (240s), mantendo a sincronia rítmica e a consistência harmônica, algo que métodos anteriores (como SingSong ou FastSAG) falhavam em fazer para músicas completas, limitando-se a clipes curtos.

5. Significância

O trabalho do SqueezeComposer é significativo porque:

• Simplicidade: Propõe uma solução elegante ("um truque simples") que não requer mudanças fundamentais na arquitetura dos modelos de difusão ou no treinamento de codecs complexos.
• Escalabilidade: Permite que modelos existentes gerem conteúdo de longa duração que anteriormente era impossível devido a limitações de memória e contexto.
• Alinhamento com Princípios Hierárquicos: A abordagem valida a intuição de que a geração de música deve seguir um fluxo de "abstrato para detalhado", onde a aceleração temporal atua como uma ferramenta natural para extrair a estrutura macro da música antes de preencher os detalhes micro.
• Aplicabilidade Prática: Oferece uma via viável para a criação de trilhas sonoras completas, músicas instrumentais longas e acompanhamentos vocais completos, abrindo caminho para aplicações reais em produção musical e entretenimento.

Em resumo, o SqueezeComposer demonstra que comprimir o tempo de processamento é uma estratégia eficaz para superar as barreiras atuais na geração de áudio de longa duração, equilibrando eficiência computacional com alta qualidade artística.