Resumo Técnico: STRUM

Declaração do Problema

Jogos de ritmo como Clone Hero e YARG dependem de "partituras" (charts) criadas manualmente — sequências estruturadas e temporizadas de notas que mapeiam eventos musicais para entradas do controlador em cinco instrumentos (bateria, guitarra, baixo, vocais, teclas). A criação dessas partituras é um processo intensivo em mão de obra, exigindo semanas de treinamento para iniciantes e horas de esforço manual para especialistas, criando um gargalo na biblioteca da comunidade. Sistemas existentes de Transcrição Automática de Música (AMT) geralmente geram dados de piano-roll ou exigem metadados de oráculo (tempo, tonalidade, alinhamento) e não geram partituras prontas para jogabilidade. Além disso, as partituras da comunidade frequentemente se desviam dos onsets de áudio brutos devido à quantização e escolhas artísticas, complicando a avaliação da precisão da transcrição.

Metodologia

STRUM (Spectral Transcription and Rhythm Understanding Model) é um pipeline híbrido de áudio para partitura, multiestágio, que converte áudio bruto em partituras MIDI jogáveis sem metadados de oráculo. O sistema opera da seguinte forma:

1. Separação de Fontes: A mistura de entrada é processada usando htdemucs 6s para isolar seis faixas (stems): bateria, baixo, vocais, guitarra, piano e "outros".
2. Detecção de Tempo: O tempo é derivado da faixa de bateria usando rastreamento de batida do librosa, refinado por meio de uma busca em grade de ±5 BPM com coerência de fase de estatísticas circulares.
3. Cadeias de Transcrição Específicas por Instrumento:
   • Bateria: Um CRNN de dois estágios (V14) detecta onsets em espectrogramas mel. Esses onsets são classificados em sete classes de bateria do Clone Hero por um ensemble de seis modelos OnsetClassifier. O pós-processamento inclui um árbitro de faixa de bateria (resolvendo incompatibilidades de energia), um corretor multiclasse da Fase-3 (lidando com fills densos), uma CNN de refinamento de tom e cinco heurísticas direcionadas (por exemplo, bumbo suprime o tom de chão, resgate de fill).
   • Guitarra/Baixo: Um OnsetCRNN detecta o início das notas, seguido pelo pYIN do librosa para rastreamento de pitch monofônico. Um mapeador baseado em regras atribui os pitches a pistas de 5 trastes com base em uma estimativa de tônica em execução.
   • Vocais: O OpenAI Whisper fornece carimbos de tempo em nível de palavra, que são alinhados a um contorno de pitch pYIN por meio de warping de tempo dinâmico. Os onsets das palavras tornam-se o início das notas, com pitches quantizados em semitons MIDI.
   • Teclas: Picos espectrais na faixa de piano são processados via detecção de onset e rastreamento de pitch do librosa, com pistas atribuídas por pitch relativo em uma janela deslizante.
4. Pós-processamento: Todas as faixas são mescladas em um único arquivo notes.mid com metadados compartilhados de tempo e assinatura de compasso.

Envelope Operacional e Avaliação

Em vez de avaliar em um conjunto de teste arbitrário, os autores definem um "envelope operacional" baseado na qualidade do áudio. Uma música é incluída apenas se o RMS mediano de 1 segundo da faixa de bateria separada exceder 0,018. O benchmark consiste em 29 músicas (de um conjunto inicial de 65) abrangendo punk, metal, pop, rock, eletrônico, hip-hop, prog e country.

As métricas de avaliação (Precisão, Revocação, F1) são calculadas com uma tolerância de ±100 ms. Crucialmente, o sistema realiza uma busca de offset global por música (±200 ms) para alinhar a partitura gerada com a verdade fundamental, reconhecendo que as partituras da comunidade frequentemente se desviam do áudio bruto.

Resultados Principais

No benchmark de 29 músicas dentro do envelope, o STRUM alcança as seguintes pontuações F1 no nível de onset:

• Bateria: 0,838 (Precisão: 0,823, Revocação: 0,854)
• Baixo: 0,694
• Guitarra: 0,651
• Vocais: 0,539

Análise Específica de Bateria:

• Precisão por Classe: Bumbo (0,61), Vermelho/Groove (0,44), Amarelo/Chimbal (0,49), Verde/Tom de chão (0,57). A pista Azul (Tom agudo/Ride) é a mais fraca, com 0,19 de precisão, devido à confluência de instrumentos acusticamente dissimilares no formato do Clone Hero.
• Estudo de Ablação: Sete componentes do pipeline de bateria foram ablatados. Três componentes mostraram contribuições estatisticamente significativas (p ≤ 0,003): o árbitro de faixa de bateria, o corretor da Fase-3 e o veto de empilhamento de crash/ride. Quatro componentes (resgate de fill, CNN de refinamento de tom, veto de roll de groove/chimbal, híbrido multiclasse) não mostraram efeito agregado neste benchmark específico, embora tenham sido mantidos para lidar com modos de falha específicos não presentes na amostra.

Teto da Verdade Fundamental:
Os autores identificaram um limite fundamental na avaliação: apenas 89,0% dos eventos de bateria da verdade fundamental nas partituras da comunidade estão dentro de ±100 ms de qualquer onset de áudio bruto. Isso implica que mesmo um transcritor de áudio perfeito não pode exceder ~0,89 de revocação contra a verdade fundamental da comunidade sem aprender explicitamente os padrões de quantização da comunidade.

Significado e Contribuições

O artigo posiciona o STRUM como uma ferramenta para auxiliar tanto os criadores de partituras experientes (fornecendo um rascunho para limpeza) quanto os iniciantes (fornecendo uma linha de base jogável). Suas principais contribuições são:

1. Pipeline Completo: Um sistema de ponta a ponta de código aberto, cobrindo cinco instrumentos, sem dependência de metadados de oráculo.
2. Protocolo de Envelope Operacional: Um quadro de avaliação rigoroso que publica os critérios específicos de qualidade de áudio sob os quais os resultados se sustentam, em vez de relatar um único número em um conjunto de teste oculto.
3. Análise Empírica da Verdade Fundamental: Evidência de que os tempos das partituras da comunidade se desviam significativamente do áudio bruto, estabelecendo um limite superior rígido (~89%) para métricas de revocação contra dados da comunidade.
4. Transparência: Um estudo de ablação completo com testes de Wilcoxon pareados por música, incluindo resultados nulos para componentes que não impactaram o benchmark específico, oferecendo um modelo para futuras avaliações de criação automática de partituras.

Os autores concluem que, embora o STRUM produza partituras jogáveis, a lacuna entre os onsets acústicos e as convenções de criação de partituras humanas permanece um desafio significativo, particularmente para vocais e atribuição de pistas em guitarra/baixo. O código, os pesos e o manifesto do benchmark foram lançados para facilitar pesquisas futuras e uso pela comunidade.