Resumo Técnico: CASTELLA – Conjunto de Dados de Áudio Longo com Legendas e Limites Temporais

1. Declaração do Problema

A Recuperação de Momentos de Áudio (AMR - Audio Moment Retrieval) é uma tarefa projetada para localizar segmentos específicos ("momentos") dentro de gravações de áudio longas que correspondam a uma consulta de texto fornecida. Enquanto a Detecção de Eventos Sonoros (SED - Sound Event Detection) foca em clipes curtos (tipicamente ~10 segundos) e classes de granularidade grossa, a AMR aborda áudios de longa duração (minutos de comprimento) e consultas de texto de formato livre e complexas.

Apesar do potencial utilitário da AMR para aplicações como a navegação em conteúdo de transmissão ou análise de imagens de vigilância, o campo carece de um benchmark robusto e de grande escala utilizando dados do mundo real. Pesquisas anteriores, como o estudo inicial de AMR por [6], basearam-se fortemente em conjuntos de dados sintéticos (construídos sobrepondo sons a ruídos de fundo) e avaliaram modelos em menos de 100 amostras anotadas manualmente. Essa dependência de dados sintéticos e de uma avaliação de pequena escala resultou em métricas de desempenho não confiáveis e uma compreensão incerta de como os modelos performam em ambientes do mundo real. Os conjuntos de dados de áudio existentes ou carecem de limites temporais, ou carecem de legendas de formato livre, ou consistem em clipes de áudio que são curtos demais para serem considerados "áudio longo".

2. Metodologia e Construção do Conjunto de Dados (CASTELLA)

Para abordar essas lacunas, os autores introduzem o CASTELLA (CAptionS and TEmporaL boundaries for Long Audio - Legendas e Limites Temporais para Áudio Longo), um conjunto de dados de grande escala, anotado por humanos.

Características do Conjunto de Dados

• Escala: O CASTELLA contém 1.862 gravações de áudio (1.009 para treinamento, 213 para validação, 640 para teste), totalizando mais de 120 horas de áudio. Isso é aproximadamente 24 vezes maior que o conjunto de dados anterior de AMR anotado manualmente (subconjunto UnAV-100).
• Conteúdo: O áudio é extraído do YouTube (especificamente um subconjunto da divisão AudioCaps) e varia de 1 a 5 minutos de duração.
• Anotações: Cada gravação inclui:
  • Legendas Globais: Um resumo de toda a gravação de áudio.
  • Legendas Locais: Descrições de formato livre de momentos de áudio salientes.
  • Limites Temporais: Timestamps de início e fim para cada momento local.
• Estatísticas: O conjunto de dados contém 3.881 legendas locais e 11.308 timestamps. O áudio médio contém 2,1 momentos locais e a duração média do momento é curta, com uma distribuição fortemente enviesada para segmentos mais curtos (distribuição de cauda longa).

Procedimento de Anotação

O conjunto de dados foi construído usando um serviço de crowdsourcing com um processo rigoroso de múltiplas etapas:

1. Seleção: Os anotadores identificaram até cinco momentos locais salientes, evitando eventos não locais que abrangem toda a gravação.
2. Legendagem: Os anotadores descreveram os momentos em detalhes sem depender de informações visuais (embora tenham assistido aos vídeos para identificar os momentos inicialmente). As legendas globais foram geradas como resumos das legendas locais.
3. Tradução: As anotações iniciais foram em japonês e traduzidas para o inglês por tradutores experientes, utilizando tradução automática (LLMs) como base onde apropriado.
4. Atribuição de Limites: Os limites temporais foram marcados com resolução de 1 segundo. Os anotadores foram instruídos a incluir intervalos que capturassem o momento descrito, mesmo que estes sobrepusessem ligeiramente o conteúdo não relevante.
5. Controle de Qualidade: Um segundo anotador revisou os resultados. Crucialmente, os autores realizaram uma revisão manual final ouvindo apenas o áudio (sem vídeo) para remover legendas que não poderiam ser verificadas apenas pelo som e para corrigir erros de limite, garantindo que o conjunto de dados reflita as capacidades de recuperação baseadas apenas em áudio.

3. Configuração Experimental e Baselines

Os autores estabeleceram um baseline para AMR usando a arquitetura AM-DETR, que combina um modelo de áudio-texto (MS-CLAP) com um Transformer de Detecção (DETR).

• Estratégias de Treinamento:
  • Treinamento exclusivamente no conjunto de dados sintético Clotho-Moment.
  • Treinamento exclusivamente no conjunto de dados do mundo real CASTELLA.
  • Pré-treinamento no Clotho-Moment seguido de ajuste fino (fine-tuning) no CASTELLA.
• Modelos Testados: O estudo avaliou o QD-DETR, Moment-DETR e UVCOM (uma arquitetura avançada) no benchmark CASTELLA.
• Métricas: O desempenho foi medido usando Recall@1 (R1) nos limiares de IoU de 0,5 e 0,7, e Precisão Média (mAP).

4. Resultados Principais

Os experimentos produziram três percepções primárias:

1. Eficácia do Treinamento Híbrido: A descoberta mais significativa é que um modelo pré-treinado em dados sintéticos (Clotho-Moment) e depois ajustado com CASTELLA superou significativamente os modelos treinados em apenas um dos conjuntos de dados.
   • Em termos de Recall@1@0.7, a abordagem híbrida alcançou 16,2, comparado a 5,8 para o modelo apenas sintético e 9,7 para o modelo apenas do mundo real. Isso representa uma melhoria de 10,4 pontos sobre o baseline apenas sintético.
2. Tendências de Arquitetura: As tendências de desempenho entre diferentes arquiteturas baseadas em DETR na AMR espelharam as observadas na Recuperação de Momentos de Vídeo (VMR). Especificamente, o UVCOM alcançou o melhor desempenho (20,3 R1@0.7), enquanto o Moment-DETR teve o pior desempenho.
3. Desafio de Momentos Curtos: O desempenho cai significativamente para momentos de verdade fundamental (ground-truth) mais curtos que 10 segundos. Isso se alinha aos desafios vistos em VMR, mas é mais agudo em AMR, já que o conjunto de dados CASTELLA mostra uma alta frequência de eventos de curta duração.

5. Significância e Alegações

O artigo posiciona o CASTELLA como um passo necessário para a avaliação e o desenvolvimento confiáveis da AMR.

• Confiabilidade do Benchmark: Ao fornecer um conjunto de dados de grande escala do mundo real, o CASTELLA aborda a falta de confiabilidade das avaliações anteriores baseadas em menos de 100 amostras e dados sintéticos.
• Validação da Estratégia de Treinamento: Os resultados demonstram que, embora os dados sintéticos sejam úteis para o pré-treinamento, o ajuste fino em dados do mundo real é crítico para alcançar alto desempenho em aplicações práticas de AMR.
• Fundação para Trabalhos Futuros: Os autores afirmam que o CASTELLA permite o estabelecimento de baselines e apoia pesquisas futuras sobre a localização e legendagem simultâneas de eventos, bem como a recuperação através de coleções de gravações de áudio longas.

Os autores concluem que o CASTELLA está disponível publicamente para facilitar pesquisas futuras em recuperação de momentos de áudio, movendo o campo das limitações sintéticas para a aplicabilidade no mundo real.