Resumo Técnico: SelectTSL – Localização Seletiva de Som de Alvo Guiada por Prompt

1. Formulação do Problema

Os sistemas atuais de Localização de Fonte Sonora (SSL - Sound Source Localization) enfrentam uma limitação fundamental: eles são "semanticamente cegos". Embora os métodos de SSL baseados em aprendizado profundo tenham alcançado sucesso na estimativa da Direção de Chegada (DoA - Direction of Arrival) para eventos acústicos, eles tipicamente localizam todas as fontes ativas indiscriminadamente. Isso contrasta com a percepção auditiva humana, onde os ouvintes podem atender seletivamente a um alvo específico (por exemplo, um falante específico) em meio a sons e ruídos concorrentes (o "problema da festa de coquetel").

Por outro lado, os métodos de Extração de Som de Alvo (TSE - Target Sound Extraction) podem isolar fontes específicas usando prompts multimodais (texto ou áudio), mas priorizam a fidelidade da reconstrução da forma de onda em detrimento da consistência espacial. Consequentemente, o TSE frequentemente degrada a informação de fase intercanal necessária para uma localização precisa.

O SelectTSL aborda a lacuna entre esses dois campos formulando uma nova tarefa: Localização Seletiva de Som de Alvo Guiada por Prompt. O objetivo é construir um framework end-to-end que, dado um prompt multimodal (descrição textual ou pista de áudio), localize apenas a(s) fonte(s) alvo especificada(s) pelo usuário em cenas acústicas complexas, com múltiplas fontes e ruído, enquanto suprime a interferência. O sistema também deve lidar com números variáveis de fontes alvo ativas (cardinalidade) e alvos em movimento.

2. Metodologia: A Arquitetura SelectTSL

O SelectTSL é uma arquitetura end-to-end projetada para desacoplar a seleção semântica da estimativa espacial. Consiste em duas etapas primárias: um módulo de Atenção Seletiva Guiada por Prompt (PGSA - Prompt-Guided Selective Attention) e um Estimador de DoA.

A. Módulo de Atenção Seletiva Guiada por Prompt (PGSA)

Este módulo atua como um filtro semântico para extrair características consistentes com o alvo a partir da mistura de áudio.

• Processamento de Entrada: Aceita uma mistura de dois canais e um prompt multimodal (texto ou áudio).
• Codificadores de Prompt: Utiliza um modelo CLAP (Contrastive Language-Audio Pretraining) congelado para codificar pistas de texto e áudio em embeddings semânticos. Estes são projetados e fundidos em um vetor de guia unificado.
• Rede de Extração: O módulo emprega um backbone de RNN de caminho duplo (DPRNN). Ele utiliza uma cascata de Modulação Linear por Característica (FiLM - Feature-wise Linear Modulation) para condicionar as características de magnitude da mistura de entrada ao vetor de prompt fundido.
• Atenção Cruzada (Cross-Attention): Um mecanismo de atenção cruzada injeta a orientação semântica nas características de áudio, permitindo que a rede foque em regiões de tempo-frequência relevantes para o alvo.
• Saídas:
  1. Espectrograma de Magnitude do Alvo: Uma representação de magnitude refinada da fonte alvo.
  2. Embeddings Informados pela Extração (EIEs - Extraction-Informed Embeddings): Um conjunto de mapas de características de blocos intermediários do DPRNN que codificam informações específicas do alvo. Estes EIEs servem como orientação semântica de alto nível para a etapa de localização subsequente.

B. Estimador de DoA

Esta etapa refina as pistas espaciais usando a orientação semântica do módulo PGSA para estimar a DoA e a contagem de fontes.

• Melhorador de IPD (IPD Enhancer): Este é um componente crítico que refina a Diferença de Fase Intercanal (IPD - Inter-Channel Phase Difference) bruta. Ele opera através de dois ramos paralelos:
  • Ramo Acústico: Processa a magnitude do alvo extraída e as pistas espaciais brutas (IPD, ILD).
  • Ramo Semântico: Processa os EIEs do módulo PGSA.
  • Fusão: Os ramos são fundidos usando um mecanismo FiLM com portão (gated). O ramo semântico modula as características acústicas para permitir o refinamento espacialmente seletivo do IPD. A rede prevê resíduos (deltas) para o IPD bruto, recuperando um IPD aprimorado ($IPD_{enh}$) que é enviesado para o alvo especificado pelo prompt.
• Modelagem Temporal de Refinamento Progressivo (PRTM - Progressive Refinement Temporal Modeling): As pistas espaciais aprimoradas, a magnitude do alvo e o ILD são concatenados e processados por uma pilha de Blocos de Refinamento de Características (FRBs), uma Rede Convolucional Temporal Dilatada (TCN) e um BiGRU (GRU Bidirecional) para modelar dependências temporais.
• Cabeças de Predição:
  • Cabeça de DoA: Saída de um posterograma de nível de quadro sobre 180 bins de azimute (0°–179°).
  • Cabeça de Cardinalidade: Uma cabeça leve que prevê o número de fontes alvo ativas por quadro (0, 1 ou 2).
• Inferência: O sistema acopla essas predições selecionando os $\hat{n}$ picos superiores do posterograma de DoA, onde $\hat{n}$ é a cardinalidade prevista.

C. Objetivo de Treinamento

O modelo é treinado conjuntamente com três termos de perda (loss):

1. Perda de Separação: SI-SNR negativo para garantir que o módulo PGSA extraia efetivamente a forma de onda do alvo.
2. Perda de DoA: Entropia Cruzada Binária (BCE) no posterograma de DoA.
3. Perda de Cardinalidade: Entropia Cruzada (CE) na contagem de fontes.
   Nota: Os pesos são ajustados para equilibrar as diferenças de escala entre a perda de separação (tipicamente $O(10^1)$) e a perda esparsa de DoA (tipicamente $O(10^{-1})$).

3. Principais Contribuições

1. Formulação da Tarefa: O artigo define a tarefa de localização seletiva de som de alvo guiada por prompt em ambientes dinâmicos, ruidosos e com múltiplas fontes, com contagens de alvos desconhecidas e variáveis no tempo.
2. Framework SelectTSL: Uma arquitetura end-to-end que suporta tanto prompts de texto quanto de áudio. Introduz o módulo PGSA para gerar embeddings informados pela extração (EIEs) e um Melhorador de IPD que utiliza esses embeddings para refinar as pistas de fase espacial.
3. Tratamento de Cardinalidade: Uma cabeça de cardinalidade leve que prevê conjuntamente mapas de calor de DoA e contagens de fontes por quadro, permitendo o rastreamento estável de falantes em movimento e atividades intermitentes sem slots de rastreamento fixos.
4. Desempenho Robusto: Experimentos extensos demonstram melhorias consistentes sobre fortes baselines em gravações sintéticas e reais, mostrando generalização robusta para acústicas de sala realistas.

4. Resultados Experimentais

Os autores avaliaram o SelectTSL em um conjunto de dados sintetizado (cobrindo diversas condições acústicas, fontes em movimento e diferentes SNRs) e em um conjunto de dados do mundo real (TAU-SRIR).

• Baselines: As comparações incluíram métodos baseados em rastreamento (track-wise) (IPDNet, EINV2, DCASE25), métodos SELD+DoA (SELDnet, SELDT), métodos de DoA pura (SRP-DNN, FN-SSL) e métodos baseados em prompt (Text-Queried SEL).
• Desempenho:
  • Métricas Estáticas: O SelectTSL alcançou um Erro Angular Médio (MAE) de 0,98° e um F1 score de 95,67% na condição "Mix" (entrada complexa de múltiplas fontes/ruído), superando significativamente o próximo melhor baseline baseado em prompt (MAE 5,37°).
  • Métricas Dinâmicas: Em termos de rastreamento de trajetória (MOTA*), o SelectTSL alcançou 91,57%, sendo vastamente superior a outros métodos que frequentemente caíram abaixo de 20% ou falharam em rastrear em misturas complexas.
  • Estudos de Ablação:
    • Remover o Melhorador de IPD aumentou o MAE para 2,10°.
    • Remover a Cabeça de Cardinalidade reduziu o MOTA* de 91,57% para 58,19%, destacando sua importância para o rastreamento.
    • O treinamento end-to-end superou uma abordagem de dois estágios (seleção e localização separadas).
    • O sistema mostrou robustez a diferentes tamanhos de sala, tempos de reverberação e velocidades de movimento, embora o desempenho tenha degradado com movimentos extremamente rápidos ou salas altamente assimétricas.
  • Generalização para o Mundo Real: No conjunto de dados de sala real TAU-SRIR, o modelo manteve um MAE médio de 2,62° e MOTA* de 77%, demonstrando forte capacidade de transferência.

5. Significância e Alegações

O artigo afirma que o SelectTSL faz a ponte com sucesso entre a extração semanticamente consciente e a localização espacialmente consciente. Ao unificar esses objetivos, o sistema supera as limitações de:

• SSL Convencional: Que localiza todas as fontes sem seletividade.
• TSE: Que extrai alvos, mas distorce as pistas espaciais necessárias para a localização.

Os autores enfatizam que seu design acoplado, que usa prompts semânticos para guiar o refinamento das pistas de fase espacial (IPD), permite que o sistema foque exclusivamente nos alvos especificados pelo usuário. Isso possibilita a localização e o rastreamento robustos mesmo em cenários com falantes em movimento, múltiplas fontes de interferência e números variáveis de alvos ativos. O trabalho sugere que futuros sistemas para alto-falantes inteligentes, aparelhos auditivos e audição robótica podem ir além do processamento "semanticamente cego" para uma sensação espacial verdadeiramente interativa e orientada pela intenção.