Resumen Técnico: SelectTSL – Localización Selectiva de Sonido de Objetivo Guiada por Prompts

1. Formulación del Problema

Los sistemas actuales de Localización de Fuentes Sonoras (SSL, por sus siglas en inglés) enfrentan una limitación fundamental: son "semánticamente ciegos". Si bien los métodos de SSL basados en aprendizaje profundo han logrado éxito en la estimación de la Dirección de Llegada (DoA) de eventos acústicos, típicamente localizan todas las fuentes activas de forma indiscriminada. Esto contrasta con la percepción auditiva humana, donde los oyentes pueden atender selectivamente a un objetivo específico (por ejemplo, un interlocutor concreto) entre sonidos y ruidos competidores (el "problema de la fiesta de cóctel").

Por el contrario, los métodos de Extracción de Sonido de Objetivo (TSE) pueden aislar fuentes específicas utilizando prompts multimodales (texto o audio), pero priorizan la fidelidad de la reconstrucción de la forma de onda sobre la consistencia espacial. En consecuencia, el TSE suele degradar la información de fase intercanal necesaria para una localización precisa.

SelectTSL aborda la brecha entre estos dos campos formulando una nueva tarea: Localización Selectiva de Sonido de Objetivo Guiada por Prompts. El objetivo es construir un marco de trabajo de extremo a extremo que, dado un prompt multimodal (descripción de texto o señal de audio), localice únicamente las fuentes de sonido objetivo especificadas por el usuario en escenas acústicas complejas, con múltiples fuentes y ruido, mientras suprime la interferencia. El sistema también debe gestionar el número variable en el tiempo de fuentes objetivo activas (cardinalidad) y objetivos en movimiento.

2. Metodología: La Arquitectura SelectTSL

SelectTSL es una arquitectura de extremo a extremo diseñada para desacoplar la selección semántica de la estimación espacial. Consta de dos etapas principales: un módulo de Atención Selectiva Guiada por Prompts (PGSA) y un Estimador de DoA.

A. Módulo de Atención Selectiva Guiada por Prompts (PGSA)

Este módulo actúa como un filtro semántico para extraer características consistentes con el objetivo a partir de la mezcla de audio.

• Procesamiento de Entrada: Acepta una mezcla de dos canales y un prompt multimodal (texto o audio).
• Codificadores de Prompts: Utiliza un modelo CLAP (Preentrenamiento de Contraste de Lenguaje y Audio) congelado para codificar pistas de texto y audio en embeddings semánticos. Estos se proyectan y fusionan en un vector de guía unificado.
• Red de Extracción: El módulo emplea un backbone de red recurrente de doble ruta (DPRNN). Utiliza una cascada de Modulación Lineal Basada en Características (FiLM) para condicionar las características de magnitud de la mezcla de entrada sobre el vector de prompt fusionado.
• Atención Cruzada: Un mecanismo de atención cruzada inyecta la guía semántica en las características de audio, permitiendo que la red se concentre en las regiones de tiempo-frecuencia relevantes para el objetivo.
• Salidas:
  1. Espectrograma de Magnitud del Objetivo: Una representación de magnitud refinada de la fuente objetivo.
  2. Embeddings Informados por la Extracción (EIEs): Una pila de mapas de características de los bloques intermedios de la DPRNN que codifican información específica del objetivo. Estos EIEs sirven como guía semántica de alto nivel para la etapa de localización subsiguiente.

B. Estimador de DoA

Esta etapa refina las pistas espaciales utilizando la guía semántica del módulo PGSA para estimar la DoA y el recuento de fuentes.

• Potenciador de IPD: Este es un componente crítico que refina la Diferencia de Fase Intercanal (IPD) bruta. Opera a través de dos ramas paralelas:
  • Rama Acústica: Procesa la magnitud del objetivo extraída y las pistas espaciales brutas (IPD, ILD).
  • Rama Semántica: Procesa los EIEs del módulo PGSA.
  • Fusión: Las ramas se fusionan mediante un mecanismo de puerta FiLM, donde la rama semántica modula las características acústicas para permitir una mejora de IPD espacialmente selectiva. La red predice residuales (deltas) respecto a la IPD bruta, recuperando una $IPD_{enh}$ mejorada que está sesgada hacia el objetivo especificado por el prompt.
• Modelado Temporal de Refinamiento Progresivo (PRTM): Las pistas espaciales mejoradas, la magnitud del objetivo y la ILD se concatenan y son procesadas por una pila de Bloques de Refinamiento de Características (FRBs), una Red Convolucional Temporal Dilatada (TCN) y una GRU Bidireccional (BiGRU) para modelar las dependencias temporales.
• Cabezales de Predicción:
  • Cabezal de DoA: Genera un posterograma a nivel de frame sobre 180 bins de azimut (0°–179°).
  • Cabezal de Cardinalidad: Un cabezal ligero que predice el número de fuentes objetivo activas por frame (0, 1 o 2).
• Inferencia: El sistema acopla estas predicciones seleccionando los $\hat{n}$ picos superiores del posterograma de DoA, donde $\hat{n}$ es la cardinalidad predicha.

C. Objetivo de Entrenamiento

El modelo se entrena conjuntamente con tres términos de pérdida:

1. Pérdida de Separación: SI-SNR negativo para asegurar que el módulo PGSA extraiga eficazmente la forma de onda del objetivo.
2. Pérdida de DoA: Entropía Cruzada Binaria (BCE) sobre el posterograma de DoA.
3. Pérdida de Cardinalidad: Entropía Cruzada (CE) sobre el recuento de fuentes.
   Nota: Los pesos se ajustan para equilibrar las diferencias de escala entre la pérdida de separación (típicamente $O(10^1)$) y la pérdida dispersa de DoA (típicamente $O(10^{-1})$).

3. Contribuciones Clave

1. Formulación de la Tarea: El artículo define la tarea de localización de sonido de objetivo selectiva y guiada por prompts en entornos dinámicos, ruidosos y con múltiples fuentes, con recuentos de objetivos desconoccidos y variables en el tiempo.
2. Marco de Trabajo SelectTSL: Una arquitectura de extremo a extremo que soporta prompts tanto de texto como de audio. Introduce el módulo PGSA para generar embeddings informados por la extracción y un potenciador de IPD que utiliza estos embeddings para refinar las pistas de fase espacial.
3. Gestión de la Cardinalidad: Un cabezal de cardinalidad ligero que predice conjuntamente mapas de calor de DoA y recuentos de fuentes por frame, permitiendo un seguimiento estable de interlocutores en movimiento y actividad intermitente sin necesidad de slots de seguimiento fijos.
4. Rendimiento Robusto: Experimentos extensos demuestran mejoras consistentes sobre bases sólidas tanto en grabaciones sintéticas como reales, mostrando una generalización robusta a la acústica de salas realistas.

4. Resultados Experimentales

Los autores evaluaron SelectTSL en un conjunto de datos sintetizado (que cubre diversas condiciones acústicas, fuentes en movimiento y variaciones de SNR) y un conjunto de datos de mundo real (TAU-SRIR).

• Baselines (Modelos de Referencia): Las comparaciones incluyeron métodos de seguimiento (IPDNet, EINV2, DCASE25), métodos SELD+DoA (SELDnet, SELDT), métodos de puro DoA (SRP-DNN, FN-SSL) y métodos basados en prompts (Text-Queried SEL).
• Rendimiento:
  • Métricas Estáticas: SelectTSL alcanzó un Error Angular Medio (MAE) de 0.98° y un F1 score de 95.67% en la condición "Mix" (entrada compleja de múltiples fuentes/ruidosa), superando significativamente al siguiente mejor baseline basado en prompts (MAE 5.37°).
  • Métricas Dinámicas: En términos de seguimiento de trayectoria (MOTA*), SelectTSL alcanzó un 91.57%, siendo vastamente superior a otros métodos que a menudo caían por debajo del 20% o fallaban al rastrear en mezclas complejas.
  • Estudios de Ablación:
    • Eliminar el Potenciador de IPD aumentó el MAE a 2.10°.
    • Eliminar el Cabezal de Cardinalidad redujo el MOTA* de 91.57% a 58.19%, resaltando su importancia para el seguimiento.
    • El entrenamiento de extremo a extremo superó al enfoque de dos etapas (selección y localización separadas).
    • El sistema mostró robustez ante variaciones en el tamaño de la sala, tiempos de reverberación y velocidades de movimiento, aunque el rendimiento decayó con movimientos extremadamente rápidos o salas altamente asimétricas.
  • Generalización al Mundo Real: En el conjunto de datos de sala real TAU-SRIR, el modelo mantuvo un MAE medio de 2.62° y un MOTA* de 77%, demostrando fuertes capacidades de transferencia.

5. Significación y Reivindicaciones

El artículo sostiene que SelectTSL logra cerrar la brecha entre la extracción con conciencia semántica y la localización con conciencia espacial. Al unificar estos objetivos, el sistema supera las limitaciones de:

• SSL Convencional: Que localiza todas las fuentes sin selectividad.
• TSE: Que extrae los objetivos pero distorsiona las pistas espaciales necesarias para la localización.

Los autores enfatizan que su diseño acoplado, que utiliza prompts semánticos para guiar el refinamiento de las pistas de fase espacial (IPD), permite al sistema enfocarse exclusivamente en los objetivos especificados por el usuario. Esto permite una localización y un seguimiento robustos incluso en escenarios con interlocutores en movimiento, múltiples fuentes de interferencia y números variables de objetivos activos. El trabajo sugiere que los sistemas futuros para altavoces inteligentes, audífonos y audición robótica pueden ir más allá del procesamiento "semánticamente ciego" hacia una detección espacial verdaderamente interactiva e impulsada por la intención.