🤖 AI

SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios

Questo articolo introduce SelectTSL, un framework di deep learning end-to-end che sfrutta un meccanismo di attenzione selettiva guidato da prompt per localizzare accuratamente le sorgenti sonore target specificate dall'utente e stimarne la cardinalità in complessi ambienti acustici multi-sorgente, colmando efficacemente il divario tra l'estrazione del suono target e la localizzazione della sorgente sonora.

Autori originali: Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

Pubblicato 2026-07-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ziyang Jiang, Yu Chen, Zexu Pan, Xinyuan Qian, Bowen Xing, Ivor W. Tsang, Xu-Cheng Yin, Haizhou Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a una festa rumorosa e caotica. Ci sono persone che parlano, musica che suona e un cane che abbaia in un angolo. Se vuoi sentire solo la voce di un tuo specifico amico, il tuo cervello filtra naturalmente il rumore e si concentra solo su di lui. Questo è noto come il "problema della festa del cocktail" (cocktail party problem).

Gli attuali sistemi informatici, tuttavia, sono come ospiti a questa festa che non sanno filtrare. Se chiedi a un computer standard di localizzazione sonora: "Da dove proviene il suono?", esso indicherà tutto: la musica, il cane, il chiacchiericcio e il tuo amico. Vede un groviglio di direzioni.

D'altro canto, alcuni sistemi avanzati possono isolare una voce specifica (come quella del tuo amico) per renderla più chiara, ma nel farlo spesso perdono la capacità di dirti esattamente da dove quella voce proviene. Sanno cosa ascoltare, ma non sanno dove si trova.

Entra in scena "SelectTSL": l'ospite intelligente della festa

Il documento presenta un nuovo sistema chiamato SelectTSL (Selective Target Sound Localization). Immaginalo come un ospite della festa super intelligente che può fare entrambe le cose: ascoltare solo ciò che vuoi e dirti esattamente da dove proviene.

Ecco come funziona, usando semplici analogie:

1. Il "Prompt" (La tua richiesta)

Inveve di limitarsi ad ascoltare il rumore, SelectTSL attende un'istruzione specifica, chiamata prompt. Puoi dare questa istruzione in due modi:

Testo: Digiti: "Localizza il parlato".
Audio: Riproduci un breve clip del suono che desideri (come un campione di un secondo di un cane che abbaia) e dici: "Trova questo suono".

2. Il "Filtro Selettivo" (Il modulo PGSA)

Una volta ricevuta la tua richiesta, il sistema utilizza un filtro speciale chiamato modulo Prompt-Guided Selective Attention (PGSA).

L'analogia: Immagina che la stanza sia piena di un enorme gomitolo di lana aggrovigliato che rappresenta tutti i suoni. Il tuo prompt è come un colore specifico di tintura. Il modulo PGSA immerge un magnete nel gomitolo. Il magnete cattura solo i fili che corrispondono al colore della tua tintura (il suono bersaglio) e ignora il resto (il rumore e le altre voci).
Questo processo pulisce l'audio, mantenendo solo i "fili" relativi al tuo bersaglio.

3. Il "Detective Spaziale" (L'estrattore IPD)

Ora che il sistema ha isolato il suono bersaglio, deve trovarne la posizione.

L'analogia: Immagina di cercare di trovare una sorgente sonora usando due orecchie (o due microfoni). Il sistema osserva la minuscola differenza di tempo con cui il suono colpisce l'orecchio sinistro rispetto a quello destro (chiamata Inter-Channel Phase Difference, o IPD).
Poiché il sistema ha già filtrato il rumore, può ora osservare queste minuscole differenze temporali in modo molto più chiaro. È come cercare di sentire un sussurro in una stanza silenziosa rispetto a un sussurro in un concerto rock; la stanza silenziosa rende gli indizi temporali molto più facili da individuare.

4. Il "Conteggio e Tracciamento" (Cardinality Head)

Il sistema non si limita a indovinare una direzione; conta anche quanti dei tuoi suoni bersaglio sono presenti.

L'analogia: Se hai chiesto di "localizzare il parlato", il sistema controlla: "C'è una persona che parla, due persone che parlano o nessuno?". Può gestire situazioni in cui il numero di interlocutori cambia mentre si muovono.
Successivamente, traccia una linea fluida su una mappa che mostra come il suono si muove nel tempo, invece di fornire semplicemente un singolo punto tremolante.

Perché è importante?

Il documento ha testato questo sistema in due modi:

Stanze simulate: Hanno creato stanze digitali con altoparlanti in movimento, cani che abbaiano e rumore forte.
Registrazioni reali: Lo hanno testato in stanze reali con echi e mobili veri.

I Risultati:

I vecchi sistemi: Di fronte a una stanza rumorosa, o indicavano tutto (confusi) o indicavano la cosa sbagliata.
SelectTSL: Ha trovato costantemente il bersaglio esatto, ha ignorato il rumore e ha tracciato il movimento in modo fluido. Anche quando il parlatore bersaglio smetteva di parlare per un momento e poi ricominciava, il sistema non perdeva la traccia.

Riassunto

In breve, SelectTSL è un nuovo modo per far ascoltare alle computer le stanze rumorose. Inveve di urlare "Sento tutto!", aspetta che tu dica "Voglio sentire questo", e poi agisce come un riflettore a fuoco laser, dicendoti esattamente da dove proviene quel suono specifico e dove sta andando, anche in un ambiente caotico.

Riepilogo Tecnico: SelectTSL – Localizzazione Selettiva del Suono del Target Guidata da Prompt

1. Formulazione del Problema

Gli attuali sistemi di Localizzazione della Sorgente Sonora (SSL) affrontano un limite fondamentale: sono "semanticamente ciechi". Sebbene i metodi SSL basati sul deep learning abbiano ottenuto successi nella stima della Direzione di Arrivo (DoA) per eventi acustici, essi tipicamente localizzano tutte le sorgenti attive in modo indiscriminato. Ciò contrasta con la percezione uditiva umana, dove gli ascoltatori possono prestare attenzione selettivamente a un target specifico (ad esempio, un parlatore specifico) in mezzo a suoni competitivi e rumore (il "probleamo del cocktail party").

Al contrario, i metodi di Estrazione del Suono del Target (TSE) possono isolare sorgenti specifiche utilizzando prompt multimodali (testo o audio), ma danno priorità alla fedeltà della ricostruzione della forma d'onda rispetto alla coerenza spaziale. Di conseguenza, il TSE spesso degrada l'informazione di fase inter-canale necessaria per una localizzazione precisa.

SelectTSL affronta il divario tra questi due campi formulando un nuovo compito: la Localizzazione Selettiva del Suono del Target Guidata da Prompt. L'obiettivo è costruire un framework end-to-end che, dato un prompt multimodale (descrizione testuale o segnale audio), localizzi solo la sorgente o le sorgenti target specificate dall'utente in scene acustiche complesse, multi-sorgente e rumorose, sopprimendo al contempo le interferenze. Il sistema deve anche gestire il numero variabile nel tempo di sorgenti target attive (cardinalità) e i target in movimento.

2. Metodologia: L'Architettura SelectTSL

SelectTSL è un'architettura end-to-end progettata per decomporre la selezione semantica dalla stima spaziale. Consiste in due fasi primarie: un modulo di Attenzione Selettiva Guidata dal Prompt (PGSA) e un Estimatore di DoA.

A. Modulo di Attenzione Selettiva Guidata dal Prompt (PGSA)

Questo modulo agisce come un filtro semantico per estrarre caratteristiche coerenti con il target dalla miscela audio.

Elaborazione del Prompt: Accetta una miscela a doppio canale e un prompt multimodale (testo o audio).
Encoder del Prompt: Utilizza un modello CLAP (Contrastive Language-Audio Pretraining) pre-addestrato e congelato per codificare i cue testuali e audio in embedding semantici. Questi vengono proiettati e fusi in un vettore di guida unificato.
Rete di Estrazione: Il modulo impiega un backbone DPRNN (dual-path RNN). Utilizza una cascata Feature-wise Linear Modulation (FiLM) per condizionare le caratteristiche di magnitudo della miscela di input sul vettore di prompt fuso.
Cross-Attention: Un meccanismo di cross-attention inietta la guida semantica nelle caratteristiche audio, permettendo alla rete di concentrarsi sulle regioni tempo-frequenza rilevanti per il target.
Output:
1. Spettrogramma di Magnitudo del Target: Una rappresentazione raffinata della magnitudo della sorgente target.
2. Embedding Informati dall'Estrazione (EIEs): Una pila di mappe di caratteristiche dai blocchi intermedi DPRNN che codificano informazioni specifiche del target. Questi EIE fungono da guida semantica di alto livello per la fase di localizzazione successiva.

B. Estimatore di DoA

Questa fase raffina i segnali spaziali utilizzando la guida semantica del modulo PGSA per stimare la DoA e il conteggio delle sorgenti.

IPD Enhancer: Questo è un componente critico che raffina la differenza di fase inter-canale (IPD) grezza. Opera tramite due rami paralleli:
- Ramo Acustico: Elabora la magnitudo estratta del target e i segnali spaziali grezzi (IPD, ILD).
- Ramo Semantico: Elabora gli EIE dal modulo PGSA.
- Fusione: I rami sono fusi tramite un meccanismo FiLM gates. Il ramo semantico modula le caratteristiche acustiche per abilitare un potenziamento dell'IPD spazialmente selettivo. La rete predice i residui (delta) rispetto all'IPD grezza, recuperando un'IPD potenziata ( $IPD_{enh}$ ) che è orientata verso il target specificato dal prompt.
Modellazione Temporale di Raffinamento Progressivo (PRTM): I segnali spaziali potenziati, la magnitudo del target e l'ILD vengono concatenati e processati da una pila di Feature Refinement Blocks (FRBs), una Dilated Temporal Convolutional Network (TCN) e una BiGRU per modellare le dipendenze temporali.
Testine di Predizione:
- Testina DoA: Output di un posterogramma a livello di frame su 180 bin azimutali (0°–179°).
- Testina di Cardinalità: Una testina leggera che predice il numero di sorgenti target attive per frame (0, 1 o 2).
Inferenza: Il sistema accoppia queste predizioni selezionando i top- $\hat{n}$ picchi dal posterogramma DoA, dove $\hat{n}$ è la cardinalità predetta.

C. Obiettivo di Addestramento

Il modello è addestrato congiuntamente con tre termini di perdita:

Perdita di Separazione: SI-SNR negativa per garantire che il modulo PGSA estragga efficacementamente la forma d'onda del target.
Perdita DoA: Binary Cross Entropy (BCE) sul posterogramma DoA.
Perdita di Cardinalità: Cross Entropy (CE) sul conteggio delle sorgenti.
Nota: I pesi sono calibrati per bilanciare le differenze di scala tra la perdita di separazione (tipicamente $O(10^1)$ ) e la sparsa perdita DoA (tipicamente $O(10^{-1})$ ).

3. Contributi Chiave

Formulazione del Compito: Il paper definisce il compito della localizzazione selettiva del suono del target guidata da prompt in ambienti dinamici, rumorosi e multi-sorgente con conteggi di target sconosciuti e variabili nel tempo.
Framework SelectTSL: Un'architettura end-to-end che supporta sia prompt testuali che audio. Introduce il modulo PGSA per generare embedding informati dall'estrazione (EIE) e un IPD Enhancer che utilizza questi embedding per raffinare i segnali di fase spaziale.
Gestione della Cardinalità: Una testina di cardinalità leggera che predice congiuntamente mappe di calore DoA e conteggi di sorgenti per frame, consentendo il tracciamento stabile di parlatore in movimento e attività intermittenti senza slot di traccia fissi.
Prestazioni Robuste: Esperimenti estesi dimostrano miglioramenti consistenti rispetto a forti baseline sia in registrazioni sintetiche che reali, mostrando una robusta generalizzazione all'acustica ambientale realistica.

4. Risultati Sperimentali

Gli autori hanno valutato SelectTSL su un dataset sintetizzato (che copre diverse condizioni acustiche, sorgenti in movimento e vari SNR) e un dataset reale (TAU-SRIR).

Baseline: I confronti includevano metodi basati su traccia (IPDNet, EINV2, DCASE25), metodi SELD+DoA (SELDnet, SELDT), metodi di pura DoA (SRP-DNN, FN-SSL) e metodi basati su prompt (Text-Queried SEL).
Prestazioni:
- Metriche Statiche: SelectTSL ha raggiunto un Mean Angular Error (MAE) di 0,98° e un F1 score del 95,67% nella condizione "Mix" (input multi-sorgente/rumoroso complesso), superando significativamente la migliore baseline basata su prompt (MAE 5,37°).
- Metriche Dinamiche: In termini di tracciamento della traiettoria (MOTA*), SelectTSL ha raggiunto il 91,57%, essendo vastamente superiore ad altri metodi che spesso scendevano sotto il 20% o fallivano il tracciamento in miscele complesse.
- Studi di Ablazione:
  - Rimuovendo l'IPD Enhancer, il MAE è aumentato a 2,10°.
  - Rimuovendo la Testina di Cardinalità, il MOTA* è sceso dal 91,57% al 58,19%, evidenziando la sua importanza per il tracciamento.
  - L'addestramento end-to-end ha superato un approccio a due stadi (separazione e localizzazione distinti).
  - Il sistema ha mostrato robustezza a diverse dimensioni delle stanze, tempi di riverberazione e velocità di movimento, sebbene le prestazioni siano degradate con movimenti estremamente rapidi o stanze altamente asimmetriche.
- Generalizzazione al Mondo Reale: Sul dataset di stanza reale TAU-SRIR, il modello ha mantenuto un MAE medio di 2,62° e un MOTA* del 77%, dimostrando forti capacità di trasferimento.

5. Significato e Rivendicazioni

Il paper sostiene che SelectTSL riesce a colmare il divario tra estrazione semanticamente consapevole e localizzazione spazialmente consapevole. Unificando questi obiettivi, il sistema supera i limiti di:

SSL Convenzionale: Che localizza tutte le sorgenti senza selettività.
TSE: Che estrae i target ma distorce i segnali spaziali necessari per la localizzazione.

Gli autori sottolineano che il loro design accoppiato, che utilizza prompt semantici per guidare il raffinamento dei segnali di fase spaziale (IPD), permette al sistema di concentrarsi esclusivamente sui target specificati dall'utente. Ciò consente una localizzazione e un tracciamento robusti anche in scenari con parlatore in movimento, molteplici sorgenti interferenti e numeri variabili di target attivi. Il lavoro suggerisce che i futuri sistemi per smart speaker, apparecchi acustici e robotica possono andare oltre l'elaborazione "semanticamente cieca" verso una percezione spaziale veramente interattiva e guidata dall'intento.