Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

Riepilogo Tecnico: Sign-Aware Hard Negative Mining per il Recupero della Lingua dei Segni

Definizione del Problema

Il recupero della lingua dei segni (Sign Language Retrieval, SLRet) mira ad accedere in modo efficiente ai contenuti in lingua dei segni recuperando video o testi pertinenti a una query. Sebbene gli attuali modelli si comportino adeguatamente nei casi di recupero a grana grossa (coarse-grained), essi mostrano una significativa fragilità negli scenari a grana fine (fine-grained), dove segni visivamente simili devono essere distinti. Gli autori sostengono che questo limite non derivi da una capacità insufficiente del modello, bensì da un disallineamento della distribuzione dei negativi (negative distribution mismatch) nel contrastive learning.

Nelle lingue dei segni, il significato è costruito all'interno di uno spazio visivo ristretto; differenze sottili nella forma della mano, nella posizione o nella traiettoria possono alterare il significato (confondibilità del segno). Le strategie di addestramento esistenti si affidano al mining di negativi difficili (hard negative mining) basato sul testo, che seleziona parole semanticamente correlate (ad esempio, "Scandinavia" per "Europa") come negativi difficili. Tuttavia, poiché le parole semanticamente correlate corrispondono spesso a segni visivamente distinti, esse fungono da "negativi facili" per il modello. Al contrario, parole semanticamente non correlate ma con segni visivamente simili (ad esempio, "Ottobre" vs "Europa") agiscono come veri negativi difficili, ma vengono raramente selezionate dai metodi basati sul testo. Ciò risulta in una mancanza di esposizione alla "Regione di Confondibilità Visiva" durante l'addestramento, impedendo al modello di apprendere distinzioni a grana fine.

Metodologia: Sign-Aware Hard Negative Mining (SAN)

Per affrontare questo disallineamento, gli autori propongono il Sign-Aware Hard Negative Mining (SAN), un framework che ridefinisce i criteri di hard negative dalla somiglianza linguistica alla confondibilità visiva all'interno dello spazio di embedding dei segni. Il metodo opera in tre fasi:

1. Mining di Coppie Segno-Parola Affidabili: Utilizzando un modello di recupero pre-addestrato, il sistema estrae allineamenti ad alta confidenza tra i token dei segni e i token delle parole. Viene calcolata una matrice di somiglianza, normalizzata tramite softmax e filtrata da una soglia ($\alpha$) per trattenere solo le coppie affidabili, minimizzando il rumore.
2. Mining di Parole Negative Visivamente Simili: Per ogni coppia segno-parola affidabile, il sistema cerca altri token di segni nel batch che siano visivamente simili (alta somiglianza del coseno nello spazio di embedding, superiore alla soglia $\beta$) ma che corrispondano a parole diverse. Questo identifica candidati semanticamente distinti ma visivamente confondibili.
3. Generazione di Caption per Hard Negative: I candidati individuati vengono utilizzati per generare caption di hard negative sostituendo le parole chiave nel testo originale. Queste caption vengono incorporate nell'obiettivo di addestramento tramite un termine di perdita a grana fine ($L_{fine}$), che si combina con la standard loss a grana grossa ($L_{coarse}$) utilizzando un peso di bilanciamento $\lambda$.

La funzione obiettivo finale è $L = L_{coarse} + \lambda \cdot L_{fine}$, permettendo al modello di apprendere dagli istanze visivamente ambigue preservando al contempo l'allineamento semantico globale.

Contributi Chiave

• Formulazione del Problema: Il documento formula i fallimenti del recupero a grana fine in SLRet come un problema di disallineamento della distribuzione dei negativi, identificando che le attuali strategie di mining basate sul testo non riescono a catturare l'ambiguità visiva inerente alle lingue dei segni.
• Framework Proposto: L'introduzione di SAN, che costruisce hard negativi basati sulla confondibilità visiva nello spazio di embedding dei segni piuttosto che sulla somiglianza linguistica.
• Validazione Empirica: La dimostrazione che SAN migliora sostanzialmente le prestazioni di recupero a grana fine mantenendo una stabile accuratezza a grana grossa, superando le strategie di mining basate sul testo (inclusi quelli che utilizzano RoBERTa e GPT-4o-mini).

Risultati Sperimentali

Gli autori hanno valutato SAN sul dataset PHOENIX-2014T (lingua dei segni tedesca), confrontandolo con i baseline standard (CiCo, GFSLT-VLP) e le strategie di mining dei negativi basate sul testo (FastText, RoBERTa, GPT-4o-mini).

• Prestazioni a Grana Fine: SAN ha prodotto miglioramenti sostanziali. Sul backbone GFSLT-VLP, il V2T Recall@1 per il recupero a grana fine è aumentato dal 16,8% (baseline) al 49,1%, un miglioramento assoluto del +32,3%. Ha superato significativamente il miglior competitore basato sul testo (FastText al 43,8%) e i grandi modelli linguistici (GPT-4o-mini al 37,7%).
• Stabilità a Grana Grossa: A differenza dei metodi basati sul testo, che spesso degradano le prestazioni a grana grossa a causa del rumore nell'allineamento semantico globale, SAN mantiene una robusta accuratezza a grana grossa (ad esempio, 67,4% V2T R@1 per GFSLT-VLP, rispetto a un calo al 64,3% per FastText).
• Analisi Qualitativa: I confronti visivi hanno confermato che SAN estrae negativi con forme delle mani, posizioni e movimenti altamente simili (ad esempio, "Europa" vs "Ottobre"), mentre i metodi basati sul testo selezionavano segni linguisticamente plausibili ma visivamente distinti.
• Studi di Ablazione: Lo studio ha analato l'impatto del numero di parole scambiate ($N_{swap}$) e del numero di hard negativi ($N_{hard}$), riscontrando che $N_{swap}=2$ e $N_{hard}=5$ offrivano il miglior compromesso tra discriminazione a grana fine e robustezza globale.

Significato e Rivendicazioni

Il documento sostiene che il collo di bottiglia principale nel recupero della lingua dei segni a grana fine non sia l'architettura del modello, ma il segnale di supervisione. Allineando la supervisione negativa all'ambiguità visiva piuttosto che alla semantica linguistica, SAN costringe efficacementamente i modelli a risolvere la confondibilità visiva. Gli autori affermano che la difficoltà linguistica non equivale alla difficoltà visiva nella lingua dei segni; pertanto, spostare le strategie di mining dei negativi dal testo alla visione (sign-aware) è essenziale per far progredire il recupero a grano fine.

Il lavoro evidenzia come, sebbene i modelli esistenti siano stabili nei contesti a grana grossa, essi falliscano nel distinguere variazioni visive sottili senza l'esposizione a veri hard negativi. SAN fornisce un meccanismo per generare queste istanze, suggerendo che il progresso futuro in SLRet dipenda dal radicamento del mining dei negativi nella modalità visiva.

Limitazioni

Gli autori notano che i loro esperimenti sono attualmente limitati al dataset PHOENIX-2014T all'interno di un singolo dominio (previsioni meteorologiche). Sebbene questo dominio presenti naturalmente una densa distribuzione di segni visivamente simili, la generalizzabilità di SAN ad altre lingue dei segni e dataset richiede ulteriore validazione. Inoltre, il framework si basa su una soglia di somiglianza visiva fissa, che potrebbe non tenere conto dei diversi gradi di ambiguità tra le diverse classi di segni; un meccanismo di soglia dinamica è suggerito come miglioramento futuro.