Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

Technische Samenvatting: Sign-Aware Hard Negative Mining voor Gebarentaalretrieval

Probleemstelling

Sign Language Retrieval (SLRet) beoogt efficiënt toegang te krijgen tot gebarentaalcontent door relevante video's of teksten op te halen op basis van een query. Hoewel huidige modellen adequaat presteren bij grofmazige (coarse-grained) retrieval, vertonen ze een aanzienlijke kwetsbaarheid in fijnmazige (fine-grained) scenario's waar visueel gelijkaardige gebaren van elkaar onderscheiden moeten worden. De auteurs stellen dat deze beperking niet voortkomt uit een onvoldoende modelcapaciteit, maar uit een negatieve distributie-mismatch in contrastief leren.

In gebarentalen wordt betekenis geconstrueerd binnen een beperkte visuele ruimte; subtiele verschillen in handvorm, positie of traject kunnen de betekenis veranderen (gebaren-verwarbaarheid). Bestaande trainingsstrategieën vertrouwen op tekstgebaseerde hard negative mining, waarbij semantisch verwante woorden (bijv. "Scandinavië" voor "Europa") als hard negatives worden geselecteerd. Omdat semantisch verwante woorden echter vaak overeenkomen met visueel verschillende gebaren, dienen deze als "easy negatives" voor het model. Omgekeerd fungeren semantisch ongerelateerde woorden met visueel gelijkaardige gebaren (bijv. "oktober" versus "Europa") als echte hard negatives, maar deze worden zelden geselecteerd door tekstgebaseerde methoden. Dit resulteert in een gebrek aan blootstelling aan de "Visueel Verwarbare Regio" tijdens de training, waardoor het model niet in staat is om fijnmazige onderscheidend vermogens te leren.

Methodologie: Sign-Aware Hard Negative Mining (SAN)

Om deze mismatch aan te pakken, stellen de auteurs Sign-Aware Hard Negative Mining (SAN) voor, een framework dat de criteria voor hard negatives herdefinieert van linguïstische gelijkenis naar visuele verwarbaarheid binnen de gebaren-embeddingruimte. De methode werkt in drie stadia:

1. Betrouwbare Sign–Word Pair Mining: Met behulp van een vooraf getraind retrieval-model extraheert het systeem hoog-betrouwbare uitlijningen tussen gebarentokens en woordtokens. Een gelijkenis-matrix wordt berekend, genormaliseerd via softmax en gefilterd door een drempelwaarde ($\alpha$) om alleen betrouwbare paren te behouden, waardoor ruis wordt geminimaliseerd.
2. Visueel Gelijkaardige Negatieve Woord Mining: Voor elk betrouwbaar sign-woord paar zoekt het systeem naar andere sign-tokens in de batch die visueel gelijkaardig zijn (hoge cosinus-gelijkenis in de embeddingruimte, boven drempelwaarde $\beta$), maar die bij verschillende woorden horen. Dit identificeert semantisch verschillende maar visueel verwarbare kandidaten.
3. Hard Negative Caption Generatie: De gevonden kandidaten worden gebruikt om hard negative captions te genereren door kernwoorden in de oorspronkelijke tekst te vervangen. Deze captions worden in de trainingsdoelstelling opgenomen via een fijnmazige verliesterm ($L_{fine}$), die wordt gecombineerd met de standaard grofmazige verliesterm ($L_{coarse}$) met behulp van een balancerende weging $\lambda$.

De uiteindelijke doelfunctie is $L = L_{coarse} + \lambda \cdot L_{fine}$, waardoor het model kan leren van visueel ambigue instanties terwijl de globale semantische uitlijning behouden blijft.

Belangrijkste Bijdragen

• Probleemformulering: Het artikel formuleert fouten in fijnmazige retrieval in SLRet als een probleem van een negatieve distributie-mismatch, waarbij wordt vastgesteld dat huidige tekstgebaseerde mining-strategieën er niet in slagen de inherente visuele ambiguïteit van gebarentalen te vangen.
• Voorgesteld Framework: De introductie van SAN, dat hard negatives construeert op basis van visuele verwarbaarheid in de gebaren-embeddingruimte in plaats van linguïstische gelijkenis.
• Empirische Validatie: Demonstratie dat SAN de fijnmazige retrieval-prestaties substantieel verbetert terwijl de stabiele grofmazige nauwkeurigheid behouden blijft, waarbij het beter presteert dan tekstgebaseerde mining-strategieën (inclusief die van RoBERTa en GPT-4o-mini).

Experimentele Resultaten

De auteurs hebben SAN geëvalueerd op de PHOENIX-2014T dataset (Duitse gebarentaal), waarbij het werd vergeleken met standaard baselines (CiCo, GFSLT-VLP) en tekstgebaseerde negatieve mining-strategieën (FastText, RoBERTa, GPT-4o-mini).

• Fijnmazige Prestaties: SAN leverde substantiële verbeteringen op. Op de GFSLT-VLP backbone steeg de V2T Recall@1 voor fijnmazige retrieval van 16,8% (baseline) naar 49,1%, een absolute verbetering van +32,3%. Dit presteerde aanzienlijk beter dan de beste tekstgebaseerde concurrent (FastText op 43,8%) en grote taalmodellen (GPT-4o-mini op 37,7%).
• Grofmazige Stabiliteit: In tegen tegenstelling tot tekstgebaseerde methoden, die vaak de grofmazige prestaties verslechterden door ruis in de globale semantische uitlijning, behield SAN een robuuste grofmazige nauwkeurigheid (bijv. 67,4% V2T R@1 voor GFSLT-VLP, vergeleken met een daling naar 64,3% voor FastText).
• Kwalitatieve Analyse: Visuele vergelijkingen bevestigden dat SAN negatieve voorbeelden vindt met zeer gelijkaardige handvormen, locaties en bewegingen (bijv. "Europa" versus "oktober"), terwijl tekstgebaseerde methoden linguïstisch plausibele maar visueel verschillende gebaren selecteerden.
• Ablatie-studies: De studie analyseerde de impact van het aantal vervangen woorden ($N_{swap}$) en het aantal hard negatives ($N_{hard}$), waarbij werd geconstateerd dat $N_{swap}=2$ en $N_{hard}=5$ de beste balans boden tussen fijnmazige discriminatie en globale robuustheid.

Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in fijnmazige gebarentaal-retrieval niet de modelarchitectuur is, maar het supervisiesignaal. Door negatieve supervisie af te stemmen op visuele ambiguïteit in plaats van linguïstische semantiek, dwingt SAN het model effectief om visuele verwarbaarheid op te lossen. De auteurs stellen dat linguïstische hardheid niet gelijkstaat aan visuele hardheid in gebarentaal; daarom is het verschuiven van negatieve mining-strategieën van tekstgebaseerd naar visie-gebaseerd (gebarenbewust) essentieel voor de vooruitgang van fijnmazige retrieval.

Het werk benadrukt dat hoewel bestaande modellen stabiel zijn in grofmazige settings, ze er niet in slagen om subtiele visuele variaties te onderscheiden zonder blootstelling aan echte hard negatives. SAN biedt een mechanisme om deze instanties te genereren, wat suggereert dat toekomstige vooruitgang in SLRet afhangt van het funderen van negatieve mining in de visuele modaliteit.

Beperkingen

De auteurs merken op dat hun experimenten momenteel beperkt zijn tot de PHOENIX-2014T dataset binnen één domein (weervoorspellingen). Hoewel dit domein van nature een dichte distributie van visueel gelijkaardige gebaren vertoont, vereist de generaliseerbaarheid van SAN naar andere gebarentalen en datasets verdere validatie. Daarnaast leunt het framework op een vaste visuele gelijkenis-drempelwaarde, die mogelijk geen rekening houdt met variërende graden van ambiguïteit over verschillende gebarenklassen; een dynamisch drempelmechanisme wordt voorgesteld als een toekomstige verbetering.