Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

Resumo Técnico: Mineração de Negativos Difíceis Sensível ao Sinal para Recuperação de Língua de Sinais

Declaração do Problema

A Recuperação de Língua de Sinais (SLRet) visa acessar eficientemente o conteúdo de língua de sinais recuperando vídeos ou textos relevantes a partir de uma consulta. Embora os modelos atuais tenham um desempenho adequado em cenários de granularidade grossa (coarse-grained), eles exibem uma fragilidade significativa em cenários de granularidade fina (fine-grained), onde sinais visualmente semelhantes devem ser distinguidos. Os autores argumentam que essa limitação não decorre de uma capacidade insuficiente do modelo, mas sim de um desajuste na distribuição de negativos no aprendizado contrastivo.

Nas línguas de sinais, o significado é construído dentro de um espaço visual restrito; diferenças sutis na forma da mão, posição ou trajetória podem alterar o significado (confusabilidade de sinais). As estratégias de treinamento existentes baseiam-se na mineração de negativos difíceis baseada em texto, que seleciona palavras semanticamente relacionadas (ex: "Escandinávia" para "Europa") como negativos difíceis. No entanto, como palavras semanticamente relacionadas frequentemente correspondem a sinais visualmente distintos, estas servem como "negativos fáceis" para o modelo. Por outro lado, palavras semanticamente não relacionadas com sinais visualmente semelhantes (ex: "Outubro" vs. "Europa") atuam como verdadeiros negativos difíceis, mas raramente são selecionadas por métodos baseados em texto. Isso resulta na falta de exposição à "Região de Confusabilidade Visual" durante o treinamento, impedindo o modelo de aprender distinções de granularidade fina.

Metodologia: Mineração de Negativos Difíceis Sensível ao Sinal (SAN)

Para abordar esse desajuste, os autores propõem a Mineração de Negativos Difíceis Sensível ao Sinal (SAN), um framework que redefine os critérios de negativos difíceis da similaridade linguística para a confusabilidade visual no espaço de incorporação (embedding) de sinais. O método opera em três estágios:

1. Mineração de Pares Sinal-Palavra Confiáveis: Utilizando um modelo de recuperação pré-treinado, o sistema extrai alinhamentos de alta confiança entre tokens de sinal e tokens de palavra. Uma matriz de similaridade é computada, normalizada via softmax e filtrada por um limiar ($\alpha$) para reter apenas pares confiáveis, minimizando o ruído.
2. Mineração de Palavras Negativas Visualmente Semelhantes: Para cada par sinal-palavra confiável, o sistema busca outros tokens de sinal no lote (batch) que sejam visualmente semelhantes (alta similaridade de cosseno no espaço de embedding, excedendo o limiar $\beta$), mas que correspondam a palavras diferentes. Isso identifica candidatos semanticamente distintos, porém visualmente confundíveis.
3. Geração de Legendas de Negativos Difíceis: Os candidatos minerados são usados para gerar legendas de negativos difíceis através da substituição de palavras-chave no texto original. Essas legendas são incorporadas ao objetivo de treinamento via um termo de perda de granularidade fina ($L_{fine}$), que é combinado com a perda padrão de granularidade grossa ($L_{coarse}$) usando um peso de equilíbrio $\lambda$.

A função objetivo final é $L = L_{coarse} + \lambda \cdot L_{fine}$, permitindo que o modelo aprenda com instâncias visualmente ambíguas enquanto preserva o alinhamento semântico global.

Principais Contribuições

• Formulação do Problema: O artigo formula as falhas de recuperação de granularidade fina em SLRet como um problema de desajuste de distribuição de negativos, identificando que as estratégias atuais de mineração baseadas em texto falham em capturar a ambiguidade visual inerente às línguas de sinais.
• Framework Proposto: A introdução do SAN, que constrói negativos difíceis baseados na confusabilidade visual no espaço de embedding de sinais, em vez da similaridade linguística.
• Validação Empírica: Demonstração de que o SAN melhora substancialmente o desempenho de recuperação de granularidade fina mantendo uma precisão estável de granularidade grossa, superando estratégias de mineração baseadas em texto (incluindo aquelas que utilizam RoBERTa e GPT-4o-mini).

Resultados Experimentais

Os autores avaliaram o SAN no conjunto de dados PHOENIX-2014T (Língua de Sinais Alemã), comparando-o com baselines padrão (CiCo, GFSLT-VLP) e estratégias de mineração de negativos baseadas em texto (FastText, RoBERTa, GPT-4o-mini).

• Desempenho de Granularidade Fina: O SAN gerou melhorias substanciais. No backbone GFSLT-VLP, o V2T Recall@1 para recuperação de granularidade fina aumentou de 16,8% (baseline) para 49,1%, um aumento absoluto de +32,3%. Isso superou significativamente o melhor competidor baseado em texto (FastText com 43,8%) e modelos de linguagem de grande escala (GPT-4o-mini com 37,7%).
• Estabilidade de Granularidade Grossa: Ao contrário dos métodos baseados em texto, que frequentemente degradam o desempenho de granularidade grossa devido ao ruído no alinhamento semântico global, o SAN manteve uma precisão robusta de granularidade grossa (ex: 67,4% V2T R@1 para GFSLT-VLP, comparado a uma queda para 64,3% para o FastText).
• Análise Qualitativa: Comparações visuais confirmaram que o SAN minera negativos com formas de mão, localizações e movimentos altamente semelhantes (ex: "Europa" vs. "Outubro"), enquanto os métodos baseados em texto selecionavam sinais linguisticamente plausíveis, mas visualmente distintos.
• Estudos de Ablação: O estudo analisou o impacto do número de palavras substituídas ($N_{swap}$) e do número de negativos difíceis ($N_{hard}$), descobrindo que $N_{swap}=2$ e $N_{hard}=5$ ofereciam o melhor equilíbrio entre discriminação de granularidade fina e robustez global.

Significância e Alegações

O artigo afirma que o principal gargalo na recuperação de língua de sinais de granularidade fina não é a arquitetura do modelo, mas o sinal de supervisão. Ao alinhar a supervisão negativa com a ambiguidade visual em vez da semântica linguística, o SAN força efetivamente os modelos a resolver a confusabilidade visual. Os autores afirmam que a dificuldade linguística não equivale à dificuldade visual na língua de sinais; portanto, mudar as estratégias de mineração de negativos de base textual para base visual (sensível ao sinal) é essencial para o avanço da recuperação de granularidade fina.

O trabalho destaca que, embora os modelos existentes sejam estáveis em configurações de granularidade grossa, eles falham em distinguir variações visuais sutis sem exposição aos verdadeiros negativos difíceis. O SAN fornece um mecanismo para gerar essas instâncias, sugerindo que o progresso futuro em SLRet depende de fundamentar a mineração de negativos na modalidade visual.

Limitações

Os autores observam que seus experimentos estão atualmente limitados ao conjunto de dados PHOENIX-2014T dentro de um único domínio (previsões meteorológicas). Embora este domínio apresente naturalmente uma distribuição densa de sinais visualmente semelhantes, a generalização do SAN para outras línguas de sinais e conjuntos de dados requer validação adicional. Além disso, o framework depende de um limiar de similaridade visual fixo, que pode não considerar graus variados de ambiguidade entre diferentes classes de sinais, sendo sugerido um mecanismo de limiarização dinâmica como uma melhoria futura.