Semantic Hardness Is Not Visual Hardness: Sign-Aware Hard Negative Mining for Sign Language Retrieval

Resumen Técnico: Minería de Negativos Difíciles Sensible a la Señal para la Recuperación de Lengua de Señas

Planteamiento del Problema

La Recuperación de Lengua de Señas (SLRet) tiene como objetivo acceder eficientemente al contenido de lengua de señas recuperando videos o textos relevantes dada una consulta. Aunque los modelos actuales funcionan adecuadamente en la recuperación de grano grueso (coarse-grained), exhiben una fragilidad significativa en escenarios de grano fino (fine-grained) donde se deben distinguir señas visualmente similares. Los autores argumentan que esta limitación no proviene de una capacidad insuficiente del modelo, sino de un desajuste en la distribución de negativos en el aprendizaje contrastivo.

En las lenguas de señas, el significado se construye dentro de un espacio visual restringido; diferencias sutiles en la forma de la mano, la posición o la trayectoria pueden alterar el significado (confusabilidad de la seña). Las estrategias de entrenamiento existentes dependen de la minería de negativos difíciles basada en texto, que selecciona palabras semánticamente relacionadas (por ejemplo, "Escandinavia" para "Europa") como negativos difíciles. Sin embargo, debido a que las palabras semánticamente relacionadas suelen corresponder a señas visualmente distintas, estas sirven como "negativos fáciles" para el modelo. Por el contrario, las palabras semánticamente no relacionadas con señas visualmente similares (por ejemplo, "octubre" frente a "Europa") actúan como verdaderos negativos difíciles pero rara vez son seleccionadas por los métodos basados en texto. Esto resulta en una falta de exposición a la "Región de Confusabilidad Visual" durante el entrenamiento, lo que impide que el modelo aprenda distinciones de grano fino.

Metodología: Minería de Negativos Difíciles Sensible a la Seña (SAN)

Para abordar este desajuste, los autores proponen la Minería de Negativos Difíciles Sensible a la Seña (SAN), un marco que redefine los criterios de negativos difíciles de la similitud lingüística a la confusabilidad visual dentro del espacio de incrustación (embedding) de la seña. El método opera en tres etapas:

1. Minería de Pares Señal-Palabra Confiables: Utilizando un modelo de recuperación preentrenado, el sistema extrae alineaciones de alta confianza entre tokens de señas y tokens de palabras. Se computa una matriz de similitud, normalizada mediante softmax, y filtrada por un umbral ($\alpha$) para retener solo los pares confiables, minimizando el ruido.
2. Minería de Palabras Negativas Visualmente Similares: Para cada par palabra-seña confiable, el sistema busca otras señas en el lote (batch) que sean visualmente similares (alta similitud de coseno en el espacio de incrustación, superando el umbral $\beta$) pero que correspondan a palabras diferentes. Esto identifica candidatos semánticamente distintos pero visualmente confusos.
3. Generación de Subtítulos de Negativos Difíciles: Los candidatos minados se utilizan para generar subtítulos de negativos difíciles mediante la sustitución de palabras clave en el texto original. Estos subtítulos se incorporan al objetivo de entrenamiento a través de un término de pérdida de grano fino ($L_{fine}$), que se combina con la pérdida estándar de grano grueso ($L_{coarse}$) utilizando un peso de equilibrio $\lambda$.

La función objetivo final es $L = L_{coarse} + \lambda \cdot L_{fine}$, lo que permite que el modelo aprenda de instancias visualmente ambiguas mientras preserva la alineación semántica global.

Contribuciones Clave

• Formulación del Problema: El artículo formula los fallos de recuperación de grano fino en SLRet como un problema de desajuste en la distribución de negativos, identificando que las estrategias actuales de minería basadas en texto no logran capturar la ambigüedad visual inherente a las lenguas de señas.
• Marco Propuesto: La introducción de SAN, que construye negativos difíciles basados en la confusabilidad visual en el espacio de inclexión de la seña en lugar de la similitud lingüística.
• Validación Empírica: Demostración de que SAN mejora sustancialmente el rendimiento de recuperación de grano fino manteniendo una estabilidad en la precisión de grano grueso, superando las estrategias de minería basadas en texto (incluyendo aquellas que utilizan RoBERTa y GPT-4o-mini).

Resultados Experimentales

Los autores evaluaron SAN en el conjunto de datos PHOENIX-2014T (Lengua de Señas Alemana), comparándolo con líneas base estándar (CiCo, GFSLT-VLP) y estrategias de minería de negativos basadas en texto (FastText, RoBERTa, GPT-4o-mini).

• Rendimiento de Grano Fino: SAN produjo mejoras sustanciales. En el backbone GFSLT-VLP, el Recall@1 de V2T para la recuperación de grano fino aumentó del 16.8% (línea base) al 49.1%, una mejora absoluta de +32.3%. Esto superó significativamente al mejor competidor basado en texto (FastText con 43.8%) y a los modelos de lenguaje extensos (GPT-4o-mini con 37.7%).
• Estabilidad de Grano Grueso: A diferencia de los métodos basados en texto, que a menudo degradan el rendimiento de grano grueso debido al ruido en la alineación semántica global, SAN mantuvo una precisión robusta de grano grueso (por ejemplo, 67.4% V2T R@1 para GFSLT-VLP, comparado con una caída al 64.3% para FastText).
• Análisis Cualitativo: Las comparaciones visuales confirmaron que SAN mina negativos con formas de mano, ubicaciones y movimientos altamente similares (por ejemplo, "Europa" frente a "octubre"), mientras que los métodos basados en texto seleccionaron señas lingüísticamente plausibles pero visualmente distintas.
• Estudios de Ablación: El estudio analizó el impacto del número de palabras sustituidas ($N_{swap}$) y el número de negativos difíciles ($N_{hard}$), encontrando que $N_{swap}=2$ y $N_{hard}=5$ ofrecían el mejor equilibrio entre la discriminación de grano fino y la robustez global.

Significancia y Reivindicaciones

El artículo afirma que el principal cuello de botella en la recuperación de lengua de señas de grano fino no es la arquitectura del modelo, sino la señal de supervisión. Al alinear la supervisión negativa con la ambigüedad visual en lugar de la semántica lingüística, SAN obliga efectivamente al modelo a resolver la confusabilidad visual. Los autores sostienen que la dureza lingüística no equivale a la dureza visual en la lengua de señas; por lo tanto, cambiar las estrategias de minería de negativos de un enfoque basado en texto a uno basado en la visión (sensible a la seña) es esencial para avanzar en la recuperación de grano fino.

El trabajo destaca que, si bien los modelos existentes son estables en configuraciones de grano grueso, fallan en distinguir variaciones visuales sutiles sin exposición a los verdaderos negativos difíciles. SAN proporciona un mecanismo para generar estas instancias, sugiriendo que el progreso futuro en SLRet depende de fundamentar la minería de negativos en la modalidad visual.

Limitaciones

Los autores señalan que sus experimentos están actualmente limitados al conjunto de datos PHOENIX-2014T dentro de un único dominio (pronósticos meteorológicos). Si bien este dominio exhibe naturalmente una distribución densa de señas visualmente similares, la generalizabilidad de SAN a otras lenguas de señas y conjuntos de datos requiere mayor validación. Además, el marco depende de un umbral de similitud visual fijo, que puede no tener en cuenta los diversos grados de ambigüedad entre diferentes clases de señas, y se sugiere un mecanismo de umbral dinámico como una mejora futura.