Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

Resumen Técnico: Desambiguación Visual del Sentido de las Palabras con CLIP mediante Prompting de Texto de Doble Canal y Aumentos de Imagen

Planteamiento del Problema
La ambigüedad léxica sigue siendo un desafío persistente para los Modelos de Lenguaje de Gran Escala (LLMs), particularmente cuando las pistas contextuales son insuficientes para distinguir entre palabras polisémicas (significados relacionados) o homónimas (significados no relacionados). Mientras que la Desambiguación del Sentido de las Palabras (WSD) tradicional se basa en el texto circundante, a menudo falla en escenarios de bajo contexto. La Desambiguación Visual del Sentido de las Palabras (VWSD) aborda esto aprovechando las entradas visuales para resolver la ambigüedad, con el objetivo de identificar qué imagen de un conjunto de candidatos representa mejor el sentido pretendido de una palabra objetivo dentro de un contexto específico. Los enfoques actuales de vanguardia suelen depender de fusiones multimodales complejas o grandes generadores externos, lo que dificulta aislar las contribuciones específicas de las estrategias de prompting frente a las mejoras de procesamiento visual.

Metodología
Los autores proponen un marco de VWSD interpretable construido sobre la arquitectura CLIP (Pre-entrenamiento de Contraste de Lenguaje e Imagen). El objetivo central es proyectar el texto ambiguo y las imágenes candidatas en un espacio multimodal compartido para determinar la alineación mediante la similitud de coseno. La arquitectura propuesta mejora el enfoque "vanilla" estándar de CLIP a través de tres mecanismos primarios:

1. Prompting de Texto de Doble Canal: En lugar de utilizar frases de contexto puras, el modelo enriquece los embeddings textuales utilizando un ensamble de dos tipos de prompts:

   • Prompts Semánticos: Frases estrechamente definidas que describen la palabra objetivo desde ángulos semánticos específicos (por ejemplo, "banco relacionado con la erosión").
   • Prompts Fotográficos: Frases que vinculan explícitamente el texto con descripciones visuales (por ejemplo, "una foto de la erosión de un banco").
     Estos prompts son generados, embebidos, promediados dentro de sus respectivos canales y fusionados mediante una suma ponderada ($\beta_p$ y $\beta_s$) para crear una representación textual robusta.

2. Integración con WordNet: Para diversificar aún más la entrada, el sistema incorpora sinónimos de WordNet tanto para la palabra objetivo como para la palabra de contexto. Estos sinónimos se utilizan para generar prompts fotográficos adicionales, que se infunden en el embedding fotográfico medio para refinar el vector textual final.

3. Pipeline de Aumento de Imagen: Para mejorar la robustez de los embeddings visuales, el modelo reemplaza la codificación de vista única con una estrategia integral de aumento en tiempo de prueba. Esto incluye:

   • Transformaciones Geométricas: Espejo horizontal, recorte central, zoom y rotaciones aleatorias.
   • Transformaciones Fotométricas: Variaciones de brillo, contraste y saturación, junto con un desenfoque leve.
   • Estrategias de Multi-Recorte: Recortes deterministas (parches de cuadrícula, recortes de cuadrante medio) para capturar objetos descentrados.
     Cada imagen candidata es transformada en múltiples vistas (por ejemplo, 28 vistas), codificada independientemente y promediada para producir un embedding de imagen estable y promediado por vista.

La predicción final se realiza calculando la similitud de coseno entre el embedding textual enriquecido y los embeddings de imagen enriquecidos, seleccionando la imagen con la puntuación más alta.

Contribuciones Clave y Hallazgos Experimentales
El artículo evalúa su enfoque en el conjunto de datos SemEval-2023 VWSD, comparando el método propuesto contra un baseline de CLIP vanilla y varias configuraciones de ablación.

• Ganancias de Rendimiento: El enriquecimiento de los embeddings con el prompting de doble canal y los aumentos de imagen mejoró el Mean Reciprocal Rank (MRR) de 0.7227 a 0.7590 y el Hit Rate de 0.5810 a 0.6220 en el conjunto de prueba.
• Perspectivas de Ablación:
  • Prompting vs. Aumento: Los estudios de ablación revelan que el prompting de doble canal proporciona un rendimiento de baja latencia sólido (MRR 0.75, Hit@1 ~0.625) con una latencia de extremo a extremo de ~63ms. En contraste, el aumento agresivo de imagen por sí solo produjo ganancias marginales (MRR ~0.72) mientras incurría en un costo computacional significativo (710ms de latencia).
  • Rendimientos Decrecientes: La combinación de prompting y aumento no produjo beneficios aditivos; el enfoque combinado funcionó peor que el de prompting solo en términos de eficiencia y ofreció ganancias de rendimiento limitadas, lo que sugiere rendimientos decrecientes de la diversidad visual cuando ya existe guía semántica.
• Limitaciones del Conocimiento Externo:
  • Definiciones de WordNet: La integración de las definiciones de WordNet mostró que, si bien un promedio ponderado (15% definición, 85% contexto) ofreció ligeras mejoras, reemplazar el contexto enteramente con definiciones degradó el rendimiento.
  • Traducción Multilingüe: Las experimentos traduciendo los prompts al español, francés y alemán degradaron consistentemente el rendimiento. Los autores lo atribuyen a errores de traducción y a la "dilución" de la especificidad semántica al promediar embeddings a través de diferentes idiomas.
• Comparación con el Baseline: Un baseline que utiliza BERT para el texto y BLIP para el captioning de imágenes falló (0% de hit rate), subrayando la necesidad del espacio de embedding unificado proporcionado por CLIP para una comparación cross-modal significativa.

Significancia y Reivindicaciones
El artículo posiciona su significancia no en alcanzar la precisión absoluta más alta comparada con los sistemas principales de SemEval-2023 (que lograron ~84-85% de Hit@1 usando modelos más grandes y complejos), sino en proporcionar un marco interpretable que aísla las contribuciones de decisiones de diseño específicas.

Los autores afirman que:

1. Precisión sobre Ruido: Para el VWSD basado en CLIP, los prompts precisos, monolingües y alineados con CLIP son más efectivos que las señales externas ruidosas como las traducciones multilingües o las definiciones excesivas de WordNet.
2. Eficiencia vs. Complejidad: El prompting semántico es una estrategia computacionalmente eficiente que ofrece un poder de desambiguación significativo, mientras que el aumento visual agresivo introduce una sobrecarga sustancial con retornos limitados.
3. Modularidad: El estudio demuestra que un enfoque modular, evitando mecanismos de fusión complejos (como GNNs o pilas de Vision-LLM), puede evaluar eficazmente cómo las elecciones de diseño de bajo costo impactan las métricas de validación bajo presupuestos estrictos de latencia.

Los autores concluyen que, si bien permanece una brecha entre sus resultados y los sistemas de vanguardia, su trabajo establece una base para comprender las contribuciones a nivel de componente, priorizando la interpretabilidad y los costos de inferencia sostenibles.