Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

Resumo Técnico: Desambiguação de Sentido de Palavras Visuais com CLIP através de Prompt de Texto de Canal Duplo e Aumentos de Imagem

Definição do Problema
A ambiguidade lexical permanece um desafio persistente para os Grandes Modelos de Linguagem (LLMs), particularmente quando as pistas contextuais são insuficientes para distinguir entre palavras polissêmicas (sentidos relacionados) ou homônimas (sentidos não relacionados). Enquanto a Desambiguação de Sentido de Palavras (WSD) tradicional baseia-se no texto circundante, ela frequentemente falha em cenários de baixo contexto. A Desambiguação de Sentido de Palavras Visuais (VWSD) aborda isso ao alavancar entradas visuais para resolver a ambiguidade, visando identificar qual imagem de um conjunto de candidatos melhor representa o sentido pretendido de uma palavra alvo dentro de um contexto específico. As abordagens atuais de estado da arte frequentemente dependem de fusão multimodal complexa ou grandes geradores externos, tornando difícil isolar as contribuições específicas das estratégias de prompting versus os aprimoramentos de processamento visual.

Metodologia
Os autores propõem um framework de VWSD interpretável construído sobre a arquitetura CLIP (Contrastive Language-Image Pre-training). O objetivo central é projetar textos ambíguos e imagens candidatas em um espaço multimodal compartilhado para determinar o alinhamento via similaridade de cosseno. A arquitetura proposta aprimora a abordagem "vanilla" padrão do CLIP através de três mecanismos primários:

1. Prompt de Texto de Canal Duplo: Em vez de usar frases de contexto brutas, o modelo enriquece os embeddings textuais usando um ensemble de dois tipos de prompts:

   • Prompts Semânticos: Frases estritamente definidas descrevendo a palavra alvo a partir de ângulos semânticos específicos (ex: "banco relacionado à erosão").
   • Prompts Fotográficos: Frases que ligam explicitamente o texto a descrições visuais (ex: "uma foto de erosão de banco").
     Estes prompts são gerados, incorporados (embedded), calculados pela média dentro de seus respectivos canais e fundidos via uma soma ponderada ($\beta_p$ e $\beta_s$) para criar uma representação textual robusta.

2. Integração com WordNet: Para diversificar ainda mais a entrada, o sistema incorpora sinônimos da WordNet tanto para a palavra alvo quanto para a palavra de contexto. Esses sinônimos são usados para gerar prompts fotográficos adicionais, que são infundidos na média do embedding fotográfico para refinar o vetor textual final.

3. Pipeline de Aumento de Imagem: Para melhorar a robustez dos embeddings visuais, o modelo substitui a codificação de visão única por uma estratégia abrangente de aumento de tempo de teste (test-time augmentation). Isso inclui:

   • Transformações Geométricas: Espelhamento horizontal, recorte central (center cropping), zoom e rotações aleatórias.
   • Transformações Fotométricas: Jitter de brilho, contraste e saturação, juntamente com um leve desfoque (blur).
   • Estratégias de Multi-Crop: Recortes determinísticos (patches de grade, crops de quadrante médio) para capturar objetos fora do centro.
     Cada imagem candidata é transformada em múltiplas visões (ex: 28 visões), codificada independentemente e calculada pela média para produzir um embedding de imagem estável e de média de visão.

A predição final é feita calculando a similaridade de cosseno entre o embedding textual enriquecido e os embeddings de imagem enriquecidos, selecionando a imagem com a maior pontuação.

Contribuições Principais e Achados Experimentais
O artigo avalia sua abordagem no dataset SemEval-2023 VWSD, comparando o método proposto contra um baseline CLIP vanilla e várias configurações de ablação.

• Ganhos de Desempenho: O enriquecimento dos embeddings com prompting de canal duplo e aumentos de imagem melhorou o Mean Reciprocal Rank (MRR) de 0,7227 para 0,7590 e o Hit Rate de 0,5810 para 0,6220 no conjunto de teste.
• Insights de Ablação:
  • Prompting vs. Aumento: Os estudos de ablação revelam que o prompting de canal duplo fornece um desempenho forte e de baixa latência (MRR 0,75, Hit@1 ~0,625) com uma latência de ponta a ponta de ~63ms. Em contraste, o aumento agressivo de imagem sozinho rendeu apenas ganhos marginais (MRR ~0,72) enquanto incorria em um custo computacional significativo (710ms de latência).
  • Retornos Decrescentes: Combinar tanto o prompting quanto o aumento não gerou benefícios aditivos; a abordagem combinada performou pior que o prompting isolado em termos de eficiência e ofereceu ganhos limitados de desempenho, sugerindo retornos decrescentes da diversidade visual quando a orientação semântica já está presente.
• Limitações de Conhecimento Externo:
  • Definições da WordNet: A integração de definições da WordNet mostrou que, embora uma média ponderada (15% definição, 85% contexto) tenha oferecido melhorias leves, substituir o contexto inteiramente por definições degradou o desempenho.
  • Tradução Multilíngue: Experimentos traduzindo prompts para espanhol, francês e alemão degradaram consistentemente o desempenho. Os autores atribuem isso a erros de tradução e à "diluição" da especificidade semântica ao calcular a média dos embeddings entre idiomas.
• Comparação com Baseline: Um baseline usando BERT para texto e BLIP para legenda de imagem falhou (0% de hit rate), sublinhando a necessidade de um espaço de embedding unificado fornecido pelo CLIP para uma comparação cross-modal significativa.

Significância e Alegações
O artigo posiciona sua significância não em alcançar a maior acurácia absoluta comparada aos principais sistemas do SemEval-2023 (que atingiram ~84-85% de Hit@1 usando modelos maiores e mais complexos), mas em fornecer um framework interpretável que isola as contribuições de escolhas de design específicas.

Os autores alegam que:

1. Precisão sobre Ruído: Para o VWSD baseado em CLIP, prompts precisos, monolíngues e alinhados ao CLIP são mais eficazes do que sinais externos ruidosos, como traduções multilíngues ou excesso de definições da WordNet.
2. Eficiência vs. Complexidade: O prompting semântico é uma estratégia computacionalmente eficiente que oferece poder de desambiguação significativo, enquanto o aumento visual agressivo introduz um overhead substancial com retornos limitados.
3. Modularidade: O estudo demonstra que uma abordagem modular, evitando mecanismos de fusão complexos (como GNNs ou stacks de Vision-LLM), pode efetivamente avaliar como escolhas de design de baixo custo impactam métricas de validação sob orçamentos estritos de latência.

Os autores concluem que, embora uma lacuna permaneça entre seus resultados e os sistemas de estado da arte, seu trabalho estabelece uma base para entender as contribuições de nível de componente para a desambiguação, priorizando a interpretabilidade e custos de inferência sustentáveis.