The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

Resumo Técnico: O Desafio da Iconicidade Visual

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) estão cada vez mais capazes de processar dados multimodais, no entanto, sua capacidade de ancorar formas visuais em significado semântico permanece um teste crítico de sua alinhamento com sinais centrados no ser humano. As línguas de sinais oferecem um campo de teste natural único para este problema devido à natureza pervasiva da iconicidade—a semelhança não arbitrária entre a forma visual de um sinal (configuração da mão, movimento, localização) e seu significado. Embora pesquisas anteriores tenham explorado o simbolismo sonoro em modelos apenas textuais e a legendagem de imagens estáticas em VLMs, há uma falta de avaliação sistemática sobre o quão bem os VLMs percebem a estrutura visuoespacial dinâmica das línguas de sinais e a mapeiam para significado conceitual. Especificamente, não está claro se os modelos podem distinguir entre sinais arbitrários e icônicos, inferir significado apenas da forma visual (transparência) ou replicar a sensibilidade humana à iconicidade graduada.

Metodologia
Os autores introduzem o Desafio da Iconicidade Visual, um benchmark baseado em vídeo derivado da Língua de Sinais da Holanda (NGT). O conjunto de dados consiste em 96 vídeos de sinais isolados (64 icônicos, 32 arbitrários), manualmente anotados com características fonológicas de verdade fundamental, tipos de iconicidade e escores de iconicidade avaliados por humanos (escala de 1–7).

O framework de avaliação avalia 17 VLMs de última geração (incluindo 11 modelos de código aberto e 6 proprietários) em três tarefas complementares:

1. Previsão de Forma Fonológica: Uma tarefa de classificação multiclasse onde os modelos preveem cinco parâmetros fonológicos discretos a partir do vídeo: configuração da mão, localização, forma do trajeto, repetição do trajeto e lateralidade.
2. Transparência: Uma tarefa de conjunto aberto e conjunto fechado (10 opções) exigindo que os modelos infiram o gloss lexical (significado) de um sinal baseando-se apenas em sua forma visual, minimizando a dependência de priores textuais.
3. Avaliações de Iconicidade Graduadas: Uma tarefa de regressão onde os modelos atribuem uma pontuação de 1–7 representando o grau de semelhança entre a forma do sinal e seu significado.

O estudo avalia os modelos em configurações zero-shot e few-shot (4-shot). Baselines humanas foram estabelecidas usando um sinalizador surdo (nativo da Língua de Sinais Turca, não nativo da NGT) e participantes ouvintes não iniciados em sinais. Os autores também analisam a correlação entre a precisão da previsão fonológica e o desempenho em iconicidade/transparência para testar a hipótese de que a competência formal fundamenta o mapeamento de significado.

Principais Contribuições

• Criação de Benchmark: A introdução do Desafio da Iconicidade Visual, o primeiro benchmark diagnóstico em grande escala para iconicidade de língua de sinais em VLMs, apresentando anotações fonológicas densas e baselines humanas.
• Baselines Humanas: Coleta de dados de desempenho de humanos não iniciados em sinais e de um sinalizador surdo para tarefas de fonologia e transparência, fornecendo limites superiores e inferiores para avaliação de modelos.
• Avaliação Sistemática: A primeira avaliação em grande escala zero-shot e few-shot de diversos VLMs no mapeamento forma–significado de língua de sinais, revelando vieses específicos e modos de falha.
• Lançamento de Recursos: Disponibilidade pública de código de avaliação, anotações e baselines humanas para garantir reprodutibilidade.

Resultados

• Previsão Fonológica: Os modelos geralmente espelham padrões de aquisição humana, encontrando localização e lateralidade mais fáceis de prever do que configuração da mão e forma do trajeto. Embora modelos grandes (por exemplo, Gemini 3.1 Pro, GPT-5.4) alcancem precisão moderada (até 0,73 média), uma lacuna significativa permanece em comparação com as baselines humanas (0,79). O prompting few-shot produz ganhos modestos, principalmente para modelos menores.
• Transparência: O desempenho é baixo em geral. Na identificação de conjunto aberto, o melhor modelo (Gemini 3.1 Pro) alcança apenas 29% de precisão, muito abaixo da baseline humana de sinalizador surdo (59%). Mesmo em configurações de 10 opções, o desempenho permanece limitado, sugerindo uma dificuldade fundamental em ancorar forma visual a significado lexical sem priores textuais fortes.
• Avaliações de Iconicidade: Os modelos mostram correlação moderada a forte com avaliações humanas de iconicidade (Spearman's $\rho$ até 0,774 para o Gemini 3.1 Pro). No entanto, os modelos exibem um viés sistemático: enquanto humanos preferem sinais icônicos baseados em ação, a maioria dos modelos de código aberto exibe uma preferência reversa por sinais baseados em objetos. Modelos de código fechado mostram menos dessa inversão.
• Correlações: Há uma forte correlação positiva ($\rho = .769$) entre a precisão da previsão de forma fonológica de um modelo e sua capacidade de avaliar iconicidade, sugerindo que a sensibilidade a propriedades corporais estruturadas é um pré-requisito para o mapeamento forma–significado.
• Impacto do Raciocínio: Habilitar o "modo de pensamento" (cadeia de pensamento) no Qwen3-VL-32B melhorou significativamente sua calibração de escala ($\kappa_w$), aproximando o desempenho de modelos abertos dos níveis de modelos fechados.

Significado e Alegações
O artigo alega que o Desafio da Iconicidade Visual valida com sucesso tarefas diagnósticas para sondar VLMs em estrutura ancorada visualmente. As descobertas indicam que, embora os VLMs atuais possam distinguir sinais icônicos de arbitrários e se alinhem com padrões de dificuldade fonológica humana, eles falham em inferir significado lexical apenas da forma visual e exibem um viés estático e baseado em objetos que inverte as preferências humanas por sinais baseados em ação.

Os autores concluem que o raciocínio explícito (modo de pensamento) pode estreitar a lacuna de calibração entre modelos abertos e fechados. Eles argumentam que fechar a lacuna entre o desempenho do modelo e sinais centrados no ser humano requer pré-treinamento mais rico em dados de gestos/sinais e melhor codificação de pose dinâmica, em vez de depender exclusivamente de características visuais estáticas. O estudo posiciona essas tarefas diagnósticas como essenciais para entender os limites da ancoragem multimodal atual em línguas visuoespaciais complexas e temporalmente estendidas.