Would you still call this Dax? Novel Visual References in VLMs and Humans

O essencial

Imagine que você está ensinando a um robô uma palavra totalmente nova para um objeto totalmente novo. Você mostra a ele a imagem de uma criatura estranha e brilhante e diz: "Isto é um Dax". Então, você começa a mostrar ao robô imagens de diferentes Dax que parecem ligeiramente diferentes: um está borrado, um está de cabeça para baixo, um tem uma cor diferente e um tem um braço extra.

A pergunta que este artigo faz é: Em que ponto o robô diz: "Isso não é mais um Dax"? E, mais importante, o robô faz o mesmo julgamento que um humano faria?

Aqui está uma divisão simples do que os pesquisadores descobriram:

1. O Teste do "Dax" (A Configuração)

Os pesquisadores criaram um conjunto de dados massivo chamado NVRD (Novel Visual References Dataset). Pense nisso como uma galeria de arte gigante com 90 objetos únicos e inventados.

• Alguns objetos parecem coisas reais (uma cadeira), mas recebem nomes falsos (como "blomwich").
• Alguns são híbridos (uma torradeira com uma cabeça de javali).
• Alguns são totalmente alienígenas e não existem no mundo real.

Para cada objeto, eles criaram 20 versões que ficavam progressivamente "piores" ou mais distorcidas. Eles testaram cinco modelos de IA diferentes (os "robôs") e 2.400 humanos para ver como eles reagiam quando o objeto mudava.

2. O Problema do "Conhecimento Antigo"

A primeira grande descoberta é que a IA tem dificuldade quando já sabe o que algo é.

• A Analogia Humana: Se você mostrar a um humano a foto de um cachorro real e chamá-lo de "Dax", ele provavelmente dirá: "Não, isso é um cachorro". Eles têm uma memória forte de que cachorros têm um nome específico.
• O Resultado da IA: Os modelos de IA agiram de forma semelhante. Quando o objeto era algo familiar (como uma cadeira), a IA se recusava a aprender o novo nome "Dax" e continuava chamando-o de "cadeira". No entanto, quando o objeto era totalmente novo e estranho, a IA aceitava alegremente o novo nome.

3. O Viés de "Forma vs. Textura"

Os pesquisadores então começaram a distorcer os objetos. Eles mudaram a cor, adicionaram ruído ou alteraram completamente a forma do objeto.

• A Analogia Humana: Os humanos são como escultores. Se você pegar uma estátua de argila de um Dax e esmagar seu rosto ou quebrar um braço, nós dizemos: "Isso não é mais o mesmo Dax!" Nós nos importamos profundamente com a forma. Se você apenas pintá-lo de azul ou fazê-lo parecer uma pintura, ainda diremos: "Sim, ainda é um Dax".
• O Resultado da IA: Os modelos de IA concordaram com os humanos quanto ao que era importante (a forma). Eles também se importavam mais com a forma. Se a forma mudasse, a IA parava de chamá-lo de Dax. Se apenas a cor ou a textura mudassem, a IA ficava tranquila com isso.

4. O Robô "Generoso Demais"

Esta é a descoberta mais crítica. Embora a IA e os humanos concordem sobre o que importa (a forma), eles discordam sobre quanto a mudança é excessiva.

• A Analogia Humana: Os humanos são rigorosos. Se você esticar o pescoço de um Dax até que ele pareça uma girafa, nós dizemos: "Não, isso não é um Dax".
• O Resultado da IA: Os modelos de IA foram generosos demais. Eles continuaram chamando o objeto de "Dax" mesmo quando ele era esticado, deformado ou tinha partes extras adicionadas. Eles estavam dispostos a aceitar uma gama muito maior de estranheza do que os humanos.

A Analogia: Imagine que um humano e um robô estão jogando um jogo onde você tem que adivinhar se duas fotos são do mesmo animal.

• Humano: "Aquele é um gato. E aquele... é um gato com uma cauda bem longa. Ainda é um gato. Mas aquilo? Aquilo é um gato com uma cabeça de cachorro. Não, isso não é um gato."
• Robô: "Aquele é um gato. Aquele é um gato com uma cauda longa. Aquele é um gato com uma cabeça de cachorro. Aquele é um gato com uma árvore crescendo nele. Sim, isso ainda é um gato."

5. Por que isso importa (Segundo o Artigo)

O artigo conclui que, embora a IA esteja ficando melhor em aprender coisas novas sobre a hora, ela não possui as mesmas fronteiras de "senso comum" que os humanos possuem.

Se um humano e uma IA estiverem tentando se comunicar sobre um novo objeto no mundo real, o humano pode pensar: "Isso está muito quebrado para ser a mesma coisa", enquanto a IA insiste: "Não, ainda é a mesma coisa". Esse descompasso pode dificultar o trabalho conjunto de forma eficaz no futuro.

Em resumo: A IA consegue aprender palavras novas, mas está disposta demais a esticar a definição dessas palavras, especialmente quando o objeto parece muito diferente do original.

Resumo técnico

Definição do Problema

Modelos de linguagem-visão (VLMs), assim como aprendizes humanos, são frequentemente expostos a novos conceitos visuais após seu treinamento inicial. No entanto, os mecanismos pelos quais esses modelos mapeiam referências visuais inéditas para a linguagem — particularmente quando essas referências contradizem o conhecimento prévio do pré-treinamento — permanecem pouco explorados. Enquanto pesquisas existentes examinaram aumentos visuais de conceitos familiares, há uma carência de benchmarks para conceitos "genuinamente novos" (estímulos de código aberto construídos do zero). Os autores questionam: Como os modelos categorizam estímulos novos após a exposição? Quão bem eles os mapeiam para nomes nãoce (nomes inventados)? Eles generalizam além de instâncias idênticas e como esse comportamento se compara aos aprendizes humanos?

Metodologia

Para abordar essas questões, os autores introduzem o Novel Visual References Dataset (NVRD) e realizam uma avaliação comparativa de VLMs contra julgamentos humanos.

1. O Novel Visual References Dataset (NVRD)

• Composição: O conjunto de dados contém 19.176 imagens abrangendo 90 conceitos visuais. Esses conceitos são categorizados em três tipos:
  • Entidades conhecidas: Objetos familiares (ex: uma lâmpada) recebendo nomes nãoce para testar o mapeamento quando isso contradiz o conhecimento prévio.
  • Entidades compostas: Híbridos de objetos existentes (ex: combinações de forma-forma ou forma-textura).
  • Entidades totalmente novas: Objetos que não existem ou não se assemelham a itens do mundo real.
• Perturbações: Cada imagem base é submetida a até 20 níveis de perturbações visuais controladas através de 11 eixos. Estes incluem:
  • Edições de baixo nível: Ruído Gaussiano, escalonamento, pixelização, compressão JPEG e mudanças de cor.
  • Edições de alto nível: Mudanças de textura, mudanças de fundo, degradação de estilo artístico, deformação de forma, adição de partes e remoção de partes.
• Geração: As imagens foram geradas usando Gemini-3 Pro Image e Gemini-2.5 Flash, seguidas por um pipeline de controle de qualidade automatizado de dois estágios e validação manual.

2. Configuração Experimental
O estudo avalia três modelos de código aberto (Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B) e dois modelos de código fechado (GPT-4o Mini, Gemini-2.5 Flash) usando três paradigmas de prompting sob configurações de aprendizagem em contexto (ICL):

• Geração de Nome: Os modelos recebem uma imagem base com uma palavra nãoce e uma imagem perturbada com uma legenda de preenchimento para verificar se geram a palavra nãoce.
• Probabilidades de Token: Os modelos são consultados quanto à log-probabilidade atribuída à palavra nãoce versus rótulos "vanilla" (familiares) para medir a aquisição genuína versus efeitos de recência.
• Avaliação de Escala Likert de Imagem Dupla: Modelos (e humanos) recebem uma imagem base rotulada com uma palavra nãoce e uma imagem perturbada, sendo então solicitados a avaliar o grau de concordância (escala de 1–7) sobre se ambas as imagens compartilham o mesmo rótulo.

3. Estudo Humano
Para estabelecer uma linha de base, os autores coletaram 2.400 julgamentos de 30 falantes nativos de inglês via Prolific. Os participantes realizaram a mesma tarefa de escala Likert de imagem dupla em um subconjunto do NVRD, focando em perturbações de alto nível.

Principais Resultados

• Aquisição vs. Conhecimento Prévio: Modelos podem adquirir referências visuais inéditas em contexto, mas essa capacidade é significativamente reduzida quando os estímulos contradizem o conhecimento conceitual prévio (ex: objetos conhecidos recebendo novos nomes). Isso reflete o viés de "exclusividade mútua" observado no aprendizado de palavras humano, onde os aprendizes resistem em aplicar novos rótulos a objetos com nomes existentes.
• Sensibilidade a Perturbações: Os modelos exibem um viés de forma, semelhante aos humanos. Eles são mais sensíveis a perturbações estruturais (deformação de forma, adição/remoção de partes), mostrando um declínio acentuado na concordância conforme essas distorções aumentam. Por outro outro lado, edições de baixo nível (mudanças de cor, ruído, escalonamento) têm impacto mínimo nos julgamentos dos modelos, com as classificações permanecendo altas (forte concordância).
• Sobre-generalização: Embora modelos e humanos apresentem sensibilidades correlacionadas aos tipos de perturbação (ambos classificam mudanças estruturais como mais ameaçadoras à identidade do que textura ou cor), os modelos sobre-generalizam significativamente. Modelos tendem a estender rótulos aprendidos para estímulos fortemente perturbados que os humanos rejeitam. Por exemplo, humanos classificam objetos com deformação de forma como "discordar" (pontuações <3) em níveis moderados de perturbação, enquanto modelos frequentemente permanecem na faixa de "neutro" a "concordar" (pontuações 4–6).
• Divergência Adversária: Em um estudo de ablação onde os modelos foram solicitados a atribuir o mesmo rótulo a objetos inteiramente diferentes, os modelos frequentemente concordaram (atribuindo pontuações de 3 ou mais), enquanto os humanos consistentemente discordaram. Isso sugere que os modelos podem ter um padrão mais amplo de "concordar com tudo" em certos contextos, distinto de sua sensibilidade matizada na tarefa principal.

Contribuições e Significância

O artigo contribui com o NVRD como um corpus e benchmark para estudar o aprendizado de conceitos visuais tanto em humanos quanto em máquinas. Sua significância reside em:

1. Preencher a Lacuna: Ele estende o estudo de vieses visuais (forma vs. textura) de objetos familiares para conceitos verdadeiramente novos e de código aberto.
2. Comparação Humano-Modelo: Fornece uma comparação direta e quantitativa de como VLMs e humanos generalizam conceitos novos, revelando que, embora os modelos compartilhem hierarquias de sensibilidade semelhantes às humanas, eles carecem do rigor discriminativo para rejeitar estímulos fortemente distorcidos.
3. Implicações para Interação: Os achados destacam um desalinhamento crítico para uma interação confiável entre humano e agente. Se os agentes sobre-generalizam rótulos novos enquanto os humanos não o fazem, eles podem ter dificuldade em manter referentes compartilhados em ambientes em evolução.

Os autores concluem que o NVRD serve como uma ferramenta para investigar essas lacunas cognitivas e incentivar o desenvolvimento de sistemas de linguagem-visão que possam aprender e comunicar sobre conceitos novos com o embasamento e a sensibilidade observados em aprendizes humanos.