💻 computer science

Do Vision-Language Models Agree on the Affective Qualities of Shape? A Cross-Model Audit for Generative Design Interfaces

Este artigo audita seis modelos de visão-linguagem para avaliar sua consistência na classificação de objetos 3D por descritores afetivos de Kansei, revelando que, embora os modelos mostrem concordância parcial acima dos níveis de acaso, sua convergência varia significamente conforme a categoria do objeto e o alinhamento semântico, motivando um protótipo de UI para guiar a seleção de controles semânticos confiáveis para interfaces de design generativo.

Autores originais: Luca Bux, Thiago Rios, Ingo Scholtes, Stefan Menzel

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luca Bux, Thiago Rios, Ingo Scholtes, Stefan Menzel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nas fases iniciais do design, seja esboçando uma nova cadeira ou modelando um carro, os criadores frequentemente recorrem a palavras para guiar suas ferramentas. Eles podem pedir algo "mais elegante", "menos volumoso" ou "mais minimalista". Hoje, sistemas de inteligência artificial estão começando a compreender esses pedidos, utilizando programas de computador poderosos que conseguem ver imagens e ler textos para gerar novas formas baseadas em tais descrições. Esses sistemas, conhecidos como modelos de visão-linguagem, atuam como uma ponte entre a ideia vaga de um designer e um objeto 3D concreto. No entanto, uma questão crítica permanece: será que esses diferentes programas de computador realmente concordam sobre o que essas palavras significam? Se um programa considera uma garrafa alta e fina como "elegante", enquanto outro considera uma curta e larga como tal, a ferramenta torna-se pouco confiável. Os designers precisam saber se o assistente digital é consistente antes de confiarem a ele a moldagem de seu trabalho.

Uma equipe de pesquisadores do Honda Research Institute Europe e da Julius-Maximilians-Universität Würzburg propôs-se a responder a essa pergunta ao auditar seis dos modelos de visão-linguagem mais avançados disponíveis. Eles queriam ver se esses programas independentes, construídos por diferentes empresas e treinados em dados distintos, classificariam os mesmos objetos da mesma maneira quando questionados a julgar suas qualidades emocionais ou "afetivas". Para fazer isso, eles removeram tudo o que poderia distrair os computadores. Eles pegaram milhares de modelos 3D de itens cotidianos, como cadeiras, luminárias e potes, e os renderizaram como formas cinzentas simples e sem textura. Ao remover a cor, o material e a textura, os pesquisadores garantiram que os modelos estivessem julgando os objetos baseados apenas na forma, de forma muito semelhante a um escultor olhando para um modelo de argila antes de pintá-lo.

Os pesquisadores então pediram a cada um dos seis modelos de computador que classificasse essas formas cinzentas ao longo de várias escalas. Algumas escalas eram descrições físicas diretas, como "alto versus baixo" ou "quadrado versus curvo", que serviram como um controle para ver se os modelos conseguiam sequer concordar sobre a geometria básica. Outras eram os descritores mais complexos e humanos que os designers realmente utilizam, como "moderno versus tradicional" ou "elegante versus desordenado". Finalmente, eles incluíram um conjunto de pares sem sentido, como "barulhento versus silencioso", para estabelecer uma linha de base para o acordo aleatório. Se os modelos concordassem nesses pares irrelevantes, significaria que seus rankings eram apenas ruído.

Os resultados revelaram um quadro matizado de concordância. Os modelos foram notavelmente consistentes ao julgar traços físicos simples; eles concordaram amplamente sobre quais objetos eram altos ou baixos. Quando se tratava das qualidades mais abstratas e emocionais, os modelos mostraram um nível moderado de concordância, que foi significativamente superior ao acaso, mas não perfeito. Em média, os modelos concordaram na classificação de objetos para termos emocionais cerca de 36 por cento das vezes, em comparação com uma taxa de concordância de 14 por cento para os termos sem sentido. Isso sugere que, embora os computadores tenham desenvolvido um senso compartilhado de como a forma se relaciona com o sentimento, eles ainda não estão perfeitamente alinhados.

Crucialmente, o estudo descobriu que essa concordância não é uniforme em todos os tipos de objetos. Para algumas categorias, como potes, os modelos concordaram fortemente sobre o que parecia "elegante" ou "luxuoso", com taxas de concordância ultrapassando os 50 por cento. Para outras categorias, como estantes, os modelos tiveram dificuldade em encontrar um terreno comum, com taxas de concordância caindo para apenas 21 por cento. Os pesquisadores descobriram que essa variação depende menos de quão diferentes os objetos são uns dos outros e mais de se as variações de forma específicas em uma categoria realmente correspondem à direção para a qual a palavra aponta. Por exemplo, se um grupo de cadeiras varia principalmente em altura, um modelo pode facilmente concordar sobre qual é "alta", mas se o grupo varia em curvas sutis que não se alinham com o conceito de "elegância", os modelos discordarão.

Os pesquisadores também testaram se esses acordos eram específicos ao tipo de objeto ou apenas uma peculiaridade geral do texto. Eles descobriram que um descritor como "macio versus rígido", que faz sentido para sofás, não funcionava bem quando aplicado a garrafas. Isso confirmou que os modelos não estão apenas aplicando uma regra genérica, mas estão de fato interpretando a relação entre a forma específica de um objeto e a palavra utilizada para descrevê-lo.

Para tornar essas descobertas úteis para o design do mundo real, a equipe construiu uma interface protótipo que visualiza essa concordância. Nesta ferramenta, um designer pode selecionar um objeto e ver uma lista de controles potenciais, como "tornar mais moderno". Ao lado de cada controle, o sistema exibe uma pontuação indicando o quanto os diferentes modelos de computador concordam com essa instrução. Se a pontuação for alta, o designer pode confiar que a ferramenta se comportará de forma previsível. Se a pontuação for baixa, a interface sugere que o controle pode ser pouco confiável para aquele objeto específico e pode ser retido ou substituído por uma alternativa melhor suportada.

Este trabalho não pretende afirmar que os computadores aprenderam os sentimentos humanos ou que o acordo deles prova que estão certos. Em vez disso, oferece um método prático para verificar se uma ferramenta digital é estável antes de ser entregue a um usuário. Ao tratar a concordância entre diferentes modelos de computador como uma forma de controle de qualidade, os designers podem identificar quais descritores emocionais são seguros para usar e quais podem levar à confusão. O estudo sugere que, embora a inteligência artificial esteja se tornando uma parceira poderosa no design, devemos ainda auditar cuidadosamente sua compreensão do mundo, garantindo que, quando um designer pede "elegância", a máquina esteja olhando para a mesma coisa que ele.

Resumo Técnico: Auditoria Trans-Modelo para Qualidades Afetivas de Forma em Modelos de Visão-Linguagem

Definição do Problema

Interfaces de design generativo utilizam cada vez mais controles semânticos (ex: "mais elegante", "mais minimalista") para orientar o resultado, tipicamente codificados por Modelos de Visão-Linguagem (VLMs). Uma questão prática crítica permanece: os VLMs de última geração representam objetos de forma consistente em relação a esses conceitos afetivos? Embora a validação humana seja o objetivo final, conjuntos de dados anotados em larga escala de formas 3D afetivas são escassos e caros de produzir. Além disso, a pesquisa existente sobre avaliação estética foca frequentemente em fotografias onde textura, iluminação e contexto confundem a forma geométrica. Os autores postulam que, antes de expor os controles semânticos aos usuários, é necessário determinar se VLMs desenvolvidos independentemente produzem classificações consistentes de atributos afetivos, independentemente de rótulos humanos.

Metodologia

Os autores realizaram uma "auditoria de consistência trans-modelo" utilizando seis VLMs de última geração: CLIP, OpenCLIP, SigLIP2, ALIGN, FLAVA e Qwen3-VL-Embedding. Estes modelos foram selecionados por sua diversidade estrutural em objetivos de treinamento, arquiteturas (ViT vs. EfficientNet) e procedência de dados.

Configuração Experimental

Estímulos: 4.950 objetos 3D cinza uniformes e sem textura foram amostrados de 10 categorias do banco de dados ShapeNetCore (cadeira, mesa, lâmpada, sofá, armário, estante, garrafa, jarro, relógio, carro). Os objetos foram renderizados de 8 pontos de vista fixos para isolar a forma geométrica, removendo pistas de superfície como cor e textura.
Extração de Representação: Cada visualização foi codificada pelos 6 VLMs. As representações de nível de visualização foram calculadas pela média e normalizadas em unidade para criar uma única representação de nível de objeto.
Design de Sondas: O estudo utilizou pares de adjetivos bipolares organizados em três níveis:
- Geométricos (Controles Positivos): 7 pares (ex: alto–baixo, quadrado–curvo) representando atributos físicos verificáveis.
- Kansei (Afetivos): 32 pares descrevendo impressões estilísticas e afetivas (ex: moderno–tradicional, elegante–desleixado). Estes incluíram 3 pares de "núcleo compartilhado" avaliados em todas as categorias e pares específicos de categoria derivados da literatura de engenharia Kansei e expansão por LLM.
- Irrelevantes (Nulo Empírico): 20 pares sem conexão física com formas 3D estáticas (ex: barulhento–quieto, doce–azedo).
Projeção Direcional: Para cada modelo e par de palavras, um vetor de direção semântica foi construído subtraindo a incorporação (embedding) de texto do antônimo do adjetivo. As representações dos objetos foram projetadas nesses vetores para gerar pontuações contínuas.
Métrica de Avaliação: A Convergência Trans-Modelo foi definida como a média dos pares de correlação de ranking de Spearman ( $\bar{\rho}$ ) das pontuações dos objetos entre todos os 15 pares únicos dos 6 codificadores. Isso mede se diferentes modelos concordam com a classificação dos objetos ao longo de um eixo semântico, em vez de pontuações absolutas.
Análise: O estudo analisou a convergência entre níveis, categorias e eixos. Também investigou a relação entre convergência e "alinhamento do subespaço de variação" (se a direção semântica se alinha com os componentes principais da variação de forma dentro de uma categoria).

Principais Resultados

1. Convergência entre Níveis

A auditoria revelou uma hierarquia clara de concordância trans-modelo:

Eixos Geométricos mostraram a maior convergência ( $\bar{\rho} = 0,44$ ).
Eixos Afetivos (Kansei) mostraram convergência moderada, mas significativa ( $\bar{\rho} = 0,36$ ), que é substancialmente superior ao nulo empírico ( $\bar{\rho} = 0,14$ ), mas inferior aos controles geométricos.
Eixos Irrelevantes agruparam-se próximos ao nulo, estabelecendo uma linha de base para concordância espúria.
Um eixo afetivo escolhido aleatoriamente superou um eixo irrelevante escolhido aleatoriamente em 90,6% dos casos (tamanho de efeito de linguagem comum = 0,906).

2. Dependência de Categoria e Eixo

A convergência não é uniforme; é altamente dependente do par específico (categoria, eixo):

Variação de Categoria: Nos três eixos de núcleo compartilhado, a convergência variou de 0,21 para estantes até 0,51 para jarros.
Especificidade de Eixo: Alguns descritores afetivos (ex: minimalista–ornamentado, $\bar{\rho}=0,53$ ) mostraram forte concordância, enquanto outros (ex: natural–artificial, $\bar{\rho}=0,14$ ) caíram ao nível do nulo.
Alinhamento com a Variação: O estudo encontrou uma forte correlação positiva ( $\rho \approx 0,72$ ) entre a convergência e o alinhamento da direção semântica com o subespaço dominante de variação de forma dentro de uma categoria. A convergência é alta quando a direção semântica captura a variação geométrica real presente nos objetos; é baixa quando a direção aponta para subespaços de baixa variância, mesmo que os objetos variem significamente em outras formas.

3. Robustez e Especificidade

Independência de Codificador: A concordância não foi impulsionada pela redundância de modelos (ex: CLIP e OpenCLIP mostraram menor concordância do que pares com arquiteturas diferentes como SigLIP2 e Qwen3-VL).
Especificidade do Objeto: Eixos afetivos específicos de categoria (ex: macio–rígido para sofás) convergiram significativamente melhor quando aplicados à sua categoria alvo do que a categorias estrangeiras, sugerindo que o sinal está ligado à classe do objeto e não a um artefato genérico do espaço de texto.
Sensibilidade ao Prompt: O uso de incorporações de polo único reduziu a convergência e aumentou a linha de base nula, confirmando a necessidade da subtração bipolar para cancelar componentes anisotrópicos compartilhados.

Principais Contribuições

Auditoria Trans-Modelo Offline: Os autores introduzem um método para auditar controles semânticos afetivos em design assistido por IA sem a necessidade de rótulos humanos ou retreinamento de modelos. A auditoria é calibrada usando controles positivos geométricos e um nulo empírico.
Caracterização da Reprodutibilidade: O estudo demonstra que sinais reproduzíveis para controles afetivos existem, mas são condicionais. A convergência depende primariamente do alinhamento entre a direção semântica e a estrutura de variação específica da categoria do objeto, em vez de apenas a quantidade total de variação de forma.
Suporte ao Design de Interface: Os autores fornecem um protótipo de UI demonstrando como os resultados da auditoria podem informar o design da interface. O sistema expõe pontuações de convergência junto com controles semânticos, permitindo que os usuários vejam quais descritores são suportados por um comportamento de modelo consistente e quais são incertos.

Significância e Alegações

O artigo argumenta que a convergência trans-modelo serve como uma auditoria de consistência de primeira etapa para controles semânticos em interfaces de design generativo.

Utilidade Prática: Oferece um método econômico e escalável para identificar quais descritores afetivos são suficientemente estáveis através de diversos modelos para serem expostos como controles interativos.
Transparência: Ao visualizar a concordância do modelo, a interface proposta ajuda os usuários a distinguir entre padrões compartilhados por vários VLMs e comportamentos específicos de um único modelo, potencialmente reduzendo a dependência excessiva dos outputs do sistema.
Limitações e Modéstia: Os autores declaram explicitamente que a convergência trans-modelo não implica concordância com a percepção humana ou validação independente de julgamentos Kansei humanos. É um critério de consistência baseado em modelos, não um substituto para a validação humana. Controles de baixa concordância devem ser sinalizados como incertos em vez de descartados, pois ainda podem ser válidos para contextos culturais ou de design específicos não capturados pelos modelos.

O trabalho conclui que, embora os VLMs não concordem perfeitamente sobre qualidades afetivas, eles exibem uma convergência mensurável e não aleatória que pode ser aproveitada para construir interfaces de design inteligentes mais transparentes e conscientes da incerteza.