More Accurate, Less Human: Gestalt Grouping in Vision Models

Resumo Técnico: Mais Preciso, Menos Humano: Agrupamento Gestáltico em Modelos de Visão

Definição do Problema
Modelos de visão-linguagem (VLMs) são cada vez mais implantados em pipelines de visualização para interpretar gráficos, avaliar designs e atuar como proxies para espectadores humanos. Embora esses sistemas demonstrem alta precisão em benchmarks de conclusão de tarefas, permanece não verificado se eles organizam a informação visual de acordo com as mesmas regularidades perceptivas que governam a visão humana. Avaliações convencionais medem a capacidade (ex: escores de alfabetização de visualização), mas falham em distinguir entre respostas corretas derivadas de um agrupamento perceptivo semelhante ao humano e aquelas derivadas de mecanismos fundamentalmente diferentes e não humanos. O artigo argumenta que uma alta precisão não estabelece a "semelhança humana" na organização perceptiva, necessitando de uma mudança das métricas de desempenho de tarefa para o alinhamento comportamental com a psicologia cognitiva estabelecida.

Metodologia
Os autores introduzem uma bateria de avaliação comportamental fundamentada na psicologia Gestalt, testando especificamente os princípios de Fechamento (completude perceptiva de estruturas incompletas) e Semelhança (agrupamento por atributos compartilhados). Em vez de coletar novos dados humanos, a metodologia reutiliza estímulos e dados comportamentais humanos publicados de estudos de percepção anteriores como alvos de avaliação.

A bateria consiste em quatro tarefas através de duas trilhas (baseadas em gráficos e controles de imagens naturais):

1. Reconhecimento de Silhueta (Fechamento): Uma tarefa de escolha forçada de 16 vias em silhuetas preenchidas onde textura e detalhes internos foram removidos. O âncora humano é a resposta modal de dez observadores.
2. Intruso de Marca-Cor (Semelhança): Identificação do elemento discrepante entre marcas baseado na cor, pontuado contra um kernel perceptivo de origem colaborativa (crowdsourced).
3. Contagem de Séries de Cores (Semelhança): Contagem de séries de cores distintas em um gráfico, pontuada contra a banda de capacidade humana publicada (6–12 categorias).
4. Intruso de Objeto (Semelhança): Identificação do outlier semântico em imagens naturais, pontuado contra o teto de teste-reteste do dataset THINGS.

O estudo avalia 45 modelos através de cinco famílias de treinamento: codificadores supervisionados, codificadores auto-supervisionados, codificadores de visão-linguagem contrastivos, VLMs de pesos abertos e modelos de fundação fechados.

Métricas
Três métricas complementares quantificam o alinhamento comportamental:

• Acordo Comportamental ($B$): A taxa na qual a resposta de um modelo coincide com o alvo humano (escolha modal ou banda de capacidade). Isso mede a semelhança humana, não apenas a habilidade.
• Consistência de Erro Comportamental ($\kappa$): Uma medida de se o modelo comete erros nos mesmos itens específicos que os humanos cometem, além do que seria esperado pelo acaso dada as respectivas precisões. Isso é comparado contra um teto de consistência humano-humano.
• Replicação de Efeito Comportamental ($a(k)$): Se o perfil de precisão do modelo através de contagens de séries variáveis mimetiza a forma da curva de capacidade humana.

Resultos Principais

• Dissociação de Precisão e Semelhança Humana: Alta precisão em benchmarks não garante alinhamento com a organização perceptiva humana. Os modelos frequentemente trocam de lugar nas classificações dependendo da tarefa de agrupamento específica (ex: um alto executor em semelhança de cores pode ser mediano em agrupamento semântico).
• Variância da Consistência de Erro: Embora 34 de 45 modelos tenham excedido a precisão humana, apenas quatro atingiram a consistência de erro ($\kappa$) no nível ou acima do teto humano-humano. Muitos modelos, incluindo alguns modelos de fundação fechados, exibem alta precisão, mas falham em replicar padrões de erro humanos.
• Propriedades Específicas da Família:
  • VLMs de Pesos Abertos: Geralmente tiveram desempenho insatisfatório, com a maioria falhando em ultrapassar o piso de suposição de posição em tarefas semânticas, sugerindo que suas respostas geradas não refletem as capacidades de agrupamento de suas torres de visão subjacentes.
  • Modelos de Fundação Fechados: Mostraram um deslocamento em bloco em direção ao agrupamento semelhante ao humano, com vários modelos (ex: Claude-Opus-4.6) alcançando tanto precisão acima do humano quanto consistência de erro em nível humano. No entanto, esse alinhamento não é uniforme em todo o nível.
  • Objetivos de Treinamento: O tipo de agrupamento que um modelo exibe acompanha seu objetivo de treinamento, em vez de sua arquitetura. O treinamento auto-supervisionado liderou em semelhança de cores, enquanto o treinamento de visão-linguagem contrastivo liderou em agrupamento semântico e forma.
• Especificidade da Tarefa: O agrupamento semelhante ao humano não é um traço global; um modelo que se alinha aos humanos em uma tarefa pode divergir drasticamente em outra.

Significância e Alegações
O artigo alega fornecer um medidor reutilizável e baseado em teoria para auditar modelos de visão que entram em pipelines de visualização. Ao aproveitar dados de psicofísica existentes, a metodologia permite que pesquisadores determinem se um modelo "vê" gráficos da mesma forma que um público humano faz, sem realizar novos estudos com usuários.

Os autores afirmam que:

1. O embasamento comportamental é mensurável: É possível quantificar se os modelos organizam conteúdo visual via princípios Gestalt humanos.
2. Precisão é insuficiente: Métricas convencionais perdem diferenças críticas na organização perceptiva; um modelo pode ser "mais preciso", porém "menos humano" em sua lógica de agrupamento.
3. Avaliação indexada por tarefa é necessária: Nenhum score único certifica um modelo como um proxy humano. Auditorias devem ser específicas para a tarefa (ex: agrupamento de marcas vs. reconhecimento de formas) e para a família de treinamento.
4. Limitações atuais: O estudo foca em marcas e objetos isolados (os blocos de construção de gráficos) em vez de contextos completos de gráficos (eixos, legendas) e cobre apenas dois princípios Gestalt (Fechamento e Semelhança).

O trabalho conclui que, embora alguns modelos de fundação fechados tenham alcançado um nível de alinhamento comportamental onde podem servir como proxies humanos para tarefas específicas, essa capacidade é conquistada através de receitas de treinamento específicas, em vez de escala pura, e permanece dependente da tarefa.