Human-like Object Grouping in Self-supervised Vision Transformers

1. O Problema

A agrupação de entradas visuais em objetos coerentes é um problema fundamental tanto para o cérebro humano quanto para sistemas de IA. Embora os modelos de visão fundacional (foundation models) treinados com objetivos auto-supervisionados tenham demonstrado propriedades emergentes de segmentação de objetos, o alinhamento entre a percepção de objetos desses modelos e a percepção humana permanece pouco compreendido. A maioria dos estudos anteriores focou em pistas de Gestalt de baixo nível ou objetos com limites claros, não testando adequadamente se essas propriedades se estendem para cenários naturalistas complexos onde os objetos têm contornos menos definidos.

2. Metodologia

A. Benchmark Comportamental Humano

Os autores introduziram um novo benchmark comportamental em larga escala para sondar como os humanos agrupam objetos em cenas naturalistas:

• Paradigma: Baseado no paradigma clássico de "dois pontos" (two-dot). Dois pontos são colocados em uma imagem natural; um no centro e outro na periferia.
• Tarefa: Os participantes devem julgar se os dois pontos estão no mesmo objeto ou em objetos diferentes.
• Medida Principal: O tempo de reação (RT) é a métrica chave, refletindo a dificuldade de agrupamento perceptivo.
• Escala: O estudo foi expandido para mais de 1.000 ensaios (1.020 ensaios válidos) utilizando 288 imagens do dataset COCO2017, cobrindo quatro condições experimentais (mesmo/diferente e perto/longe).
• Dados: Coletados de 72 participantes, com precisão média de 90% e análise focada nos tempos de reação corretos.

B. Avaliação de Modelos

Um conjunto diversificado de modelos de visão foi avaliado, incluindo:

• Arquiteturas: Vision Transformers (ViT) e Redes Neurais Convolucionais (ConvNext).
• Regimes de Treinamento: Supervisionado (ImageNet-1K/21K), Auto-supervisionado (DINO, DINOv2, DINOv3, MAE) e modelos distilados.
• Leitura (Readout): Para prever os julgamentos humanos, extraíram-se as representações de patches (manchas) dos locais dos dois pontos, concatenaram-nas e treinou-se um MLP (Perceptron Multicamadas) de duas camadas para prever a resposta "mesmo" ou "diferente".
• Predição de RT: Um MLP foi treinado para prever o tempo de reação humano, com normalização pelo "teto de ruído" humano (noise ceiling) usando correlação de Spearman.

C. Métrica de Centrismo de Objeto (Object-Centric Metric)

Para quantificar a estrutura dos modelos, os autores propuseram uma nova métrica baseada em análise ROC:

• Calcularam mapas de afinidade (similaridade de cosseno) entre um patch central e todos os outros patches da imagem.
• Avaliaram quão bem os patches com alta afinidade correspondem aos limites reais dos objetos (Ground Truth).
• A Área Sob a Curva (AUC) da ROC serve como medida da "centricidade de objeto" do modelo.

D. Alinhamento da Matriz Gram

Investigaram se alinhar a estrutura de similaridade de um modelo supervisionado com a de um modelo auto-supervisionado melhoraria o desempenho.

• Método: Ajuste fino (fine-tuning) de modelos supervisionados para corresponder à Matriz Gram (similaridades de pares de patches) do modelo DINOv3, enquanto mantinham a capacidade de classificação.

3. Principais Contribuições

1. Novo Benchmark Comportamental: Escalonamento de um paradigma de psicofísica clássico para um conjunto diversificado de imagens naturalistas (>1.000 ensaios).
2. Métrica de Centrismo de Objeto: Proposição de uma métrica baseada em ROC para quantificar a estrutura centrada em objetos nas representações de patches sem necessidade de supervisão em nível de objeto.
3. Análise Comparativa Abrangente: Avaliação de uma vasta gama de modelos, demonstrando que o objetivo de treinamento é mais crítico que a arquitetura para o alinhamento humano.
4. Descoberta Mecanística: Demonstração de que a estrutura da Matriz Gram é um fator chave que impulsiona o alinhamento comportamental e que forçar esse alinhamento em modelos supervisionados melhora significativamente sua performance.

4. Resultados Chave

• Desempenho Comportamental: Os modelos baseados em Transformers treinados com o objetivo DINO (especialmente DINOv3 ViT-B) alcançaram o melhor alinhamento com o comportamento humano, superando modelos supervisionados com a mesma arquitetura.
  • DINOv3 ViT-B: 91,9% de precisão na tarefa de agrupamento e a maior correlação de Spearman normalizada com os RTs humanos.
  • Modelos supervisionados (mesmo com ViT) tiveram desempenho consideravelmente inferior, indicando que o objetivo de treinamento (auto-supervisionado vs. classificação) é o fator determinante.
• Correlação Estrutura-Comportamento: Existe uma forte correlação positiva entre a métrica de centrismo de objeto (AUC da ROC) e o alinhamento comportamental. Modelos com representações de patches mais estruturadas em torno de objetos preveem com mais precisão o tempo de reação humano.
• Efeitos Psicológicos Capturados: O melhor modelo (DINOv3) reproduziu qualitativamente o "vantagem do mesmo objeto" (same-object advantage) e o efeito de distância observado nos dados humanos.
• Impacto do Alinhamento Gram: Ao ajustar modelos supervisionados para corresponder à Matriz Gram do DINOv3:
  • A precisão de agrupamento aumentou em 8 a 18 pontos percentuais.
  • A centrismo de objeto (AUC) melhorou consistentemente, aproximando-se dos modelos auto-supervisionados.
  • O alinhamento comportamental (predição de RT) também melhorou, especialmente em arquiteturas Transformer.

5. Significado e Conclusão

O estudo demonstra que os modelos de visão auto-supervisionados (especificamente a família DINO) capturam a estrutura de objetos de uma maneira comportalmente semelhante à humana. Isso sugere que o objetivo de treinamento auto-supervisionado, que força o modelo a aprender representações densas e invariantes, aproxima-se melhor dos princípios organizacionais da percepção visual humana do que a classificação supervisionada tradicional.

A descoberta mais mecanicista é que a estrutura da Matriz Gram (correlações de pares de patches) desempenha um papel causal na formação de representações centradas em objetos. O fato de que forçar esse alinhamento em modelos supervisionados melhore drasticamente seu desempenho comportamental valida a hipótese de que a similaridade de características espaciais é um princípio fundamental para a percepção de objetos.

Implicações para o Futuro: O caminho para modelos de visão mais alinhados com a percepção não reside apenas em escalar objetivos de classificação, mas em moldar explicitamente a estrutura de similaridade das representações aprendidas para refletir a organização de objetos nas cenas naturalistas. Além disso, embora os Transformers se destaquem, arquiteturas convolucionais também podem aprender representações centradas em objetos se treinadas com objetivos adequados (como distilação DINO).