Context Sensitivity Improves Human-Machine Visual Alignment

Título: Sensibilidade ao Contexto Melhora o Alinhamento Visual Humano-Máquina

1. O Problema

Os modelos modernos de aprendizado de máquina (ML) representam entradas (como imagens) como pontos fixos em um espaço de incorporação (embedding) de alta dimensão. Embora essa abordagem seja poderosa para tarefas de generalização (ex: ImageNet), ela difere fundamentalmente da cognição humana.

• Limitação dos Modelos Atuais: Eles assumem uma correspondência um-para-um entre entidades e representações, ignorando que a percepção humana é inerentemente adaptativa e sensível ao contexto.
• A Lacuna: Humanos ajustam dinamicamente suas representações com base no ambiente, objetivos, efeitos de distração e dependências sequenciais. À medida que modelos de visão computacional são cada vez mais usados como "avaliadores automáticos" (substituindo coleta de dados humanos), a falta de sensibilidade contextual reduz seu alinhamento com julgamentos humanos, especialmente em tarefas de comparação visual onde o contexto altera a similaridade percebida.

2. Metodologia

Os autores propõem um modelo que calcula similaridades baseadas em embeddings de redes neurais, mas que é sensível ao contexto, aplicando-o a uma tarefa de "trio do ímpar" (odd-one-out) com uma imagem de contexto (âncora).

• Dados: Utilização do dataset ImageNet-HSJ (Roads & Love, 2021), reestruturado para uma tarefa de trios com contexto. Cada amostra consiste em uma imagem de contexto e três imagens de comparação, onde o modelo deve prever qual das três é a menos similar às outras duas, dado o contexto.
• Arquitetura do Modelo:
  1. Extração de Embeddings: Imagens de contexto e trios são processadas por Modelos Fundamentais (FMs) pré-treinados (ViT, SigLIP, DINOv2), incluindo versões "alinhadas com humanos" (fine-tuned via AligNet).
  2. Transformação Insensível ao Contexto (CIT): Uma transformação afim aprendida é aplicada aos embeddings para melhorar o alinhamento geral com julgamentos humanos.
  3. Similaridade Sensível ao Contexto (CSS): O núcleo da proposta. Uma rede neural mapeia o embedding da imagem de contexto para uma matriz simétrica de baixo posto ($B_c$). A similaridade entre dois itens $i$ e $j$ dado o contexto $c$ é calculada como:
     $$s_{i,j|c} = \tilde{x}_i^\top A_c \tilde{x}_j$$
     onde $A_c = B_c^\top B_c$. Isso permite que a métrica de similaridade (o kernel) se deforme dinamicamente dependendo do contexto, reponderando características específicas.
  4. Decisão: O modelo identifica o par com maior similaridade e seleciona a imagem restante como a "ímpar".
• Treinamento: O modelo é treinado para maximizar a verossimilhança das escolhas humanas, com regularização para manter a estrutura representacional pré-treinada (evitando que o modelo "esqueça" o conhecimento prévio).

3. Contribuições Principais

• Mecanismo de Reponderação Dinâmica: Introduz uma abordagem inspirada na teoria cognitiva (Tversky, 1977) onde a similaridade não é fixa, mas modulada por um contexto visual, permitindo que características irrelevantes sejam suprimidas e relevantes sejam destacadas.
• Alinhamento com Comportamento Humano: Demonstra que intervenções cognitivamente inspiradas em sistemas de ML podem melhorar significativamente a correspondência entre representações de máquinas e julgamentos humanos.
• Generalização: A metodologia é válida tanto para modelos fundamentais originais quanto para versões já "alinhadas com humanos", sugerindo que a sensibilidade ao contexto é um componente complementar e necessário.

4. Resultados

Os experimentos foram conduzidos em três bases de modelos (DINOv2, SigLIP, ViT) e suas variantes alinhadas.

• Desempenho Quantitativo:
  • O modelo sensível ao contexto superou consistentemente tanto a linha de base do modelo fundamental quanto o modelo apenas com transformação insensível ao contexto.
  • Houve uma melhoria de até 15% na acurácia da tarefa de "ímpar" em comparação com modelos insensíveis ao contexto.
  • As melhorias foram estatisticamente significativas (intervalos de confiança de 95% excluindo zero) em todas as condições testadas.
• Análise Qualitativa:
  • Visualização (RSM e PCA): Em um exemplo onde o contexto era um "veado" (animal), o modelo insensível ao contexto agrupava um "carrinho de cavalo" com veículos. O modelo sensível ao contexto, no entanto, reorientou a representação do "carrinho de cavalo" para o cluster de animais, alinhando-se com a escolha humana.
  • Isso demonstra que o modelo consegue modular a saliência das características (ex: destacar "animal" em vez de "veículo") dependendo da imagem de referência.

5. Significado e Conclusão

O trabalho estabelece que a representação estática de objetos em espaços de embedding é insuficiente para capturar a complexidade da percepção humana. Ao incorporar a sensibilidade ao contexto diretamente na computação de similaridade, os modelos de visão computacional tornam-se melhores proxies para o comportamento humano.

Isso é crucial para o desenvolvimento de sistemas de IA que atuam como avaliadores automáticos em tarefas complexas de julgamento humano. O estudo sugere que o futuro do alinhamento representacional deve ir além do ajuste de pesos estáticos e incorporar mecanismos dinâmicos que simulam a adaptação cognitiva humana ao ambiente.

Limitações Futuras: Os autores apontam que o dataset atual baseia-se em julgamentos individuais (uma pessoa por tentativa) e que trabalhos futuros devem incorporar dependências sequenciais, estados motivacionais e expandir para modelos visão-linguagem para raciocínio multi-imagem.