SPGen: Stochastic scanpath generation for paintings using unsupervised domain adaptation

O artigo apresenta o SPGen, um modelo de aprendizado profundo que utiliza adaptação de domínio não supervisionada e amostragem estocástica para prever com precisão os padrões de varredura ocular de espectadores ao observar pinturas, superando as limitações dos métodos existentes e auxiliando na preservação do patrimônio cultural.

O essencial

Imagine que você está visitando um museu e olhando para uma pintura antiga. Seus olhos não ficam parados; eles pulam de um ponto para outro, como se estivessem "dançando" sobre a tela. Esse caminho que seus olhos traçam é chamado de scanpath (caminho de olhar).

O problema é que cada pessoa olha para a mesma pintura de um jeito diferente. Alguns focam no rosto do personagem, outros nas cores do fundo. Essa imprevisibilidade torna difícil ensinar um computador a entender como os humanos olham para arte.

É aqui que entra o SPGen, o "cérebro" criado pelos autores deste artigo. Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Grande Desafio: O "Sotaque" das Imagens

Imagine que você aprendeu a dirigir em um carro comum (fotos de natureza, como árvores e carros). Agora, você precisa dirigir um carro de corrida (quadros de arte). O volante é o mesmo, mas a sensação e as regras são diferentes.

• O Problema: Os computadores são ótimos em olhar para fotos de natureza (como as que tiramos com o celular), mas ficam confusos quando veem pinturas. As cores, texturas e composições são diferentes demais.
• A Solução (Adaptação de Domínio): O SPGen usa uma técnica chamada "Adaptação de Domínio Não Supervisionada". Pense nisso como um tradutor de sotaque. O modelo aprende a ignorar as diferenças superficiais entre "fotos de natureza" e "pinturas", focando apenas no que é importante: onde os olhos humanos tendem a ir. Ele usa um "espelho reverso" (uma camada de reversão de gradiente) que diz ao computador: "Esqueça se é uma foto ou uma pintura; foque no que é visualmente interessante".

2. A Mágica do Caos Controlado (Estocasticidade)

Se você pedir para um computador prever o futuro, ele geralmente dá a mesma resposta exata toda vez. Mas os olhos humanos são caóticos! Às vezes, você olha para a esquerda, outras vezes para a direita, mesmo vendo a mesma coisa.

• O Truque: O SPGen introduz um pouco de ruído aleatório (como jogar um dado) no processo.
• A Analogia do Termostato (Temperatura): Imagine que o modelo tem um botão de "Temperatura".
  • Temperatura Baixa: O computador é muito focado e previsível. Ele olha quase sempre para o centro da imagem (como a maioria das pessoas faz).
  • Temperatura Alta: O computador fica mais "descontraído" e explorador. Ele gera caminhos de olhar diferentes e mais espalhados, simulando a curiosidade de diferentes pessoas.
  • Isso permite que o modelo gere vários caminhos diferentes para a mesma pintura, assim como diferentes pessoas teriam diferentes reações.

3. O Mapa de Prioridade (Viés Aprendido)

Nós, humanos, temos um vício natural: tendemos a olhar mais para o centro da imagem do que para as bordas. É como se nosso cérebro tivesse um "ímã" no meio.

• A Solução: O SPGen não ignora isso; ele aprende com ele. Ele usa "Mapas de Prioridade" que funcionam como óculos com lentes especiais. Essas lentes ensinam o computador a entender que o centro é importante, mas também a aprender onde a pintura específica tem detalhes que valem a pena olhar, além do centro.

4. O Resultado: Um Guia de Museu Virtual

O que o SPGen faz, no final das contas?
Ele é como um guia turístico virtual superinteligente.

1. Ele olha para uma pintura.
2. Ele "pensa" em vários caminhos possíveis que um humano poderia traçar com os olhos.
3. Ele gera esses caminhos, mostrando onde uma pessoa provavelmente se concentraria.

Por que isso é importante?
Isso ajuda a preservar e entender o nosso patrimônio cultural. Ao entender como as pessoas olham para a arte, podemos:

• Restaurar pinturas de forma mais inteligente (sabendo quais partes chamam mais atenção).
• Criar museus virtuais mais envolventes.
• Entender melhor a psicologia humana e como processamos a beleza.

Resumo em uma frase

O SPGen é um robô que aprendeu a "olhar" como um humano, usando um pouco de sorte para simular a criatividade de cada pessoa, e conseguiu adaptar esse olhar para entender a arte, mesmo tendo sido treinado primeiro com fotos comuns.

Resumo técnico

1. Problema e Contexto

O artigo aborda o desafio de modelar a atenção visual humana e prever scanpaths (trajetórias de movimento ocular) em imagens, com um foco específico na aplicação a pinturas artísticas.

• Desafio Principal: Existe uma lacuna de domínio (domain gap) significativa entre imagens de cenas naturais (onde a maioria dos modelos de atenção visual é treinada) e obras de arte. As pinturas possuem características estéticas, composicionais e semânticas distintas que dificultam a transferência direta de modelos treinados em fotos reais.
• Natureza Estocástica: A atenção visual humana é inerentemente estocástica e subjetiva; diferentes observadores (ou o mesmo observador em momentos diferentes) geram trajetórias distintas para a mesma imagem. Modelos determinísticos tradicionais falham em capturar essa variabilidade.
• Objetivo: Desenvolver um modelo capaz de gerar trajetórias de olhar realistas e variadas para pinturas, superando a falta de grandes conjuntos de dados de rastreamento ocular específicos para arte.

2. Metodologia (SPGen)

O autores propõem o SPGen, uma arquitetura de aprendizado profundo baseada em Redes Neurais Convolucionais Totalmente Convolucionais (FCNN). A arquitetura é composta pelos seguintes módulos principais:

• Extrator de Características: Utiliza o MobileNet para extrair características visuais de forma eficiente e leve das imagens de entrada.
• Mapas de Viés de Domínio Aprendíveis (Prior Bias Maps): Em vez de usar apenas um viés central fixo (comum em cenas naturais), o modelo aprende múltiplos mapas de viés baseados em distribuições Gaussianas. Isso permite que o modelo adapte suas preferências de foco (centro, bordas, etc.) especificamente para o domínio da pintura.
• Módulo de Seleção de Fixação: Um componente crucial que utiliza Global Pooling e camadas totalmente conectadas (MLP) para gerar uma máscara binária. Isso permite que o modelo preveja scanpaths de comprimento variável, selecionando quais pontos de fixação são relevantes para a trajetória final.
• Função Soft-ArgMax: Utilizada para converter os mapas de probabilidade em coordenadas contínuas de fixação, garantindo a diferenciabilidade necessária para o treinamento.
• Geração Estocástica: Para simular a variabilidade humana, o modelo introduz um vetor de ruído latente aleatório ($L$) modulado por um parâmetro de temperatura ($T$).
  • $T$ controla a intensidade do ruído: temperaturas baixas geram trajetórias mais determinísticas e concentradas, enquanto temperaturas altas aumentam a dispersão e a aleatoriedade, permitindo múltiplas trajetórias válidas para a mesma imagem.
• Adaptação de Domínio Não Supervisionada (UDA): Para transferir conhecimento de cenas naturais para pinturas sem rótulos de arte, o modelo emprega uma Camada de Reversão de Gradiente (GRL).
  • Um classificador de domínio tenta distinguir entre imagens naturais e pinturas.
  • A GRL inverte o sinal do gradiente durante a retropropagação, forçando o extrator de características a aprender uma representação unificada que seja indistinguível entre os dois domínios, minimizando o viés específico de cada domínio e alinhando as distribuições de características.

3. Contribuições Principais

1. Modelo SPGen: Uma nova arquitetura de aprendizado profundo para previsão de scanpaths que combina extração de características, viés aprendido e seleção de fixação.
2. Mecanismo Estocástico: Introdução de um gerador de ruído modulado por temperatura, permitindo a geração de múltiplas trajetórias válidas para o mesmo estímulo, refletindo a subjetividade humana.
3. Adaptação de Domínio para Arte: Aplicação bem-sucedida de UDA via GRL para transferir modelos treinados em cenas naturais (Salicon) para o domínio de pinturas, sem a necessidade de dados rotulados de pinturas para o treinamento inicial.
4. Seleção de Comprimento Variável: Um módulo que permite ao modelo decidir dinamicamente o número de fixações, evitando trajetórias fixas e rígidas.
5. Validação Abrangente: Avaliação quantitativa e qualitativa em múltiplos conjuntos de dados (cenas naturais e arte) e análise de componentes (ablação).

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados Salicon e MIT1003 (cenas naturais) e Le Meur e AVAtt (pinturas).

• Desempenho em Cenas Naturais (Salicon/MIT1003):
  • O modelo superou ou foi competitivo com o estado da arte (SOTA) em métricas como MultiMatch (especificamente em Forma, Comprimento e Posição) e NSS (Normalized Scanpath Saliency).
  • Obteve o melhor resultado na métrica NSS, indicando forte alinhamento com mapas de saliência.
• Desempenho em Pinturas (Domínio de Alvo):
  • Impacto da Adaptação de Domínio: A comparação entre o modelo sem UDA e com UDA mostrou melhorias significativas.
    • No dataset Le Meur, o NSS aumentou de 1.36 para 1.51 e a Congruência de 0.40 para 0.42.
    • No dataset AVAtt, houve aumentos notáveis em todas as métricas (MM Score, NSS, Congruência) após a adaptação.
  • Qualidade Visual: As trajetórias geradas após a adaptação cobrem regiões mais amplas e alinham-se melhor com as áreas salientes das pinturas, corrigindo a tendência de focar excessivamente em áreas limitadas observada antes da adaptação.
• Análise de Temperatura:
  • Temperaturas mais baixas (0.0) resultaram em maior precisão e alinhamento com regiões salientes (melhor NSS).
  • Temperaturas mais altas aumentaram a variabilidade das trajetórias, demonstrando a capacidade do modelo de gerar diferentes padrões de olhar válidos, embora com uma leve redução na precisão pontual.

5. Significado e Conclusão

O trabalho SPGen representa um avanço significativo na interseção entre visão computacional e patrimônio cultural.

• Preservação e Análise: Ao permitir a análise precisa do comportamento de olhar em pinturas, o modelo oferece ferramentas para curadores e pesquisadores entenderem como as pessoas interagem com o patrimônio artístico.
• Generalização: A demonstração de que a adaptação de domínio não supervisionada pode transferir conhecimento de fotos para arte valida uma abordagem eficiente para lidar com a escassez de dados de rastreamento ocular em domínios especializados.
• Limitações e Futuro: O modelo atual não prevê a duração das fixações (apenas a localização e a sequência). O trabalho futuro visa incorporar um módulo de previsão temporal.

Em suma, o SPGen oferece uma ferramenta robusta e versátil para simular a atenção visual humana em obras de arte, superando as barreiras de domínio e a natureza estocástica da percepção visual.