💻 computer science

MASS-ScanDMM: A Panoramic Image Scanpath Prediction Method Integrating Multiple Attention Mechanisms and Spherical Semantic Enhancement

Este artigo propõe o MASS-ScanDMM, um método de predição de scanpath para imagens panorâmicas que integra mecanismos de Percepção de Cena de Atenção Múltipla (MASP) e Percepção de Melhoria de Informação Esférica (SIEP) para alcançar precisão e generalização superiores em múltiplos conjuntos de dados.

Autores originais: Jianwei Li, Yuxin Chen, Hongjue Chen, Sixi Chen

Publicado 2026-09-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jianwei Li, Yuxin Chen, Hongjue Chen, Sixi Chen

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era digital, nossas telas não são mais retângulos planos, mas janelas imersivas para mundos de 360 graus. Os headsets de realidade virtual nos permitem olhar em qualquer direção, transformando uma imagem simples em um vasto ambiente esférico onde podemos virar a cabeça para explorar um museu, um parque ou uma sala de estar. No entanto, renderizar esses mundos inteiros em alta definição é incrivelmente exigente para o poder de processamento do computador e a largura de banda da internet. Para resolver isso, os pesquisadores buscam entender como os olhos humanos realmente funcionam. Nossa visão não é uniforme; vemos detalhes finos apenas em um pequeno ponto central, enquanto o resto de nossa visão é borrada. Ao prever para onde uma pessoa olhará em seguida, os computadores podem renderizar apenas essa pequena área nítida em alta definição e manter o restante em baixa resolução, economizando enormes quantidades de recursos. Essa previsão do movimento ocular, conhecida como scanpath (trajetória de varredura), é a chave para tornar a realidade virtual eficiente e responsiva.

Por décadas, cientistas estudaram como as pessoas escaneiam imagens planas de duas dimensões, mas as regras mudam completamente quando a imagem se envolve em torno de uma esfera. Em uma foto plana, o olho naturalmente gravita para o centro, mas em um panorama de 360 graus, o espectador deve girar ativamente a cabeça para encontrar detalhes interessantes. Os modelos de computador existentes frequentemente falham nisso, produzindo padrões de olhar que são ou muito aleatórios ou não levam em conta a geometria única de um mundo esférico. Eles podem perder objetos importantes ou sugerir movimentos oculares que parecem não naturais para um observador humano. O desafio reside em ensinar um computador não apenas a entender os objetos de uma cena, mas como esses objetos existem dentro de um espaço curvo e abrangente.

Uma equipe de pesquisadores da Universidade de Fuzhou abordou esse desafio com um novo método chamado MASS-ScanDMM. Sua abordagem é projetada para imitar a maneira complexa como os cérebros humanos processam informações visuais nesses ambientes imersivos. Em vez de depender de uma única maneira de olhar para uma imagem, o novo sistema combina várias estratégias diferentes para decidir para onde os olhos do espectador irão. Ele trata a imagem panorâmica como uma cena dinâmica onde a atenção muda ao longo do tempo, muito parecido com uma pessoa explorando uma sala. O sistema é construído sobre uma base que rastreia estados visuais, essencialmente simulando uma forma de memória de trabalho que retém o que acabou de ser visto para prever o que será visto a seguir.

O núcleo deste novo método envolve dois componentes especializados que trabalham juntos para melhorar a precisidade. O primeiro componente atua como um filtro sofisticado, ajudando o computador a decidir quais partes da imagem são mais importantes. Ele faz isso pesando diferentes aspectos dos dados visuais simultaneamente, como o brilho de áreas específicas, a textura dos objetos e as relações entre diferentes partes da cena. Ao integrar essas múltiplas camadas de atenção, o sistema torna-se muito melhor em identificar os pontos específicos que atrairão o olho humano, em vez de se perder na vastidão da visão de 360 graus.

O segundo componente foca especificamente na forma única da imagem panorâmica. Como uma foto de 360 graus é frequentemente esticada em uma tela plana para processamento computacional, as relações espaciais importantes podem sofrer distorções. Este novo sistema corrige essa distorção agrupando informações de uma forma que respeita a natureza esférica do mundo. Ele analisa a imagem olhando para as direções horizontais e verticais separadamente, garantindo que o computador entenda como o topo de um edifício se conecta à base, mesmo quando a imagem está envolta. Isso permite que o modelo mantenha uma sensação clara da estrutura da cena, evitando a confusão que frequentemente afeta outros métodos ao lidar com as bordas de uma visão panorâmica.

Quando os pesquisadores testaram seu sistema contra modelos existentes usando três coleções diferentes de grandes imagens panorâmicas, os resultados foram claros. Eles mediram o quão proximamente os movimentos oculares previstos pelo computador correspondiam às trajetórias reais percorridas por espectadores humanos reais. O novo método superou consistentemente as abordagens anteriores, gerando padrões de olhar mais suaves e precisos. Em um conjunto de testes envolvendo uma cena de museu, o sistema previu com sucesso que os espectadores olhariariam para exibições específicas, enquanto modelos antigos frequentemente dispersavam suas previsões por paredes vazias. Os dados mostraram que o novo sistema reduziu o erro de previsão significativamente, aproximando o comportamento do computador muito mais do modo natural como os humanos exploram esses ambientes.

Os pesquisadores também descobriram que o sistema poderia ser usado para uma tarefa relacionada: criar mapas de calor que mostram quais partes de uma cena têm maior probabilidade de atrair a atenção. Ao agregar os movimentos oculares previstos, eles puderam gerar um guia visual que destacava as áreas mais interessantes de uma imagem panorâmica. Esta aplicação provou que o sistema não apenas prevê o movimento, mas também entende o conteúdo da cena o suficiente para identificar o que torna um lugar cativante. O estudo confirma que, ao combinar múltiplas formas de prestar atenção com uma compreensão profunda da geometria esférica, os computadores podem finalmente aprender a ver o mundo da mesma forma que nós, abrindo as portas para experiências de realidade virtual mais eficientes e realistas.

Resumo Técnico: MASS-ScanDMM

Problema

O artigo aborda o desafio de prever trajetórias de varredura ocular (scanpaths) humanas em imagens panorâmicas de 360°, uma tarefa crítica para otimizar a renderização em Realidade Virtual (VR) através da renderização foveada e para aprimorar a interação humano-computador. Embora a previsão de scanpaths seja bem estudada para imagens 2D, as imagens panorâmicas apresentam dificuldades únicas devido ao campo de visão de 360°×180°, dependências espaciais complexas e a variabilidade do comportamento do usuário ao explorar conteúdos via Head-Mounted Displays (HMDs).

Os métodos existentes para a previsão de scanpaths em 360° sofrem de limitações específicas:

Abordagens baseadas em mapas de saliência: dependem fortemente de características visuais de baixo nível e têm dificuldade em modelar a aleatoriedade do olhar humano.
Modelos generativos: frequentemente produzem trajetórias instáveis devido à dependência de ajuste de dados (data fitting).
Modelos probabilísticos, como o Deep Markov Model (ScanDMM), melhoram a modelagem da dependência temporal, mas exibem uma capacidade insuficiente de extrair semântica de cenas esféricas, levando a desvios entre as trajetórias de olhar previstas e as reais.

Metodologia

Os autores propõem o MASS-ScanDMM (Multi-Attention Spherical Semantic Deep Markov Model), um framework unificado projetado para aprimorar tanto a extração de características espaciais quanto a modelagem de atenção temporal em cenas esféricas. O núcleo do método é o MAS-SSEPNet (Multi-Attention Spherical Scene Semantic Enhancement Perception Network), que alimenta características semânticas em um Deep Markov Model para gerar sequências de scanpaths realistas.

A rede integra dois mecanismos inovadores:

1. Mecanismo de Percepção de Cena de Atenção Múltipla (MASP)

Projetado para superar as limitações dos mecanismos de atenção convencionais em cenas complexas, o MASP ajusta dinamicamente a intensidade de resposta do mapa de características integrando cinco tipos complementares de atenção:

Atenção de Canal (Channel Attention): Repondera os mapas de características de entrada para enfatizar canais informativos.
Atenção de Kernel (Kernel Attention): Seleciona ou combina múltiplos kernels de convolução para se adaptar a diversas características.
Atenção Espacial de Kernel (Kernel Space Attention): Ajusta a sensibilidade espacial dentro dos kernels de convolução, amplificando posições críticas.
Atenção de Filtro (Filter Attention): Controla a importância dos filtros de saída para suprimir respostas redundantes.
Atenção de Neurônio (Neuron Attention): Avalia os desvios de neurônios individuais em relação à média global para gerar pesos de atenção ao nível de pixel, aumentando a saliência local.

Esses pesos são fundidos para criar uma rede de percepção multidimensional que refina as representações de características e direciona o foco para regiões visuais chave.

2. Mecanismo de Percepção de Realce Semântico Esférico (SIEP)

Para lidar com as distorções geométricas inerentes às imagens esféricas, o SIEP emprega uma estratégia de decomposição de canais agrupados combinada com pooling direcional:

Processamento Agrupado (Grouped Processing): As características de entrada são divididas em grupos para evitar a perda de informação decorrente da compressão global.
Pooling Direcional (Directional Pooling): Ramos paralelos processam as características usando convoluções 1×1 e 3×3. O ramo 1×1 realiza pooling médio horizontal e vertical para extrair o contexto global, gerando pesos globais ( $W_h, W_w$ ).
Fusão Adaptativa: O mecanismo utiliza Normalização de Grupo (Group Normalization) e global pooling adaptativo para fundir o contexto global com as correlações geométricas locais. Ele computa associações ao nível de pixel para enfatizar ou suprimir regiões dinamicamente com base nos pesos de atenção aprendidos, preservando a geometria esférica enquanto aumenta a representação semântica.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

Proposta de Framework: Introdução do MASS-ScanDMM, um novo framework probabilístico profundo que modela explicitamente estados visuais temporais e semântica de cena esférica para a previsão de scanpaths em 360°.
Módulo MASP: Design de um módulo que integra atenção de neurônio, filtro, kernel, espacial e de canal para aumentar as respostas de características em cenas visuais complexas.
Módulo SIEP: Desenvolvimento de um mecanismo que utiliza decomposição de canais agrupados e pooling direcional para fortalecer as representações semânticas esféricas e melhorar a utilização de características.
Validação Empírica: Experimentos extensos nos três conjuntos de dados (Sitzmann, Salient360! e JUFE) demonstrando a precisão e generalização superior do modelo em comparação com as bases de estado da arte.

Resultados Experimentais

Os autores avaliaram o MASS-DMM contra quatro métodos de base (DeepGaze III, SaltiNet, ScanGAN e ScanDMM) utilizando três métricas padrão: distância de Levenshtein (LEV), Dynamic Time Warping (DTW) e Recorrência Cruzada (REC).

Desempenho Quantitativo: No conjunto de dados Sitzmann, o MASS-DMM alcançou os melhores escores entre todos os modelos (excluindo os parâmetros humanos de referência) com um LEV de 46.280, DTW de 1937.367 e REC de 3.398. Desempenho superior semelhante foi observado nos conjuntos de dados Salient360! e JUFE.
Estudos de Ablação: Experimentos confirmaram as contribuições individuais e combinadas do MASP e do SIEP. A adição do MASP reduziu o LEV em 0.703 e o DTW em 15.576 em comparação com a base. A adição do SIEP reduziu o LEV em 1.193 e o DTW em 89.188. O modelo completo superou as configurações parciais, validando a natureza complementar dos módulos.
Análise Qualitativa: Visualizações mostraram que o MASS-DMM gera scanpaths mais suaves que se alinham mais proximamente aos padrões de fixação humana, particularmente em regiões salientes, enquanto outros métodos exibiram grandes deslocamentos ou pontos de fixação esparsos.

Aplicação à Detecção de Saliência

O modelo também foi aplicado a tarefas de detecção de saliência no conjunto de dados Salient360!. O MASS-DMM alcançou o melhor desempenho em Área Sob a Curva (AUC) e Divergência de Kullback-Leibler (KLD), e resultados competitivos em Saliência de Scanpath Normalizada (NSS) e Coeficiente de Correlação (CC), superando métodos dedicados de detecção de saliência em 360° como BMS360 e GBVS360.

Significância e Alegações

O artigo afirma que o MASS-DMM representa um avanço significativo na análise de imagens panorâmicas ao preencher efetivamente a lacuna entre a modelagem de estado visual temporal e a compreensão semântica esférica. Ao integrar mecanismos de atenção multidimensionais com representações conscientes da geometria, o método captura com sucesso regiões salientes e potenciais pontos de interesse de forma mais precisa do que as abordagens existentes.

Os autores concluem que a abordagem proposta valida a eficácia da modelagem conjunta de atenção cruzada e extração de características esféricas. Embora reconheçam que ainda resta uma lacuna de desempenho entre os modelos computacionais e os limites superiores humanos, o estudo destaca o potencial do método para aplicações mais amplas na compreensão visual panorâmica, particularmente na otimização da renderização em VR e no suporte à inferência de intenção do usuário.