Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

Resumo Técnico: Comparação entre o Olhar Humano e a Atenção de Modelos de Visão-Linguagem em Ambientes Relevantes para a Segurança

Definição do Problema
Sistemas de inteligência artificial (IA) conscientes da segurança, particularmente na condução autónoma e robótica, requerem a capacidade de identificar regiões de cena que os humanos percecionam como potencialmente arriscadas. Embora a tecnologia de rastreio ocular forneça uma medida direta da atenção visual humana e revele um "viés de negatividade" (uma sensibilidade desproporcional a estímulos ameaçadores), os modelos computacionais existentes focam-se frequentemente na saliência visual geral em vez da perceção de segurança. Existe uma lacuna crítica em compreender se os modernos modelos de visão-linguagem (VLMs) de grande escala, que possuem compreensão semântica, conseguem alinhar espacialmente a sua atenção com o olhar humano em ambientes relevantes para a segurança sem requerer treino baseado em dados de rastreio ocular.

Metodologia
O estudo empregou uma abordagem de duas vertentes envolvendo a recolha de dados humanos e a inferência de IA:

1. Construção do Conjunto de Dados de Rastreio Ocular Humano:

   • Estímulos: 33 imagens de cenas representando diversos ambientes do quotidiano (ruas, corredores, espaços públicos, áreas verdes) com níveis variáveis de risco potencial (ex.: veículos, obstáculos, sinais de inundação).
   • Participantes: 10 estudantes universitários com visão normal ou corrigida para a normalidade.
   • Aparelhagem: Foram utilizadas óculos vestíveis Pupil Invisible (rastreio ocular binocular a 200 Hz, câmara de cena a 30 fps) para registar o olhar enquanto os participantes observavam as imagens num monitor de 24 polegadas durante 10 segundos cada.
   • Processamento: Os dados brutos de olhar foram filtrados por validade, mapeados do campo de visão da câmara de cena para a resolução do estímulo (1.536 × 1.024 píxeis) e convertidos em mapas de densidade de fixação individuais através de suavização Gaussiana ($\sigma = 30$ px). Estes foram calculados pela média para criar 33 mapas de calor de olhar humano ao nível da população.

2. Geração de Mapa de Saliência por IA:

   • Modelo: O GPT-4o foi selecionado pelas suas capacidades de raciocínio multimodal.
   • Pipeline: Um script Python automatizado instruiu o GPT-4o, via API de Visão da OpenAI, para atuar como um "especialista em saliência visual". O modelo foi instruído a retornar um objeto JSON estruturado contendo 20–25 pontos de fixação normalizados $(x, y)$ com pesos de saliência $(w)$, prevendo onde os humanos olhariam durante a observação livre.
   • Renderização: O output JSON foi rasterizado em discos preenchidos ($r=40$ px) num canvas, seguido de suavização Gaussiana ($\sigma = 60$ px) para gerar mapas de saliência contínuos comparáveis aos mapas de calor humanos. Não foram utilizados dados de rastreio ocular para treinar o modelo.

3. Avaliação:

   • O alinhamento espacial entre os mapas de calor humanos e de IA foi quantificado utilizando quatro métricas em todas as 33 imagens:
     • Correlação de Pearson ($r$): Concordância espacial linear.
     • Saliência de Scanpath Normalizada (NSS): Correspondência dos valores de IA nos pontos de fixação humana.
     • Divergência de Kullback–Leibler (KL): Diferença de distribuição entre os dois mapas.
     • AUC-Judd: Capacidade de discriminar localizações fixadas versus não fixadas.
   • Foi realizada uma comparação entre modelos utilizando Gemini Pro, Gemini Flash e Claude.

Resultados Principais

• Desempenho do GPT-4o: O modelo demonstrou um alinhamento espacial significativo com o olhar humano sem treino prévio de rastreio ocular.
  • AUC-Judd: $0,806 \pm 0,076$ (substancialmente acima da linha de base de chance de 0,5).
  • NSS: $0,988 \pm 0,323$ (pontuação positiva indicando valores acima da média nos pontos de fixação humana).
  • Pearson $r$: $0,515 \pm 0,117$ (correlação linear moderada, mas consistente).
  • Divergência KL: $1,766 \pm 0,844$.
• Comparação entre Modelos: Todos os modelos testados (GPT-4o, Gemini Pro, Gemini Flash, Claude) excederam a linha de base de chance do AUC-Judd e atingiram pontuações NSS positivas.
  • O Gemini Pro alcançou as pontuações mais elevadas em correlação de Pearson ($0,571$), NSS ($1,131$) e AUC-Judd ($0,840$), sugerindo uma localização espacial superior.
  • O GPT-4o alcançou a menor divergência KL ($1,766$), indicando que a sua distribuição de saliência prevista coincide mais de perto com a distribuição da atenção humana, apesar de pontuações de localização espacial ligeiramente inferiores às do Gemini Pro.
• Variabilidade da Cena: O alinhamento foi mais forte em cenas onde o conteúdo relacionado com o risco estava espacialmente localizado (ex.: Imagem 05, Imagem 02) e mais fraco em cenas com padrões de olhar humano difusos.

Principais Contribuições

1. Criação de Conjunto de Dados: O estudo construiu um conjunto de dados de rastreio ocular dedicado, cobrindo 33 tipos de cenas quotidianas diversas com níveis variados de risco, fornecendo mapas de calor de olhar humano ao nível da população como uma verdade fundamental (ground truth) para a perceção de segurança.
2. Demonstração de Alinhamento Zero-Shot: Demonstrou empiricamente que os grandes VLMs, ao serem instruídos a identificar riscos, podem gerar previsões espaciais que se alinham com os padrões de atenção humana sem necessitarem de dados de treino de rastreio ocular específicos.
3. Estrutura de Avaliação: O artigo aplica um conjunto abrangente de métricas de saliência complementares para quantificar a correspondência espacial entre os mapas de risco gerados por IA e o olhar humano em contextos relevantes para a segurança.

Significado e Alegações
Os autores alegam que os grandes modelos de visão-linguagem podem identificar regiões de risco potencial que correspondem amplamente a onde os humanos direcionam a atenção visual em cenas relevantes para a segurança. Isto sugere que os VLMs capturam implicitamente as tendências humanas de priorizar regiões de risco, provavelmente devido ao treino em conteúdos gerados por humanos, embora os modelos não experienciem o "viés de negatividade" psicológico em si mesmos.

A significância destas descobertas reside no potencial dos VLMs para servirem como uma ferramenta escalável para aproximar os padrões de atenção humana em aplicações de IA conscientes da segurança. Esta capacidade poderá apoiar o desenvolvimento de sistemas (como robôs ou veículos autónomos) que se alinhem com a perceção humana de risco sem a necessidade de hardware de rastreio ocular dedicado e dispendioso durante a implementação. Os autores observam que, embora os resultados sejam promissores, são modestos; o alinhamento não é perfeito, e o estudo reconhece limitações relativas ao pequeno número de participantes e à natureza esparsa do output baseado em JSON da IA em comparação com os dados densos do olhar humano. Sugere-se que trabalhos futuros envolvam amostras maiores e mais diversas, bem como estímulos de vídeo dinâmicos para validar ainda mais estas descobertas.