Resumo Técnico: DeepGaze3.5-VL

Problema

Modelar a atenção visual humana ao longo do tempo (predição de scanpath) historicamente dependeu de arquiteturas especializadas que incorporam priors geométricos construídos à mão, como exploração de Lévy restrita, vieses sacádicos ou marcação inibitória. Embora esses modelos capturem sequências de fixação com sucesso, seus vieses estruturais rígidos limitam a extensibilidade e o condicionamento flexível. Integrar instruções específicas de tarefas ou adaptar-se a identidades distintas de observadores tradicionalmente exige adições arquitetônicas customizadas e disjuntas. Além disso, abordagens generativas existentes (ex: modelos de difusão, processos de pontos neurais) frequentemente treinam do zero apenas em dados de olhar, falhando em aproveitar os ricos priors sequenciais disponíveis em modelos de fundação. Um gargalo crítico permanece na avaliação: modelos generativos contínuos não conseguem computar nativamente densidades de probabilidade espacial exatas, forçando a dependência de métricas de alinhamento de sequência heurísticas (ex: ScanMatch) em vez de medidas informacionais rigorosas.

Metodologia

Os autores propõem o DeepGaze3.5-VL, um framework que reformula a predição de scanpath puramente como uma tarefa de modelagem de sequência discreta usando Grandes Modelos de Visão-Linguagem (LVLMs).

Formulação Central

• Predição de Tokens Autoregressiva: Em vez de regredir coordenadas contínuas, o modelo prediz o olhar como uma sequência de tokens discretos. As coordenadas espaciais $(x, y)$ são mapeadas para inteiros de dois dígitos com preenchimento de zero (00–99) representando posições percentuais ao longo das dimensões da imagem. Isso garante que cada fixação contribua exatamente com quatro tokens (dois para $x$, dois para $y$), garantindo comprimento de token uniforme e comparação probabilística justa.
• Integração de LVLM: O sistema utiliza LVLMs pré-treinados (especificamente o InternVL3.5-8B) ajustados via Low-Rank Adaptation (LoRA). O modelo codifica a imagem de entrada $I$ e fatores de condicionamento opcionais $C$ (ex: descrições de tarefas, IDs de sujeitos) via prompts de linguagem natural.
• Objetivo de Treinamento: O modelo é treinado via predição de próximo token padrão em scanpaths de verdade fundamental (ground-truth). A estrutura autoregressiva permite o cálculo exato da log-verossimilhança de qualquer sequência de fixação válida:
  $$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$$

Estratégia de Avaliação

• Ganho de Informação (IG): Os autores utilizam o alinhamento autoregressivo para computar o Ganho de Informação exato, definido como a melhoria na log-verossimilhança sobre um baseline de viés central. Diferente de modelos contínuos, esta formulação permite o cálculo exato de densidades de probabilidade espacial sem heurísticas.
• Computação Eficiente: Para computar distribuições espaciais completas (ex: para AUC) através de uma grade de $100 \times 100$, os autores empregam uma estratégia de árvore de prefixos. Ao cachear estados de Chave-Valor em prefixos compartilhados, eles decompõem a probabilidade conjunta em uma expansão de 4 fases (marginal $x_1$, condicional $x_2$, condicional $y_1$, condicional $y_2$), exigindo apenas 1.111 passagens para frente em vez de 10.000. Para o IG especificamente, são necessárias apenas 4 passagens para frente por fixação.

Principais Contribuições

1. Formulação como Predição de Token Autoregressiva: Ao ajustar LVLMs para prever tokens de coordenadas discretas, os autores aproveitam priors semânticos e sequenciais pré-treinados. Esta abordagem alcança um estado da arte de 2,18 bits de Ganho de Informação no dataset MIT1003, um melhoria de 46% sobre o baseline DeepGaze III com mesmo backbone.
2. Avaliação Exata e Eficiente: O framework explora a estrutura autoregressiva para decompor probabilidades conjuntas espaciais completas, permitindo o cálculo rápido e matematicamente exato do Ganho de Informação em escala, resolvendo um grande gargalo de avaliação para modelos generativos de scanpath.
3. Condicionamento Flexível e Generalização: O modelo absorve naturalmente diversos fatores de variação através de prompting de linguagem natural. Ele demonstra forte generalização fora da distribuição (Leave-One-Dataset-Out) e pode ser condicionado a objetivos de tarefa (visão livre vs. busca visual) ou identidades de observadores individuais sem mudanças arquitetônicas.
4. Intervenção In-silico: O framework generativo serve como uma ferramenta computacional para intervenções comportamentais controladas, permitindo a simulação de cenários contrafatuais (ex: variando durações de fixação) que são difíceis de conduzir experimentalmente.

Resultados

• Desempenho: O DeepGaze3.5-VL estabelece novo estado da arte em cinco datasets diversos (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm). No MIT1003, alcança 2,18 bits de IG comparado a 1,49 bits do DeepGaze III (retreinado com o mesmo backbone InternViT-6B).
• Papel das Representações: O ganho de desempenho não se deve apenas a melhores características visuais. Um experimento de controle mostrou que o DeepGaze III, com o codificador superior InternViT-6B, ainda subperformou o VLM. Além disso, uma forte correlação ($\rho = 0,93$) foi observada entre o Ganho de Informação e o escore do benchmark MMMU (uma medida de raciocínio multimodal), sugerindo que o entendimento semântico de alto nível impulsiona a qualidade da predição de scanpath.
• Sequencial vs. Espacial: Estudos de ablação revelam que, enquanto a saliência espacial estática impulsiona as fixações iniciais, as dependências sequenciais (o histórico do observador específico) tornam-se o preditor dominante para fixações posteriores. O modelo completo supera as variantes "invariantes de histórico" e "apenas espaciais", particularmente nos estágios finais de um scanpath.
• Efeitos de Condicionamento:
  • Duração: O condicionamento na duração da fixação melhora a predição espacial, particularmente para fixações curtas (<100 ms), recuperando fenômenos oculomotores conhecidos, como sacadas pré-programadas.
  • Identidade do Sujeito: Fornecer IDs de sujeitos melhora o IG em +0,09 bits/fixação, permitindo que o modelo aprenda priors espaciais distintos por observador.

Significância e Alegações

O artigo afirma que enquadrar a predição de scanpath como predição de token autoregressiva preenche a lacuna entre a modelagem de olhar especializada e os modelos de fundação gerais. Os autores afirmam que:

• Entendimento Semântico é a Chave: A qualidade das representações multimodais aprendidas (medida por benchmarks de raciocínio) é um motor primário da predição de scanpath, apoiando teorias cognitivas de que objetivos de tarefa top-down e entendimento semântico direcionam a exploração visual.
• Avaliação Nativa: A formulação autoregressiva alinha a predição de scanpath com o objetivo de treinamento nativo dos modelos de fundação, permitindo que o Ganho de Informação seja uma manifestação direta do objetivo de predição do próximo token, eliminando a necessidade de métricas substitutas.
• Utilidade Generativa: Além da predição, o framework atua como uma poderosa ferramenta para intervenções comportamentais "in-silico". Os autores demonstram que o modelo pode recuperar fenômenos oculomotores conhecidos (como a modulação da entropia espacial pela duração da fixação) puramente a partir de estatísticas de dados, permitindo simulações controladas sem coleta adicional de dados.

O trabalho sugere que os priors rígidos e construídos à mão das gerações anteriores não são mais necessários, pois os priors sequenciais e semânticos inerentes aos LVLMs são suficientes para modelar a dinâmica complexa do olhar humano com maior flexibilidade e precisidade.