Resumo Técnico: TextGaze

Declaração do Problema

A estimativa do alvo do olhar visa inferir a posição do olhar de uma pessoa dentro de uma cena ou determinar se o alvo do olhar está dentro do quadro da imagem. O artigo identifica duas limitações primárias nas abordagens existentes:

1. Métodos de múltiplos ramos: Estas arquiteturas incorporam pistas auxiliares (ex: profundidade, pose, características da cabeça) via ramos separados. Embora enriqueçam as representações visuais, introduzem uma carga significativa de anotação, retardam a convergência devido à complexidade estrutural e dificultam a transferência de domínio. Além disso, frequentemente funcionam como filtros geométricos que não conseguem raciocinar sobre alvos de olhar válidos, levando a uma "subespecificação semântica".
2. Métodos simplificados/de ajuste de prompt (Prompt-tuning): Abordagens recentes tentam simplificar as arquiteturas usando prompts posicionais com modelos de fundação. No entanto, esses métodos frequentemente sofrem de "desfoco semântico", onde o modelo depende da saliência visual de baixo nível (proximidade espacial, saliência visual) em vez da verdadeira intenção do olhar, resultando em um desalinhamento entre a atenção prevista e os alvos de olhar reais.

O desafio central é equilibrar a necessidade de orientação semântica com a simplicidade arquitetônica, indo além da regressão puramente geométrica em direção ao raciocínio de nível de intenção sem reintroduzir estruturas complexas de múltiplos ramos.

Metodologia: TextGaze

Os autores propõem o TextGaze, uma arquitetura cross-modal unificada que utiliza um Modelo de Linguagem Visual de Grande Escala (LVLM) como orientação semântica escalável. O framework desloca a estimativa do olhar de uma regressão geométrica direta para um processo de reconhecimento de intenção via uma camada semântica.

1. Visão Geral da Arquitetura

O modelo consiste em três componentes principais:

• Módulo de Pistas de Cena Textuais baseadas em LVLM: Um LVLM congelado (especificamente o Qwen2.5-VL-7B-Instruct nos experimentos) é instigado via prompt para gerar descrições textuais estruturadas da aparência, comportamento e orientação grosseira do olhar do sujeito. Essas saídas de linguagem natural são codificadas por um codificador de texto BERT congelado em embeddings densos ($S_t$). Este módulo fornece priors semânticos de alto nível (objetos, ações) sem exigir a localização explícita do alvo do olhar pelo LVLM, o que pode ser pouco confiável para alvos fora do quadro.
• Módulo de Processamento de Sequência de Tokens de Características:
  • Fluxo Visual: Um codificador DINOv2 congelado extrai características finas da cena ($F_v$). Para aumentar a sensibilidade ao alvo, um embedding de token de cabeça aprendível é adicionado via modulação mascarada baseada na caixa delimitadora (bounding box) da cabeça.
  • Fusão: As sequências de características textuais e visuais são concatenadas. Um token aprendível ($z_{in/out}$) é prefixado para a tarefa de classificação de dentro/fora do quadro.
• Módulo de Fusão Cross-Modal e Predição:
  • Transformer de Fusão: Um transformer empilhado de três camadas com pós-normalização integra os tokens visuais e textuais. Ele utiliza Atenção de Múltiplos Cabeçalhos (MHSA) para permitir a interação irrestrita entre as modalidades.
  • Supervisão de Texto Hierárquica: Para evitar a degradação das semânticas textuais relevantes para a tarefa durante a fusão profunda, os autores introduzem um mecanismo de supervisão de consistência de texto camada a camada. Isso impõe o alinhamento semântico em todas as camadas do transformer ao projetar os tokens de texto intermediários de volta para as características do codificador de texto original e minimizar o Erro Quadrático Médio (MSE).
  • Cabeças de Predição: Um decoder leve produz um mapa de calor (heatmap) do olhar (supervisionado por perda BCE com alvos Gaussianos) e uma probabilidade escalar para o status de dentro/fora do quadro (supervisionado por entropia cruzada binária).

2. Objetivo de Treinamento

A função de perda global combina a perda de heatmap ($L_{heat}$), a perda de classificação in/out ($L_{in/out}$) e a perda de supervisão de texto hierárquica ($L_{text}$):
$$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$$

Principais Contribuições

1. Pistas de Cena Textuais: O artigo introduz a integração de pistas de cena textuais na estimativa do alvo do olhar para mitigar o desfoco semântico. Ao usar LVLMs para gerar informações semânticas auxiliares (aparência, ação, intenção), o modelo ganha priors de alto nível sem a complexidade dos designs de múltiplos ramos.
2. Benchmarks Aprimorados: Os autores fortalecem os benchmarks GazeFollow e VideoAttentionTarget integrando campos de atenção cena-alvo-pessoa orientados a prompts de LVLM, gerando pistas contextuais robustas que melhoram a precisão da estimativa do olhar auxiliada por texto.
3. Framework de Fluxo Duplo Unificado: Um novo framework de fusão cross-modal é projetado combinando embeddings textuais com representações visuais finas. Esta abordagem mimetiza a atenção top-down humana, melhorando o raciocínio espacial e a adaptabilidade da cena, mantendo um pipeline simplificado.

Resultados Experimentais

O método foi avaliado em quatro datasets principais: GazeFollow, VideoAttentionTarget, ChildPlay e GOO-Real.

• Desempenho de Estado da Arte (SOTA): No GazeFollow, o TextGaze (usando DINOv2 ViT-L) alcançou resultados competitivos, obtendo o menor erro médio L2 (0.099) e igualando o melhor L2 mínimo (0.043), mantendo um AUC elevado (0.956). No VideoAttentionTarget, superou as abordagens existentes em métricas de AUC, erro L2 e AP para a predição de dentro/fora do quadro.
• Generalização entre Datasets: Sem ajuste fino ou modificação de prompt, o TextGaze demonstrou generalização robusta:
  • No GOO-Real (cenários de compras do mundo real), alcançou desempenho de estado da arte tanto em métricas de AUC quanto de L2.
  • No ChildPlay (olhar de crianças), superou todos os baselines na métrica AP para classificação de dentro/fora do quadro, destacando a eficácia das pistas derivadas de LVLM para detecção de presença.
• Estudos de Ablação: Experimentos confirmaram que a estratégia de fusão baseada em transformer supera a fusão aditiva e a fusão de atenção cruzada. Além disso, a ativação simultânea da supervisão de texto hierárquica, conexões residuais visuais e embeddings posicionais específicos resultou em desempenho ideal, validando a natureza complementar desses componentes.

Significância e Alegações

O artigo afirma que o TextGaze fornece uma alternativa simplificada aos designs tradicionais de múltiplos ramos. Ao utilizar LVLMs como orientação auxiliar acessível, o método equilibra com sucesso o compromso entre os altos custos de anotação dos sistemas de múltiplos ramos e as limitações semânticas dos modelos simplificados puramente visuais.

Os autores enfatem que seguir o olhar é inerentemente um problema de raciocínio de nível de intenção, e não apenas uma tarefa de regressão geométrica pura. O TextGaze aborda isso ao deslocar o paradigma de "pixels para coordenadas" para "pixels para intenção semântica para alvo do olhar". Os resultados validam que os LVLMs podem efetivamente conectar a visão com intenções de alto nível, oferecendo uma solução escalável para a estimativa do olhar em cenas complexas sem a necessidade de ramos redundantes ou extensas anotações específicas de domínio.