💻 computer science

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

Este artigo apresenta o Gazette, um novo framework que aproveita modelos de linguagem de grande escala multimodais e transcrições sintéticas de "pensar em voz alta" para decodificar trajetórias de varredura do olhar humano em descrições de linguagem natural de forma livre sobre objetivos, indo além da decodificação categórica tradicional para capturar as nuances abertas das intenções humanas.

Autores originais: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que seus olhos são como o feixe de uma lanterna em um quarto escuro. Quando você olha para algo, esse feixe não fica parado; ele dispara de um lado para o outro, pousando em diferentes pontos por frações de segundo. Esse padrão de movimento é chamado de "scanpath" (trajetória de varredura). Por muito tempo, os cientistas tentaram descobrir o que você está pensando apenas observando onde o feixe da sua lanterna pousa. Geralmente, eles tratavam isso como um teste de múltipla escolha. Eles perguntariam: "A pessoa está procurando por um gato ou um cachorro?" e o computador escolheria uma resposta de uma lista fixa. Mas os pensamentos humanos são bagunçados e criativos. Às vezes, você não está apenas procurando por um "cachorro"; você está procurando por "o golden retriever desgrenhado usando uma bandana vermelha que está se escondendo atrás do sofá". A forma antiga de fazer perguntas era simples demais para capturar esse tipo de detalhe. É aqui que entra um novo campo chamado "decodificação de olhar" (gaze decoding), tentando traduzir esses movimentos oculares nas histórias ricas e de formato aberto que acontecem dentro de nossas cabeças.

Apresentamos um novo artigo de pesquisa que introduz uma nova e inteligente maneira de resolver esse quebra-cabeça. Os autores, trabalhando na Universidade de Stony Brook e na Universidade de Adelaide, construíram um sistema chamado Gazette. Em vez de forçar o computador a escolher de uma lista de múltipla escolha, o Gazette foi projetado para escrever uma história de formato livre sobre o que uma pessoa está procurando, usando linguagem natural exatamente como um humano faria. Pense nisso como um upgrade de um checklist rígido para um escritor criativo que pode descrever exatamente o que você vê.

O grande problema que os pesquisadores enfrentaram foi que os olhos de cada pessoa se movem de forma um pouco diferente, mesmo quando estão procurando a mesma coisa. Se dez pessoas forem encarregadas de encontrar um "carro vermelho", dez pessoas diferentes podem olhar para o carro de dez maneiras ligeiramente diferentes. Alguns podem olhar para as rodas primeiro, outros para as janelas. Se você apenas mostrar os movimentos oculares de uma pessoa para um computador, ele ficará confuso com todos esses hábitos pessoais. É como tentar adivinhar uma música ouvindo uma pessoa cantarolando desafinada; você pode ouvir a melodia, mas o ruído torna difícil ter certeza.

Para corrigir isso, a equipe criou um truque inteligente envolvendo uma estratégia de "pensar em voz alta" (think-aloud). Eles perceberam que, embora os movimentos oculares de cada um sejam únicos, a razão pela qual eles se movem é a mesma. Assim, eles usaram uma IA poderosa (GPT-4) para observar os movimentos oculares de muitas pessoas diferentes tentando encontrar o mesmo objeto. A IA atuou como um detetive, ignorando as peculiaridades individuais e encontrando o padrão comum — a "receita secreta" de como os humanos procuram por aquela coisa específica. A IA então escreveu uma "transcrição de pensamento em voz alta", que é basicamente uma história explicando a estratégia: "Primeiro, olhe para as formas grandes, depois dê zoom nas partes vermelhas".

Eles ensinaram seu novo modelo, o Gazette, a ler essas histórias geradas por IA junto com os movimentos oculares. Isso ajudou o modelo a aprender a separar o "objetivo" (o que a pessoa está procurando) do "ruído" (a maneira única da pessoa de olhar). Quando o testaram, o Gazette foi muito melhor em adivinhar o objetivo do que os métodos anteriores. Por exemplo, ao ser solicitado a encontrar um carro específico em uma imagem, o Gazette não disse apenas "carro". Ele pôde dizer: "O carro preto no canto superior direito", e fez isso com alta precisão, mesmo quando a tarefa era difícil.

O artigo mostra que, ao ensinar o computador a entender a estratégia por trás dos movimentos oculares, em vez de apenas os movimentos em si, podemos decodificar as intenções humanas com muito mais detalhe. Embora o sistema funcione melhor quando as pessoas concordam sobre o que estão procurando (como encontrar um objeto específico), ele sugere que estamos chegando mais perto de um futuro onde os computadores poderão entender nossos objetivos apenas observando para onde olhamos, abrindo portas para melhores tecnologias assistivas e uma compreensão mais profunda de como interagimos com o mundo.

Resumo Técnico: Gazette – Geração de Texto a partir do Olhar (Gaze-to-Text)

Definição do Problema
O artigo aborda a limitação dos métodos de decodificação de olhar existentes, que tipicamente enquadram a tarefa como um problema de classificação discriminativa sobre um conjunto fixo de categorias predefinidas (por exemplo, identificar um objeto específico de um vocabulário limitado). Os autores argumentam que tais abordagens categóricas são inerentemente limitadas, carecendo do detalhamento granular e da expressividade aberta necessárias para aplicações do mundo real, como e-commerce, análise educacional e tecnologias assistivas. Em vez disso, o artigo propõe um novo problema de aprendizado: Geração de Texto a partir do Olhar (Gaze-to-Text Generation). O objetivo é decodificar os caminhos de varredura (scanpaths) do olhar humano em descrições de linguagem natural livre, que capturem as nuances ricas dos objetivos e intenções humanas, variando de simples rótulos de objetos a expressões de referência complexas e ricas em contexto ou perguntas.

Metodologia: O Framework Gazette
Os autores introduzem o Gazette, o primeiro framework generativo para decodificação de olhar-para-texto, construído sobre Modelos de Linguagem de Grande Escala Multimodais (MLLMs).

Arquitetura: O Gazette estende o modelo base LLaVA-1.5-7B. Ele recebe uma imagem de entrada $I$ e um caminho de varredura de olhar $S$ (codificado textualmente como uma sequência de fixações com coordenadas e durações), juntamente com uma instrução de linguagem. O modelo gera uma descrição em linguagem natural $D$ do contexto cognitivo, que inclui:
- Tipo de Comportamento Grosso (Coarse Behavior Type): A categoria do comportamento direcionado ao objetivo (ex: Busca Visual com Presença/Ausência de Alvo, Referência de Objeto, Questionamento Visual).
- Estímulo de Nível Fino (Fine-Level Stimulus): O objetivo específico (ex: uma categoria de alvo, uma expressão de referência ou uma pergunta).
O Desafio da Variabilidade Individual: Um desafio central identificado é que os sinais de olhar são confundidos por diferenças individuais. Para o mesmo objetivo, diferentes participantes exibem diferentes caminhos de varredura. O ajuste de instrução (instruction tuning) padrão em tripletos imagem-caminho-objetivo frequentemente falha porque o modelo tem dificuldade em desentrançar o sinal direcionado pelo objetivo do ruído específico do participante.
Geração de Transcrição de "Pensar em Voz Alta" (Tarefa Auxiliar): Para abordar o problema do desentranhamento, os autores propõem um novo objetivo de treinamento auxiliar chamado ThinkAloud.
- Conceito: Os autores utilizam o insight teórico de que, embora os caminhos de varredura individuais variem, a estratégia subjacente de alocação de atenção direcionada pelo objetivo permanece invariante entre participantes realizando a mesma tarefa na mesma imagem.
- Implementação: Eles utilizam o GPT-4 para analisar caminhos de varredura de múltiplos participantes que compartilham o mesmo objetivo e imagem. O GPT-4 sintetiza "transcrições de pensar em voz alta" que descrevem os padrões espaciais e temporais comuns e as estratégias de alocação de atenção top-down, filtrando efetivamente as idiossincrasias individuais.
- Dados de Treinamento: Essas transcrições servem como pseudo-anotações para uma tarefa auxiliar onde o modelo aprende a gerar a estratégia de alocação de atenção dado uma imagem e um único caminho de varredura. As transcrições incluem três "unidades de ideia": (i) explicação da alocação de atenção top-down, (ii) localização do alvo inferida (caixa delimitadora/bounding box) e (iii) comprimento do caminho de varredura.
- Ajuste de Instrução: O Gazette é ajustado via Low-Rank Adaptation (LoRA) usando uma combinação da tarefa primária GazeDec (decodificação do objetivo) e da tarefa auxiliar ThinkAloud (geração da explicação da estratégia).

Principais Contribuições

Formulação da Tarefa: A introdução da decodificação de olhar não restrita, onde os objetivos são expressos em linguagem natural de vocabulário aberto, em vez de categorias fixas.
Framework Gazette: O desenvolvimento do primeiro framework baseado em MLLM especificamente projetado para decodificar a atenção top-down.
Objetivo Auxiliar: A proposta da tarefa de previsão de transcrição ThinkAloud. Esta estratégia aproveita a invariância compartilhada dos sinais direcionados pelo objetivo entre diversos observadores para ajudar o modelo a filtrar a variabilidade individual, melhorando significativamente o desempenho da decodificação.

Resultados Experimentais
Os autores avaliaram o Gazette em três conjuntos de dados: COCO-Search18 (Busca Visual), RefCOCO-Gaze (Referência de Objeto) e AiR-D (Questionamento Visual).

Tarefas Generativas (Referência de Objeto e VQA):
- O Gazette superou significativamente os baselines (incluindo o LLaVA-1.5 padrão e um baseline de "última fixação") em métricas de sobreposição lexical (BLEU, METEOR, ROUGE, CIDEr).
- Sob o paradigma LLM-as-a-Judge (usando o GPT-4 para avaliar fluência, relevância e correção), o Gazette alcançou pontuações mais altas que a variante treinada sem a tarefa ThinkAloud ("w/o ThinkAloud").
- Os resultados indicam que a tarefa ThinkAloud ajuda o modelo a aprender processos de raciocínio complexos e estratégias de alocação de atenção, levando a descrições mais precisas e conscientes do contexto.
Tarefas Preditivas (Busca Visual):
- No conjunto de dados COCO-Search18, o Gazette alcançou desempenho de estado da arte ou próximo ao estado da arte.
- Para busca com Presença de Alvo (Target-Present), o Gazette alcançou 77,3% de acurácia, quase igualando o estado da arte anterior (77,6% por Mondal et al.).
- Para busca com Ausência de Alvo (Target-Absent), o Gazette superou significativamente os métodos anteriores (44,3% de acurácia vs. 38,7% para Mondal et al.).
- Os autores observam que as melhorias na busca com Ausência de Alvo foram mais modestas, atribuindo isso à menor concordância entre observadores nessas tarefas, o que reduz a eficácia da estratégia de extração de padrões compartilhados.

Significância e Alegações
O artigo afirma que o Gazette permite que o olhar sirva como uma pista poderosa e não intrusiva para inferir objetivos humanos com detalhes semânticos granulares, indo além das limitações de taxonomias fixas. Ao desvincular com sucesso a dinâmica específica do objetivo do ruído individual através da estratégia ThinkAloud, o framework demonstra generalização através de diversas tarefas de atenção top-down.

Os autores posicionam este trabalho como um passo em direção a aplicações do mundo real onde entender o que um usuário está procurando (ex: preferências de estilo específicas em compras, foco conceitual em educação ou intenção de navegação em RA) é crítico. Eles reconhecem limitações, especificamente que o método depende da consistência entre observadores (degradando em tarefas com baixa concordância) e que as transcrições geradas pelo GPT-4 podem herdar vieses dos priors de treinamento do LLM em vez da verdadeira cognição do participante. No entanto, afirmam que a abordagem abre novos caminhos para usar MLLMs para compreender a atenção humana e os estados mentais.

Mais como este