Predicting Human Visual Attention on Words in Source Code

Resumo Técnico: Predição da Atenção Visual Humana em Palavras de Código Fonte

Declaração do Problema
Compreender a atenção visual humana durante tarefas de engenharia de software é fundamental para otimizar o design de interfaces de usuário, melhorar ferramentas de engenharia de software e modelar processos cognitivos humanos. Embora dados de rastreamento ocular (eye-tracking) tenham sido usados para estudar como programadores leem código fonte, prever essa atenção computacionalmente permanece um desafio. As abordagens existentes dividem-se em duas categorias: modelos de visão computacional geral, que tratam a atenção como coordenadas espaciais e ignoram informações semânticas no código; e modelos de leitura de texto, que assumem padrões de varredura ocular não aplicáveis à natureza complexa e repleta de regressões da leitura de código. Além disso, embora os Grandes Modelos de Linguagem (LLMs) exibam mecanismos de atenção, não foi estabelecido se sua atenção interna se alinha com a atenção visual humana durante a leitura de código orientada a tarefas específicas. A lacuna que este artigo aborda é a falta de um modelo computacional que preveja a atenção visual detalhada (palavras específicas no código fonte) ao alavancar dados de rastreamento ocular para alinhar a atenção de máquina com padrões cognitivos humanos.

Metodologia
Os autores propõem um modelo computacional baseado em uma arquitetura Transformer pré-treinada (especificamente o modelo jam, um modelo estilo GPT-2 de 350 milhões de parâmetros) que é ajustado (fine-tuned) utilizando dados reais de rastreamento ocular. A metodologia consiste em três componentes primários:

1. Alvo de Predição: O modelo prevê a Porcentagem do Tempo Total de Olhar (ptgt - Percent Total Gaze Time) para cada palavra em um trecho de código fonte. O ptgt é definido como o tempo total de olhar em uma palavra específica (Região de Interesse) dividido pelo tempo total de olhar para todo o artefato de código. Esta métrica quantifica a importância relativa ou a atenção alocada a um token específico.
2. Representação de Entrada: A sequência de entrada compreende três partes: os tokens do código fonte, os tokens de fixação (palavras onde o olho humano parou) e os tokens imediatamente adjacentes aos tokens de fixação.
3. Função de Perda Customizada: A inovação central é uma nova função de perda projetada para alinhar a atenção interna do modelo com a atenção humana durante o ajuste fino. O processo envolve:
   • Leitura de Atenção (Attention Readout): Extração das matrizes de atenção ($Q$ e $K$) da última camada do Transformer (especificamente a média das cabeças 10–16, baseando-se em descobertas prévias de que camadas mais profundas se alinham melhor com a atenção humana).
   • Pontuação de Atenção de Máquina: Cálculo de uma pontuação de atenção escalar ($\hat{a}$) pela média das probabilidades de atenção entre os tokens adjacentes às fixações e os próprios tokens de fixação.
   • Supervisão Humana: Computação da similaridade entre a pontuação de atenção da máquina ($\hat{a}$) e o ptgt humano de referência (ground-truth) ($a$).
   • Composição da Perda: A perda total ($L$) combina a perda padrão de Entropia Cruzada Categórica (CCE) para modelagem de linguagem com dois termos auxiliares: o Erro Quadrático Médio (MSE) para impor a precisão absoluta na magnitude do tempo de olhar, e uma correlação de Pearson transformada ($L_{corr}$) para impor a estrutura relativa da atenção (classificação de tokens de alta vs. baixa atenção). A perda é reescalonada dinamicamente para evitar que os termos auxiliares dominem o objetivo de modelagem de linguagem.

Principais Contribuições

• Nova Função de Perda: O design de uma função de perda que minimiza explicitamente a divergência entre a atenção visual humana (ptgt) e a autoatenção de uma rede neural, utilizando tanto MSE quanto correlação de Pearson.
• Predição de Grão Fino: Indo além de previsões biométricas ou de dificuldade de tarefa de grão grosso para prever a atenção ao nível de palavras individuais (tokens) no código fonte.
• Estudo de Ablação: Uma avaliação sistemática demonstrando a contribuição específica do componente de correlação de Pearson para o desempenho do modelo.
• Extensão para Predição de Scanpath: Aplicação do modelo alinhado com a atenção à tarefa de prever a sequência de fixações (scanpath), uma tarefa que exige a compreensão dos processos de pensamento humano.

Resultados Experimentais
O modelo foi avaliado em três conjuntos de dados distintos envolvendo linguagens de programação Java e C e tarefas incluindo documentação de código e localização de bugs (estudos de Smith, Wallace e Rodeghero).

• Predição de Atenção (RQ1): O modelo proposto superou significativamente os baselines de engenharia de software (Bansal et al.) e de visão computacional (Tafasca et al.).
  • No estudo de Wallace (Java), o modelo alcançou uma correlação de Pearson de 0,45, comparado a 0,27 e 0,21 dos baselines (uma melhoria de 64% sobre o melhor baseline).
  • No estudo de Rodeghero (Java), alcançou 0,48 vs. 0,41 e 0,42 (melhoria de 16%).
  • No estudo de Smith (C), alcançou 0,25 vs. 0,04 e 0,04 (melhoria de 467%).
  • A similaridade do modelo com a referência humana agregada foi comparável, e em algumas métricas superior, à similaridade entre participantes humanos individuais, sugerindo que o modelo captura a estrutura de atenção de "consenso" obscurecida pela variabilidade individual.
• Estudo de Ablação (RQ2): A remoção da perda de correlação de Pearson resultou em menor desempenho em todas as métricas (Pearson, Spearman, Kendall, Cosseno), confirmando que o termo de correlação é essencial para aprender a classificação correta da atenção.
• Predição de Scanpath (RQ3): Utilizando o conjunto de dados de Bansal et al. para sumarização de código, o modelo superou o baseline original de Bansal e modelos comerciais (GPT-5 Nano e Claude-Haiku-4.5) em Distância de Levenshtein Normalizada (NLD), NDCG, Precisão e Recall. Notavelmente, o modelo previu scanpaths que se alinham mais proximamente com programadores humanos (ex: focando em corpos de métodos em vez de apenas assinaturas) em comparação com modelos comerciais que exibiam processos de pensamento "alienígenas".

Significância e Alegações
O artigo alega que um modelo de linguagem baseado em Transformer, quando ajustado com uma função de perda customizada incorporando dados de rastreamento ocular humano, pode prever efetivamente a atenção visual humana agregada em palavras de código fonte. Os autores enfatizam que o modelo atua como um estimador da estrutura de atenção agregada em vez de um substituto para um humano específico.

As principais alegações incluem:

1. Alinhamento: A atenção de máquina, quando guiada por dados humanos, pode mimetizar a distribuição da atenção humana em palavras de código com um nível de precisão comparável ao acordo inter-humano.
2. Compreensão de Tarefa: O desempenho aprimorado do modelo na predição de scanpath sugere que alinhar a atenção interna com padrões visuais humanos melhora a capacidade do modelo de lidar com tarefas que exigem a compreensão de processos de pensamento humano (ex: sumarização de código).
3. Limitações: Os autores observam modestamente que o modelo agrega a atenção ao longo do tempo, perdendo a dinâmica temporal e os padrões de regressão. Eles também alertam que o modelo não é um relato completo dos mecanismos de atenção humana e que os resultados podem não se generalizar para tarefas que exijam janelas de contexto maiores do que a capacidade do modelo (1.024 tokens) ou para linguagens/tarefas não representadas nos dados de treinamento.

O trabalho posiciona-se como um passo à frente na modelagem computacional da cognição do programador, oferecendo uma ferramenta para entender melhor quais informações os programadores precisam e como projetar interfaces que se alinhem com os processos cognitivos humanos.