EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

1. Problema e Motivação

A sumarização de código é uma tarefa crítica para a compreensão e manutenção de software, envolvendo a geração de descrições em linguagem natural a partir de código-fonte. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado progressos notáveis nessa área, aprendendo de vastos corpora de pares "código-resumo", existe uma lacuna: os modelos muitas vezes falham em capturar as informações nas quais os humanos realmente focam durante a compreensão do código.

Pesquisas anteriores em engenharia de software mostram que os padrões de atenção humana (medidos via rastreamento ocular ou eye-tracking) revelam como desenvolvedores alocam foco seletivamente em regiões semanticamente críticas, ignorando elementos contextuais periféricos. A questão central do artigo é: os sinais de atenção humana podem guiar e melhorar os LLMs na sumarização de código?

O desafio técnico reside em integrar esses sinais cognitivos esparsos (dados de eye-tracking de poucos desenvolvedores) em modelos massivos sem perturbar suas representações pré-treinadas ou exigir uma reengenharia completa da arquitetura.

---

2. Metodologia: EyeLayer

Os autores propõem o EyeLayer, um módulo de augmentação de atenção leve que incorpora padrões de gaze (olhar) humano como priores probabilísticos transferíveis para LLMs.

Arquitetura e Funcionamento

O EyeLayer não altera a arquitetura base do modelo, mas injeta-se em camadas intermediárias via hooks (ganchos), atuando como um sistema de recomendação para redistribuição de embeddings de código.

1. Modelagem Multimodal de Gaussiana (Multimodal Gaussian Mixture):

   • O sistema modela a atenção humana não como uma distribuição única, mas como uma mistura de múltiplas distribuições Gaussianas.
   • Para cada sequência de código, uma rede de gating (portaria) esparsa decide quantos modos (componentes Gaussianos) são necessários (tipicamente 1 a 3).
   • Cada modo $k$ é definido por parâmetros aprendidos:
     • $\mu_k$: O centro (localização semântica do foco).
     • $\sigma_k$: A dispersão (extensão contextual do foco).
   • Isso permite capturar tanto o foco intenso em regiões críticas quanto a atenção periférica.

2. Redistribuição de Atenção Causal (Causal-Aware Attention Redistribution):

   • Para modelos decoder-only (como LLaMA e Qwen), é crucial manter a dependência causal (direita para esquerda). O EyeLayer não altera as máscaras de atenção, mas aplica perturbações residuais nos estados ocultos ($H$).
   • Transformação de Baixo Rank: Gera perturbações compactas para evitar overfitting nos dados esparsos de eye-tracking.
   • Ponderação Guiada por Atenção: A perturbação é reponderada pela distribuição Gaussiana prevista, enfatizando regiões que alinham com o olhar humano.
   • Portão Adaptativo: Um mecanismo de highway gate controla a força da injeção de sinal humano, permitindo que o modelo adapte a influência dos priores cognitivos dinamicamente.

3. Estratégia de Treinamento Dual:

   • O modelo é treinado em duas tarefas simultâneas (ou intercaladas):
     • Tarefa Principal: Sumarização de código (perda de geração $L_{gen}$) usando o dataset CodeXGLUE.
     • Tarefa Auxiliar: Alinhamento de atenção (perda de alinhamento $L_{align}$) usando o corpus EyeTrans (dados de eye-tracking de 27 desenvolvedores).
   • Utiliza-se PCGrad (Projecting Conflicting Gradients) para resolver conflitos entre os gradientes das duas tarefas, garantindo que o sinal humano complemente, e não prejudique, o aprendizado principal.

4. Alinhamento de Dados:

   • Um pipeline de três estágios mapeia os nós da Árvore de Sintaxe Abstrata (AST) do corpus de eye-tracking para os subtokens do modelo, resolvendo discrepâncias de granularidade com >98% de precisão.

---

3. Contribuições Principais

1. Framework de Integração Cognitiva: Propõe uma ponte entre o comportamento de atenção humana e a formação de atenção em LLMs, utilizando dados de eye-tracking como priores probabilísticos transferíveis.
2. Design do Multimodal Gaussian EyeLayer: Desenvolve um módulo leve e inspirado em recomendações que redistribui embeddings de código através de misturas Gaussianas aprendíveis, desacoplando a redistribuição guiada pelo olhar dos pesos de atenção intrínsecos do modelo.
3. Validação Sistemática e Generalização: Demonstra que o método funciona consistentemente em cinco modelos diferentes (CodeBERT, LLaMA-3.2, Qwen3), cobrindo arquiteturas encoder-only e decoder-only, e em diferentes escalas (de 125M a 4B parâmetros).
4. Reprodutibilidade: Liberação do código e dos datasets para fomentar pesquisas futuras.

---

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark CodeXGLUE (subset Java) e comparados com baselines de Supervised Fine-Tuning (SFT) padrão.

• Desempenho Geral: O EyeLayer superou consistentemente as linhas de base em todas as métricas (BLEU-4, ROUGE-L, METEOR, BERTScore).
  • Ganhos Máximos: Até 13,17% de melhoria no BLEU-4 em alguns cenários.
  • Impacto por Tamanho do Modelo: Modelos menores (ex: LLaMA-1B, Qwen-1.7B) e modelos base (sem instrução) mostraram ganhos absolutos maiores, sugerindo que os priores cognitivos fornecem um sinal indutivo valioso quando a capacidade do modelo ou o aprendizado supervisionado são limitados.
• Posicionamento na Arquitetura (RQ2): A injeção do EyeLayer em camadas intermediárias-tardias (ex: camada 13 de 16 no LLaMA-1B) produziu os melhores resultados. Camadas muito iniciais (lexicais/sintáticas) ou muito tardias (geração) foram menos eficazes.
• Generalização (RQ3): O método funcionou bem no CodeBERT (arquitetura encoder-only), demonstrando que os padrões de atenção humana são invariantes à arquitetura e podem guiar o foco semântico tanto em processamento bidirecional quanto autoregressivo.
• Ablação Multimodal (RQ4): A versão Multimodal (múltiplas Gaussianas) superou significativamente uma versão simplificada de Modo Único. Isso confirma que a atenção humana durante a leitura de código é complexa e não pode ser capturada por uma única região de foco; a capacidade de ativar múltiplos modos adaptativamente é crucial.

Exemplo Qualitativo: Em um caso de teste, a linha de base gerou uma descrição superficial ("Tenta criar uma assinatura escalar..."), enquanto o EyeLayer, ao focar nas declarações de método e variáveis (regiões onde humanos olham mais), gerou uma descrição comportamental precisa ("Assina ao publicador usando a função mapeadora como manipulador de assinatura").

---

5. Significado e Implicações

• Alinhamento Cognitivo: O trabalho demonstra que dados cognitivos esparsos (de apenas 27 desenvolvedores) podem melhorar modelos massivos, provando que a expertise humana contém sinais complementares que os LLMs não aprendem apenas com texto.
• Interpretabilidade e Confiança: Ao forçar o modelo a atender a regiões semanticamente críticas (como fazem os humanos), o EyeLayer pode levar a sistemas de IA mais interpretáveis e confiáveis para desenvolvedores.
• Escalabilidade: A abordagem é computacionalmente eficiente (módulo leve, baixo rank) e não requer re-treinamento massivo dos modelos base, tornando-a viável para integração em ferramentas de engenharia de software reais.
• Futuro: Abre caminho para o uso de sinais cognitivos mais ricos (como padrões de sacadas e mudanças de foco) e a aplicação desses priores em outras tarefas de engenharia de software, como localização de bugs e revisão de código.

Em resumo, o EyeLayer valida a hipótese de que integrar padrões de atenção humana via modelos probabilísticos leves é uma estratégia eficaz para elevar a qualidade semântica e a fidelidade da sumarização de código automatizada.