Resumo Técnico: EYEMULATOR

Problema

Os atuais Modelos de Linguagem de Código (CodeLLMs) dependem da "atenção de máquina", um mecanismo estatístico que aprende a importância dos tokens por meio de correlações de dados e trata o contexto de forma uniforme com base na coocorrência. Em contraste, desenvolvedores humanos empregam estratégias cognitivas distintas caracterizadas pela atenção seletiva; eles fixam o olhar em elementos semanticamente críticos (ex: fluxo de controle, assinaturas de métodos) enquanto percorrem superficialmente o código estrutural (boilerplate). Métodos de adaptação existentes, como o ajuste de instrução (instruction tuning) ou a Geração Aumentada por Recuperação (RAG), melhoram a adesão à intenção do usuário ou fornecem contexto externo, mas falham em alterar fundamentalmente o mecanismo de atenção subjacente do modelo. Consequentemente, modelos de última geração frequentemente distribuem a atenção uniformemente entre lógica e boilerplate, perdendo o foco matizado e seletivo que caracteriza a compreensão de programas feita por especialistas.

Metodologia

O EYEMULATOR é um framework agnóstico ao modelo, projetado para injetar priors de atenção visual humana no ajuste fino (fine-tuning) de CodeLLMs sem exigir mudanças arquitetônicas ou pré-treinamento caro do zero. A abordagem opera em três estágios:

1. Transformação de Dados e Destilação de Artefatos:
   Utilizando o corpus EyeTrans (registros de rastreamento ocular de 120Hz de 27 programadores lendo/escrevendo Java), o sistema identifica fixações (pontos de olhar estáveis >100ms) e os mapeia para tokens folha da Árvore de Sintaxe Abstrata (AST). A partir disso, dois artefatos portáteis são destilados:

   • Priors de Saliência Semântica: Uma abordagem Bayesiana (usando distribuições Beta) modela a importância estática de tipos de tokens (ex: variáveis vs. palavras-chave) com base na densidade de fixação.
   • Modelos de Transição Sequencial: Estatísticas de bigramas e trigramas capturam o fluxo dinâmico da leitura especializada (ex: saltar de uma definição de variável para seu uso).

2. Geração de Pseudo-Caminhos de Varredura (Pseudo-Scan Paths):
   Para dados de treinamento padrão que carecem de rastreamento ocular, o EYEMULATOR sintetiza "pseudo-caminhos de varredura". Ele amostra uma razão de saliência e aloca cotas de atenção para classes de tokens com base nos priors destilados. Esses caminhos são construídos combinando greedymente (greedily) tokens mascarados em n-gramas válidos que satisfaçam restrições de extensão de linha, criando um sinal de treinamento que mimetiza a seletividade visual humana.

3. Ajuste Fino Informado pelo Olhar (Gaze-Informed Fine-Tuning):
   O modelo é ajustado via uma função de perda composta:

   • Ajuste Fino Supervisionado (SFT) Ponderado: A perda de entropia cruzada ao nível do token é reponderada. Os pesos combinam um termo de importância base, um termo de frequência inversa (para aumentar o peso de construtos raros) e a probabilidade de saliência semântica derivada dos priors.
   • Otimização de Preferência Direta (DPO) ao Nível do Token: O framework define uma trajetória "vencedora" como o pseudo-caminho de varredura gerado (alta saliência) e uma trajetória "perdedora" como o complemento (fundo de baixa saliência). Esta perda recompensa explicitamente o modelo por atribuir maior probabilidade aos tokens semanticamente salientes priorizados por humanos.

Principais Contribuições

1. Um Pipeline Portátil: Um método para converter traços brutos de olhar humano em priors reutilizáveis de saliência semântica e transição sequencial sobre tokens de código.
2. Objetivo Agnóstico ao Modelo: Um objetivo de ajuste fino que incorpora esses priors através de ponderação de tokens e alinhamento de preferência sem modificar a arquitetura base do CodeLLM.
3. Avaliação Abrangente: Uma avaliação através de seis backbones diversos (variando de 1B a 3B de parâmetros), três tarefas do CodeXGlue (completar, tradução, sumarização) e dois regimes de dados (poucos dados e dados completos).

Resultados

A avaliação demonstra que o EYEMULATOR produz ganhos positivos e de qualidade segura em todas as 36 células de modelo-tarefa-configuração avaliadas:

• Tarefas de Preservação de Estrutura: As melhorias mais significativas foram observadas em tarefas de completação de código e tradução de Java-para-C#. Por exemplo, o StarCoderBase-1B viu uma melhoria relativa de +34,4% em completação sob configurações de dados completos, e o DeepSeek-Coder-1.3B alcançou um ganho de +33,4%.
• Sumarização: Embora seja mais sensível à decodificação e ao comportamento do tokenizador, as tarefas de sumarização (Java-para-Inglês) mostraram ganhos positivos consistentes sob a métrica METEOR após ajuste direcionado (ex: +9,3% para Llama-3.2-1B).
• Robustez: Os ganhos foram consistentes em diferentes tamanhos de modelo e regimes de dados, com verificações de robustez baseadas em sementes (seeds) confirmando a estabilidade.
• Análise de Componentes: Estudos de ablação confirmaram que a saliência semântica e o fluxo de transição sequencial são complementares; remover qualquer um dos sinais reduziu consistentemente o desempenho. A análise de modo de sessão indicou que os priors derivados da leitura foram particularmente fortes para tradução, enquanto os priors derivados da escrita auxiliaram a completação de código.

Significância e Alegações

O artigo alega que o EYEMULATOR consegue preencher a lacuna entre a atenção estatística de máquina e o foco seletivo humano. Ao fundamentar o treinamento de CodeLLM em padrões visuais cognitivos, o método permite que os modelos processem código com uma saliência semântica que espelha a de um desenvolvedor.

Os autores enfatem que a significância deste trabalho reside em sua capacidade de melhorar o desempenho do modelo através de sinais modulares e agnósticos ao modelo, em vez de reformulações arquitetônicas. Os resultados sugerem que CodeLLMs compactos beneficiam-se significativamente quando a seletividade humana é destilada em priors de tempo de treinamento. O artigo postula que a atenção humana é útil não como um heurístico único, mas como um prior estruturado que combina o que os desenvolvedores inspecionam e como eles se movem através do código. Esta abordagem oferece um caminho para aumentar o embasamento semântico em CodeLLMs sem o custo computacional de treinar novas arquiteturas do zero.