Resumo Técnico: Interpretabilidade Baseada em Protótipos para Geração de Código em LLMs

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente nas capacidades de geração de código, sua dependência de soluções automatizadas introduz riscos de código suboptimal ou inseguro. Existe uma lacuna crítica na interpretabilidade desses modelos especificamente para tarefas de geração de código. Os métodos de interpretabilidade existentes são frequentemente genéricos ou computacionalmente proibitivos quando aplicados ao código. Por exemplo, métodos como o ASTrust exigem o armazenamento de distribuições de probabilidade sobre todo o vocabulário em cada etapa de geração, levando a uma baixa escalabilidade com o comprimento da saída. Por outro lado, métodos como o Code-Q exigem amostragem repetida, introduzindo um overhead significativo de inferência. Além disso, a seleção de demonstrações de Aprendizado em Contexto (ICL - In-Context Learning) é conhecida por impactar criticamente o desempenho do modelo; exemplos mal escolhidos podem degradar o desempenho abaixo do modelo base, embora estratégias de amostragem eficientes e fundamentadas permaneçam pouco exploradas.

Metodologia

Os autores propõem o Protocode, um framework que unifica a amostragem de ICL baseada em protótipos com a atribuição fundamentada em Árvores de Sintaxe Abstrata (AST) para melhorar tanto o desempenho do modelo quanto a interpretabilidade. A metodologia consiste em duas etapas primárias:

1. Amostragem de Protótipos via Aprendizado de Variedade Conjunta e de Métrica

Em vez de usar resumos estatísticos (ex: médias de classe) que falham em capturar a geometria intrínseca dos dados, os autores adotam uma perspectiva de variedade (manifold). Eles assumem que representações de alta dimensão residem em variedades de baixa dimensão.

• Construção da Variedade: O método emprega aprendizado de variedade linear por partes. Ele decompõe variedades não lineares em regiões localmente lineares ao construir subvariedades lineares de $m$-dimensões ao redor de pontos de ancoragem. Isso é alcançado através da adição iterativa de vizinhos próximos e verificação da qualidade de reconstrução via Análise de Componentes Principais (PCA).
• Aprendizado de Métrica: Para garantir que os protótipos sejam discriminativos entre classes, os autores integram o Loss de Proxy-Anchor. Isso introduz vetores de proxy em nível de classe treináveis para otimizar a coesão intra-classe e a separação inter-classe.
• Otimização Conjunta: Uma rede neural $h_\theta$ é treinada para otimizar conjuntamente o objetivo de aprendizado de variedade (preservando a estrutura geométrica local) e o Loss de Proxy-Anchor (impondo separação de classes). Após o treinamento, os vetores de proxy atualizados por momentum são mapeados para seus instâncias de treinamento mais próximas para servirem como as demonstrações de ICL (protótipos) finais.

2. Atribuição de Gradiente de Protótipo para Interpretabilidade Fundamentada em AST

Para lidar com o overhead de memória dos métodos baseados em probabilidade de token, os autores propõem um mecanismo de atribuição que evita o armazenamento de distribuições completas do vocabulário.

• Mecanismo de Atribuição: A influência é estimada usando o gradiente da similaridade entre os embeddings dos protólos amostrados e os embeddings dos tokens do código gerado. Especificamente, o produto escalar entre o vetor médio do protótipo e a representação latente de um token é computado, e seu gradiente em relação ao embedding do token serve como um score de confiança.
• Análise de AST: Esses scores de confiança de nível de token são propagados através da Árvore de Sintaxe Abstrata (AST). O processo alinha os tokens a nós terminais da AST, que são então agregados hierarquicamente em nós não-terminais e, finalmente, agrupados em oito Categorias Sintáticas interpretáveis por humanos (ex: Decisões, Estruturas de Dados, Iterações, Tratamento de Exceções). Isso permite interpretabilidade tanto local (nível de nó) quanto global (nível de categoria).

Principais Contribuições

• Framework Unificado: O artigo afirma ser o primeiro a unificar a amostragem de ICL baseada em protótipos com a atribuição fundamentada em AST para interpretabilidade de código.
• Estratégia de Amostragem Eficiente: A abordagem proposta de aprendizado de variedade e métrica conjunta amostra demonstrações de ICL que são tanto geometricamente fiéis à estrutura local dos dados quanto semanticamente discriminativas, evitando os custos computacionais de amostragem repetida ou armazenamento de probabilidade total do vocabulário.
• Atribuição com Eficiência de Memória: Ao utilizar a atribuição de gradiente de protótipo em vez de probabilidades de token, o método permite o mapeamento de confiança consciente da sintaxe sem o overhead de memória que escala mal com o comprimento da saída.
• Explicações Fundamentadas em Sintaxe: O framework fornece um sistema de explicação post-hoc que segmenta o código gerado em regiões sintáticas interpretáveis, identificando quais partes do código são mais influenciadas pelas demonstrações selecionadas.

Resultados Experimentais

Os autores avaliaram seu método nos conjuntos de teste MBPP e MBPP+ utilizando seis LLMs, incluindo modelos genéricos (Qwen3, Llama3.2, Falcon3) e modelos especializados em código (Starcoder, Qwen2.5-Coder, CodeLlama).

• Desempenho: O método baseado em protótipos superou consistentemente o modelo base (sem ICL) e outras estratégias de amostragem (baseadas em diversidade, similaridade e MBPP few-shot) na maioria dos modelos na métrica pass@10. Por exemplo, no dataset MBPP, o método proposto alcançou um pass@10 de 0.122 para o CodeLlama-7B, comparado a 0.116 para o modelo base.
• Sensibilidade às Demonstrações: Os resultados destacaram que modelos de geração de código são altamente sensíveis à qualidade das demonstrações de ICL. Demonstrações mal escolhidas (ex: aquelas de amostragem baseada em similaridade ou diversidade em certos contextos) impactaram negativamente o desempenho, por vezes resultando em resultados inferiores ao modelo base.
• Insights da Análise de AST: A análise revelou padrões distintos de confiabilidade entre as categorias sintáticas. Os modelos geralmente mostraram alta confiança em Escopo (Scope), Estruturas de Dados e Funções. Por outro lado, o Tratamento de Exceções consistentemente recebeu os menores scores de confiança em todos os modelos, sugerindo uma limitação sistêmica na geração de lógica robusta de tratamento de erros.

Significância e Alegações

O artigo enfatiza que estratégias de amostragem eficientes para ICL não são meramente opcionais, mas críticas para o desempenho do modelo. Os autores afirmam que sua abordagem demonstra que protótipos de alta qualidade e geometricamente fiéis fazem mais do que apenas melhorar a precisão; eles também aumentam a interpretabilidade do processo de geração. Ao vincular regiões sintáticas específicas do código às demonstrações amostradas, desenvolvedores podem entender melhor o "porquê" por trás da saída de um modelo.

Os autores mantêm a modéstia quanto ao escopo de seu trabalho, observando que os protótipos foram amostrados exclusivamente do dataset Magicoder-OSS-Instruct. Eles sugerem que, embora seu método sirva como uma métrica global para classificar a qualidade de um dataset em relação à eficácia do protótipo, trabalhos futuros poderiam estender isso para datasets mais amplos. Adicionalmente, propõem que o framework poderia ser estendido em direção à "interpretabilidade pre-hoc" por design, potencialmente usando o direcionamento de protótipos (prototype steering) para influenciar o comportamento do modelo, embora isso permaneça uma direção futura e não uma implementação atual.