Towards the Readability of LLM-Generated Codes through Multitask Representation Engineering

Resumo Técnico: Em Direção à Legibilidade de Códigos Gerados por LLMs através de Engenharia de Representação Multitarefa

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente na geração de código, as pesquisas existentes concentram-se predominantemente em garantir a corretude do código (fidelidade funcional), frequentemente negligenciando a legibilidade (facilidade de compreensão e manutenção). A legibilidade do código é inerentemente subjetiva, variando entre desenvolvedores conforme a experiência e preferências, e é tipicamente avaliada por meio de métricas como densidade de comentários, convenções de nomenclatura e complexidade ciclomática. Os métodos atuais para melhorar a legibilidade, como a engenharia de prompt, carecem de estabilidade entre modelos e tarefas, enquanto o ajuste fino de todos os parâmetros (full-parameter fine-tuning) é computacionalmente caro e exige muitos dados. Além disso, as abordagens existentes de Engenharia de Representação (RepE) visam primariamente o controle de tarefa única, falhando em abordar o desafio de coordenar múltiplas métricas de legibilidade potencialmente conflitantes simultaneamente. Uma lacuna crítica permanece na compreensão e no gerenciamento do compromisso (trade-off) entre o aumento da legibilidade e a preservação da corretude do código ao aplicar o controle direcionado.

Metodologia
Os autores propõem o MRepE (Engenharia de Representação Multitarefa), um framework projetado para melhorar a legibilidade de códigos gerados por LLMs através de vetores de direção multitarefa sem atualizar os pesos do modelo. A metodologia consiste em três estágios primários:

1. Preparação de Dados: O framework constrói conjuntos de dados contrastivos para três métricas específicas de legibilidade: densidade de comentários (CD), convenções de nomenclatura (NC) e complexidade ciclomática (CC). Para cada métrica, pares de prompts são criados onde um exemplo satisfaz a métrica (alta legibilidade) e o outro não (baixa legibilidade). As representações dos estados ocultos do modelo para esses pares são computadas, e os vetores de diferença são centrados na média para isolar as mudanças de representação associadas a cada métrica.
2. Extração de Vetores de Direção (MOC-JPCA): Para abordar a interferência que ocorre ao extrair e injetar vetores de direção de forma independente para múltiplas tarefas, os autores introduzem o algoritmo MOC-JPCA (Análise de Componentes Principais Conjunta com Restrições Ortogonais Multidimensionais). Diferente da PCA padrão, a MOC-JPCA estima conjuntamente o primeiro componente principal para cada métrica sob a restrição de que todos os vetores de direção resultantes sejam pairwise ortogonais. Isso é alcançado otimizando uma soma ponderada de variâncias projetadas em uma variedade de Stiefel, garantindo que as direções de direção para CD, NC e CC sejam geometricamente desmembradas e não interfiram mutuamente. O algoritmo é provado como convergente para um ponto estacionário de primeira ordem.
3. Injeção de Vetores de Direção: Durante a inferência, os vetores ortogonais extraídos são injetados em camadas ocultas selecionadas do LLM. A injeção é aditiva, modificando o estado oculto $h^{(l)}$ por uma soma ponderada dos vetores de direção ($v^{(l)}_k = c_k \cdot d^{(l)}_k$), onde $c_k$ representa o coeficiente de força de direção. Isso permite o ajuste dinâmico do compromisso entre diferentes dimensões de legibilidade e a preservação da corretude.

Análise Teórica
O artigo fornece um framework teórico para quantificar o impacto da direção multitarefa:

• Melhoria da Legibilidade (Teorema 2): Os autores estabelecem um limite inferior para a melhoria na legibilidade do código. Eles provam que, à medida que os coeficientes de direção aumentam, a probabilidade de o modelo gerar respostas positivas para consultas relacionadas à legibilidade é garantidamente aumentada, limitada por uma função da força de direção e do desempenho inicial do modelo.
• Compromisso de Corretude (Teorema 3): Inversamente, os autores derivam um limite superior para o impacto negativo na corretude do código. O teorema caracteriza como a injeção de vetores de direção de legibilidade influencia a capacidade do modelo de identificar código correto, demonstrando que a degradação na corretude é limitada e pode ser controlada pelo magnitude dos coeficientes de direção.

Resultados Experimentais
O framework foi avaliado em três modelos de base: Deepseek R1 14b, Qwen2.5-Coder 14b Instruct e CodeLlama 13b Instruct, utilizando um conjunto de dados MBPP estendido.

• Desempenho de Legibilidade: Experimentos demonstraram um aumento significativo e estável na probabilidade de os modelos fornecerem respostas positivas a consultas relacionadas à legibilidade (CD, NC, CC) conforme os coefões de direção aumentavam. Os resultados empíricos alinharam-se estreitamente com os limites inferiores teóricos previstos pelo Teorema 2.
• Impacto na Corretude: À medida que a força de direção aumentou, o desempenho dos modelos em consultas de corretude de código mostrou uma tendência de declínio. No entanto, esse declínio foi contido dentro dos limites superiores teóricos estabelecidos pelo Teorema 3.
• Otimização de Compromisso (Trade-off): O estudo identificou combinações específicas de coeficientes que alcançaram um equilíbrio favorável. Por exemplo, com o Deepseek R1 14b, uma configuração específica melhorou significativamente a legibilidade reduzindo a corretude em apenas 0,79%. Compromissos controláveis semelhantes foram observados para os outros modelos, validando a capacidade de ajustar o sistema para necessidades de aplicação específicas.

Contribuições Principais e Significância
O artigo reivindica as seguintes contribuições:

1. Framework MRepE: Um novo framework de direção multitarefa que permite o controle coordenado sobre múltiplas métricas de legibilidade de código (densidade de comentários, convenções de nomenclatura, complexidade ciclomática) sem retreinar o modelo.
2. Algoritmo MOC-JPCA: Um novo algoritmo para extração de vetores de direção que impõe ortogonalidade multidimensional, suprimindo efetivamente a interferência mútua entre diferentes métricas de legibilidade e fornecendo bases de direção estáveis e complementares.
3. Caracterização Teórica: Uma análise teórica que quantifica o compromisso entre a legibilidade do código e a corretude, fornecendo limites inferiores para ganhos de legibilidade e limites superiores para perdas de corretude.
4. Validação Empírica: Experimentos abrangentes em múltiplos LLMs demonstrando que o MRepE pode consistentemente melhorar a legibilidade enquanto limita a degradação da corretude a níveis aceitáveis.

A significância deste trabalho reside na sua mudança de um controle de tarefa única para uma abordagem multitarefa para a qualidade do código, abordando a natureza subjetiva e multidimensional da legibilidade. Ao fornecer um método leve e de baixa dependência de dados (RepE) com garantias teóricas sobre o compromisso entre legibilidade e corretude, os autores oferecem um mecanismo prático para desenvolvedores moldarem o código gerado por LLM de acordo com preferências humanas específicas e requisitos de manutenção sem sacrificar a confiabilidade funcional.