Resumo Técnico: Alinhamento de Código Livre de Recompensa a partir de LLMs Pré-treinados ou Ajustados (Fine-Tuned)

Declaração do Problema

Embora o alinhamento de Grandes Modelos de Linguagem (LLMs) tenha sido extensamente estudado para a geração de texto geral (por exemplo, mitigação de toxicidade ou viés), sua aplicação à geração de código permanece subexplorada. A geração de código apresenta desafios únicos onde o alinhamento deve abordar tanto requisitos funcionais (código executável, correto) quanto requisitos não funcionais (legibilidade, segurança, manutenibilidade e adesão às melhores práticas de engenharia de software).

Praticantes enfrentam duas questões críticas e não resolvidas ao aplicar o alinhamento a LLMs de código:

1. Seleção de Caminho: O alinhamento deve ser aplicado à versão pré-treinada base de um LLM ou à sua versão ajustada por instrução (fine-tuned)?
2. Priorização de Objetivos: O alinhamento deve priorizar a correção funcional, a qualidade não funcional ou ambos?

A literatura existente sugere um "dilema estabilidade-plasticidade" no aprendizado contínuo, onde os modelos devem equilibrar a retenção do conhecimento existente (estabilidade) com a aquisição de novas capacidades (plasticidade). Não está claro como esse trade-off se manifesta no alinhamento de código, particularmente se começar de uma base pré-treinada (alta plasticidade, baixo desempenho específico de tarefa) ou de uma base ajustada (alta estabilidade, alto desempenho absoluto) produz melhores resultados para a geração de código.

Metodologia

Os autores conduziram um estudo empírico envolvendo cinco LLMs de código aberto de última geração (SOTA) e suas variantes ajustadas por instrução:

• Modelos: Meta-Llama-3-8B, Qwen2.5-Coder-7B, CodeLlama-7b, deepseek-coder-1.3b e deepseek-coder-7b.
• Técnicas de Alinhamento: Duas técnicas livres de recompensa foram empregadas para eliminar a necessidade de modelos de recompensa separados:
  • Direct Preference Optimization (DPO): Reformula o alinhamento como um problema de classificação para distinguir respostas preferidas vs. rejeitadas.
  • BoNBoN (Best-of-N BoN): Treina modelos para mimetizar a distribuição da melhor amostragem de N (best-of-N) sem os custos de amostragem em tempo de inferência.
• Geração de Dados: Datasets de preferência foram gerados usando um pipeline SelfCodeAlign modificado. Para cada modelo, o pipeline gerou pares de respostas "escolhidas" (passando) e "rejeitadas" (falhando). Crucialmente, os datasets foram criados separadamente para requisitos funcionais e não funcionais ao modificar os prompts para visar dimensões de qualidade específicas.
• Caminhos de Treinamento: Dois caminhos distintos foram avaliados para cada modelo:
  1. Pretrained-to-Aligned (PTA): Partindo do modelo pré-treinado base.
  2. Finetuned-to-Aligned (FTA): Partindo do modelo ajustado por instrução.
  • Ambos os caminhos incluíram uma etapa de Supervised Fine-Tuning (SFT) nas respostas escolhidas, seguida pela etapa de alinhamento (DPO ou BoNBoN).
• Avaliação:
  • Requisitos Funcionais: Avaliados usando quatro benchmarks SOTA: HumanEval+, MBPP+, EvalPerf e EvoEval (medindo Pass@1).
  • Requisitos Não Funcionais: Avaliados usando o benchmark CODAL, que classifica o código em cinco dimensões (Seguimento de Instrução, Legibilidade, Complexidade/Eficiência, Adesão de Estilo, Explicação de Código) em uma escala de 0 a 10.

Contribuições Principais e Descobertas

1. Trade-offs de Caminho: Plasticidade vs. Estabilidade

O estudo revela um trade-off distinto entre os dois caminhos, alinhando-se ao dilema estabilidade-plasticidade:

• Pretrained-to-Aligned (PTA): Exibe alta plasticidade. Estes modelos alcançam melhorias relativas significativamente maiores (ex: CodeLlama-7b viu uma melhoria de +75% em pontuações não funcionais; Llama3-8b viu +42% em funcionais). No entanto, eles partem de baselines mais fracos e, mesmo após o alinhamento, muitas vezes permanecem inferiores em desempenho absoluto em relação aos seus equivalentes ajustados.
• Finetuned-to-Aligned (FTA): Exibe alta estabilidade. Estes modelos geralmente mantêm um desempenho absoluto mais alto, mas mostram menores melhorias relativas ou, em alguns casos, degradação catastrófica (ex: CodeLlama-7b-Instruct degradou cerca de ~40% em tarefas funcionais após o alinhamento).
• Conclusão: O PTA é superior para maximizar ganhos relativos a partir de uma base baixa, enquanto o FTA é preferível para manter um desempenho absoluto alto e estável, embora carregue um risco maior de degradação.

2. Alinhamento Funcional vs. Não Funcional

• Alinhamento Não Funcional: Demonstra melhorias consistentes e confiáveis em ambos os caminhos e tipos de modelos. Modelos especializados em código (ex: CodeLlama, deepseek-coder) mostraram ganhos substanciais (até +75%) em legibilidade, estilo e segurança.
• Alinhamento Funcional: Mostra resultados altamente variáveis. Enquanto alguns modelos (ex: Llama3-8b) melhoraram significativamente, outros sofreram quedas severas de desempenho. O alinhamento funcional é altamente dependente do modelo e carrega um risco significativo de falha, particularmente no caminho FTA.

3. Especificidade de Modelo e Técnica

• Preferências de Família de Modelos: A eficácia do alinhamento não é universal. Modelos Meta-Llama geralmente performaram melhor com DPO, enquanto modelos deepseek mostraram melhores resultados com BoNBoN.
• Tamanho do Modelo: Variantes maiores dentro de uma família (ex: 7B vs. 1.3B) demonstraram uma responsividade ao alinhamento significativamente melhor.
• Indicadores de Falha Precoce: A degradação de desempenho durante a fase inicial de SFT foi identificada como um forte preditor de falha final de alinhamento (Observação 8).

4. Recomendações

Com base na evidência empírica, os autores propõem nove recomendações para praticantes:

1. Seleção de Caminho: Escolha PTA para maximizar a magnitude da melhoria; escolha FTA para um desempenho absoluto estável e alto.
2. Priorização: Priorize objetivos de alinhamento não funcionais primeiro, pois rendem resultados mais previsíveis e consistentes.
3. Seleção de Modelo: Prefira modelos especializados em código e contagens de parâmetros maiores (≥7B).
4. Limiares: Estabeleça limiares mínimos de desempenho base antes de tentar o alinhamento; foque em modelos sub-alinhados.
5. Seleção de Técnica: Aplique preferências específicas de família de modelos (ex: DPO para Llama, BoNBoN para deepseek), mas valide empiricamente.
6. Gestão de Risco: Monitore o desempenho na fase de SFT para detectar sinais precoces de falha e use diversos benchmarks para identificar trade-offs de capacidade.

Significância e Alegações

O artigo afirma fornecer a primeira comparação abrangente dos caminhos pretrained-to-aligned versus finetuned-to-aligned especificamente para geração de código, abordando uma lacuna na literatura existente que foca majoritariamente no alinhamento de texto geral.

Os autores enfatizam que o alinhamento de código se comporta de forma diferente do alinhamento textual:

• Ao contrário do alinhamento de texto, onde padrões de eficácia são frequentemente generalizáveis, o alinhamento de código é dependente do tipo de tarefa e específico da família de modelos.
• O estudo desafia a suposição de que começar de um modelo ajustado por instrução é sempre otimal, demonstrando que, embora o FTA ofere o baseline absoluto mais alto, ele é mais propenso ao esquecimento catastrófico e à degradação ao aplicar técnicas de alinhamento livres de recompensa.
• As descobertas sugerem que para LLMs de código, os requisitos não funcionais (segurança, estilo, manutenibilidade) são mais confiavelmente melhorados através do alinhamento do que a corretude funcional, que permanece altamente sensível ao estado inicial do modelo e à arquitetura.

O artigo conclui validando essas descobertas através de uma pesquisa com 30 profissionais de ML, que confirmaram que os trade-offs entre melhoria relativa (PTA) e estabilidade absoluta (FTA) são pontos de decisão críticos em fluxos de trabalho de engenharia de software no mundo real.