Resumo Técnico: Otimização de Prompt para Geração de Código por LLMs via Aprendizado por Reforço

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado a engenharia de software automatizada, particularmente na geração de código a partir de linguagem natural, sua saída frequentemente contém defeitos funcionais e lógicos. Esses erros limitam a implantação prática e tornam necessária a depuração manual. Embora técnicas de engenharia de prompt estática (por exemplo, Cadeia de Pensamento) possam mitigar problemas comuns, elas carecem de adaptabilidade quando é necessária refinamento iterativo baseado em feedback intermediário. Abordagens adaptativas existentes, como algoritmos evolutivos (por exemplo, EPiC) ou frameworks de aprendizado por reforço (RL) (por exemplo, Reflexion), frequentemente tratam modificações lexicais e semânticas de prompt de forma isolada ou dependem de sinais binários esparsos de correção, falhando em aproveitar informações ricas de correção parcial ou integrar múltiplas dimensões de transformação de forma coesa.

Metodologia

Os autores propõem um framework baseado em aprendizado por reforço que modela o refinamento de prompt como um problema de tomada de decisão sequencial. Os componentes centrais da metodologia incluem:

1. Arquitetura do Framework

O sistema utiliza um agente de Otimização de Política Próxima (PPO) para melhorar iterativamente prompts. O processo opera dentro de um ambiente compatível com Gymnasium personalizado onde:

• Estado: O prompt atual é codificado como um embedding semântico de 384 dimensões usando o transformador de sentenças MiniLM. Nota-se que a representação do estado é apenas do prompt; ela não codifica o código gerado, exceções de tempo de execução ou rastreamentos de execução.
• Espaço de Ação: O agente seleciona de um espaço de ação híbrido composto por três estratégias:
  1. Geração Direta: Preservar o prompt atual (explorando a estocasticidade de decodificação).
  2. Mutação Lexical: Uma abordagem inspirada em algoritmos genéticos envolvendo inserção, exclusão, substituição e cruzamento em nível de token, guiada pelo desempenho dos casos de teste.
  3. Reescrita Semântica: Reestruturação e esclarecimento de alto nível do prompt usando um modelo pré-treinado, seguindo um paradigma de autorreflexão.
• Loop do Ambiente: O agente observa o prompt, amostra uma ação, aplica a transformação, passa o novo prompt para um modelo de geração de código congelado e avalia a saída contra testes unitários.

2. Estrutura de Recompensa

Uma inovação chave é o uso de uma função de recompensa moldada derivada do feedback de testes unitários, em vez de depender apenas de sinais binários de sucesso/fracasso. A recompensa $R_{i,t}$ é definida como:

• $1.0$ se a taxa de aprovação $\rho_{i,t} = 1.0$ (todos os testes passaram).
• $\rho_{i,t}$ se $0 < \rho_{i,t} < 1.0$ (correção parcial).
• $-1$ se $\rho_{i,t} = 0$ (nenhum teste passou).
• $-2$ se a execução falhar (erros de sintaxe ou exceções de tempo de execução).

Este design fornece sinais de aprendizado mais densos, permitindo que o agente receba crédito por melhorias incrementais e penalizando falhas de execução mais severamente para desencorajar código sintaticamente inválido.

3. Métricas de Avaliação

O framework é avaliado usando duas métricas:

• Pass@1 Estrito: A métrica principal, contando uma tarefa como bem-sucedida apenas se uma solução passar em todos os testes em qualquer etapa.
• SoftPass@1: Uma métrica auxiliar que mede a probabilidade cumulativa de passar nos testes ao longo das etapas de refinamento, usada para analisar o progresso intermediário.

Contribuições Principais

O artigo descreve quatro contribuições principais:

1. Formulação Sequencial: A otimização de prompt para geração de código é formulada como um problema de tomada de decisão sequencial e implementada como um ambiente de RL baseado em PPO.
2. Espaço de Ação Híbrido: A definição de um espaço de ação combinado integrando geração direta, mutação lexical genética e reescrita semântica para refinamento adaptativo multi-etapa.
3. Recompensas Moldadas: A introdução de uma função de recompensa utilizando correção parcial de casos de teste para fornecer sinais de aprendizado mais densos do que o sucesso binário isolado.
4. Avaliação Abrangente: Avaliação extensa nos benchmarks MBPP+, HumanEval+ e APPS usando CodeT5+, CodeLLaMA e DeepSeek-Coder como backbones congelados, comparando com geração direta, EPiC, Reflexion e uma linha de base Random-Hybrid.

Resultados Experimentais

O framework foi testado em 500 tarefas do conjunto de testes MBPP+, bem como HumanEval+ e APPS.

• Ganhos de Desempenho: No MBPP+, o agente PPO alcançou pontuações Pass@1 estritas de 57,58% (CodeT5+), 64,80% (CodeLLaMA) e 85,50% (DeepSeek-Coder). Esses resultados superam EPiC, Reflexion e uma linha de base Random-Hybrid em todos os modelos backbone.
• Comparação com Linhas de Base:
  • O agente PPO superou significativamente a linha de base Random-Hybrid (que usa o mesmo espaço de ação, mas seleciona ações uniformemente ao acaso). Por exemplo, no MBPP+ com CodeT5+, o PPO melhorou o Pass@1 estrito em 26,46 pontos percentuais sobre o Random-Hybrid. Isso indica que os ganhos de desempenho decorrem do agendamento de ações aprendido e não meramente da disponibilidade de múltiplos tipos de transformação.
  • O PPO também superou EPiC e Reflexion, demonstrando que coordenar transformações lexicais e semânticas via uma política aprendida é mais eficaz do que busca evolutiva isolada ou métodos baseados em reflexão.
• Impacto do Moldamento de Recompensa: Experimentos comparando recompensas binárias esparsas contra recompensas moldadas mostraram que estas últimas levam a uma convergência mais rápida e maior estabilidade. Recompensas binárias resultaram em aprendizado mais lento e maior instabilidade, confirmando que sinais de correção parcial são essenciais para refinamento multi-etapa eficaz.
• Significância Estatística: Testes de McNemar no conjunto de testes MBPP+ confirmaram melhorias estatisticamente significativas ($p < 0.001$) sobre EPiC e Reflexion para Pass@1 estrito, com tamanhos de efeito médios.

Significância e Alegações

O artigo alega que sua significância principal reside em demonstrar que aprendizado por reforço com recompensas moldadas e orientadas a testes pode melhorar a correção funcional da geração de código baseada em LLMs.

As principais conclusões enfatizadas pelos autores incluem:

• Coordenação Adaptativa: A capacidade do agente de coordenar dinamicamente entre mutação lexical (exploração local) e reescrita semântica (reestruturação global) com base em feedback intermediário é crucial para o sucesso.
• Valor de Sinais Parciais: Utilizar correção parcial como sinal de aprendizado é superior ao sucesso/fracasso binário para treinar agentes em tarefas de refinamento multi-etapa.
• Robustez: O framework mostra melhorias consistentes em diferentes modelos backbone e dificuldades variáveis de tarefas (do MBPP+ ao APPS mais complexo), sugerindo robustez a variações arquitetônicas.

Os autores mantêm uma postura modesta, reconhecendo limitações como a representação de estado apenas do prompt (excluindo código e rastreamentos), a dependência de modelos congelados e o custo computacional de geração e execução repetidas. Eles sugerem que trabalhos futuros poderiam envolver representações de estado conscientes de rastreamento e integração em ferramentas de desenvolvimento práticas.