Resumo Técnico: Em Direção à Correção Funcional de Modelos de Código com Geração Seletiva

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram um desempenho significativo em tarefas de geração de código; no entanto, sua aplicabilidade em sistemas de missão crítica é dificultada pela "alucinação de código", onde o código gerado falha em satisfazer as especificações funcionais desejadas. Um gargalo crítico na mitigação deste problema é a dificuldade de identificar a correção funcional do código gerado. Diferente da linguagem natural, onde a implicação semântica pode ser anotada por humanos, o código possui uma estrutura complexa e não natural que torna a verificação manual de equivalência funcional um desafio. Os benchmarks existentes frequentemente dependem de testes unitários limitados e curados manualmente, que podem não cobrir camções de execução suficientes para garantir a correção. Além disso, os métodos atuais para controlar a alucinação focam em melhorar o desempenho do modelo via ajuste fino (fine-tuning) ou ranqueamento, carecendo de mecanismos diretos e teoricamente fundamentados para controlar a taxa de saídas falsas durante a inferência.

Metodologia

Os autores propõem um framework para Geração de Código Seletiva que controla teoricamente a taxa de alucinação usando uma métrica de Taxa de Descoberta Falsa com Implicação de Código (FDR-CE). A metodologia consiste em três componentes principais:

1. $\alpha$-Implicação de Código e Fuzzing

Para abordar a dificuldade de definir a correção funcional, o artigo redefine a implicação para código utilizando a natureza executável dos programas.

• $\alpha$-Implicação de Código: Em vez de exigir equivalência exata, os autores definem que um trecho de código $\hat{y}$ é $\alpha$-implicado por um gerador de testes unitários $F(x)$ se a probabilidade de $\hat{y}$ passar nos testes for de pelo menos $1-\alpha$. Isso permite uma medida probabilística de correção funcional.
• FuzzEval: Para gerar os testes unitários necessários de forma automática e rigorosa, os autores empregam fuzzing, uma técnica de análise dinâmica de código. Ao amostrar e mutar sementes de entrada aleatoriamente, o fuzzing explora uma ampla gama de caminhos de execução para gerar pares de entrada-saída. Este processo, denominado FuzzEval, serve a dois propósitos:
  • Aprendizado: Gerar um grande conjunto de testes unitários para estimar o conjunto de implicação para o gerador seletivo.
  • Avaliação: Fornecer um benchmark de avaliação mais rigoroso do que os testes estáticos curados manualmente.

2. Framework de Geração Seletiva

O sistema introduz um gerador seletivo $\hat{S}(x)$ que atua como um pós-processador para um gerador de código base $G(x)$.

• Mecanismo de Abstenção: Para um determinado prompt $x$, o sistema calcula uma pontuação $f(x, G(x))$ (por exemplo, log-probabilidade normalizada pelo comprimento). Se a pontuação exceder um limiar calibrado $\tau$, o código é retornado; caso contrário, o sistema se abstém (retorna "Não sei").
• Controle de Risco: O objetivo é garantir que a probabilidade de o código selecionado ser funcionalmente incorreto (ou seja, não ser $\alpha$-implicado) permaneça abaixo de um nível desejado $\epsilon_S$. Isso é formalizado como o controle do FDR-CE:
  $$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$$
  onde $E_\alpha(x)$ é o conjunto de trechos de código que satisfazem a condição de $\alpha$-implicação.

3. Garantias Teóricas e Algoritmo (ASCG)

Os autores propõem o algoritmo de aprendizado ASCG (Algoritmo para Geração de Código Seletiva).

• Estimativa: Como o verdadeiro conjunto de implicação $E_\alpha$ é desconhecido, o algoritmo utiliza um limite inferior da cauda binomial $\hat{L}$ derivado dos testes unitários gerados para estimar o conjunto de implicação $\hat{E}_{\alpha, \epsilon_E}$.
• Calibração: Usando um conjunto de calibração, o algoritmo busca o limiar $\tau$ ideal que minimize o limiar (maximizando a eficiência de seleção) enquanto garante que o limite superior do FDR-CE não exceda o alvo $\epsilon_S$.
• Garantia: O Teorema 4.3 fornece uma garantia teórica de que o gerador seletivo aprendido satisfaz a restrição de FDR-CE desejada com alta probabilidade ($1-\delta_S$), mesmo sem rótulos de implicação anotados por humanos.

Principais Contribuições

1. Geração Seletiva para Código: O artigo estende o conceito de predição seletiva (previamente aplicado à linguagem natural) para a geração de código, introduzindo um mecanismo para controlar as taxas de alucinação via abstenção.
2. Paradigma FuzzEval: Propõe o uso de ferramentas de fuzzing para gerar automaticamente testes unitários tanto para o aprendizado da função de seleção quanto para a avaliação da correção do código, superando as limitações de pequenos conjuntos de testes manuais.
3. Controle Teórico de FDR-CE: O trabalho fornece um algoritmo de aprendizado com uma garantia do tipo PAC, garantindo que a taxa de código gerado falsamente (entre as respostas não abstidas) seja limitada por um parâmetro definido pelo usuário.
4. Definição de $\alpha$-Implicação de Código: Formaliza uma definição probabilística de correção de código adequada para análise automatizada, unindo a lacuna entre a implicação semântica em NLP e a equivalência funcional em código.

Resultados Experimentais

Os autores avaliaram seu método em diversos setups, incluindo:

• Modelos: Quatro geradores de código (GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1).
• Datasets: Quatro benchmarks (APPS, Mercury, HumanEval, MBPP) convertidos para versões "Fuzz" (APPS-f, etc.) usando testes unitários gerados automaticamente.
• Linguagens: Python, C++, Java, JavaScript e Perl.

Principais Descobertas:

• Controlabilidade: O método proposto (SCG) consegue limitar o FDR-CE ao nível desejado ($\epsilon_S$) através de vários modelos e datasets, enquanto os métodos de linha de base (ex: SCG-EM, SCG-manual) ou falham em limitar o risco ou exibem eficiência trivial (abstendo-se com muita frequência).
• Eficiência: O SCG alcança uma eficiência de seleção razoável (a razão de respostas não abstidas) enquanto mantém a garantia de segurança. Por exemplo, no GPT-4o com $\epsilon_S=0.3$, o SCG manteve o FDR-CE abaixo do alvo enquanto retinha cerca de 33-50% das respostas geradas, dependendo do dataset.
• Benefício do Fuzzing: Experimentos demonstraram que o uso de testes unitários gerados por fuzzing (SCG) supera significativamente os métodos que utilizam testes manuais limitados (SCG-small) ou nenhum teste (SCG-EM), tanto em termos de controle de risco quanto de eficiência.
• Extensão a Trabalhos Anteriores: O método atua como um pós-processador que pode ser aplicado sobre modelos avançados existentes (ex: DeepSeek-R1 com ajuste fino por GRPO) ou métodos baseados em ranqueamento, fornecendo uma camada adicional de garantias estatísticas de segurança.

Significância e Alegações

O artigo afirma que sua principal contribuição reside no algoritmo de aprendizado de geração seletiva que controla diretamente a taxa de alucinação de modelos de código. Ao alavancar a natureza executável do código através do fuzzing, os autores argumentam que é possível ir além de melhorias de desempenho heurísticas para uma segurança teoricamente controlada.

A significância do trabalho é enquadrada como o fornecimento de uma "garantia de controlabilidade" sobre a Taxa de Descoberta Falsa, tornando os geradores de código mais confiáveis para sistemas que exigem padrões de segurança mais elevados. Os autores observam modestamente que, embora o método controle a taxa de alucinação, a eficiência de seleção global ainda depende da qualidade subjacente do gerador de código, e a suposição i.i.d. para a garantia teórica pode limitar a aplicabilidade em ambientes de mudança de distribuição (distribution-shifting). O trabalho não pretende eliminar totalmente a alucinação, mas sim fornecer um mecanismo para gerenciá-la e limitá-la com rigor estatístico.