💬 NLP

Evaluating and Achieving Controllable Code Completion in Code LLM

Este artigo apresenta o Controllable Code Completion Benchmark (C3-Bench) para abordar a falta de avaliação de seguimento de instruções em LLMs de código, revela lacunas significativas de desempenho entre modelos de código aberto e proprietários e propõe um pipeline de síntese de dados que permite a um modelo ajustado alcançar resultados de estado da arte no novo benchmark.

Autores originais: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Publicado 2026-01-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um mestre chef (a IA) trabalhando em uma cozinha movimentada. Por muito tempo, a maneira de testar esses chefs era simples: dávamos a eles um prato semi-preparado (o código antes da parte faltante) e um prato semi-preparado depois (o código após a parte faltante), e pedíamos para preencherem o meio. Se o prato final tivesse um gosto bom (passasse nos testes unitários), o chef ganhava uma estrela de ouro.

O Problema: A "Receita" Estava Faltando
Os autores deste artigo argumentam que essa velha forma de testar é falha. No mundo real, um chef executivo não diz apenas: "Preencha o meio". Ele diz: "Preencha o meio, mas use apenas ingredientes vegetarianos", ou "Preencha o meio, mas faça com que tenha exatamente três linhas", ou "Preencha o meio, mas use um tipo específico de faca".

Os modelos de IA atuais são ótimos em fazer a comida ter um gosto bom, mas eles frequentemente ignoram as instruções específicas sobre como fazer o prato. Eles podem usar carne quando você pediu vegetais, ou escrever um parágrafo quando você pediu uma única linha. Os testes antigos não detectavam isso porque verificavam apenas se a comida era comestível, não se o chef ouviu o pedido.

A Solução: C3-Bench (O Teste de "Seguir Instruções")
Para corrigir isso, a equipe criou um novo teste chamado C3-Bench (Benchmark de Conclusão de Código Controlável). Pense nisso como uma nova, muito mais rigorosa competição de culinária.

Em vez de apenas pedir uma peça de código faltante, cada teste no C3-Bench vem com uma instrução específica e detalhada. Eles dividiram essas instruções em duas categorias principais:

As Instruções de "Como Fazer" (Controle de Implementação):
- Analogia: "Construa uma ponte, mas você deve usar um design de suspensão, não um design de viga."
- A IA tem que escrever um código que funcione e siga um estilo, algoritmo ou estrutura específica. Por exemplo, "Ordene esta lista usando um método de ordenação específico" ou "Trate erros desta maneira específica".
As Instruções de "Tamanho" (Controle de Escala):
- Analogia: "Escreva uma frase que tenha exatamente 10 palavras", ou "Escreva um parágrafo que tenha exatamente 3 sentenças."
- A IA tem que gerar um código que se ajuste a um limite de tamanho estrito, como exatamente 5 linhas de código, nem mais, nem menos.

O Que Eles Descobriram
A equipe testou mais de 40 modelos de IA diferentes (tanto modelos gratuitos e de código aberto quanto modelos caros e fechados) neste novo teste. Aqui está o que eles descobriram:

Os Modelos de Código Aberto "Superconfiantes": Nos testes antigos, muitos modelos de IA gratuitos e de código aberto apresentavam um desempenho tão bom quanto os modelos caros e de alto nível. No entanto, neste novo C3-Bench, eles tiveram dificuldades significativas. Acontece que eles haviam "memorizado" os testes antigos, mas não sabiam realmente como seguir instruções complexas. Eles eram como alunos que memorizaram o gabarito, mas não conseguiam resolver um novo problema com um toque diferente.
O Abismo: Existe um enorme abismo entre modelos que conseguem apenas "fazer o código funcionar" e modelos que conseguem "fazer o código funcionar exatamente como você pediu". Mesmo alguns dos modelos mais inteligentes e caros tiveram problemas com as instruções de "Tamanho" (como escrever exatamente o número certo de linhas).
A Correção: Os autores não apenas apontaram o problema; eles construíram uma solução. Eles criaram um pipeline para gerar automaticamente milhares de novos exemplos de treinamento onde uma IA escreve código e segue uma instrução específica. Eles usaram esses dados para treinar uma nova versão de seu modelo, chamado Qwen2.5-Coder-C3.
O Resultado: Este novo modelo tornou-se o melhor em seguir instruções na conclusão de código, vencendo quase todos os outros no novo teste, enquanto ainda era bom nos testes antigos.

A Lição Principal
Este artigo introduz uma nova maneira de medir as habilidades de codificação de IA que realmente importa para o uso no mundo real: A IA consegue ouvir?

Eles descobriram que muitos modelos de IA atuais são como músicos talentosos que tocam as notas certas, mas ignoram as mudanças de tempo do maestro. Ao criar este novo benchmark e um método para treinar os modelos para ouvirem melhor, os autores estão ajudando desenvolvedores a construir ferramentas de IA que não apenas escrevem código, mas escrevem o código certo de acordo com as necessidades específicas e detalhadas do usuário. Eles disponibilizaram todos os seus dados e modelos para que outros possam usar e melhorar.

Resumo Técnico: C3-Bench: Avaliando e Alcançando a Conclusão de Código Controlável em LLMs de Código

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente as capacidades de conclusão de código, as metodologias de avaliação atuais permanecem insuficientes para cenários práticos de engenharia de software. Benchmarks tradicionais (ex: HumanEval, CrossCodeEval, SAFIM) avaliam primariamente a corretude funcional do código gerado com base no contexto, frequentemente dependendo de testes de unidade ou métricas de similaridade. No entanto, eles negligenciam amplamente um aspecto crítico da programação assistida por LLM: a capacidade do modelo de seguir instruções de usuário detalhadas durante o processo de conclusão. No desenvolvimento real, os desenvolvedores frequentemente exigem que os modelos gerem código que não apenas funcione corretamente, mas que também adira a restrições de implementação específicas, requisitos estruturais ou limitações de escopo. A ausência de benchmarks que avaliem rigorosamente essa capacidade de "seguimento de instrução" na conclusão de código cria uma lacuna entre o desempenho no benchmark e a utilidade prática.

Metodologia

1. Definição de Conclusão de Código Controlável (C3)

Os autores introduzem o conceito de Conclusão de Código Controlável (CCC), estendendo a tupla tradicional $(P, S, G, T)$ (Prefixo, Sufixo, Ground Truth, Teste de Unidade) para incluir $I$ (Instrução Detalhada). A tarefa exige que o modelo gere o código intermediário $G$ tal que $M(P, S, I) \rightarrow G$ , satisfazendo tanto a corretude funcional (verificada por $T$ ) quanto a adesão à instrução (alinhamento com $I$ ).

2. Construção do C3-Bench

O Benchmark de Conclusão de Código Controlável (C3-Bench) compreende 2.195 tarefas de Python de alta qualidade derivadas do HumanEval e SAFIM, aprimoradas através de um pipeline de síntese de quatro etapas:

Extração de Código Intermediário: Utilizando Árvores de Sintaxe Abstrata (AST) para extrair blocos de código logicamente completos e mascarar nós para criar diversos segmentos intermediários.
Geração de Implementação Equivalente: Gerando múltiplas implementações funcionalmente equivalentes para o mesmo contexto para testar a adesão à instrução.
Filtragem de Dados: Garantindo legibilidade de código (PEP8), comprimento apropriado e diversidade significativa de implementação.
Geração de Instrução:
- Conclusão de Controle de Implementação (ICC): Tarefas que exigem estratégias de implementação específicas (ex: abordagens algorítmicas, fluxo de controle, estruturas de dados). Inclui 1.286 instâncias com testes de unidade.
- Conclusão de Controle de Escala (SCC): Tarefas que exigem geração de código dentro de limites de escopo precisos (ex: contagem de linhas específica, blocos de declarações). Inclui 909 instâncias sem testes de unidade, focando na conformidade estrutural.

3. Métricas de Avaliação

Pass@1: Mede a corretude funcional via teste de unidade (apenas para ICC).
Taxa de Seguimento de Instrução (IF): Mede a adesão a requisitos específicos, avaliada apenas em casos funcionalmente corretos.
Similaridade de Edição (ES): Uma métrica de análise estática para validação preliminar de qualidade.
Julgamento Automatizado: Um sistema baseado em LLM (usando Claude3.5-Sonnet) valida a adesão à instrução com 9 de concordância de 98% em relação a especialistas humanos.

4. Treinamento de Modelo (Qwen2.5-Coder-C3)

Para abordar a escassez de dados de treinamento de conclusão-instrução, os autores desenvolveram um pipeline de síntese automatizado:

Geração de Sementes: Utilizou Claude3.5-Sonnet para criar 1.000 pares de sementes de alta qualidade.
Síntese em Larga Escala: Aproveitou o Qwen2.5-Coder-32B-Instruct para gerar 200.000 pares de instrução-conclusão a partir de repositórios do GitHub.
Ajuste Fino (Fine-Tuning): Aplicou Supervised Fine-Tuning (SFT) nas variantes Qwen2.5-Coder-1.5B e 32B usando os dados sintetizados, resultando no Qwen2.5-Coder-C3.

Resultados Principais

1. Lacunas de Desempenho no Seguimento de Instrução

Avaliações abrangentes de mais de 40 LLMs mainstream (tanto open-source quanto proprietários) revelam limitações significativas:

Open-Source vs. Proprietário: Embora os modelos open-source frequentemente igualem ou superem os modelos proprietários em benchmarks tradicionais de corretude funcional (ex: CrossCodeEval, RepoEval), eles exibem uma lacuna substancial de desempenho em capacidades de seguimento de instrução no C3-Bench.
Sensibilidade à Instrução: Remover instruções dos prompts leva a uma queda significativa nas taxas de IF, enquanto o Pass@1 permanece amplamente inalterado, confirmando que os modelos atuais não priorizam inerentemente a adesão à instrução sobre a geração funcional.
Desafios de Controle de Escala: Os modelos lutam particularmente com tarefas de Conclusão de Controle de Escala (SCC), indicando limitações nos objetivos de treinamento em relação a restrições de escopo de código.

2. Eficácia do C3-Tuning

O modelo Qwen2.5-Coder-C3 alcança desempenho de Estado da Arte (SOTA) no C3-Bench:

Demonstra melhorias substanciais nas taxas de IF em comparação com seu correspondente base ajustado por instrução (ex: +23,7% de IF em ICC para o modelo 32B).
Supera modelos proprietários líderes (ex: GPT-4o, série o1) em tarefas de Controle de Escala, mantendo um desempenho competitivo em benchmarks convencionais.
Os resultados sugerem que modelos open-source podem sofrer overfitting em benchmarks funcionais existentes e carecer de generalização em cenários controláveis, mas isso pode ser remediado através de síntese de instrução direcionada.

3. Correlação com Capacidades Avançadas

O ranking dos modelos no C3-Bench mostra fortes correlações com o desempenho em tarefas que exigem compreensão extensa de contexto (ExecRepoBench) e avaliação de preferência humana (Chatbot Arena-Coding), sugerindo que a habilidade de seguimento de instrução é um proxy para uma compreensão de código mais ampla.

Significância e Alegações

O artigo afirma que o C3-Bench fornece o primeiro benchmark guiado por instrução para conclusão de código, abordando um ponto cego crítico nos atuais cenários de avaliação. Sua significância reside em:

Revelar Superestimação Sistemática: Demonstrar que os benchmarks existentes superestimam sistematicamente as capacidades dos modelos em cenários de desenvolvimento práticos e intensos em instruções.
Preencher a Lacuna: Identificar que os LLMs de código open-source, apesar do forte desempenho funcional, ficam atrás dos modelos proprietários em adesão à instrução, uma lacuna que pode ser fechada via síntese de dados direcionada.
Avançar o Desenvolvimento Open-Source: Fornecer um pipeline direto e reprodutível para sintetizar dados de instrução-conclusão, permitindo que a comunidade melhore os modelos open-source sem depender de dados proprietários.

Os autores concluem que pesquisas futuras devem priorizar as capacidades de seguimento de instrução em LLMs de código para garantir sua confiabilidade e controlabilidade em aplicações reais de engenharia de software. Todo o código, datasets e modelos são disponibilizados de forma aberta para facilitar pesquisas adicionais.