Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution

Resumo Técnico: IFCodeEvolve

1. Problema e Motivação

A capacidade de seguir instruções (Instruction Following - IF) é fundamental para o sucesso de Modelos de Linguagem de Grande Escala (LLMs) na programação automática. No entanto, a síntese de dados de codificação em larga escala, pareados com instruções complexas e verificáveis, enfrenta dois desafios principais que limitam os métodos atuais:

1. Compatibilidade e Solvabilidade: Gerar problemas de codificação com múltiplas restrições (instruções) simultaneamente é difícil. Instruções podem entrar em conflito lógico (ex: "não use variáveis temporárias" vs. "use uma estrutura de dados complexa"), resultando em problemas insolúveis ou com verificações de teste (unit tests) incorretas.
2. Exploração de Amostras Difíceis: Métodos estáticos ou de amostragem bruta tendem a gerar padrões repetitivos e não conseguem explorar efetivamente o espaço de problemas "fora da distribuição" (out-of-distribution) ou suficientemente desafiadores para empurrar os limites do modelo, sem comprometer a validade lógica.

O objetivo do trabalho é criar um framework que sintetize dados de codificação instruídos que sejam lógicamente consistentes, estritamente válidos e progressivamente mais difíceis, superando as limitações da curadoria manual e da síntese estática.

2. Metodologia: IFCodeEvolve

O artigo propõe o IFCodeEvolve, um framework de co-evolução entre um modelo ator (o gerador de código) e um esquema de instruções paramétrico. A abordagem unifica a validação por construção progressiva com uma busca guiada por Monte Carlo Tree Search (MCTS).

Componentes Principais:

• Instruções Paramétricas (Schema):

  • Em vez de usar texto estático, as instruções são representadas como esquemas de função paramétricos. Cada esquema possui um esqueleto de texto com slots variáveis (ex: "O nome da variável deve seguir o padrão {style}") e um espaço de argumentos definidos.
  • Isso permite cobrir um vasto espaço de instruções com um conjunto gerenciável de esquemas (biblioteca inicial de 27 esquemas).
  • Cada esquema é acompanhado por uma função de verificação baseada em AST (Abstract Syntax Tree) que valida automaticamente se o código gerado cumpre a restrição.

• Amostragem via MCTS (Monte Carlo Tree Search):

  • O processo de síntese é formulado como uma busca em árvore. O sampler navega no espaço combinatório de esquemas para construir conjuntos de instruções.
  • O sampler utiliza feedback do modelo ator para calcular valores de nós (exploração vs. exploração), priorizando combinações de esquemas que geram problemas desafiadores, mas solúveis.

• Validação por Construção (Proof-by-Construction):

  • Ao invés de gerar código e testar depois, o framework exige que, para cada nova instrução adicionada, o modelo adapte o código existente para satisfazer a nova restrição.
  • Se o modelo não conseguir gerar uma solução que passe nos testes funcionais e nas verificações de instruções acumuladas, o processo é interrompido (early-stopped) e aquele caminho é descartado. Isso garante que apenas problemas estritamente solúveis sejam mantidos.

• Paradigma de Co-Evolução:

  • Evolução do Ator: O modelo ator (que gera o código) é treinado (fine-tuned/RL) iterativamente nos dados sintetizados. À medida que ele melhora, o nível de dificuldade necessário para "derrotá-lo" (fazer com que ele falhe na solução) aumenta.
  • Evolução do Esquema (Schema): A biblioteca de instruções evolui dinamicamente:
    • Composição: Combina pares de esquemas que demonstraram sinergia em criar dificuldades (baseado nas estatísticas do MCTS).
    • Mutação: Identifica esquemas que o ator resolveu facilmente e os "muta" para criar restrições mais estritas ou que fechem brechas lógicas, forçando o ator a generalizar em vez de apenas memorizar padrões.

3. Contribuições Chave

1. Framework IFCodeEvolve: Uma nova arquitetura de síntese de dados que une representações paramétricas, busca MCTS e validação por construção para garantir a solvabilidade lógica de problemas com múltiplas restrições.
2. Paradigma de Co-Evolução: Um mecanismo onde o gerador de dados (esquemas) e o modelo alvo (ator) evoluem simultaneamente, criando um currículo adaptativo que escala a dificuldade conforme a capacidade do modelo aumenta.
3. IFCodeBench: A introdução de um benchmark rigoroso e verificado por humanos, equipado com testes executáveis e protocolos de verificação baseados em AST, para avaliar a capacidade de seguir instruções em codificação.
4. Desempenho SOTA: Demonstração de que modelos de código open-source (como o Qwen2.5-Coder-32B), treinados com dados sintetizados por este método, alcançam desempenho comparável a modelos proprietários de ponta (SOTA).

4. Resultados Experimentais

• Benchmarks Públicos: O framework foi avaliado em benchmarks como IFEvalCode e CodeIF. Modelos treinados com dados do IFCodeEvolve mostraram ganhos consistentes em todas as gerações.
  • O modelo Qwen2.5-Coder-32B treinado com os dados sintetizados alcançou desempenho paritário com modelos proprietários de raciocínio avançado (como GPT-5.2 e Claude-4.5).
• Escalabilidade Fraca-Forte (Weak-to-Strong): Dados gerados por um modelo ator menor (Seed-Coder-8B) foram usados para treinar modelos maiores, demonstrando que a qualidade dos dados sintetizados é transferível e eficaz para melhorar modelos de maior porte.
• Análise de Contaminação: Verificou-se que a taxa de contaminação (sobreposição de dados) nos benchmarks de teste foi de 0% sob padrões rigorosos (n=13), confirmando que a melhoria de desempenho veio do aprendizado genuíno e não de memorização.
• Ablação: Estudos mostraram que a remoção de qualquer componente central (MCTS, evolução do ator ou evolução do esquema) resultou em queda de desempenho, validando a necessidade da abordagem integrada.

5. Significado e Impacto

O trabalho representa um avanço significativo na área de engenharia de dados para LLMs.

• Superação de Limitações Estáticas: Demonstra que a síntese de dados não precisa ser um processo estático ou dependente de curadoria manual massiva. A evolução automática do "currículo" de treinamento permite que os modelos enfrentem desafios crescentes de forma autônoma.
• Validação Rigorosa: A ênfase na solvabilidade lógica e na verificação via AST resolve o problema de "alucinação de restrições" comum em métodos anteriores, onde instruções conflitantes geravam dados inúteis.
• Generalização: O paradigma proposto é generalizável para outros domínios intensivos em raciocínio, como resolução de problemas matemáticos e descoberta científica, sugerindo um caminho para a criação de sistemas de IA auto-adaptativos.

Em suma, o IFCodeEvolve estabelece um novo padrão para a geração de dados de treinamento de alta qualidade, permitindo que modelos de código open-source alcancem e superem capacidades de modelos proprietários através de um ciclo virtuoso de síntese e evolução de dados.