Training with Pseudo-Code for Instruction Following

O artigo propõe uma abordagem de ajuste fino que utiliza representações de pseudocódigo para melhorar a capacidade dos modelos de linguagem em seguir instruções, resultando em ganhos significativos de desempenho em benchmarks de instrução, raciocínio matemático e senso comum.

O essencial

Aqui está uma explicação simples e criativa do artigo, usando analogias do dia a dia:

🧠 O Problema: O "Mal-Entendido" dos Robôs Inteligentes

Imagine que você tem um assistente pessoal superinteligente (um Modelo de Linguagem Grande, ou LLM), mas que às vezes é um pouco "distratido" ou literal demais.

Se você pedir: "Escreva um resumo de 300 palavras sobre gatos, mas não use a letra 'A' e termine com um emoji de pizza", o robô pode esquecer a regra da letra 'A' ou esquecer o emoji. Ele entende o pedido geral, mas falha nos detalhes complexos e nas regras de "não fazer isso".

Os pesquisadores descobriram que, quando você dá essas instruções em código de computador (pseudo-código) em vez de falar como um humano, o robô entende muito melhor. É como se o robô fosse um tradutor que prefere ler um manual técnico do que ouvir uma conversa casual quando precisa executar uma tarefa precisa.

💡 A Solução: Ensinar o Robô a "Pensar em Código"

O grande desafio era: pedir para o usuário comum escrever código é difícil e chato. Ninguém quer aprender programação só para pedir uma receita de bolo.

A solução proposta neste artigo é treinar o robô para fazer essa tradução sozinho.

A Analogia do Chefe de Cozinha:
Imagine que o modelo de linguagem é um chefe de cozinha.

• O Método Antigo (Instrução Natural): Você chega e diz: "Faça um bolo de chocolate, mas sem açúcar, e coloque no forno por 40 minutos". O chefe pode esquecer de tirar o açúcar ou confundir o tempo.
• O Método Novo (Pseudo-código): Você treina o chefe para, antes de pegar os ingredientes, escrever um passo a passo técnico na prancheta dele:
  1. SE ingrediente == "açúcar" ENTÃO remova.
  2. DEFINA tempo = 40 minutos.
  3. EXECUTE assar.
  4. RETORNE bolo.

O artigo mostra que, ao treinar o modelo para sempre fazer esse "passo a passo técnico" (o pseudo-código) antes de dar a resposta final, ele se torna muito mais obediente e preciso.

🛠️ Como eles fizeram isso? (O Pipeline de "Gerar, Avaliar, Consertar")

Os pesquisadores não pediram para humanos escreverem milhões de códigos. Eles criaram um sistema automático de três etapas, como uma linha de montagem de qualidade:

1. Gerar: Um robô muito inteligente (o "professor") cria o código falso (pseudo-código) para uma instrução humana.
2. Avaliar: O sistema testa se esse código funciona. Ele roda o código e vê se a resposta bate com a resposta correta.
3. Consertar: Se o código deu errado, o sistema pede para o "professor" corrigir o erro e tentar de novo.

Isso cria um banco de dados gigante onde cada pedido humano vem acompanhado de seu "plano de ação" em código.

🚀 Os Resultados: O Robô Fica Mais Esperto

Quando eles treinaram vários modelos diferentes com essa técnica, os resultados foram impressionantes:

• Seguindo Regras: Os robôs treinados com código seguiram instruções complexas (como "não use a letra X" ou "coloque em formato JSON") muito melhor do que os treinados apenas com conversas normais. Foi como se eles ganhassem um "superpoder" de atenção aos detalhes.
• Matemática e Lógica: Eles não perderam a capacidade de fazer contas ou raciocinar. Pelo contrário, em muitos casos, ficaram ainda melhores!
• Sem "Truques" na Resposta: O mais legal é que, para o usuário final, nada muda. Você continua falando normalmente ("Me escreva um poema"). O robô, internamente, pensa: "Ok, vou escrever o plano em código primeiro..." e depois te dá o poema. É como se ele tivesse um "segundo cérebro" que organiza as ideias antes de falar.

🌟 Resumo Final

Este artigo diz que, para ensinar robôs a seguirem regras difíceis, não precisamos mudar a forma como nós falamos com eles. Em vez disso, devemos treinar os robôs para pensarem como programadores antes de responderem.

É como ensinar uma criança a não apenas ouvir "arrume o quarto", mas a visualizar mentalmente a lista de tarefas: "1. Pegar brinquedos, 2. Colocar na caixa, 3. Guardar na estante". Com esse "plano de código" na cabeça, a tarefa é feita com muito mais sucesso!

Resumo técnico

1. O Problema

Apesar dos avanços rápidos nas capacidades dos Grandes Modelos de Linguagem (LLMs), eles continuam a enfrentar dificuldades em seguir instruções relativamente simples e inequívocas, especialmente quando envolvem estrutura composicional (instruções aninhadas, condicionais ou com múltiplas restrições).

As limitações atuais incluem:

• Dificuldade em processar instruções complexas e estruturadas.
• Suscetibilidade a distrações nas instruções.
• Falhas em aderir a formatos de saída específicos.
• Abordagens existentes que usam pseudo-código na inferência (tempo de execução) são problemáticas: escrever pseudo-código manualmente é tedioso para usuários não especialistas, e demonstrações few-shot podem ser frágeis. Além disso, métodos como Chain-of-Code dependem de execução de código externa, complicando a implantação.

2. Metodologia

Os autores propõem uma abordagem de tempo de treinamento (fine-tuning) em vez de depender de prompts complexos no tempo de inferência. A ideia central é ensinar o modelo a reescrever instruções em linguagem natural (NL) para uma representação intermediária de pseudo-código antes de gerar a resposta final.

Pipeline de Construção de Dados

Como a criação manual de pseudo-código é inviável em larga escala, os autores desenvolveram um pipeline automatizado de três etapas para augmentar dados de instruction-tuning:

1. Gerar (Generate): Um modelo LLM poderoso (Mixtral-8x7B) usa one-shot prompting com exemplos de pseudo-código para converter instruções de linguagem natural em programas de pseudo-código.
2. Avaliar (Evaluate): O pseudo-código gerado é executado (via inferência do modelo) para obter uma saída. Essa saída é comparada com a saída ground-truth da instrução original em NL.
3. Reparar (Repair): Se o pseudo-código falhar em produzir a resposta correta (mas a instrução original em NL funcionasse), um "julgador" LLM é usado para fornecer feedback e corrigir o programa de pseudo-código.

O conjunto de dados final consiste em pares onde a entrada é a instrução em NL e a saída é uma sequência contendo: [PSEUDOCODE] + o programa gerado + [/PSEUDOCODE] + a resposta final.

Configuração de Treinamento

• Modelos Base: Foram utilizados 6 modelos base (incluindo Llama 3.1, Mistral, Qwen2.5, Granite e Olmo) na faixa de 7B a 8B de parâmetros.
• Mistura de Dados: Utilizaram dados do conjunto Tulu v2, incluindo Code Alpaca, WizardLM, Super-Natural Instructions e CoT.
• Objetivo: O modelo é treinado para primeiro gerar o passo de pensamento estruturado (pseudo-código) e, em seguida, a resposta, sem incluir passos de raciocínio explícito (CoT) dentro do próprio código, isolando assim o impacto da estrutura do pseudo-código.

3. Contribuições Principais

1. Abordagem de Treinamento: Propõem um método de fine-tuning onde os modelos aprendem a internalizar a estrutura de tarefas através de uma representação intermediária de pseudo-código, eliminando a necessidade de prompts complexos ou execução de código externa durante a inferência.
2. Pipeline Escalável: Introduzem um pipeline automatizado generate-evaluate-repair para criar dados de supervisão de alta qualidade com pseudo-código, viabilizando o treinamento em larga escala.
3. Validação Empírica: Demonstram, através de experimentos em 6 modelos base e 12 benchmarks, que essa abordagem melhora significativamente o seguimento de instruções sem degradar (e muitas vezes melhorando) outras capacidades como raciocínio matemático e senso comum.

4. Resultados

Os experimentos foram realizados em benchmarks de seguimento de instruções, raciocínio matemático, senso comum e tarefas de código.

• Seguimento de Instruções: Os modelos treinados com pseudo-código (PC) superaram consistentemente os modelos treinados apenas com linguagem natural (NL).
  • Ganhos Relativos: Aumento de 8% a 21% em benchmarks de seguimento de instruções (como IFEval, KCIF, ComplexBench e FollowBench).
  • Instruções Complexas: Melhora significativa em instruções com distrações, instruções aninhadas (nested) e restrições de formatação (ex: JSON, Markdown).
• Raciocínio Matemático e Senso Comum:
  • Os ganhos foram preservados ou melhorados em tarefas de raciocínio (GSM8K, ARC, PiQA, etc.), com ganhos médios de até 30% em alguns benchmarks combinados.
  • Em tarefas de senso comum, os resultados foram mistos, mas a maioria dos modelos manteve ou melhorou o desempenho.
• Tarefas de Código: Surpreendentemente, o treinamento com pseudo-código (focado apenas na instrução, não na solução) melhorou o desempenho em benchmarks de geração de código (HumanEvalPack), sugerindo que a estruturação da instrução ajuda na compreensão da tarefa de programação.
• Comparação com Inferência: O método de treinamento superou abordagens de inference-time prompting (como o Code Prompting de Puerto et al., 2024), demonstrando que a internalização da estrutura é mais eficaz do que depender de exemplos few-shot na inferência.

5. Significância e Conclusão

O trabalho demonstra que a estrutura do pseudo-código atua como um mecanismo poderoso para clarificar a intenção do usuário, o fluxo de controle e as restrições da tarefa para o modelo.

• Impacto Prático: A abordagem permite que modelos existentes sejam melhorados para seguir instruções complexas de forma mais robusta, funcionando como uma substituição direta ("drop-in replacement") para modelos ajustados apenas com linguagem natural, sem exigir mudanças na interface do usuário final.
• Insight Teórico: Sugere que a dificuldade dos LLMs em seguir instruções complexas não é apenas falta de conhecimento, mas uma dificuldade em estruturar o raciocínio. Transformar instruções em NL para pseudo-código força o modelo a explicitar a lógica da tarefa antes de gerar a resposta.
• Futuro: Os autores sugerem que essa técnica pode ser combinada com arquiteturas de Mixture-of-Experts ou estendida para o pré-treinamento, e que modelos treinados dessa forma podem ser mais adequados para aplicações que exigem planejamento e execução de ferramentas.

Em resumo, o artigo prova que ensinar LLMs a "pensar" em uma linguagem estruturada (pseudo-código) durante o treinamento é uma estratégia eficaz e escalável para superar as limitações atuais no seguimento de instruções complexas.