Imagine que você está ensinando um robô brilhante e superveloz a escrever código de computador. Este robô, conhecido como um Grande Modelo de Linguagem (LLM), leu quase todos os livros e sites da internet. Ele é incrível em adivinhar quais palavras devem vir a seguir, de certa forma como um autocompletar muito avançado. Mas a parte difícil é esta: só porque o robô escreve um código que parece correto, não significa que ele realmente funcione. Ele pode escrever uma frase que soa perfeita, mas que trava no momento em que você tenta executá-la. Para corrigir isso, os cientistas usam "benchmarks", que são como exames práticos onde o código é realmente executado contra um conjunto de testes. Se o código passar nos testes, ele ganha um ponto; se travar ou der a resposta errada, ele falha. A grande questão neste campo é: Como podemos fazer com que esses robôs não sejam apenas inteligentes na aparência, mas realmente inteligentes o suficiente para resolver problemas reais sem que tenhamos que reconstruir todo o seu cérebro?

Apresentamos um novo estudo que sugere que não precisamos reconstruir o cérebro do robô de forma alguma. Em vez disso, os pesquisadores, Erxue Zhou, Jingxiang Meng e Aofan Liu, propõem um truque inteligente de três etapas chamado RAV (que significa Route, Align e Verify — Rotear, Alinhar e Verificar). Pense nisso como preparar um aluno para uma grande prova. Primeiro, você não dá apenas um guia de estudo genérico; você descobre exatamente que tipo de problema ele está enfrentando e dá a ele o tipo certo de dica (Route/Rotear). Segundo, você garante que a maneira como você o ensinou na sala de aula corresponda exatamente à forma como as perguntas da prova são escritas, para que ele não fique confuso com a redação (Align/Alinhar). Finalmente, em vez de deixá-lo entregar apenas uma resposta, você pede que ele escreva dez soluções diferentes, execute uma verificação rápida em cada uma e escolha a que realmente funciona (Verify/Verificar). O artigo sugere que, ao coordenar essas três etapas, você pode obter resultados muito melhores sem alterar o modelo subjacente.

O Truque de Mágica de Três Etapas

Os pesquisadores testaram sua ideia no MBPP, um conjunto popular de desafios de codificação. Eles começaram com um modelo de codificação padrão e poderoso (Qwen2.5-Coder-7B-Instruct) e perguntaram: "Podemos tornar este modelo específico melhor em passar em testes apenas mudando a forma como falamos com ele e como escolhemos suas respostas?"

Aqui está como o framework de três etapas deles funciona, usando uma analogia lúdica:

1. Route: O Recepcionista Inteligente
Imagine um escritório movimentado onde um recepcionista recebe milhares de pedidos diferentes. Se você apenas disser "Ajude-me com um problema", o recepcionista pode dar uma resposta genérica que não se encaixa. Mas e se o recepcionista pudesse olhar para o seu pedido e dizer: "Ah, você está lidando com uma sequência de letras? Vamos usar o guia do 'Especialista em Strings'!" ou "Você está fazendo matemática? Vamos mudar para o guia do 'Mago da Matemática'!"
No artigo, esta é a fase Route. Antes mesmo de o modelo começar a escrever o código, um roteador leve analisa a tarefa. Se a tarefa for sobre manipulação de texto (como encontrar um palíndromo), ele usa um estilo de prompt específico. Se for sobre matemática ou algoritmos, ele muda para um estilo diferente. Isso garante que o modelo receba o "sabor" certo de instruções para o trabalho específico, em vez de um prompt de tamanho único.

2. Align: O Treino de Simulação
Agora, imagine que você treinou um jogador de futebol usando exercícios que não se pareciam nada com o jogo real. Você praticou com uma bola pesada em um campo lamacento, mas o jogo real é jogado com uma bola leve na grama. O jogador pode ser ótimo nos exercícios, mas terrível no jogo. Isso é um "descompasso".
No mundo da IA, os modelos são frequentemente treinados em um tipo de instrução, mas testados em outro. A fase Align corrige isso. Os pesquisadores pegaram seus dados de treinamento e reescreveram as instruções para que parecessem exatamente com os prompts "roteados" que o modelo veria durante o teste. Eles usaram uma técnica chamada LoRA (uma forma de ensinar novos truques ao modelo sem reescrever todo o seu cérebro) para ensinar o modelo especificamente como responder a esses novos estilos específicos de tarefas. É como dar ao jogador de futebol exercícios de prática que imitam perfeitamente as condições do jogo real.

3. Verify: A Rede de Segurança
Finalmente, mesmo com o melhor treinamento e as dicas certas, o modelo ainda pode cometer um erro na primeira tentativa. No passado, as pessoas costumavam apenas aceitar a primeira resposta que o modelo dava. Mas e se o modelo pudesse escrever dez respostas diferentes e nós escolhêssemos a melhor?
Esta é a fase Verify. O modelo gera várias versões do código (um "pool de candidatos"). Em seguida, o sistema executa cada versão contra os testes públicos incluídos no problema. É como um professor corrigindo dez redações diferentes e entregando apenas aquela que tirou um A. O sistema escolhe o código que realmente passa nos testes. Se dois códigos passarem, ele escolhe o mais curto. Esta etapa transforma um "talvez" em um "sim".

O Que Eles Descobriram

Quando os pesquisadores combinaram todas as três etapas, os resultados foram impressionantes. Eles testaram todo o pipeline RAV no benchmark MBPP.

• No conjunto MBPP Sanitized (uma versão limpa do teste), o método deles alcançou uma pontuação de 0.8911.
• No conjunto MBPP Full (a versão completa e mais difícil), eles chegaram a 0.8520.

Para colocar em perspectiva, o modelo original sem esses truques pontuou 0.8276 no conjunto sanitizado e 0.7528 no conjunto completo. Isso significa que o método RAV melhorou a taxa de sucesso em 6,35 pontos percentuais no sanitizado e impressionantes 9,92 pontos percentuais no completo.

O Ingrediente Secreto: Por Que Funciona em Conjunto

A parte mais interessante do estudo é o que aconteceu quando tentaram as etapas isoladamente.

• Se eles usassem apenas Route e Align, mas não verificassem as respostas (sem o Verify), a melhoria foi mínima. Era como ter um ótimo aluno que ainda assim entrega o primeiro rascunho do dever de casa sem verificar erros.
• No entanto, quando combinaram Route ou Align com Verify, as pontuações saltaram significamente.

Isso sugere que Route e Align não necessariamente fazem o modelo escrever a resposta perfeita logo na primeira tentativa. Em vez disso, eles fazem o modelo escrever uma lista melhor de opções. Eles aumentam as chances de que uma resposta correta esteja escondida em algum lugar no monte de códigos gerados. Então, o Verify atua como o detetive que encontra essa resposta correta escondida e a seleciona.

Os autores realizaram os testes várias vezes para garantir que os resultados não fossem apenas sorte. No conjunto "Full" mais difícil, a melhoria foi muito estável. Eles também verificaram para garantir que o modelo não tivesse apenas memorizado as respostas dos dados de treinamento (um problema chamado "contaminação") e não encontraram evidências disso.

A Conclusão

O artigo sugere que não precisamos inventar um novo cére de robô gigante e superexpencivo para obter códigos melhores. Em vez disso, podemos obter resultados muito melhores sendo mais inteligentes sobre como fazemos as perguntas (Route), como praticamos com o modelo (Align) e como escolhemos a resposta final (Verify). É um lembrete de que, às vezes, a melhor maneira de melhorar um sistema não é construir um motor maior, mas sim ajustar o motorista, o mapa e o processo de verificação do destino.