🤖 AI

VERIFY-RL: Verifiable Recursive Decomposition for Reinforcement Learning in Mathematical Reasoning

O artigo apresenta o **Verify-RL**, um framework que utiliza diferenciação simbólica para garantir que a decomposição de problemas matemáticos complexos em subproblemas seja matematicamente válida e estruturalmente mais simples, resultando em um aumento significativo na precisão de modelos de linguagem.

Autores originais: Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaleem Ullah Qasim, Jiashu Zhang, Hao Li, Muhammad Kafeel Shaheen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Problema: O Aluno que "Chuta" o Caminho

Imagine que você está tentando ensinar matemática para uma criança. O método tradicional é dar a ela uma lista de exercícios. Se ela errar, você diz: "Errado, tente de novo".

Muitas vezes, para ajudar, os professores tentam quebrar problemas difíceis em partes menores (isso se chama decomposição). O problema é que, hoje em dia, quando usamos Inteligência Artificial (IA) para fazer isso, a IA muitas vezes "inventa" partes menores que não fazem sentido. É como se, para ensinar a criança a fazer um bolo de três camadas, você desse a ela uma receita de "como quebrar um ovo", mas a receita de "como quebrar o ovo" não tivesse nada a ver com o bolo. A criança fica confusa, aprende coisas inúteis e acaba errando o bolo no final.

🚀 A Solução: O Método "Mestre de Obras" (VERIFY-RL)

Os pesquisadores criaram o VERIFY-RL. Em vez de deixar a IA "chutar" como dividir um problema, eles criaram um sistema baseado em regras matemáticas reais (neste caso, o Cálculo Diferencial).

Para que uma tarefa menor seja aceita para o treinamento da IA, ela precisa passar por um "Checklist de Três Passos". Imagine que estamos construindo uma casa:

V1 - O Degrau de Escada (Simplicidade): A tarefa nova tem que ser realmente mais fácil que a anterior. Não adianta tentar ensinar a construir um telhado antes de ensinar a assentar um tijolo. Se o problema original é um prédio, o subproblema tem que ser, no mínimo, um muro.
V2 - A Peça do Quebra-Cabeça (Utilidade): A solução da tarefa pequena tem que ser uma peça essencial para resolver a tarefa grande. Se estamos aprendendo a fazer um bolo, aprender a bater o ovo é útil; aprender a lavar o carro não ajuda em nada no bolo. A solução do "filho" tem que aparecer dentro da solução do "pai".
V3 - O Manual de Instruções (Regra Formal): A divisão não pode ser por "palpite". Ela tem que seguir uma regra oficial de um livro de matemática. É como dizer: "Eu dividi essa tarefa em duas porque o Manual de Engenharia diz que é assim que se faz".

📈 O Resultado: De "Adivinho" a "Gênio"

Quando os pesquisadores aplicaram esse método rigoroso em modelos de IA (como o Qwen), os resultados foram impressionantes.

É como se, em vez de a IA apenas tentar "adivinhar" o resultado de problemas complexos, ela passasse a entender a lógica da construção.

O salto de qualidade: Nos problemas mais difíceis (os "chefões" finais), a precisão da IA mais que dobrou (passou de 32% para 68%).
Eficiência: A IA parou de "falar demais" sem dizer nada. Ela ficou mais direta e certeira, gastando menos energia (tokens) para chegar à resposta correta.

💡 Resumo da Ópera

O VERIFY-RL é como trocar um professor que dá dicas vagas por um mestre de obras rigoroso. Ele garante que cada pequena lição que a IA aprende seja:

Mais simples que a anterior;
Útil para o objetivo final;
Baseada em regras reais, e não em palpites.

Graças a esse "rigor matemático", a IA deixa de ser uma estudante que decora fórmulas e começa a se tornar uma estudante que entende como as peças se encaixam.

Resumo Técnico: VERIFY-RL

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) para raciocínio matemático complexo beneficia-se do aprendizado por currículo (curriculum learning), onde o modelo aprende progressivamente de problemas simples para os mais difíceis. No entanto, os métodos atuais de decomposição de tarefas enfrentam três limitações fundamentais:

Decomposição Heurística: Métodos que usam o próprio LLM para propor subproblemas "mais fáceis" não oferecem garantias matemáticas. Isso introduz ruído no treinamento, pois muitos subproblemas gerados são inválidos (não são realmente mais fáceis, não ajudam a resolver o problema pai ou não possuem relação lógica).
Falta de Verificação: Não há garantias de que a relação entre o problema "pai" e o "filho" seja matematicamente fundamentada.
Instabilidade no Treinamento: A inclusão de decomposições inválidas no currículo de Aprendizado por Reforço (RL) pode levar o modelo a aprender padrões espúrios ou enfrentar problemas insolúveis.

2. Metodologia (O Framework VERIFY-RL)

Os autores propõem o VERIFY-RL, um framework que utiliza a diferenciação simbólica (cálculo) como base para uma decomposição recursiva que é "verificável por construção". Em vez de deixar o modelo inventar subproblemas, o framework utiliza regras de cálculo (regra da cadeia, do produto e da soma) para decompor expressões.

Para garantir a qualidade do currículo, cada decomposição deve satisfazer três propriedades verificáveis via computação simbólica (usando SymPy):

V1 (Facilidade/Simplicidade Estrutural): O subproblema (filho) deve ter uma profundidade de aninhamento estritamente menor que o problema original (pai).
V2 (Utilidade/Contenção de Solução): A solução do subproblema deve aparecer como um fator ou termo na solução do problema pai, garantindo a transferência de conhecimento.
V3 (Relação Formal/Derivação de Regra): A relação deve ser derivada de uma regra de cálculo formal (ex: regra da cadeia).

Fluxo de Treinamento:

Construção do Currículo: Os problemas são decompostos recursivamente em árvores de decomposição e organizados via ordenação topológica por nível de dificuldade ( $D_1$ a $D_5$ ).
Otimização de Política: O framework utiliza algoritmos de RL, com foco no GRPO (Group Relative Policy Optimization), que normaliza as vantagens dentro de um grupo de respostas, proporcionando maior estabilidade em tarefas de raciocínio.
Função de Recompensa: Utiliza uma recompensa baseada em regras (precisão simbólica + formato da resposta), evitando a complexidade e o risco de reward hacking de modelos de recompensa neurais.

3. Principais Contribuições

Framework Formal: Introdução de um método de decomposição com garantias matemáticas prováveis (V1–V3).
Operadores de Decomposição: Implementação de operadores para as regras da cadeia, produto e soma que preservam as propriedades de verificação.
Algoritmo de Currículo Garantido: Um método de construção de currículo que garante a ordem de pré-requisitos através de ordenação topológica.
Demonstração de Eficácia: Prova de que a eliminação de decomposições inválidas melhora drasticamente o desempenho do modelo.

4. Resultados

Os experimentos foram realizados em modelos de escala pequena a média (0.6B a 3B parâmetros), como a família Qwen3.

Ganho de Acurácia: O método demonstrou melhorias massivas, especialmente nos problemas mais difíceis ( $D_5$ ). No modelo Qwen3-1.5B, a acurácia em problemas de nível $D_5$ saltou de 32% para 68% (um aumento relativo de 112%).
Desempenho Geral: Houve um aumento relativo de 40% na acurácia geral.
Superioridade do Algoritmo: O GRPO superou consistentemente o PPO e o DPO em termos de estabilidade e precisão final.
Análise de Ablação: Confirmou-se que a ordenação do currículo (do fácil para o difícil) e a garantia de simplicidade (V1) são os componentes que mais contribuem para o sucesso, enquanto recompensas complexas adicionais trouxeram ganhos marginais.
Eficiência de Tokens: O treinamento com VERIFY-RL ajudou o modelo a produzir raciocínios mais concisos e corretos, evitando o erro comum de gerar sequências longas de tokens mas incorretas.

5. Significância

O trabalho é significativo por mudar o paradigma de decomposição de tarefas em LLMs: de uma abordagem heurística/probabilística (baseada em linguagem) para uma abordagem determinística/formal (baseada em regras matemáticas). Isso demonstra que, para domínios com estruturas lógicas rigorosas, a "verificação por construção" é muito mais eficiente para o aprendizado de modelos do que o simples aumento de dados ou o uso de modelos de recompensa neurais.