Resumo Técnico: FORGE-ENGINE

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado sucesso significativo em benchmarks de raciocínio (matemática, codificação, lógica) por meio de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), os paradigmas de avaliação existentes sofrem de uma limitação crítica: focam exclusivamente na correção (viabilidade) em vez da otimalidade. Em muitos cenários do mundo real, como logística ou alocação de recursos, uma solução meramente "válida" é insuficiente; o objetivo é encontrar a solução que maximize ou minimize uma função objetivo. Os benchmarks atuais frequentemente dependem de recompensas binárias (passar/falhar), que não fornecem o feedback denso e contínuo necessário para guiar os modelos em direção a soluções ótimas. Além disso, os benchmarks existentes de problemas NP-difíceis carecem de mecanismos para gerar valores ótimos de verdade, impedindo o cálculo de recompensas granulares e revertendo o treinamento para loops de feedback binário ineficientes.

Metodologia: FORGE-ENGINE

Os autores propõem o FORGE-ENGINE, uma estrutura abrangente projetada para treinar e avaliar LLMs em problemas de otimização NP-difíceis usando RLVR Consciente de Qualidade. A estrutura consiste em três componentes principais:

1. Pipeline de Construção de Dados

A estrutura emprega um pipeline escalável de quatro estágios para gerar dados de treinamento em 10 tarefas distintas de problemas NP-difíceis, abrangendo cinco categorias: Agrupamento de Grafos, Agendamento de Recursos, Particionamento de Grafos, Seleção de Subconjuntos e Planejamento de Caminhos.

• Geradores Controláveis: Produzem instâncias infinitas com dificuldade graduada (Fácil, Médio, Difícil) usando uma abordagem de "construção por design" para garantir a existência de soluções viáveis.
• Verificadores Baseados em Regras: Validam automaticamente a satisfação de restrições e calculam valores objetivos, garantindo correção absoluta sem rotulagem humana.
• Solvers Heurísticos: Uma inovação crítica onde algoritmos heurísticos específicos da tarefa (por exemplo, vizinho mais próximo multi-início com 2-opt para o Problema do Caixeiro Viajante) calculam bases quase ótimas para cada instância. Essas bases servem como a verdade fundamental para o cálculo de recompensas.
• Calibração de Currículo: Os níveis de dificuldade são calibrados empiricamente para atingir taxas de sucesso alvo (por exemplo, Fácil: 70-90%, Difícil: 10-40%) para facilitar a aprendizagem progressiva.

2. FORGE-BENCH

Um benchmark de avaliação rigoroso composto por 1.000 instâncias de alta complexidade (100 por tarefa) projetado para não ser visto durante o treinamento. Diferentemente de trabalhos anteriores, ele avalia os modelos usando duas métricas complementares:

• Taxa de Sucesso (SR): A porcentagem de instâncias onde o modelo gera uma solução válida que satisfaz todas as restrições.
• Razão de Qualidade (QR): Uma métrica contínua que mede a qualidade da solução em relação à base heurística (por exemplo, $QR = \text{Heurística} / \text{Modelo}$ para minimização). Isso distingue entre soluções meramente viáveis e soluções quase ótimas.

3. Estrutura RLVR Consciente de Qualidade

A estratégia de treinamento substitui sinais binários esparsos por recompensas contínuas e granulares derivadas das bases heurísticas.

• Função de Recompensa: Um sistema de recompensa hierárquico avalia as saídas em três dimensões:
  1. Recompensa de Formato ($R_{format}$): Garante raciocínio estruturado (por exemplo, tags <thought>).
  2. Recompensa de Viabilidade ($R_{feasibility}$): Penaliza violações de restrições (por exemplo, -1,5) e passa a pontuação de otimalidade para soluções válidas.
  3. Recompensa de Otimalidade ($R_{optimal}$): Uma pontuação contínua baseada na razão entre o valor objetivo do modelo e a base heurística, fornecendo feedback denso para otimização.
• Reprodução de Currículo Multiestágio: Para mitigar o problema do "início frio" e o esquecimento catastrófico, o treinamento emprega uma estratégia cíclica (Fácil $\to$ Médio $\to$ Difícil) que itera através dos níveis de dificuldade múltiplas vezes, reforçando habilidades fundamentais enquanto enfrenta progressivamente otimizações complexas.

Resultados Chave

Os experimentos foram conduzidos no Qwen2.5-7B-Instruct-1M, treinado em 15.000 exemplos (15K no total em três estágios).

• Desempenho In-Domain: O modelo resultante, FORGE, alcançou uma Taxa de Sucesso de 93,1% e uma Razão de Qualidade de 46,6% no FORGE-BENCH. Isso supera significativamente o GPT-4o (62,1% SR, 36,2% QR) e excede substancialmente o desempenho do modelo base (29,6% SR, 14,6% QR).
• Generalização Fora de Domínio (OOD): O treinamento no FORGE-ENGINE transferiu-se para tarefas de raciocínio diversas, gerando ganhos em:
  • Seguimento de Instruções: +6,1%
  • Raciocínio de Conhecimento: +4,1%
  • Matemática: +2,2%
  • Lógica: +1,2%
• Estudos de Ablação:
  • Design de Recompensa: Recompensas conscientes de qualidade melhoraram a qualidade da solução em 28,8% sobre recompensas binárias, prevenindo a manipulação de recompensas e guiando o modelo em direção à verdadeira otimalidade.
  • Estratégia de Currículo: A reprodução de currículo multiestágio superou estratégias lineares de passagem única, quebrando tetos de desempenho e prevenindo estagnação.
  • Diversidade de Tarefas vs. Quantidade: O estudo encontrou que o treinamento em um conjunto diversificado de 10 tarefas gerou melhor generalização do que o treinamento em menos tarefas com mais dados, sugerindo que a exposição a estruturas de problemas variadas é um fator chave para as capacidades de raciocínio.
  • RLVR vs. SFT: Embora o Ajuste Fino Supervisionado (SFT) em soluções ótimas tenha melhorado o desempenho in-domain, ele sofreu de degradação catastrófica OOD (-12,0 pontos). Em contraste, o RLVR fomentou estratégias robustas e transferíveis de satisfação de restrições.

Significado e Alegações

O artigo afirma que o FORGE-ENGINE representa a primeira estrutura abrangente a aplicar com sucesso o RLVR a problemas de otimização NP-difíceis, integrando solvers heurísticos para fornecer recompensas de otimalidade granulares.

Os autores afirmam que este trabalho preenche a lacuna entre viabilidade e otimalidade no raciocínio de LLMs. Ao ir além da correção binária, a estrutura permite que os modelos se envolvam em busca de otimização iterativa. Crucialmente, o artigo fornece evidências empíricas de que o treinamento de otimização fomenta uma "mentalidade de otimização" transferível — a capacidade de gerar candidatos e auto-refinar — o que aprimora capacidades de raciocínio mais amplas além das tarefas de otimização específicas. As descobertas sugerem que, para escalar o RLVR, a diversidade de tarefas e as recompensas conscientes de qualidade são fatores mais críticos do que a mera quantidade de dados.

O trabalho é apresentado como um passo fundamental para integrar LLMs com raciocínio baseado em otimização, oferecendo uma infraestrutura escalável e um benchmark para pesquisas futuras em raciocínio complexo.