Resumo Técnico: Internalizando Leis Geométricas via Resíduos de Solvers

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem "alucinação de precisão" em domínios que exigem adesão estrita a leis geométricas, físicas ou lógicas. Embora os modelos possam gerar saídas sintaticamente coerentes e semanticamente plausíveis, eles frequentemente falham em satisfazer restrições métricas exatas (ex: perpendicularidade, tangência, comprimentos específicos). As abordagens existentes frequentemente delegam o raciocínio para solvers simbólicos ou numéricos externos, reduzindo o LLM a um tradutor de linguagem natural para uma Linguagem de Domínio Específico (DSL) própria do solver. Essa delegação impede que o modelo internalize a lógica espacial, tornando-o frágil quando confrontado com novas restrições fora do vocabulário predefinido do solver.

O desafio específico abordado é a Resolução de Restrições Geométricas (GCS): traduzir descrições de linguagem natural livre em programas Python precisos que geram coordenadas métricas exatas (localização de pontos, raios de círculos) satisfazendo dezenas de restrições interativas simultaneamente. Diferente de benchmarks anteriores que focam em respostas escalares ou provas de teoremas, esta tarefa exige a geração de uma configuração geométrica totalmente construída onde todas as restrições relacionais sejam satisfeitas dentro de uma tolerância estrita ($\|r\|_2^2 < 10^{-3}$).

Metodologia

O Framework PyGeoX

Os autores introduzem o PyGeoX, uma DSL e motor geométrico programável projetado para unir a intenção declarativa à otimização diferenciável.

• Arquitetura: O PyGeoX opera como um pipeline "Declarativo-para-Simbólico-para-Diferenciável". Ele aceita descrições geométricas de alto nível, compila-as em equações de restrição simbólicas (usando SymPy) e as agrega em uma função de erro diferenciável única $E(u)$.
• Capacidades: O motor suporta 35 tipos de objetos e 38 relacionamentos, incluindo restrições algébricas complexas (ex: "o perímetro de um pentágono é igual à área de um círculo") e restrições de desigualdade, que são frequentemente não suportadas por motores dedutivos tradicionais.
• Papel no Treinamento: O PyGeoX é usado estritamente off-policy. Ele gera dados de treinamento proceduralmente e calcula resíduos por restrição durante a avaliação da recompensa de Aprendizado por Reforço (RL). O LLM nunca tem acesso à biblioteca PyGeoX durante a inferência, forçando-o a aprender leis geométricas em vez de sintaxe de API.

Design de Recompensa: Mascaramento de Gradiente de Outliers e SAR

Uma contribuição central do artigo é a identificação de um modo de falha no RL padrão com Recompensas Verificáveis (RLVR) chamado Mascaramento de Gradiente de Outliers (Outlier Gradient Masking).

• O Problema: Recompensas de norma global padrão (ex: $R = \exp(-\|r\|_2^2)$) agregam todos os resíduos de restrição em um único escalar. Em espaços de restrição de alta dimensão, uma única restrição severamente violada (um outlier) leva a norma global a quase zero, colapsando o sinal de recompensa para todas as outras restrições satisfeitas. Esse escalonamento de "tudo ou nada" anula o gradiente da política, impedindo o modelo de aprender a partir de progresso parcial.

• A Solução (SAR): Os autores propõem Recompensas Aditivas Saturantes (SAR). Em vez de agregar resíduos globalmente, a SAR decompõe a recompensa em uma soma de kernels independentes e limitados para cada restrição:
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  onde $\phi$ é um kernel monotonicamente decrescente (ex: Boltzmann $\phi(r) = e^{-r/T}$). Isso garante que o progresso em restrições satisfeitas preserve um sinal de gradiente não nulo mesmo quando outras restrições são violadas.

• Recompensa Composta: Para abordar o "platô de recompensa" (onde a satisfação parcial gera alta recompensa, mas falha em atingir soluções exatas) e a "degenerescência geométrica" (soluções triviais como colapsar todos os pontos em uma única coordenada), a função de recompensa final combina:

  1. Modelagem Densa (SAR): Fornece gradientes contínuos para progresso parcial.
  2. Bônus Esparso: Uma recompensa binária ativada apenas quando todas as restrições são satisfeitas ($\|r\|_2^2 < 10^{-3}$).
  3. Penalidade de Degenerescência: Deduz recompensa para configurações triviais (ex: pontos coincidentes).

Protocolo de Treinamento

O framework foi avaliado usando o Qwen3-8B como modelo base.

• Dados: Um pipeline procedural gerou aproximadamente 100 mil problemas validados, estratificados em níveis Fácil, Médio e Difícil.
• Abordagens: Os autores compararam o Ajuste Fino Supervisionado (SFT) com perda ponderada (usando recompensas normalizadas) e Aprendizado por Reforço usando Otimização de Política Relativa de Grupo (GRPO).
• Baselines: Comparações foram feitas contra recompensas de norma global padrão (baseadas em MSE), recompensas binárias esparsas e o proposto SAR+S+D.

Principais Resultados

Desempenho em Benchmarks

Os autores avaliaram os modelos no PyGeoX-Bench (300 problemas estratificados) e no PyGeoX-Wild (86 problemas fora de distribuição adaptados de benchmarks de geometria do ensino fundamental).

• Superioridade da SAR: A recompensa composta SAR+S+D superou significativamente as recompensas de norma global e esparsas padrão. No nível "Difícil", a SAR+S+D alcançou uma taxa de solução (SR) de 0,41 (RL) e 0,32 (SFT), comparado a 0,18 e 0,04, respectivamente, para MSE+S+D.
• Validação do Mascaramento de Gradiente: Análise empírica de 3.893 soluções parcialmente corretas mostrou que 60% das recompensas baseadas em MSE colapsaram para quase zero, tornando-as indistinguíveis para o otimizador. Em contraste, 97% das recompensas SAR caíram na faixa informativa $[0,1, 0,9]$, preservando as lacunas relativas entre as soluções.
• Eficiência de Tokens: Modelos treinados com SAR+S+D exigiram cerca de 22,8% menos tokens para resolver problemas em comparação com os baselines esparsos, sugerindo caminhos de raciocínio mais diretos.
• Competitividade: O modelo de 8B resultante (0,41 SR no Difícil) superou três de quatro sistemas de fronteira proprietários avaliados (incluindo o DeepSeek-V3.2) no nível Difícil, apesar de ser significativamente menor.

Evidência de Internalização

O artigo argumenta que o modelo internalizou as leis geométricas em vez de memorizar os dados de treinamento com base em três linhas de evidência:

1. Traços Construtivos: ~90% dos traços bem-sucedidos seguiram derivações construtivas passo a passo (estilo régua e compasso) em vez de chamadas de otimização de caixa-preta.
2. Transferência OOD: O modelo manteve alto desempenho no PyGeoX-Wild, que apresentava prosa escrita por humanos e combinações de restrições inéditas.
3. Inviabilidade Combinatória: O espaço de solução para problemas Difíceis excede $10^{17}$ configurações, superando vastamente o conjunto de treinamento, tornando a memorização estatisticamente impossível.

Significância e Alegações

O artigo afirma apresentar o primeiro framework que formula a Resolução de Restrições Geométricas de ponta a ponta como uma tarefa de alinhamento de LLM, indo além do paradigma de "tradutor". Sua principal significância reside em:

1. Design de Recompensa: Identificar e resolver o problema do "Mascaramento de Gradiente de Outliers", demonstrando que sinais de resíduo densos e por restrição são essenciais para treinar LLMs em tarefas de múltiplas restrições.
2. Infraestrutura: Lançar o PyGeoX, um motor geométrico diferenciável que suporta restrições de desigualdade e relações algébricas complexas, juntamente com o PyGeoX-Bench e PyGeoX-Wild para avaliação rigorosa.
3. Generalização: Os autores postulam que a abordagem SAR é aplicável a qualquer cenário de RLVR onde um solver retorna um vetor de resíduo multidimensional, como simulação física, layout de cena ou manipulação robótica.

Os autores mantêm a modéstia quanto ao escopo, observando que os resultados atuais são limitados à geometria estática 2D e que a abordagem requer um modelo base com fortes capacidades matemáticas e de código (pois modelos menores falharam em convergir). Eles não alegam ter resolvido o design de engenharia geral, mas estabeleceram um caminho viável para que LLMs internalizem leis geométricas em domínios de precisão crítica.