Resumen Técnico: Internalización de Leyes Geométricas mediante Residuos de Solucionadores

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) exhiben una "alucinación de precisión" en dominios que requieren la adherencia estricta a leyes geométricas, físicas o lógicas. Aunque los modelos pueden generar salidas sintácticamente coherentes y semánticamente plausibles, frecuentemente fallan al satisfacer restricciones métricas exactas (por ejemplo, perpendicularidad, tangencia, longitudes específicas). Los enfoques existentes suelen delegar el razonamiento en solucionadores simbólicos o numéricos externos, reduciendo al LLM a un traductor de lenguaje natural a un lenguaje de dominio específico (DSL) propio del solucionador. Esta delegación impide que el modelo internalice la lógica espacial, volviéndolo frágil ante nuevas restricciones fuera del vocabulario predefinido del solucionador.

El desafío específico abordado es la Resolución de Restricciones Geométricas (GCS): traducir descripciones de lenguaje natural de forma libre en programas de Python precisos que generen coordenadas métricas exactas (ubicación de puntos, radios de círculos) satisfaciendo docenas de restricciones interactivas simultáneamente. A diferencia de los benchmarks previos que se centran en respuestas escalares o demostraciones de teoremas, esta tarea requiere la generación de una configuración geométrica completamente construida donde todas las restricciones relacionales se satisfagan dentro de una tolerancia estricta ($\|r\|_2^2 < 10^{-3}$).

Metodología

El Marco PyGeoX

Los autores presentan PyGeoX, un motor y DSL geométrico programable diseñado para cerrar la brecha entre la intención declarativa y la optimización diferenciable.

• Arquitectura: PyGeoX opera como un pipeline de "Declarativo-a-Simbólico-a-Diferenciable". Acepta descripciones geométricas de alto nivel, las compila en ecuaciones de restricción simbólicas (usando SymPy) y las agrega en una función de error diferenciable única $E(u)$.
• Capacidades: El motor soporta 35 tipos de objetos y 38 relaciones, incluyendo restricciones algebraicas complejas (por ejemplo, "el perímetro de un pentágono es igual al área de un círculo") y restricciones de desigualdad, que a menudo no son compatibles con los motores deductivos tradicionales.
• Rol en el Entrenamiento: PyGeoX se utiliza estrictamente fuera de la política (off-policy). Genera datos de entrenamiento de forma procedimental y calcula los residuos por restricción durante la evaluación de la recompensa de Aprendizaje por Refuerzo (RL). El LLM nunca tiene acceso a la librería PyGeoX durante la inferencia, forzándolo a aprender las leyes geométricas en lugar de la sintaxis de la API.

Diseño de Recompensa: Enmascaramiento de Gradiente por Valores Atípicos y SAR

Una contribución central del artículo es la identificación de un modo de fallo en el RL estándar con Recompensas Verificables (RLVR) llamado Enmascaramiento de Gradiente por Valores Atípicos (Outlier Gradient Masking).

• El Problema: Las recompensas de norma global estándar (por ejemplo, $R = \exp(-\|r\|_2^2)$) agregan todos los residuos de las restricciones en un único escalar. En espacios de restricciones de alta dimensión, una sola restricción severamente violada (un valor atípico) lleva la norma global cerca de cero, colapsando la señal de recompensa para todas las demás restricciones satisfechas. Este escalado de "todo o nada" anula el gradiente de la política, impidiendo que el modelo aprenda del progreso parcial.

• La Solución (SAR): Los autores proponen Recompensas Aditivas Saturantes (SAR). En lugar de agregar los residuos globalmente, SAR los descompone en una suma de núcleos independientes y acotados para cada restricción:
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  donde $\phi$ es un núcleo monótonamente decreciente (por ejemplo, Boltzmann $\phi(r) = e^{-r/T}$). Esto asegura que el progreso en las restricciones satisfechas preserve una señal de gradiente no nula incluso cuando otras restricciones son violadas.

• Recompensa Compuesta: Para abordar el "plateau de recompensa" (donde la satisfacción parcial genera una recompensa alta pero falla en alcanzar soluciones exactas) y la "degeneración geométrica" (soluciones triviales como colapsar todos los puntos a una misma coordenada), la función de recompensa final combina:

  1. Modelado Denso (SAR): Proporciona gradientes continuos para el progreso parcial.
  2. Bonificación Dispersa (Sparse Bonus): Una recompensa binaria activada solo cuando todas las restricciones se satisfacen ($\|r\|_2^2 < 10^{-3}$).
  3. Penalización de Degeneración: Deduce recompensa por configuraciones triviales (por ejemplo, puntos coincidentes).

Protocolo de Entrenamiento

El marco fue evaluado utilizando Qwen3-8B como modelo base.

• Datos: Un pipeline procedimental generó aproximadamente 100k problemas validados estratificados en niveles Fácil, Medio y Difícil.
• Enfoques: Los autores compararon el Ajuste Fino Supervisado (SFT) con pérdida ponderada (usando recompensas normalizadas) y el Aprendizaje por Refuerzo mediante Optimización de Política Relativa de Grupo (GRPO).
• Líneas Base: Se realizaron comparaciones contra recompensas de norma global estándar (basadas en MSE), recompensas binarias dispersas y el propuesto SAR+S+D.

Resultados Clave

Rendimiento en Benchmarks

Los autores evaluaron los modelos en PyGeoX-Bench (300 problemas estratificados) y PyGeoX-Wild (86 problemas fuera de distribución adaptados de benchmarks de geometría de nivel secundaria).

• Superioridad de SAR: La recompensa compuesta SAR+S+D superó significativamente a las recompensas de norma global y dispersas estándar. En el nivel "Difícil", SAR+S+D alcanzó una tasa de resolución (SR) de 0.41 (RL) y 0.32 (SFT), frente al 0.18 y 0.04 respectivamente de MSE+S+D.
• Validación del Enmascaramiento de Gradiente: El análisis empírico de 3,893 soluciones parcialmente correctas mostró que el 60% de las recompensas basadas en MSE colapsaron a casi cero, haciéndolas indistinguibles para el optimizador. En contraste, el 97% de las recompensas SAR se mantuvieron dentro del rango informativo $[0.1, 0.9]$, preservando las brechas relativas entre soluciones.
• Eficiencia de Tokens: Los modelos entrenados con SAR+S+D requirieron aproximadamente un 22.8% menos de tokens para resolver problemas en comparación con las líneas base dispersas, lo que sugiere rutas de razonamiento más directas.
• Competitividad: El modelo de 8B resultante (0.41 SR en Difícil) superó a tres de los cuatro sistemas de frontera de código cerrado evaluados (incluyendo DeepSeek-V3.2) en el nivel Difícil, a pesar de ser significativamente más pequeño.

Evidencia de Internalización

El artículo argumenta que el modelo internalizó las leyes geométricas en lugar de memorizar los datos de entrenamiento basándose en tres líneas de evidencia:

1. Trazas Constructivas: Aproximadamente el 90% de las trazas exitosas siguieron derivaciones constructivas paso a paso (estilo regla y compás) en lugar de llamadas de optimización de caja negra.
2. Transferencia OOD: El modelo mantuvo un alto rendimiento en PyGeoX-Wild, que presentaba prosa escrita por humanos y combinaciones de restricciones no vistas.
3. Infactibilidad Combinatoria: El espacio de soluciones para problemas Difíciles excede las $10^{17}$ configuraciones, superando enormemente el conjunto de entrenamiento, lo que hace que la memorización sea estadísticamente imposible.

Significado y Reivindicaciones

El artículo afirma presentar el primer marco que formula la Resolución de Restricciones Geométricas de extremo a extremo como una tarea de alineación de LLM, yendo más allá del paradigma de "traductor". Su principal importancia radica en:

1. Diseño de Recompensa: Identificar y resolver el problema del "Enmascaramiento de Gradiente por Valores Atípicos", demostrando que las señales de residuo densas por cada restricción son esenciales para entrenar LLMs en tareas de múltiples restricciones.
2. Infraestructura: Lanzar PyGeoX, un motor geométrico diferenciable que soporta restricciones de desigualdad y relaciones algebraicas complejas, junto con PyGeoX-Bench y PyGeoX-Wild para una evaluación rigurosa.
3. Generalizabilidad: Los autores postulan que el enfoque SAR es aplicable a cualquier entorno de RLVR donde un solucionador devuelva un vector de residuo multidimensional, como en simulaciones físicas, diseño de escenas o manipulación robótica.

Los autores mantienen la modestia respecto al alcance, señalando que los resultados actuales se limitan a la geometría estática en 2D y que el enfoque requiere un modelo base con fuertes capacidades matemáticas y de código (ya que los modelos más pequeños no lograron converger). No pretenden haber resuelto el diseño de ingeniería general, sino que han establecido una vía viable para que los LLM internalicen las leyes geométricas en dominios de precisión crítica.