Learned variable-support priors accelerate symbolic regression of physical laws

Resumen Técnico: Priores de Soporte de Variables Aprendidos para la Regresión Simbólica

Planteamiento del Problema
La regresión simbólica (RS) tiene como objetivo descubrir leyes físicas interpretables mediante la búsqueda en el espacio de expresiones matemáticas para encontrar una fórmula compacta que se ajuste a los datos observados. Si bien la RS ofrece ventajas sobre los predictores de caja negra —como la consistencia dimensional y la capacidad de extrapolación—, enfrenta un obstáculo combinatorio fundamental. El número de árboles de expresiones candidatos crece exponencialmente con el número de variables de entrada y los operadores disponibles. En aplicaciones físicas, las leyes gobernantes suelen utilizar solo un pequeño subconjunto de variables medidas y un conjunto limitado de operadores; sin embargo, los resolvedores estándar deben explorar un vasto espacio de búsqueda que contiene muchas ramas irrelevantes. Esta ineficiencia conduce a un pobre escalamiento, especialmente cuando los conjuntos de datos contienen numerosas columnas "distractoras" (variables irrelevantes), lo que provoca que los resolvedores fallen al encontrar la ley verdadera o converjan en expresiones espurias y sobreajustadas.

Metodología: DenoisedSR
Los autores proponen DenoisedSR, un front-end aprendido y agnóstico al resolvedor, diseñado para acelerar la RS mediante la predicción de un "prior de soporte" (support prior): un subconjunto de variables de entrada (y opcionalmente de operadores) que probablemente participen en la ley gobernante. En lugar de intentar decodificar la ecuación completa directamente (lo que a menudo conduce a errores estructurales), DenoisedSR estrecha el espacio de búsqueda antes de que comience el backend del resolvedor.

La arquitectura del sistema consiste en:

1. Predictor de Conjunto (Ensemble): Una combinación de un modelo de Red de Atención de Grafos (GAT) y un Bosque Aleatorio (RF).
   • El GAT opera en un grafo donde los nodos representan las columnas de entrada. Las características de los nodos incluyen momentos estadísticos, correlación con el objetivo, monotonicidad y descriptores dimensionales. Las aristas codifican un prior de coocurrencia aprendido de un grafo de conocimiento de leyes físicas, lo que permite al modelo razonar sobre qué variables sustentan conjuntamente una ley plausible.
   • El RF califica las columnas basándose en estadísticas por columna.
   • El puntaje final es una suma ponderada: $s(col) = RF(col) + \sigma(GAT(col))$.
2. Umbralización (Thresholding): Las variables se retienen si su puntaje supera un umbral bajo ($\tau = 0.10$), priorizando una alta recuperación (recall) para asegurar que la ley verdadera siga siendo alcanzable.
3. Prior de Operadores (Opcional): Un modelo GAT análogo predice un subconjunto de operadores relevantes basándose en los nombres de las variables físicas (por ejemplo, asociando $\theta$ con funciones trigonométricas).
4. Integración: El conjunto de soporte predicho se pasa a un backend de RS convencional (por ejemplo, PySR, gplearn o enumeración basada en GPU), que realiza la búsqueda final sobre el conjunto reducido de variables y operadores.

Contribuciones Clave

• Aceleración Agnóstica al Resolvedor: El método actúa como una capa de preprocesamiento que mejora cualquier backend de búsqueda en árboles o de enumeración sin modificar la lógica interna del resolvedor.
• Filtrado de Alta Recuperación (High-Recall): El modelo logra una recuperación de $\ge 0.96$ en benchmarks de física externos, asegurando efectivamente que las variables verdaderas rara vez sean descartadas, mientras reduce significativamente el número de columnas candidatas.
• Distinción de la Reducción de Dimensionalidad: Los autores demuestran que la ganancia de rendimiento proviene de la guía de búsqueda aprendida en lugar de una mera reducción de dimensionalidad, validado mediante controles utilizando conjuntos de soporte aleatorios del mismo tamaño.

Resultados
El artículo evalúa DenoisedSR a través de cuatro benchmarks externos (AI-Feynman, Strogatz, Nguyen y SRSD-Feynman) y tres backends estructuralmente distintos (PySR, gplearn y PSE).

• Recuperación de Variables: En el benchmark AI-Feynman (118 ecuaciones), el conjunto logra una recuperación perfecta (1.000), recuperando todas las variables verdaderas. Supera a cinco selectores de características clásicos (Pearson/Spearman, Información Mutua, Importancia de Bosque Aleatorio, Lasso), los cuales pierden variables verdaderas en el 30–80% de los casos incluso con conocimiento de oráculo sobre el número de variables. El modelo se mantiene robusto al ruido de etiquetas de hasta un 30% de ruido Gaussiano relativo.
• Rendimiento del Backend (PySR): Bajo un presupuesto fijo de 10 segundos, suministrar el prior de variables a PySR aumenta la tasa de recuperación de la ley exacta de $42 \pm 13\%$ a un $60 \pm 0\%$ estable según la semilla. El $R^2$ medio de validación externa mejora de $0.906$a$0.980$. El conjunto de columnas candidatas se reduce en un 85% (de ~23 a ~3.4 columnas) y el vocabulario de búsqueda se reduce a la mitad.
• Escalabilidad con Distractores: La brecha de rendimiento entre la búsqueda guiada y la no guiada se amplía monótonamente a medida que aumenta el número de columnas distractoras (de 5 a 30). Mientras que la recuperación completa de PySR cae significativamente con más distractores, DenoisedSR mantiene una tasa de recuperación estable de ~61–62%.
• Tiempo de Solución: Al podar ramas irrelevantes, DenoisedSR acelera el tiempo de solución hasta 6 veces para fórmulas no triviales, con una aceleración mediana de ~1.5×. La inferencia del front-end añade solo ~40 ms por tarea.
• Generalización a Otros Backends:
  • gplearn (GP Clásico): La recuperación exacta mejora de 3.3% a 17.8%.
  • PSE (Enumeración Paralela en GPU): La recuperación exacta salta de 0% a 40%, ya que el prior asegura que el muestreador extraiga subconjuntos informativos de variables.
• Datos de Caja Negra: En 24 tareas de PMLB/SRBench de caja negra, DenoisedSR mejora significativamente el $R^2$ medio de validación externa en comparación con la búsqueda completa, mientras que un control de soporte aleatorio degrada el rendimiento, confirmando el valor de la guía condicionada por la observación.
• Limitaciones en Regímenes Específicos: En el benchmark SRSD-Feynman, que contiene pocas variables ficticias físicamente plausibles, el prior es mayormente neutral. Esto confirma que el método es más efectivo cuando la relación de variables distractoras frente a las verdaderas es alta.

Significancia y Reivindicaciones
El artículo afirma que los priores de soporte aprendidos representan una "intervención de alto apalancamiento y bajo riesgo" para la regresión simbólica. Al desacoplar la tarea difícil de la selección de variables del proceso de descubrimiento de la ecuación, DenoisedSR permite que los resolvedores existentes operen de manera más eficiente y confiable. Los autores enfatizan que, aunque el front-end neuronal aún no puede asignar de manera fiable las variables a posiciones específicas en una expresión (la "brecha de asignación"), sí identifica con éxito qué cantidades importan. Este enfoque complementa los existentes priores conscientes de la física y el análisis dimensional, ofreciendo un camino práctico para un descubrimiento de leyes físicas más rápido y robusto sin requerir la generación de ecuaciones neuronales de extremo a extremo. El método se presenta como inmediatamente útil para mejorar los resolvedores actuales, con un modo de fallo que es empíricamente seguro (una alta recuperación asegura que la ley verdadera no sea excluida).