Resumen Técnico: Regresión Simbólica Bayesiana con Aprendizaje por Refuerzo Entrópico (ERRLESS)

Planteamiento del Problema

La Regresión Simbólica (SR, por sus siglas en inglés) tiene como objetivo descubrir una expresión algebraica que mapee entradas a salidas, representada típicamente como un árbol de sintaxis abstracta (AST) construido a partir de una biblioteca de operadores. Mientras que los algoritmos de SR estándar se centran en encontrar una única expresión de "mejor ajuste" (a menudo realizando un intercambio entre complejidad y ajuste), esta estimación puntual falla al no capturar la incertidumbre epistémica. En entornos científicos caracterizados por datos limitados y ruidosos, una única expresión puede ser poco fiable, y la incertidumbre derivada de la escasez de datos queda oscurecida.

Los enfoques Bayesianos existentes para la SR intentan modelar esta incertidumbre definiendo una distribución previa sobre las estructuras de las expresiones y sus parámetros, induciendo una distribución posterior dado los datos. Sin embargo, los métodos tradicionales que dependen de MCMC (Monte Carlo por Cadenas de Markov) de Salto Reversible o SMC (Monte Carlo Secuencial) suelen depender de distribuciones de propuesta diseñadas manualmente y son computacionalmente costosos de escalar.

Metodología: ERRLESS

Los autores proponen ERRLESS (Entropy-Regularized Reinforcement Learning for Expression Structure Sampling), un marco escalable que amortiza el proceso de muestreo utilizando una política neuronal entrenada mediante aprendizaje por refuerzo (RL) de máxima entropía.

1. Entorno de Generación Bottom-Up

A diferencia de la mayoría de los métodos de SR profundo que utilizan una generación top-down (muestreo de operadores antes que de operandos), ERRLESS emplea un proceso de generación bottom-up (postorden).

• Toma de Decisiones Secuencial: Un árbol de expresión se genera como una secuencia de tokens (Notación Polaca Inversa). La política muestrea los tokens uno por uno.
• Imposición de Restricciones: Este enfoque bottom-up permite la imposición inmediata de restricciones. A medida que se especifican primero los operandos (hojas), se pueden verificar los nuevos operadores para asegurar la validez dimensional (compatibilidad de unidades físicas) y la validez estructural (por ejemplo, evitar composiciones redundantes como $\sqrt{x^2}$ o el anidamiento de funciones trigonométricas) antes de añadir el operador.
• Espacio de Estados: El entorno rastrea la secuencia parcial actual, asegurando que solo se muestren continuaciones válidas, lo que efectivamente poda el espacio de búsqueda.

2. Aprendizaje por Refuerzo de Máxima Entropía

La innovación central es formular la tarea de SR Bayesiana como un problema de RL donde el objetivo es muestrear de la distribución posterior $p(T, \theta, \sigma | D)$.

• Función de Recompensa: La recompensa $R(T, \theta, \sigma)$ se define como el log-posterior no normalizado:
  $$R(T, \theta, \sigma) = \log P(T) + \log p(\theta, \sigma | T) + \sum_{i=1}^N \log \mathcal{N}(y_i; f_{T,\theta}(x_i), \sigma^2)$$
• Objetivo: La política $\pi_\phi$ se entrena para maximizar el objetivo regularizado por entropía:
  $$\max_\phi \left( \mathbb{E}_{(T,\theta,\sigma) \sim \pi_\phi}[R(T, \theta, \sigma)] + H[\pi_\phi] \right)$$
  Maximizar este objetivo minimiza la divergencia de Kullback-Leibler entre la política aprendida y la verdadera distribución posterior.
• Algoritmo de Entrenamiento: Los autores utilizan el objetivo de Equilibrio de Trayectoria (TB), una función de pérdida central para las Redes de Flujo Generativo (GFlowNets). Esto permite un entrenamiento off-policy, donde la política aprende de un búfer de repetición de trayectorias generadas por una política de comportamiento, optimizando la consistencia del camino entre el estado inicial y la recompensa terminal.

3. Arquitectura de la Política

La política está parametrizada por una arquitectura basada en Transformers:

• Entrada: La secuencia de tokens generados hasta el momento.
• Cabezales (Heads): La red devuelve tres distribuciones distintas:
  1. Cabezal de Acción: Logits para el siguiente token (operador, variable, constante o terminación).
  2. Cabezal de Constante: Parámetros para un Modelo de Mezcla Gaussiana (GMM) para muestrear constantes de valor real $\theta$.
  3. Cabezal de Ruido: Parámetros para una mezcla Log-Normal para muestrear la varianza del ruido $\sigma$.

Principales Contribuciones

1. Proceso de Generación Novedoso: Un entorno bottom-up para SR que integra análisis dimensional y restricciones estructurales directamente en el proceso de generación, reduciendo significativamente el espacio de búsqueda.
2. Formulación Bayesiana End-to-End: La primera formulación de SR Bayesiana (incluyendo la inferencia de parámetros escalares) como un único problema de aprendizaje de política utilizando RL de máxima entropía, evitando el ajuste explícito de constantes por cada candidato.
3. Muestreo de la Posterior Escalable: Un método capaz de muestrear eficientemente de la distribución posterior sobre expresiones y parámetros, permitiendo la cuantificación de la incertidumbre.

Resultados Experimentales

Los autores evaluaron ERRLESS en tres benchmarks: un conjunto de datos sintético, la base de datos de Regresión Simbólica de Feynman y un benchmark de Caja Negra (Blackbox).

• Precisión del Modelado de la Posterior (Datos Sintéticos): En comparación con PySIPS (un baseline de SMC), ERRLESS produjo una media predictiva de la posterior con un coeficiente de determinación ($R^2$) significativamente mayor. PySIPS a menudo fallaba en la media de la posterior porque una cola de muestras divergentes dominaba el promedio, mientras que ERRLESS produjo muestras de la posterior finitas y bien comportadas.
• Benchmark de Feynman: ERRLESS logró un puntaje de Área Bajo la Curva (AUC) competitivo de 0.924, superando a otros métodos basados en RL como DSR (0.873) y PhySO (0.893), así como al baseline Bayesiano BSR (0.702). Demostró una robustez superior ante distintos niveles de ruido ($\gamma \in \{0.001, 0.01, 0.1\}$).
• Complejidad vs. Precisión: Aunque los métodos evolutivos líderes a veces lograban altos puntajes de ajuste, a menudo producían expresiones excesivamente complejas. ERRLESS mantuvo un intercambio favorable, produciendo expresiones cortas e interpretables.
• Eficiencia: ERRLESS fue un orden de magnitud más rápido que la mayoría de sus competidores basados en aprendizaje. Esta aceleración se atribuye a la amortización de la optimización de parámetros; la política neuronal aprende a muestrear parámetros directamente, eliminando la necesidad de un bucle de optimización interno (por ejemplo, ajuste de mínimos cuadrados) requerido por otros métodos.

Significado y Reivindicaciones

El artículo afirma que ERRLESS logra cerrar la brecha entre la interpretabilidad de la regresión simbólica y la cuantificación de la incertidumbre de la inferencia bayesiana. Al aprovechar el RL de máxima entropía, el método evita los cuellos de botella computacionales de los enfoques tradicionales de MCMC/SMC, proporcionando al mismo tiempo una distribución posterior completa en lugar de una única estimación puntual.

Los autores enfatizan que la perspectiva Bayesiana es particularmente valiosa en entornos con datos escasos y ruidosos, donde la media predictiva de la posterior de ERRLESS supera a las estimaciones de punto único. El trabajo demuestra que es posible aprender una política que muestree simultáneamente las estructuras de las expresiones y sus parámetros, ofreciendo un camino escalable hacia el descubrimiento científico automatizado donde la incertidumbre se modela explícitamente.

Limitaciones señaladas por los autores: El rendimiento puede degradarse en expresiones objetivo altamente complejas. Se sugiere como trabajo futuro condicionar el muestreador a parámetros de temperatura para equilibrar mejor la complejidad y la precisión, así como extender el enfoque para amortizar sobre conjuntos de datos o descubrir librerías de operadores.