Resumen Técnico: Regresión Simbólica de Inferencia Variacional Profunda (DVISR)

Enunciado del Problema

La Regresión Simbólica (SR) busca descubrir relaciones matemáticas explícitas e interpretables entre variables independientes y dependientes sin asumir una forma funcional a priori. Si bien métodos tradicionales como la Programación Genética (GP) y la Regresión Simbólica Profunda (DSR) identifican con éxito expresiones individuales de mejor ajuste, carecen de la capacidad de inferir una distribución de probabilidad sobre los modelos candidatos. Esta limitación impide la cuantificación de la incertidumbre, lo cual es crítico al tratar con datos del mundo real ruidosos o limitados.

Los enfoques bayesianos existentes, como el Monte Carlo de Cadenas de Markov (MCMC), pueden muestrear con precisión desde la distribución posterior, pero luchan con la escalabilidad en espacios de alta dimensión y son computacionalmente más lentos que los métodos variacionales. Por el contrario, la Inferencia Variacional (VI) ofrece alternativas más rápidas y escalables, pero ha visto una aplicación limitada en SR. Los intentos previos de SR variacional se han restringido a redes neuronales polinómicas o subconjuntos del espacio de expresiones debido a la intratabilidad computacional. Existe una necesidad de un enfoque bayesiano variacional escalable que infiera posteriors tanto sobre árboles de expresión como sobre sus constantes asociadas.

Metodología

Los autores proponen Inferencia Variacional Profunda para Regresión Simbólica (DVISR), una extensión bayesiana variacional del algoritmo de Regresión Simbólica Profunda (DSR). DVISR utiliza una Red Neuronal Recurrente (RNN) para generar expresiones simbólicas y emplea el método de gradiente de política REINFORCE para la optimización.

Modificaciones Clave Arquitectónicas y Algorítmicas

1. Distribución sobre Constantes: A diferencia de DSR, que optimiza constantes aguas abajo mediante procedimientos separados, DVISR extiende la salida de la RNN para incluir parámetros (media y varianza) para distribuciones normales sobre valores constantes. Cuando se muestrea un token constante, su valor se extrae de esta distribución aprendida.
2. Contexto de Entrada Mejorado: Para ayudar a la RNN en el muestreo, la red recibe el token anterior, los tokens padre y hermano (si existen) como entradas, junto con los valores de las constantes muestreadas previamente. Esto aborda las limitaciones en DSR donde la red podría no "ver" todos los tokens anteriores.
3. Función de Recompensa y Objetivo:
   • DSR: Maximiza una recompensa basada en el Error Cuadrático Medio Normalizado (NRMSE) acotado por una función de compresión para encontrar un único mejor modelo.
   • DVISR: Reemplaza la recompensa NRMSE con el integrando del Límite Inferior de la Evidencia (ELBO). La función de recompensa se define como:
     $$R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$$
     Donde $\mathcal{L}_\theta$ es la verosimilitud, $p(f)$ es la priori y $q_\phi(f)$ es la distribución variacional.
   • Al maximizar esta recompensa mediante REINFORCE, DVISR minimiza indirectamente la divergencia Kullback-Leibler (KL) entre la distribución variacional $q_\phi(f)$ y la posterior verdadera $p(f|X, y)$.
4. Cálculo de la Verosimilitud: La verosimilitud de una expresión $f$ se calcula como el producto de las verosimilitudes de sus tokens y constantes, condicionado a todos los tokens y constantes muestreados previamente.

Contribuciones Clave

1. Algoritmo Novel: Introducción de DVISR, el primer algoritmo que realiza inferencia variacional sobre el espacio completo de regresión simbólica, incluyendo tanto árboles de expresión como parámetros constantes continuos.
2. Recuperación del Posterior: Demostración de que DVISR puede converger correctamente al posterior verdadero en configuraciones simples, tanto con como sin tokens constantes.
3. Análisis de Escalabilidad: Un examen de cómo el rendimiento de DVISR se degrada a medida que aumenta el tamaño del espacio de expresiones, identificando los límites de la arquitectura actual.

Resultados Experimentales

Los autores realizaron experimentos para validar la convergencia y la escalabilidad de DVISR.

1. Convergencia al Posterior Verdadero (Sin Constantes)

En experimentos simples utilizando datos generados a partir de $y=x_0^2$, $y=x_0$ y $y=0.5$ con una biblioteca de tokens restringida, el espacio de modelos era pequeño y finito.

• Resultados: El ELBO convergió al logaritmo de la evidencia, y la divergencia KL se acercó a cero.
• Validación: La Tabla 1 muestra que las probabilidades variacionales medianas coincidieron con los valores del posterior verdadero hasta ocho decimales en 10 ejecuciones.

2. Convergencia con Constantes

Los experimentos incluyeron un token constante ($c$) en la biblioteca, permitiendo expresiones como $x_0 \cdot c$.

• Método: El posterior verdadero se calculó marginalizando las constantes utilizando un integrador numérico.
• Resultados: La Tabla 2 demuestra que la distribución variacional sobre los árboles de expresión convergió al posterior verdadero exacto (marginalizado sobre constantes) hasta ocho decimales.

3. Escalabilidad

Los autores variaron el tamaño máximo de la expresión de 1 a 12 tokens para probar la escalabilidad.

• Hallazgos: A medida que aumentaba el tamaño máximo de la expresión, la divergencia KL estimada entre el posterior verdadero y la distribución variacional aumentaba.
• Limitación: No se realizaron experimentos más allá del tamaño 12 debido a la dificultad computacional de calcular la evidencia a esa escala. Esto indica que, aunque DVISR funciona para espacios pequeños, el rendimiento se degrada a medida que se expande el espacio de búsqueda.

Significado y Afirmaciones

El artículo posiciona a DVISR como un paso significativo hacia la regresión simbólica bayesiana escalable que proporciona cuantificación de la incertidumbre sobre modelos simbólicos completos.

• Interpretabilidad e Incertidumbre: Al inferir una distribución posterior en lugar de una estimación puntual única, DVISR aborda la naturaleza de "caja negra" de algunos modelos de regresión y tiene en cuenta el ruido y las limitaciones de los datos.
• Avance sobre MCMC: Ofrece una alternativa más rápida a MCMC para SR bayesiana, que suele ser lenta y lucha con dimensiones altas.
• Alcance Moderado: Los autores reconocen las limitaciones actuales, incluidos tamaños de expresión pequeños, bajos números de variables independientes y la ausencia de conjuntos de datos del mundo real. No afirman superioridad inmediata en problemas complejos del mundo real, sino que argumentan que DVISR establece un marco fundamental.
• Direcciones Futuras: El artículo sugiere que el trabajo futuro podría mejorar la escalabilidad mediante barridos de hiperparámetros, arquitecturas avanzadas (por ejemplo, Transformers) o algoritmos de aprendizaje por refuerzo más sofisticados (por ejemplo, PPO).