Resumen Técnico: GESR – Un Método de Regresión Simbólica Basado en Programación Genética con Edición de Genes

1. Planteamiento del Problema

La regresión simbólica busca descubrir automáticamente expresiones matemáticas a partir de datos observacionales que logren tanto una alta precisión predictiva como una fuerte interpretabilidad. Aunque la Programación Genética (PG) es un enfoque clásico y ampliamente adoptado para esta tarea, depende en gran medida de operadores genéticos aleatorios (mutación y cruce) para evolucionar las estructuras de las expresiones. Los autores argumentan que esta aleatoriedad, aunque imita la evolución natural, genera inevitablemente una gran cantidad de variaciones ineficaces o perjudiciales. Esta falta de controlabilidad reduce la eficiencia de la búsqueda, ralentiza la convergencia y aumenta los costos computacionales. Los métodos existentes que intentan guiar la PG (por ejemplo, utilizando LSTMs para la inicialización o cálculos inversos para la predicción de subárboles) a menudo sufren de una alta sobrecarga computacional o no logran guiar eficazmente los procesos de mutación y cruce durante la búsqueda evolutiva.

2. Metodología

El artículo propone GESR (Regresión Simbólica con Edición de Genes), un marco que integra modelos BERT multimodales en el bucle evolutivo de la PG para realizar "edición de genes". Este enfoque reemplaza los operadores genéticos puramente aleatorios con operaciones guiadas condicionadas por datos. El marco consta de dos componentes principales, descritos metafóricamente como las "Manos de Dios":

2.1 Mutación Guiada mediante Modelado de Lenguaje Enmascarado

• Representación: Las expresiones simbólicas se representan como árboles binarios y se linealizan en secuencias de recorrido en preorden.
• Mecanismo: Se entrena un modelo BERT multimodal para guiar la mutación. Durante la fase de mutación, se enmascaran aleatoriamente tokens específicos de operador o operando en una secuencia de expresión.
• Entrada: La secuencia enmascarada se introduce en el modelo BERT junto con el conjunto de datos de regresión $(X, Y)$. Los datos se codifican utilizando un SetTransformer para garantizar la invarianza de permutación y se fusionan con incrustaciones de tokens simbólicos.
• Salida: El modelo predice el símbolo de reemplazo más adecuado para la posición enmascarada basándose en la distribución de probabilidad condicional derivada de la distribución de los datos. Esto transforma la mutación de una perturbación aleatoria en una edición dirigida destinada a mejorar la aptitud de la regresión (por ejemplo, $R^2$).

2.2 Cruce Guiado mediante Predicción de Subárboles

• Mecanismo: Un segundo modelo BERT multimodal guía la operación de cruce.
• Entrada: Dos secuencias de expresión candidatas se concatenan utilizando un token especial [SEP], junto con el conjunto de datos $(X, Y)$.
• Salida: El modelo predice los nodos raíz de los subárboles en ambas expresiones parentales que son más adecuados para el intercambio.
• Estrategia: En lugar de seleccionar puntos de cruce aleatoriamente, el modelo identifica fragmentos estructurales que, al intercambiarse, es probable que mejoren la aptitud de la descendencia bajo las restricciones de datos dadas.

2.3 Construcción de Datos de Entrenamiento

Los autores diseñaron pipelines específicos para construir datos de entrenamiento de alta calidad para los modelos BERT:

• Para Mutación: El pipeline genera pares de expresiones donde una es una versión "mejor" de la otra. Implica generar una expresión objetivo, muestrear datos, crear una expresión inicial aleatoria, aplicar funciones de mutación diferenciables, optimizar parámetros mediante BFGS y discretizar el resultado. Si la expresión mutada mejora el ajuste ($R^2$), la expresión original se enmascara y los símbolos mejorados sirven como objetivo.
• Para Cruce: Los datos de entrenamiento se recopilan en línea durante el proceso de evolución de la PG. Se cruzan pares de expresiones parentales (utilizando PG estándar o mutación guiada primero) y se evalúa la descendencia. Si la descendencia supera a los padres, el par de padres y los nodos de cruce específicos utilizados se registran como una muestra de entrenamiento. Esto asegura que el modelo aprenda puntos de cruce que conduzcan a mejoras en la aptitud.

2.4 Bucle Evolutivo

El marco GESR itera a través de generaciones:

1. Mutación: La población experimenta mutación guiada utilizando el BERT de mutación.
2. Cruce: Se realiza cruce guiado utilizando el BERT de cruce.
3. Optimización: Las constantes en las expresiones resultantes se refinan utilizando BFGS.
4. Selección: Los individuos se evalúan basándose en $R^2$, y los mejores $N$ se seleccionan para la siguiente generación.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Un Marco de Edición de Genes: Propone un marco de regresión simbólica que permite la guía dirigida de mutaciones y cruces genéticos, mejorando sustancialmente la eficiencia evolutiva.
2. Modelos Dúo "Manos de Dios": Entrena dos modelos BERT multimodales para realizar la edición de genes, los cuales pueden servir como un módulo plug-and-play para otros algoritmos de regresión simbólica basados en PG.
3. Método de Construcción de Datos: Diseña una función de mutación y un método para construir datos de entrenamiento de edición de genes de alta calidad basados en la mejora de la aptitud.
4. Integración Conceptual: Introduce el concepto de "edición de genes" en el campo de la computación evolutiva, aprovechando modelos de lenguaje profundos para guiar la búsqueda.

4. Resultados Experimentales

Los autores evaluaron GESR en 13 conjuntos de datos, incluidos puntos de referencia estándar (Nguyen, Keijzer, Korns, etc.) y la suite SRBench (Feynman, Strogatz, Caja Negra).

• Rendimiento de Ajuste: GESR logró puntuaciones $R^2$ superiores o comparables en comparación con las líneas base más avanzadas (PySR, NGGP, SNIP, GPlearn). En promedio, GESR alcanzó un $R^2$ de 0.9903, superando a PySR (0.9876) y NGGP (0.9784).
• Complejidad (Interpretabilidad): GESR produjo expresiones más compactas. El recuento promedio de nodos para GESR fue de 22.0, significativamente menor que PySR (26.9), NGGP (28.1) y GPlearn (35.8).
• Eficiencia: GESR demostró tiempos de inferencia significativamente más rápidos. El tiempo promedio para alcanzar $R^2 > 0.999$ fue de 117.2 segundos para GESR, en comparación con 176.1 segundos para la línea base de PG sin guía y 124.4 segundos para una variante con solo guía de mutación.
• Estudios de Ablación: Eliminar cualquiera de los módulos de guía de mutación o cruce resultó en un rendimiento degradado en términos de precisión, complejidad y tiempo de búsqueda, confirmando que ambos componentes contribuyen al éxito del método.
• Sistemas Caóticos: En pruebas sobre 16 sistemas dinámicos caóticos (por ejemplo, Lorenz, Duffing), GESR mostró una mayor precisión de ajuste del campo vectorial y una mejor consistencia en la proyección a corto plazo en comparación con las líneas base.
• Transferibilidad: Cuando se integró en el marco NGGP, la estrategia de edición de genes guiada por BERT mejoró el rendimiento de NGGP, demostrando que el enfoque no se limita a la arquitectura específica de GESR.

5. Significado y Afirmaciones

El artículo afirma que la integración de modelos de lenguaje profundos para la edición de genes inteligente proporciona una dirección de investigación novedosa y eficiente para la regresión simbólica. Al reemplazar la exploración aleatoria no guiada con una optimización dirigida y basada en datos, GESR:

• Reduce la Búsqueda Ineficaz: Disminuye significativamente el número de mutaciones y cruces perjudiciales.
• Mejora la Convergencia: Logra velocidades de convergencia más rápidas y una mayor estabilidad de búsqueda.
• Potencia la Interpretabilidad: Genera fórmulas matemáticas más compactas e interpretables por humanos.

Los autores reconocen limitaciones, señalando que el método depende de la calidad de los modelos BERT preentrenados y enfrenta desafíos de escalabilidad cuando la dimensionalidad de los datos de prueba excede el rango soportado durante el preentrenamiento. Sugieren que el trabajo futuro debe centrarse en desarrollar modelos más ligeros y transferibles, así como marcos escalables para entradas de alta dimensión.

En resumen, el artículo postula que el "Dios metafórico" de la edición de genes, realizado a través de modelos BERT multimodales, puede mejorar sustancialmente la eficiencia de la regresión simbólica evolutiva al aprender a predecir cambios estructurales beneficiosos basados en la distribución de datos, transformando así el proceso de búsqueda de una exploración ciega a una optimización guiada.