In Context Learning and Reasoning for Symbolic Regression with Large Language Models

Resumen Técnico: Regresión Simbólica con Grandes Modelos de Lenguaje (LLMs)

1. El Problema

La Regresión Simbólica (SR) es una técnica de aprendizaje automático que busca descubrir ecuaciones matemáticas simples y precisas a partir de conjuntos de datos, inferiendo tanto la estructura funcional como los parámetros constantes. A diferencia de la regresión convencional, la SR no asume una estructura de modelo predeterminada, sino que busca en un "espacio de ecuaciones" posible.

Los desafíos actuales en la SR incluyen:

• Integración de razonamiento: Los métodos tradicionales (algoritmos genéticos, MCMC) optimizan la búsqueda pero carecen de capacidad de razonamiento contextual o comprensión del dominio científico.
• Limitaciones de los LLMs: Aunque los Modelos de Lenguaje Grandes (LLMs) como GPT-4 son expertos en lenguaje natural, tienden a "alucinar" coeficientes numéricos incorrectos cuando se les pide ajustar curvas directamente, y a menudo generan expresiones sintácticamente inválidas o redundantes.
• Barreras de implementación: Incorporar restricciones físicas o teóricas en los algoritmos de SR tradicionales requiere modificaciones complejas de software y conocimientos avanzados de programación.

El objetivo del trabajo es explorar si los LLMs pueden utilizarse eficazmente para la descubrimiento de ecuaciones científicas mediante un enfoque híbrido que combine la capacidad de razonamiento del lenguaje natural con la precisión numérica de herramientas externas.

2. Metodología

Los autores proponen un flujo de trabajo iterativo que desacopla la generación de la estructura simbólica de la optimización numérica de los coeficientes.

• Arquitectura del Sistema:

  1. Generación por LLM: Se instruye a los modelos (GPT-4 y GPT-4o) para que sugieran expresiones matemáticas basadas en datos y contexto, sin ajustar los coeficientes numéricos.
  2. Optimización Externa: Las expresiones generadas se pasan a un script de Python que utiliza SciPy (método Nelder-Mead con basin-hopping) para optimizar los coeficientes y calcular el error cuadrático medio (MSE) y la complejidad.
  3. Bucle de Retroalimentación: Los resultados (MSE, complejidad y expresión optimizada) se devuelven al LLM en un formato JSON para la siguiente iteración, solicitando mejoras.

• Estrategias de Ingeniería de Prompts (Prompt Engineering):

  • Hoja de Apuntes (Scratchpad): Se implementa una técnica de "razonamiento paso a paso" donde el modelo primero analiza los patrones de los datos y el contexto científico en una sección de "hoja de apuntes" antes de generar la ecuación final. Esto mejora significativamente la calidad de las expresiones.
  • Contexto Científico en Lenguaje Natural: Se incluyen descripciones textuales del dominio (ej. "adsorción de nitrógeno en mica") para guiar la búsqueda hacia modelos teóricamente consistentes.
  • Restricciones Simbólicas vía Prompt: En lugar de codificar restricciones matemáticas complejas, se expresan en lenguaje natural (ej. "la función debe pasar por el origen", "la pendiente inicial debe ser finita y positiva").
  • Prevención de Sesgos: Se evita el few-shot prompting con ejemplos de ecuaciones específicas para que el modelo no simplemente copie la sintaxis, sino que explore el espacio de soluciones.

• Conjuntos de Datos:

  • Langmuir y Dual-Site Langmuir: Modelos de adsorción con ecuaciones objetivo conocidas para validar la recuperación.
  • Nikuradse: Datos experimentales sobre pérdidas por fricción en tuberías rugosas (sin ecuación objetivo conocida en la literatura), utilizado para probar la escalabilidad y la capacidad de descubrimiento en problemas abiertos.

3. Contribuciones Clave

• Marco Híbrido LLM-SR: Demostración de que los LLMs pueden actuar como motores de generación de estructuras simbólicas cuando se combinan con optimizadores numéricos externos, superando la incapacidad de los LLMs para realizar cálculos precisos por sí mismos.
• Interfaz de Lenguaje Natural para Restricciones: Propuesta de utilizar prompts en lenguaje natural para imponer restricciones físicas y teóricas (como límites en el infinito o monotonía), simplificando drásticamente la integración de conocimiento de dominio en comparación con los métodos tradicionales de SR.
• Efectividad del Razonamiento (Chain-of-Thought): Validación de que el uso de una "hoja de apuntes" (scratchpad) mejora la capacidad del modelo para analizar patrones de datos y derivar expresiones teóricamente coherentes.
• Análisis de Fugas de Datos (Data Leakage): Identificación y mitigación de casos donde los LLMs "memorizan" leyes físicas famosas (como las leyes de Kepler) en lugar de inferirlas de los datos, diferenciando entre recuperación basada en conocimiento previo y descubrimiento genuino.

4. Resultados

• Recuperación de Modelos Conocidos:
  • En los datos de Langmuir, tanto GPT-4 como GPT-4o recuperaron exitosamente la ecuación objetivo en la mayoría de las configuraciones, especialmente cuando se utilizó la hoja de apuntes y el contexto científico.
  • En el modelo Dual-Site Langmuir (más complejo), GPT-4o demostró un razonamiento superior, identificando patrones de saturación y modificando la ecuación de Langmuir estándar para derivar el modelo de dos sitios, algo que los modelos sin contexto o sin hoja de apuntes no lograron consistentemente.
• Impacto de las Restricciones: La aplicación de restricciones en lenguaje natural (ej. pasar por el origen) eliminó expresiones físicamente imposibles (como cargas de adsorción negativas) que, aunque tenían un bajo error estadístico, eran teóricamente incorrectas.
• Desempeño en el Conjunto de Datos Nikuradse:
  • El modelo GPT-4o generó expresiones con menor complejidad y mejor ajuste (MAE) que GPT-4.
  • Aunque los LLMs no superaron en precisión absoluta a los algoritmos de SR especializados (como BMS o Eureqa) en términos de error mínimo absoluto, lo hicieron con una fracción del costo computacional y explorando un espacio de soluciones mucho más pequeño.
  • El enfoque permitió descubrir expresiones competitivas utilizando solo una porción de los datos para la generación, optimizando el resto con el conjunto completo.
• Comparativa de Modelos: GPT-4o mostró una mejora cualitativa significativa sobre GPT-4, particularmente en la capacidad de razonar con patrones de datos y contextos científicos complejos.

5. Significado e Implicaciones

Este trabajo demuestra que los LLMs pueden ser herramientas poderosas para el descubrimiento científico asistido, no reemplazando a los algoritmos de optimización numérica, sino actuando como un "cerebro" que guía la búsqueda de estructuras matemáticas.

• Accesibilidad: El uso de lenguaje natural para definir restricciones y contextos democratiza la regresión simbólica, permitiendo a científicos sin experiencia en programación avanzada aplicar restricciones teóricas a sus modelos.
• Interpretabilidad: Al integrar el contexto científico directamente en el proceso de generación, las ecuaciones resultantes tienden a ser más interpretables y alineadas con la teoría física, reduciendo la aparición de "cajas negras" matemáticas.
• Eficiencia: Aunque los LLMs son costosos en términos de tokens, la estrategia de generar pocas expresiones de alta calidad (guiadas por razonamiento) puede ser más eficiente en términos de tiempo de desarrollo y recursos humanos que la ejecución masiva de algoritmos evolutivos tradicionales sin guía.

En conclusión, el estudio establece un nuevo paradigma donde la inteligencia artificial generativa se utiliza para la inferencia simbólica, combinando la creatividad del lenguaje natural con la rigurosidad de la optimización matemática para acelerar el descubrimiento de leyes científicas.