Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

Resumen Técnico: Alcance de la Biblioteca en LSR-Synth

1. Planteamiento del Problema

Los benchmarks existentes para el descubrimiento de ecuaciones científicas, como LSR-Synth, están diseñados para mitigar la "memorización de fórmulas" mediante la construcción de ecuaciones objetivo que combinan mecanismos científicos establecidos con términos sintéticos novedosos. Esto asegura que la expresión objetivo completa sea improbable que exista de forma literal en el corpus de entrenamiento de un modelo de lenguaje (LLM).

Sin embargo, persiste una brecha crítica en la evaluación de si el éxito de un LLM proviene de verdaderos priors científicos o simplemente de la capacidad de recombinar bloques de construcción matemáticos familiares. Una ecuación objetivo puede ser novedosa en su totalidad, pero sus operadores constitutivos (por ejemplo, potencias, exponenciales, funciones trigonométricas) y patrones estructurales pueden estar contenidos totalmente dentro de un espacio de búsqueda fijo y libre de semántica. Si un algoritmo de búsqueda convencional utilizando un vocabulario documentado puede recuperar el objetivo sin acceder al significado de las variables o al contexto del dominio, la contribución del LLM es indistinguible de una búsqueda de operadores estándar. El artículo aborda la siguiente pregunta: ¿Logran las tareas actuales de LSR-Synth distinguir eficazmente entre los priors científicos suministrados por el LLM y la búsqueda convencional dentro de un vocabulario fijo?

2. Metodología

Los autores introducen un marco de diagnóstico centrado en el concepto de alcance de la biblioteca (library reachability): la propiedad de que un objetivo puede ser recuperado mediante una búsqueda libre de semántica bajo un vocabulario prescrito y un presupuesto computacional determinado.

Configuración Experimental:

• Dataset: 129 tareas del benchmark LSR-Synth (que cubren crecimiento poblacional, oscilaciones físicas, reacciones químicas y relaciones de materiales).
• Fuentes de Candidatos:
  • BANK: Una biblioteca de candidatos fija construida sin acceso a la semántica de la tarea (nombres de variables o descripciones de dominio). Se utilizan dos variantes: BANK-LaSR (basada en el conjunto de operadores de PySR) y BANK-SRBench-PySR.
  • LLM: Candidatos propuestos por un modelo de lenguaje bajo dos condiciones:
    • L1: Contexto completo (nombres de variables, descripción del dominio, rangos de datos).
    • L2: Ceguera semántica (variables anónimas, sin descripción del dominio).
  • UNION: La unión de los conjuntos de candidatos BANK y LLM.
• Procedimiento de Búsqueda: Se ejecuta una búsqueda codiciosa (greedy search) emparejada en cada grupo de candidatos (BANK, LLM, UNION) utilizando submuestras de entrenamiento, procedimientos de ajuste (mínimos cuadrados no lineales con reestimación conjunta de parámetros) y criterios de parada idénticos. Esto aísla la fuente de los candidatos como la única variable.
• Intervenciones:
  • Ceguera Semántica: Comparación de L1 vs. L2 para evaluar el valor del contexto del dominio.
  • Debilitamiento de la Biblioteca: Reemplazo de la biblioteca completa por una biblioteca BANK-Poly (solo polinómica) para crear brechas de cobertura explícitas.
  • Eliminación de Coincidencia (Matched Knockouts): Eliminación de familias de operadores requeridos para el objetivo frente a la eliminación de un número igual de operadores irrelevantes para probar la sensibilidad de la cobertura.

Métricas de Evaluación:

• Precisión en Distribución (In-Distribution Accuracy): Umbrales de error relativo ($\tau=0.01, 0.001$).
• Recuperación Conjunta Estricta: Éxito tanto en datos en distribución (ID) como fuera de distribución (OOD) con $NMSE < 10^{-8}$.
• Precisión Simbólica (SA): Una regla de unanimidad estricta (10/10 votos de "Sí" de GPT-OSS-120B) que determina si el esqueleto predicho es estructuralmente equivalente a la verdad fundamental (ground truth).

3. Resultados Clave

• Alta Cobertura por Bibliotecas Fijas: Bajo el vocabulario completo de LaSR, la biblioteca fija BANK-LaSR logra un alto rendimiento (77.71% Acc0.01, 19.77% SA), superando a muchos métodos basados en LLM reportados en la literatura.
• Contribución Marginal de los LLM: Cuando la biblioteca fija está completa, añadir candidatos de LLM (UNION) produce mejoras insignificantes o no monotónicas sobre BANK por sí sola. El LLM rara vez descubre soluciones que la biblioteca fija no pueda encontrar.
• Impacto del Debilitamiento de la Biblioteca: Cuando la biblioteca fija se restringe a polinomios (BANK-Poly), el rendimiento cae significamente. En este escenario, añadir candidatos de LLM (UNION-Poly) produce ganancias sustanciales en todas las métricas, demostrando que los LLM son efectivos para llenar brechas estructurales genuinas (por ejemplo, términos exponenciales o trigonométricos) que faltan en el vocabulario restringido.
• Contexto Semántico: El rendimiento del LLM es mayor con contexto completo (L1) que con contexto cegado (L2), pero esta ventaja solo se traduce en ganancias de extremo a extremo cuando la biblioteca fija tiene brechas de cobertura.
• Descomposición del Éxito: El análisis de los resultados emparejados revela una extensa superposición entre los éxitos de BANK y LLM. Bajo criterios estrictos (SA, OOD), el número de tareas resueltas solo por el LLM es pequeño comparado con las resueltas solo por BANK.

4. Contribuciones Clave

• Concepto de Alcance de la Biblioteca: El artículo define y operacionaliza el "alcance de la biblioteca" como una herramienta de diagnóstico para separar la novedad de una ecuación completa de la novedad de su espacio de búsqueda.
• Protocolo de Benchmarking Diagnóstico: Propone un protocolo de evaluación riguroso utilizando ejecuciones emparejadas de BANK, LLM y UNION con semillas y presupuestos fijos para aislar la contribución de los priors del LLM de la cobertura de los candidatos.
• Evidencia Empírica en LSR-Synth: El estudio demuestra que las puntuaciones agregadas actuales de LSR-Synth son insuficientes para afirmar que los LLM proporcionan priors científicos indispensables más allá de un espacio de búsqueda fijo.

5. Significado y Reivindicaciones

El artículo no afirma que los LLM sean inútiles para la regresión simbólica o que los benchmarks anti-memorización sean inválidos. En su lugar, ofrece una conclusión limitada pero precisa:

"La puntuación actual del benchmark agregado es insuficiente, por sí sola, para demostrar que un modelo de lenguaje contribuye con conocimiento científico más allá de lo que ya está codificado en una biblioteca fija."

Los autores argumentan que, si bien LSR-Synth evita con éxito la recuperación de fórmulas completas, no controla actualmente el alcance de la biblioteca del espacio de búsqueda. En consecuencia, una alta precisión en estos benchmarks puede reflejar la capacidad del modelo para recombinar operadores familiares en lugar de la aplicación de priors científicos novedosos.

Implicaciones para el Trabajo Futuro:

• Los benchmarks deberían someter las tareas generadas a pruebas de estrés contra bibliotecas fijas documentadas antes de su publicación.
• Las evaluaciones deben reportar conjuntamente los resultados de BANK, LLM y UNION para distinguir la recuperación de candidatos de la expansión efectiva del límite de búsqueda.
• Las afirmaciones de descubrimiento científico deben estar respaldadas por evidencia de que el LLM expande el límite de búsqueda más allá de lo que un vocabulario fijo y libre de semántica puede lograr bajo el mismo presupuesto computacional.