Resumen Técnico: OrthoReg para Sistemas Dinámicos Híbridos Simbólico-Neurales

1. Planteamiento del Problema

El modelado de sistemas dinámicos enfrenta un compromiso fundamental entre interpretabilidad y expresividad. Los modelos mecanísticos (simbólicos) prescritos manualmente son interpretables pero suelen estar mal especificados o ser excesivamente simplistas para fenómenos naturales complejos. Por el contrario, los métodos neuronales basados en datos y flexibles sobresalen en el ajuste de datos, pero carecen de visión física. El modelado híbrido intenta cerrar esta brecha combinando un componente físico (simbólico) prescrito o determinado ($f_{phy}$) con un residuo neural flexible ($f_{aug}$).

Surge un desafío crítico cuando el componente simbólico no es fijo a priori, sino que se descubre a partir de los datos mediante métodos basados en librerías dispersas (por ejemplo, enfoques de tipo SINDy). En este régimen, los enfoques híbridos estándar suelen fallar al no mantener una división clara del trabajo. Específicamente, la aumentación neural puede "reaprender" o solaparse con la estructura simbólica, lo que conduce a modelos redundantes e ininterpretables.

El artículo identifica que los métodos existentes que dependen de la regularización $L_2$ estándar (como el marco APHYNITY) dependen de un argumento de proyección que asume un subespacio simbólico fijo. Cuando el componente simbólico se aprende conjuntamente con restricciones de dispersión (por ejemplo, regularización $L_1$), la contracción de los coeficientes deja una estructura residual dentro del rango de la librería simbólica. En consecuencia, la aumentación neural puede solaparse con la parte simbólica incluso si la norma total es pequeña, rompiendo la garantía de ortogonalidad que proporciona la regularización $L_2$ en entornos de clase fija.

2. Metodología: OrthoReg

Los autores proponen OrthoReg (Regularización Ortogonal), un método diseñado para imponer una descomposición complementaria entre los componentes simbólico y neural durante el entrenamiento conjunto.

Objetivo Central

OrthoReg modifica el objetivo de entrenamiento para penalizar explícitamente el solapamiento empírico entre la aumentación neural y la librería simbólica. Dado un conjunto de datos $D = \{x_i\}_{i=1}^N$, una librería simbólica fija $\{\phi_j\}_{j=1}^M$ y una aumentación neural $\hat{f}_{aug}(\cdot; \vartheta)$, el objetivo es:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Donde:

• $\mathcal{L}_{fit}$ es la pérdida de ajuste de datos (regresión de campo vectorial o predicción de un paso).
• $\mu \|w\|_1$ impone dispersión sobre los coeficientes simbólicos $w$.
• El tercer término es la Penalización de Ortogonalidad, donde $\langle \cdot, \cdot \rangle_D$ denota el producto interno empírico sobre los estados observados.
• $\lambda$ controla la fuerza de la restricción de ortogonalidad.

Mecanismo Teórico

A diferencia de la regularización $L_2$, que penaliza la norma total de la aumentación ($\|\hat{f}_{aug}\|_D^2$), OrthoReg penaliza los productos internos al cuadrado de la aumentación con cada función de la librería.

• Garantía Teórica: Los autores demuestran que cuando $\lambda \to \infty$, las violaciones de ortogonalidad empírica convergen a cero.
• Descomposición del Error: Bajo el producto interno empírico, imponer la ortogonalidad produce una descomposición de error limpia:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Esto asegura que la parte simbólica capture lo que la librería puede expresar (la proyección dentro de la librería), mientras que la parte neural captura el complemento ortogonal (el residuo).

3. Contribuciones Clave

1. Análisis Teórico del Solapamiento: El artículo demuestra que la regularización $L_2$ falla en prevenir el solapamiento simbólico-neural cuando el componente simbólico se aprende mediante descubrimiento disperso (Teorema A.2). Un contraejemplo muestra que la dispersión obliga al residuo a permanecer dentro del rango simbólico, permitiendo que la red neural reaprenda direcciones simbólicas.
2. Algoritmo OrthoReg: Los autores introducen una solución algorítmica que integra una penalización de ortogonalidad directamente en el objetivo de descubrimiento disperso conjunto, asegurando que el residuo neural permanezca ortogonal a la librería simbólica bajo el producto interno empírico.
3. Validación Empírica: Experimentos extensos en sistemas dinámicos de referencia (Péndulo Amortiguado, Lotka-Volterra, SIR, oscilador de Duffing) muestran que OrthoReg mejora la recuperación simbólica (mayores puntuaciones F1, menos términos) y la generalización fuera de la distribución (OOD) en comparación con los modelos base puramente simbólicos, puramente neurales y los híbridos con regularización $L_2$.

4. Resultados Experimentales

La evaluación se centra en sistemas con desajuste parcial de la librería, donde la dinámica real contiene términos fuera del diccionario simbólico.

• Recuperación Simbólica: OrthoReg logra consistentemente las puntuaciones F1 más altas para recuperar el soporte simbólico correcto y el menor número de términos, lo que indica un modelo más limpio e interpretable. Por ejemplo, en el Péndulo Amortiguado, OrthoReg alcanzó un F1 de $0.93 \pm 0.15$ frente al $0.61$ de la base $L_2$.
• Generalización Fuera de la Distribución (OOD): OrthoReg reduce significativamente los errores de la derivada OOD, particularmente en regímenes de desajuste moderado de la librería. En el Péndulo Amortiguado, el error de la derivada OOD cayó en más de dos órdenes de magnitud respecto a la base $L_2$.
• Compromisos (Trade-offs): El método acepta un ligero aumento en el MSE de estado dentro de la distribución (ID) a cambio de un mejor comportamiento OOD y una mejor separación simbólica. Esto es consistente con la visión teórica de que imponer una división ortogonal estricta sacrifica parte del ajuste bruto para preservar la integridad estructural.
• Robustez: Los beneficios persisten bajo muestreo irregular, pero disminuyen bajo ruido de observación pesado o cuando las dinámicas faltantes están fuertemente entrelazadas con las características de la librería.

5. Significado y Reivindicaciones

El artículo afirma que OrthoReg aborda una fragilidad específica en el modelado híbrido: la pérdida de interpretabilidad cuando el componente simbólico es aprendido en lugar de ser fijo. Al hacer explícita la complementariedad entre los componentes simbólico y neural mediante la regularización de ortogonalidad, el método asegura que:

• El componente simbólico captura toda la dinámica expresable por la librería.
• El componente neural captura únicamente los residuos estructurados que la librería no puede expresar.

Los autores posicionan a OrthoReg no como un potenciador universal de la precisión, sino como un regularizador de descomposición. Su valor principal reside en preservar una explicación simbólica significativa mientras asigna los efectos no simbólicos al residuo, permitiendo así modelos científicos híbridos donde los vocabularios mecanísticos aproximados y los residuos flexibles coexisten sin borrar la explicación simbólica.

Limitaciones Reconocidas:

• Las garantías teóricas están actualmente restringidas al producto interno empírico y a modelos aditivos con librerías diferenciables fijas.
• Las garantías a nivel de población requieren argumentos de convergencia uniforme sobre la clase de hipótesis de aumentación, los cuales se dejan para trabajos futuros.
• El método no recupera leyes gobernantes ausentes en la librería; solo separa la dinámica expresable por la librería del resto.
• El rendimiento se degrada bajo niveles altos de ruido donde la estimación de la derivada se vuelve poco fiable.