💻 computer science

Simultaneous model discovery and state estimation under high data corruption

Este artículo propone una estrategia de regresión dispersa que realiza simultáneamente el descubrimiento de ecuaciones diferenciales ordinarias y la estimación de estados en datos incompletos y ruidosos, utilizando inferencia estadística, criterios de información para la selección de términos y optimización de segundo orden mediante diferenciación automática.

Autores originales: Teddy Meissner, Karl Glasner

Publicado 2026-02-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Teddy Meissner, Karl Glasner

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que eres un detective en un caso muy difícil. Tienes un crimen (un sistema físico, como el clima o un circuito eléctrico) y necesitas descubrir qué reglas lo gobiernan. Pero hay un problema: la escena del crimen está llena de basura, los testigos han olvidado partes de lo que vieron y las huellas dactilares están borrosas.

Este paper es como la nueva técnica de detective que proponen los autores para resolver este caso, incluso cuando los datos son un desastre.

Aquí tienes la explicación, paso a paso, con analogías sencillas:

1. El Problema: El Rompecabezas Sucio

Imagina que tienes un rompecabezas gigante que forma una ecuación matemática (la ley que rige el sistema).

Los datos incompletos: Te falta la mitad de las piezas del rompecabezas.
El ruido: Las piezas que tienes están manchadas de café o tienen dibujos extraños encima (ruido).
El objetivo: Tienes que adivinar qué ecuación es la correcta y, al mismo tiempo, reconstruir cómo se veía el rompecabezas completo (el estado real del sistema) antes de que se ensuciara.

Los métodos antiguos (como el famoso algoritmo SINDy) intentaban resolver esto mirando solo las piezas que tenían. Si había mucho "ruido" (manchas de café), se confundían y creaban ecuaciones falsas.

2. La Solución: El Detective "Híbrido"

Los autores proponen un enfoque inteligente que hace dos cosas a la vez, como si tuvieras dos ayudantes trabajando en equipo:

El Ayudante de la Ecuación: Busca cuál es la fórmula matemática correcta.
El Ayudante del Estado: Intenta adivinar cómo se veía el sistema real, "limpiando" las manchas de los datos.

La analogía del "Puente":
Imagina que los datos que tienes son dos orillas de un río separadas por un abismo.

Los métodos viejos intentaban saltar de una orilla a la otra con una cuerda tensa (los datos crudos). Si la cuerda estaba rota (ruido), caías al río.
Este nuevo método construye un puente suave entre los datos que tienes y la teoría física perfecta. No solo usa los datos, sino que "rellena los huecos" con una solución matemática suave. Si un dato parece muy raro (ruido), el puente lo ignora y sigue la curva lógica.

3. La Magia: "Podar" el Jardín (Selección de Términos)

Para encontrar la ecuación correcta, los científicos prueban miles de combinaciones de palabras matemáticas (como $x$ , $y$ , $x^2$ , $\sin(x)$ ). Pero la ecuación real suele ser simple (como una receta de cocina con pocos ingredientes).

El problema: Tienes un jardín con 1000 plantas, pero solo 3 son las correctas. El resto son malas hierbas.
La técnica: En lugar de cortar plantas al azar, usan un "podador inteligente" (llamado Criterio de Información Bayesiano).
- Prueban una poda. Si el jardín se ve mejor y más ordenado, la dejan.
- Si la poda hace que el jardín se vea peor, la deshacen y prueban otra.
- Es como un juego de "más caliente, más frío" hasta encontrar la combinación perfecta de 3 plantas.

4. El Motor: El Coche de Fórmula 1 (Optimización)

Encontrar la ecuación y limpiar los datos a la vez es un cálculo matemático inmenso. Es como intentar encontrar la ruta más corta en un mapa de todo el mundo mientras el mapa cambia de forma.

Los métodos antiguos usaban coches lentos (optimización de primer orden) que daban vueltas y vueltas.
Los autores usan un coche de Fórmula 1 con turbo (un método de segundo orden llamado Levenberg-Marquardt).
El truco: Usan una tecnología llamada "diferenciación automática" (como un GPS que calcula instantáneamente la pendiente de la carretera) para saber exactamente hacia dónde ir sin tener que probar cada camino a ciegas. Esto hace que el cálculo sea 10 veces más rápido que los métodos anteriores.

5. Los Resultados: ¿Funciona en la vida real?

Los autores probaron su método en tres escenarios clásicos:

El Oscilador Van der Pol: Un sistema que se mueve como un péndulo con fricción extraña.
El Sistema de Lorenz: El famoso sistema del "efecto mariposa" (caos). Es muy difícil porque un pequeño error hace que todo se desborde.
El Oscilador Colpitts: Un circuito eléctrico con una ecuación que incluye una función exponencial (algo muy difícil de adivinar).

El veredicto:

Incluso cuando les dieron datos con 50% de ruido (la mitad de la información era basura) y les quitaron 30% de los datos (agujeros negros en la información), su método logró:
- Descubrir la ecuación correcta casi siempre.
- Reconstruir el movimiento real del sistema con mucha precisión.
- Superar ampliamente a los métodos actuales más populares (como WSINDy).

En Resumen

Imagina que tienes que adivinar la receta de un pastel sabiendo que solo te han dado migajas, algunas están quemadas y otras faltan.

Los métodos viejos probaban recetas al azar hasta que se frustraban.
Este nuevo método es como un chef experto que:
1. Limpia las migajas (elimina el ruido).
2. Imagina cómo debería verse el pastel completo (reconstruye el estado).
3. Prueba recetas, pero descarta rápidamente las que tienen demasiados ingredientes innecesarios (podado inteligente).
4. Lo hace todo con una velocidad increíble gracias a un motor matemático muy potente.

Es una herramienta poderosa para la ciencia moderna, permitiéndonos entender sistemas complejos (desde el clima hasta el cerebro) incluso cuando la información que tenemos es muy imperfecta.

1. Planteamiento del Problema

El artículo aborda el desafío científico de combinar leyes físicas con datos observacionales para descubrir ecuaciones diferenciales ordinarias (EDOs) a partir de datos que son simultáneamente ruidosos e incompletos.

Limitaciones de métodos existentes:
- Los métodos tradicionales de estimación de parámetros (mínimos cuadrados no lineales) a menudo fallan con datos ruidosos porque asumen que el modelo es perfecto y solo el dato tiene error.
- Los métodos de regresión de residuos (como el algoritmo SINDy) son muy sensibles al ruido, ya que requieren la diferenciación directa de los datos, lo que amplifica el ruido.
- La inferencia de estados (recuperar la solución real del sistema) es difícil en sistemas caóticos si el modelo no es exacto, ya que las trayectorias divergen rápidamente.
- Muchos métodos actuales asumen que las ecuaciones son lineales en sus parámetros, lo que restringe la generalidad del modelo.

El objetivo es desarrollar una estrategia que infiera simultáneamente los parámetros del modelo (qué términos existen y sus coeficientes) y las variables de estado (la solución real del sistema), incluso cuando faltan datos o hay mucho ruido.

2. Metodología Propuesta

Los autores proponen un enfoque de regresión híbrida dispersa (sparse hybrid regression) basado en principios estadísticos de máxima verosimilitud.

A. Formulación Estadística y Función de Verosimilitud

En lugar de minimizar solo el error de los datos o solo el residuo de la ecuación, el método minimiza una función de pérdida combinada que considera la incertidumbre tanto en los datos como en el modelo:
$L_\lambda(\theta, u) = \|N(u; \theta)\|_2^2 + \lambda \|\hat{u} - u|_D\|_2^2$
Donde:

$N(u; \theta) = 0$ es la ecuación diferencial discretizada.
$u$ es el vector de estado estimado (suavizado).
$\theta$ son los parámetros desconocidos.
$\hat{u}$ son los datos observados (ruidosos e incompletos) en el subconjunto $D$ .
$\lambda$ es una relación de varianzas que pondera la confianza en el modelo frente a los datos.

Esta formulación permite que el estado estimado $u$ interpole suavemente entre los datos observados y la solución exacta de la EDO, actuando como un filtro adaptativo sin necesidad de filtrado previo explícito.

B. Selección de Modelos y Esparsidad

Para descubrir la estructura de la ecuación (qué términos están presentes), se utiliza un criterio de información estadística en lugar de umbralización dura:

Criterio de Información Bayesiano (BIC): Se utiliza el BIC para equilibrar la bondad de ajuste con la complejidad del modelo (número de parámetros).
Algoritmo de Poda Adaptativa: Se emplea un algoritmo que elimina iterativamente términos del "biblioteca" de candidatos. El algoritmo tiene dos fases:
1. Refinamiento hacia adelante: Elimina múltiples términos si el BIC disminuye.
2. Refinamiento hacia atrás: Si una eliminación excesiva degrada el modelo, el algoritmo reintroduce términos uno a uno hasta encontrar el mínimo óptimo.
Penalización Suave: Se utiliza una aproximación suave de la norma $L_0$ (contar términos no nulos) para permitir la optimización basada en gradientes.

C. Optimización Numérica

El problema de optimización es de alta dimensión y no convexo.

Método: Se utiliza una variante de segundo orden del método de Levenberg-Marquardt (LM).
Eficiencia: Se aprovecha la diferenciación automática y un algoritmo de coloración de grafos para calcular el Hessiano de manera eficiente. Dado que el Hessiano es disperso (debido a la discretización local), esto permite resolver problemas grandes sin el costo computacional de un Hessiano denso.

3. Contribuciones Clave

Inferencia Simultánea: El método infiere tanto la estructura de la ecuación como la trayectoria de estado real, superando la divergencia típica en sistemas caóticos bajo ruido.
Robustez ante Datos Incompletos: A diferencia de los métodos basados en residuos que fallan con datos faltantes, este enfoque puede trabajar con datos observados solo en un subconjunto de componentes o intervalos de tiempo.
Generalidad No Lineal: No se restringe a modelos lineales en los parámetros. El artículo demuestra su capacidad para descubrir términos no lineales complejos (ej. funciones exponenciales con parámetros desconocidos dentro del argumento).
Optimización de Segundo Orden Escalable: Demuestra que los métodos de segundo orden (LM) son prácticos para la identificación de sistemas mediante el uso de diferenciación automática y coloración de grafos, superando en velocidad a los métodos de primer orden (como L-BFGS o gradiente descendente) en este contexto.
Selección de Modelos basada en BIC: Reemplaza la selección manual de umbrales por un criterio estadístico riguroso (BIC) para evitar el sobreajuste.

4. Resultados Experimentales

Los autores probaron el método en varios sistemas dinámicos conocidos, comparándolo con el estado del arte WSINDy (Weak SINDy).

Oscilador de Van der Pol:
- El método superó consistentemente a WSINDy en todos los niveles de ruido (hasta 50%).
- Logró recuperar la estructura del modelo y los parámetros con alta precisión incluso con datos incompletos (huecos continuos en la serie temporal).
Sistema de Lorenz (Caótico):
- En presencia de ruido del 50% y datos faltantes (30% de datos aleatorios eliminados), el método recuperó con éxito la estructura del modelo y las trayectorias de estado.
- WSINDy falló frecuentemente en recuperar la estructura correcta bajo estas condiciones extremas.
Sistema Lorenz-96 (Alta dimensión):
- Se demostró la escalabilidad del método en sistemas de mayor dimensión (N=5), manteniendo altas tasas de recuperación de términos verdaderos (TPR > 0.9) hasta niveles de ruido del 40%.
Oscilador Colpitts (Términos No Lineales):
- Se demostró la capacidad de descubrir términos no lineales donde un parámetro desconocido ( $a$ en $e^{ax}$ ) debe ser inferido simultáneamente con los coeficientes, algo que los métodos lineales estándar no pueden hacer.
Refinamiento de la Malla:
- Se estudió la interacción entre la tasa de muestreo de los datos y la discretización del modelo. Se encontró que un refinamiento moderado de la malla mejora la precisión, pero un refinamiento excesivo puede introducir variables de optimización innecesarias.

5. Significado e Impacto

Este trabajo representa un avance significativo en la identificación de sistemas y el descubrimiento de modelos científicos:

Resolución del problema de "Ruido + Incompletitud": Proporciona una solución robusta para escenarios del mundo real donde los sensores fallan o los datos son ruidosos, eliminando la necesidad de preprocesamiento agresivo (filtrado) que puede distorsionar la dinámica.
Viabilidad de Métodos de Segundo Orden: Establece que los métodos de optimización de segundo orden, a menudo considerados demasiado costosos para problemas de gran escala, son viables y superiores cuando se combinan con diferenciación automática y estructuras dispersas.
Generalidad: Al no depender de la linealidad en los parámetros, el marco es aplicable a una gama mucho más amplia de fenómenos físicos y biológicos complejos.
Herramienta para la Ciencia de Datos: Ofrece un marco unificado que integra la física (a través de la estructura de la EDO) y la estadística (a través de la inferencia de máxima verosimilitud), siendo una alternativa superior a las "cajas negras" de aprendizaje profundo o a los métodos de regresión lineal rígidos.

En resumen, el método propuesto permite reconstruir con alta fidelidad la dinámica subyacente y los parámetros de sistemas complejos a partir de datos de baja calidad, superando las limitaciones fundamentales de las técnicas actuales de descubrimiento de ecuaciones.