Resumen Técnico: Conjuntos de Ambigüedad de Sinkhorn para Control Robusto Distribucional

Enunciado del Problema

El control estocástico clásico se basa en la suposición de que la verdadera distribución de probabilidad de la incertidumbre es conocida, una suposición que a menudo se viola en la práctica donde solo están disponibles muestras finitas. Mientras que el control robusto aborda la incertidumbre mediante un análisis de caso peor, a menudo produce soluciones excesivamente conservadoras. La Optimización Robusta Distribucional (DRO) ofrece un punto intermedio al optimizar contra la distribución de caso peor dentro de un "conjunto de ambigüedad" centrado en una distribución nominal.

Sin embargo, los enfoques DRO existentes basados en la distancia de Wasserstein (una métrica estándar de Transporte Óptimo) enfrentan limitaciones significativas. Cuando la distribución nominal es discreta (por ejemplo, una distribución empírica derivada de datos), la distribución de caso peor resultante también es discreta. Esto falla en capturar la naturaleza continua de muchos procesos de ruido físicos. Además, lograr garantías de alta probabilidad con conjuntos de Wasserstein a menudo requiere radios grandes cuando los datos son escasos, lo que conduce a un conservadurismo excesivo.

Este artículo aborda estas limitaciones proponiendo un marco de Control Robusto Distribucional (DRC) que utiliza conjuntos de ambigüedad de Sinkhorn. Estos conjuntos se definen mediante la discrepancia de Sinkhorn, una variante regularizada por entropía del Transporte Óptimo. El desafío central es establecer las propiedades teóricas de estos conjuntos y derivar una reformulación tratable para problemas de control lineal cuadrático con restricciones de seguridad probabilísticas.

Metodología

1. Fundamentos Teóricos de los Conjuntos de Ambigüedad de Sinkhorn

Los autores caracterizan primero las propiedades geométricas y topológicas del conjunto de ambigüedad de Sinkhorn, denotado como $\mathcal{B}_{\rho, \epsilon}(P)$. Este conjunto contiene todas las distribuciones de probabilidad $Q$ tales que la discrepancia de Sinkhorn $W_c^\epsilon(Q, P)$ es menor o igual a un radio $\rho$.

• Convexidad: El artículo demuestra que el conjunto de ambigüedad de Sinkhorn es convexo. Esta es una propiedad crítica para garantizar la tratabilidad de los problemas de optimización definidos sobre estos conjuntos.
• Compacidad Débil: Bajo supuestos estándar sobre el costo de transporte (específicamente, que crece suficientemente rápido), los autores establecen que el conjunto de ambigüedad de Sinkhorn es débilmente compacto. Esta propiedad es esencial para garantizar la existencia de distribuciones de caso peor y para aplicar teoremas minimax.
• Comparación con Wasserstein: A diferencia de los conjuntos de Wasserstein, donde la distribución de caso peor es discreta si el centro es discreto, la discrepancia de Sinkhorn permite que la distribución de caso peor comparta el soporte de una medida de referencia $\nu$. Al elegir una medida de referencia continua (por ejemplo, una Gaussiana), la distribución de caso peor permanece continua, ofreciendo una modelización más realista de la incertidumbre.

2. Reformulación de Restricciones de CVaR Robusto Distribucional

El problema de control implica restricciones de Valor en Riesgo Condicional (CVaR) para garantizar la seguridad con un nivel de confianza especificado. Los autores aprovechan la convexidad y la compacidad débil del conjunto de Sinkhorn para intercambiar el supremo (sobre distribuciones) y el ínfimo (sobre umbrales de riesgo) en la definición del CVaR de caso peor.

• Derivan una formulación dual fuerte para el costo esperado de caso peor y las restricciones de CVaR.
• Cuando la función de pérdida es afín por partes (común en restricciones politópicas) y la medida de referencia es Gaussiana, la optimización de dimensión infinita sobre distribuciones se reduce a un problema de optimización convexa de dimensión finita.
• Esta reformulación recupera los resultados conocidos de Wasserstein en el límite cuando el parámetro de regularización $\epsilon \to 0$.

3. Síntesis de Control Tratable mediante Síntesis a Nivel de Sistema (SLS)

El artículo aplica estos resultados a un problema de control lineal cuadrático de horizonte finito con restricciones de seguridad probabilísticas.

• Restricción de Política: Los autores restringen el espacio de búsqueda a políticas de retroalimentación afines.
• Parametrización SLS: En lugar de optimizar directamente las ganancias del controlador, emplean el marco de Síntesis a Nivel de Sistema (SLS). Esto desplaza las variables de diseño a los mapas de respuesta del sistema en lazo cerrado ($\Phi, \phi$), que mapean linealmente las perturbaciones a los estados y entradas.
• Programa Convexo: Al combinar la parametrización SLS con la reformulación dual de las restricciones DR de Sinkhorn, los autores demuestran que todo el problema de síntesis de control puede plantearse como un programa de optimización convexa (específicamente, un programa cónico cuando $\epsilon > 0$).
• Condiciones de Factibilidad: El artículo proporciona condiciones explícitas sobre el radio del conjunto de ambigüedad $\rho$ requeridas para que el problema sea factible.

Contribuciones Clave

1. Propiedades Topológicas: El artículo establece la convexidad y la compacidad débil de los conjuntos de ambigüedad de Sinkhorn. Estos se presentan como resultados de interés independiente para la literatura de transporte óptimo, sirviendo como base para resolver problemas de control con restricciones robustas distribucionales.
2. Reformulación Tratable: Los autores derivan una reformulación convexa de dimensión finita para el problema de control lineal cuadrático robusto distribucional (DR-LQ) de Sinkhorn. Esta formulación maneja simultáneamente tanto la función objetivo como las restricciones de seguridad probabilísticas (CVaR).
3. Caracterización de Soporte Continuo: El trabajo destaca la capacidad de los conjuntos de Sinkhorn para mantener un soporte continuo para las distribuciones de caso peor cuando se utiliza una medida de referencia continua, contrastando esto con la limitación de soporte discreto del DRO basado en Wasserstein.
4. Validación Numérica: El método propuesto se valida en un problema de planificación de trayectorias para una aeronave Boeing B-747 sometida a turbulencia de viento modelada por un filtro Dryden.

Resultados y Hallazgos Experimentales

Los experimentos numéricos comparan tres controladores:

• $\pi_{emp}$: Un controlador de equivalencia de certeza que utiliza la distribución empírica (ignorando la incertidumbre).
• $\pi_{W}$: Un controlador DRO basado en Wasserstein.
• $\pi_{S}$: El controlador DRO basado en Sinkhorn propuesto.

Observaciones Clave:

• Rendimiento vs. Conservadurismo: El controlador empírico ($\pi_{emp}$) exhibió altos costos de control y violaciones significativas de restricciones en datos de prueba no vistos. Ambos controladores robustos ($\pi_{W}$ y $\pi_{S}$) superaron significativamente la línea base empírica.
• Reducción del Conservadurismo: El controlador de Sinkhorn ($\pi_{S}$) demostró un conservadurismo reducido en comparación con el controlador de Wasserstein ($\pi_{W}$). Aunque $\pi_{S}$ incurrió en una tasa de violación de restricciones ligeramente mayor que $\pi_{W}$ para radios muy pequeños, cumplió consistentemente con los umbrales de seguridad requeridos mientras lograba costos de control sustancialmente menores.
• Comportamiento de la Trayectoria: Las visualizaciones de los estados terminales mostraron que las trayectorias de $\pi_{S}$ permanecieron más cerca del límite de la región factible en comparación con $\pi_{W}$, lo que indica que el conjunto de ambigüedad de Sinkhorn permite una utilización menos conservadora del margen de seguridad sin comprometer las garantías de seguridad.
• Complejidad Computacional: El problema se resuelve utilizando una búsqueda de sección áurea sobre la variable dual $\lambda$, resolviendo en cada iteración un problema de optimización cónica. El enfoque es computacionalmente factible para las dimensiones del sistema probadas.

Significado y Afirmaciones

El artículo afirma que el enfoque propuesto ofrece una manera principista de equilibrar la robustez y el rendimiento en el diseño de control cuando los datos son escasos. Al utilizar la discrepancia de Sinkhorn, el método:

• Evita Artefactos Discretos: Previene que la distribución de caso peor colapse en un conjunto discreto de puntos, capturando así mejor la naturaleza continua del ruido físico.
• Integra Conocimiento Previo: Permite la integración suave del conocimiento previo (a través de la medida de referencia $\nu$) con los datos empíricos.
• Habilita la Optimización Convexa: Transforma un problema robusto distribucional potencialmente intratable de dimensión infinita en un programa convexo tratable, incluso en presencia de restricciones de seguridad.

Los autores posicionan este trabajo como un paso hacia un control robusto distribucional más efectivo, particularmente en aplicaciones críticas para la seguridad donde el equilibrio entre las garantías de seguridad y el rendimiento es crítico. Señalan que, aunque el trabajo actual se centra en sistemas lineales y políticas afines, las propiedades teóricas de los conjuntos de Sinkhorn establecidas aquí son fundamentales para futuras extensiones a sistemas no lineales y métodos de solución basados en gradientes.