Optimal feedback control under stepwise equilibration and partial observation

Resumen Técnico: Control de Retroalimentación Óptimo bajo Equilibración Escalonada y Observación Parcial

Planteamiento del Problema
El artículo aborda el problema de minimizar el trabajo requerido para conducir un sistema mesoscópico a través de una transformación de tiempo finito mediante control de retroalimentación. Si bien los protocolos de lazo abierto para tales transformaciones están bien caracterizados por la longitud termodinámica en regímenes de conducción lenta, el problema de retroalimentación correspondiente —la construcción de protocolos de lazo cerrado óptimos de horizonte finito bajo observación parcial— sigue siendo menos comprendido. Las soluciones existentes suelen depender de aproximaciones (estados de creencia truncados, políticas aprendidas) o están restringidas a casos específicos (mediciones únicas, partículas pasivas). Los autores se centran en sistemas que operan en un régimen de "equilibración escalonada", donde las acciones de control son desencadenadas por señales ruidosas que están estadísticamente correlacionadas con el estado microscópico, y el sistema se equilibra completamente entre cambios rápidos, condicionados por la medición, en su paisaje de energía.

Metodología
Los autores modelan el problema de control como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) dentro de un límite estructural específico: el ciclo de termalización–observación–quench (choque térmico).

1. Límite de Equilibración Escalonada: El protocolo consiste en $N$ ciclos discretos. En cada ciclo, el sistema se relaja a la distribución de equilibrio del Hamiltoniano actual $H_n$, se adquiere una observación $o_n$, y un quench instantáneo, condicionado a la observación, actualiza el Hamiltoniano a $H_{n+1}$.
2. Reducción de Estado: Debido a que el sistema se equilibra en cada paso de decisión, la memoria de las intervenciones previas se borra. La única variable de estado propagada por el controlador es el propio Hamiltoniano (o sus parámetros), en lugar de una compleja distribución de creencia sobre estados fuera del equilibrio.
3. Recursión de Bellman: Esta simplificación estructural reduce el problema de control óptimo a una recursión de Bellman exacta de horizonte finito sobre las actualizaciones del Hamiltoniano condicionadas a la observación. La función de valor $V_r(H)$ representa el trabajo esperado mínimo restante para alcanzar un Hamiltoniano objetivo $H_f$ en $r$ pasos.
4. Solución Analítica: Los autores aplican este marco a un referente canónico: una trampa armónica unidimensional con rigidez fija $k$, trasladada de $\lambda=0$ a $\lambda=L$. El canal de observación es covariante por traslación (por ejemplo, ruido gaussiano aditivo). Explotan la estructura cuadrática del costo y la naturaleza gaussiana de la distribución de equilibrio para resolver la recursión analíticamente.

Contribuciones Clave y Resultados

1. Ley de Retroalimentación Óptima Exacta:
   Para la trampa armónica trasladada, los autores derivan una ley de retroalimentación óptima de forma cerrada. El centro óptimo de la trampa $\lambda^*$ en cualquier paso es un compromiso ponderado por el horizonte entre la estimación del controlador del microestado $\hat{x}$ y el objetivo $L$:
   $$\lambda^*(o; r) = \frac{r-1}{r}\hat{x}(o; \lambda) + \frac{1}{r}L$$
   donde $r$ es el número de ciclos restantes. Al principio del protocolo (gran $r$), el controlador rastrea la fluctuación estimada para extraer trabajo; a medida que la fecha límite se acerca (pequeño $r$), el controlador cambia su enfoque hacia la imposición de la restricción del punto final.

2. Descomposición de Trabajo Transporte–Información:
   Se demuestra que el trabajo esperado mínimo $W^*_N$ se descompone en dos términos distintos:
   $$W^*_N = \underbrace{\frac{k_B T}{2} \frac{\mathcal{L}^2}{N}}_{\text{Costo de transporte de longitud termodinámica}} - \underbrace{\frac{k_B T}{2} \chi (N - H_N)}_{\text{Extracción habilitada por observación}}$$

• El primer término es el costo geomético de transportar la distribución de equilibrio, recuperando el óptimo de lazo abierto basado en la longitud termodinámica $\mathcal{L} = \sqrt{\beta k} L$.
• El segundo término es un término de "extracción" negativo proporcional a $\chi$, la fracción de las fluctuaciones de equilibrio resueltas por la medición (relación señal-ruido).
• Esta descomposición revela un cruce: para un número pequeño de ciclos, los costos de transporte dominan (disipativo); para un gran número de ciclos, la extracción habilitada por la información supera los costos de transporte, resultando en un trabajo negativo "puro" (cosecha aparente).

3. Conteo de Ciclos Óptimo con Sobrecarga:
   Cuando se incurre en un costo físico fijo $c$ (sobrecarga) por intervención (medición, actuación, combustible), el costo total $J_N = W^*_N + cN$ se minimiza en un número finito de ciclos $N^*$. Los autores derivan una regla de diseño explícita para $N^*$ basada en la sobrecarga adimensional $\hat{c} = 2c/k_B T$ y la resolución $\chi$. Un óptimo finito existe solo si la sobrecarga excede la tasa de extracción por ciclo asintótica ($\hat{c} > \chi$).

4. Viabilidad Termodinámica y el Límite de Landauer:
   El artículo examina críticamente el régimen de "cosecha aparente" donde $W^*_N < 0$. Al contabilizar el costo termodinámico de crear y resetear el registro de la medición (el límite de Landauer), los autores muestran que el costo mínimo del procesamiento de información por ciclo es $k_B T I(x; o)$.

• Para un canal gaussiano, la información mutua $I(x; o)$ establece un límite inferior en la sobrecarga que es estrictamente mayor que el umbral de extracción $\chi$.
• Consecuentemente, una vez que se incluye el costo de resetear la memoria, el trabajo neto es siempre no negativo. El régimen de "cosecha ilimitada" es termodinámicamente inaccesible. El trabajo negativo aparente en el cálculo base se revela como un artefacto de contabilidad al valorar las observaciones en cero.

Significancia
Los autores señalan que estos resultados son directamente comprobables en experimentos existentes de trampas de retroalimentación (por ejemplo, motores de información coloidal) y proporcionan una regla de diseño rigurosa para el número de ciclos de retroalimentación en tales sistemas. La importancia del trabajo radica en:

• Exactitud: Reducir un POMDP generalmente intratable a una recursión de Bellman de horizonte finito resoluble donde el estado es simplemente el Hamiltoniano.
• Perspectiva Física: Separar explícitamente el costo de transporte geométrico del costo de extracción habilitado por la información, aclarando las condiciones bajo las cuales la retroalimentación parece cosechar trabajo.
• Consistencia Termodinámica: Demostrar que, cuando se incluye el costo termodinámico completo del procesamiento de información (costo de Landauer), el trabajo neto de tales protocolos es no negativo, y siempre se selecciona un número finito de ciclos de retroalimentación.
• Generalidad: Aunque la solución de forma cerrada es específica para la trampa armónica trasladada, la recursión subyacente se aplica a paisajes de energía y canales de observación arbitrarios, ofreciendo un marco para la optimización numérica donde la clausura analítica no es posible.