Clarke Differentials and the Envelope Theorem in Dynamic Programming

Resumen Técnico: Diferenciales de Clarke y el Teorema del Envolvente en Programación Dinámica

Planteamiento del Problema
El artículo aborda la aplicación del teorema del envolvente a modelos de programación dinámica determinista. En la teoría de la optimización estándar, el teorema del envolvente establece que la derivada de la función de valor con respecto a un parámetro depende únicamente del efecto directo del parámetro sobre la función objetivo, ya que el efecto indirecto a través de la elección óptima se anula debido a la condición de primer orden. Sin embargo, en la programación dinámica, la función de valor $\bar{V}(x)$ se deriva endógenamente, lo que hace que su diferenciabilidad sea difícil de asumir exógenamente. Además, la función de política óptima $y^*(x)$ puede no ser diferenciable.

La literatura previa ha intentado resolver esto. Benveniste y Scheinkman [1] establecieron un teorema del envolvente utilizando el análisis convexo, pero sus resultados dependen de supuestos fuertes, incluyendo la convexidad del dominio y la concavidad de la función objetivo. Mordukhovich y Sagara [4] extendieron estos resultados utilizando diferenciales de Clarke a entornos no convexos y modelos estocásticos. Sin embargo, su enfoque requiere que la función objetivo sea acotada y esté definida en todo el espacio. Estos supuestos son frecuentemente violados en modelos económicos estándar, como el modelo de Ramsey–Cass–Koopmans (RCK) con funciones de utilidad de la Autoría Relativa Constante de la Aversión al Riesgo (CRRA), las cuales son no acotadas y están definidas en dominios restringidos (por ejemplo, los reales positivos).

Metodología
El autor emplea el diferencial de Clarke, una herramienta del análisis no suave, para derivar un teorema del envolvente bajo supuestos significativamente más débiles. La metodología consiste en:

1. Marco de trabajo: El artículo utiliza un modelo de programación dinámica determinista de forma reducida donde la función de valor satisface la ecuación de Bellman:
   $$\bar{V}(x) = \max \{ w(x, y) + \delta \bar{V}(y) \mid y \in \Gamma(x) \}$$
   Aquí, $X$ es un espacio de Banach, $w$ es la función objetivo, $\Gamma$ es la correspondencia de restricción, y $\delta \in (0, 1)$.

2. Herramientas del Diferencial de Clarke: El artículo define la derivada direccional generalizada $f^\circ(x; v)$ y el diferencial de Clarke $\partial^\circ f(x)$ para funciones localmente Lipschitz. Establece propiedades fundamentales, incluyendo la relación entre el diferencial de Clarke y la diferenciabilidad fuerte, y demuestra que para funciones convexas o cóncavas, el diferencial de Clarke coincide con el subdiferencial estándar.

3. Condiciones de Regularidad: Un concepto clave introducido es la regularidad de una función, donde la derivada direccional generalizada es igual a la derivada direccional clásica. El artículo aprovecha el hecho de que las funciones cóncavas en conjuntos convexos abiertos son regulares.

4. Estrategia de Demostración: La demostración del teorema principal (Teorema 3) procede mediante:

   • Establecer que la función de valor $\bar{V}$ es localmente Lipschitz alrededor de un punto $\bar{x}$ sin asumir la acotación global de $w$.
   • Utilizar la hemicontinuidad superior de la correspondencia de política $G(x)$ y la compacidad del conjunto de restricción para construir secuencias que convergen a la trayectoria óptima.
   • Aplicar la definición del diferencial de Clarke a la ecuación de Bellman para acotar la derivada generalizada de $\bar{V}$ por el diferencial de Clarke parcial de $w$ con respecto a la variable de estado.

Contribuciones Clave y Resultados
La principal contribución es el Teorema 3, que establece el teorema del envolvente para modelos de programación dinámica determinista bajo condiciones que son satisfechas por muchos modelos económicos estándar pero que fueron excluidas por teoremas previos.

• Supuestos Relajados: A diferencia de Mordukhovich y Sagara [4], el Teorema 3 no requiere que la función objetivo $w$ sea acotada o esté definida en todo el espacio $X^2$. A diferencia de Benveniste y Scheinkman [1], no requiere que el dominio sea convexo o que la función objetivo sea cóncava (aunque la concavidad implica continuidad Lipschitz local y regularidad, lo cual es suficiente).
• Resultado Principal: Bajo los supuestos de que $w$ es localmente Lipschitz, regular en los puntos óptimos, y que la correspondencia de política satisface propiedades específicas de continuidad e intersección no vacía, la función de valor $\bar{V}$ es localmente Lipschitz, y su diferencial de Clarke satisface:
  $$\partial^\circ \bar{V}(\bar{x}) \subset \partial^\circ_x w(\bar{x}, \bar{y})$$
  para algún $\bar{y} \in \text{cl} G(\bar{x})$.
• Corolario 2: Si la función objetivo es fuertemente diferenciable, la función de valor también es fuertemente diferenciable, y la inclusión se convierte en una igualdad que involucra la derivada fuerte.

Significancia y Alcance
El artículo afirma que sus resultados son significativos porque se aplican a un rango más amplio de modelos económicos de lo que era posible anteriormente. Específicamente, el autor demuestra que el teorema se aplica al modelo RCK con funciones de utilidad CRRA (incluyendo el caso logarítmico) y tecnologías de producción Cobb-Douglas o AK. Estos modelos presentan funciones de utilidad no acotadas y dominios restringidos a los reales positivos, lo que viola los supuestos de acotación y de espacio completo de Mordukhovich–Sagara y los requisitos de convexidad de Benveniste–Scheinkman.

El autor señala que, mientras el Teorema 1 (Benveniste–Scheinkman) se aplica a modelos cóncavos estándar, el Teorema 3 es necesario para modelos donde el conjunto de restricción o la función objetivo carecen de convexidad (por ejemplo, modelos con reglas de gasto gubernamental que rompen la concavidad) o donde la función objetivo es no acotada. El artículo concluye que el Teorema 3 proporciona una herramienta robusta para derivar el teorema del envolvente en "situaciones económicas naturales" donde la diferenciabilidad y la convexidad no pueden garantizarse.