Clarke Differentials and the Envelope Theorem in Dynamic Programming

Resumo Técnico: Diferenciais de Clarke e o Teorema do Envelope em Programação Dinâmica

Enunciado do Problema
O artigo aborda a aplicação do teorema do envelope a modelos de programação dinâmica determinística. Na teoria da otimização padrão, o teorema do envelope estabelece que a derivada da função valor em relação a um parâmetro depende apenas do efeito direto do parâmetro sobre a função objetivo, uma vez que o efeito indireto via escolha ótima desaparece devido à condição de primeira ordem. No entanto, na programação dinâmica, a função valor $\bar{V}(x)$ é derivada endogenamente, tornando difícil assumir sua diferenciabilidade exogenamente. Além disso, a função de política ótima $y^*(x)$ pode não ser diferenciável.

A literatura anterior tentou resolver isso. Benveniste e Scheinkman [1] estabeleceram um teorema do envelope utilizando análise convexa, mas seus resultados dependem de suposições fortes, incluindo a convexidade do domínio e a concavidade da função objetivo. Mordukhovich e Sagara [4] estenderam esses resultados utilizando diferenciais de Clarke para configurações não convexas e modelos estocásticos. Contudo, sua abordagem exige que a função objetivo seja limitada e definida em todo o espaço. Essas suposições são frequentemente violadas em modelos econômicos padrão, como o modelo de Ramsey–Cass–Koopmans (RCK) com funções de utilidade de Aversão ao Risco Relativo Constante (CRRA), que são ilimitadas e definidas em domínios restritos (ex: reais positivos).

Metodologia
O autor emprega o diferencial de Clarke, uma ferramenta da análise não suave, para derivar um teorema do envelope sob suposições significativamente mais fracas. A metodologia envolve:

1. Estrutura: O artigo utiliza um modelo de programação dinâmica determinística de forma reduzida onde a função valor satisfaz a equação de Bellman:
   $$\bar{V}(x) = \max \{ w(x, y) + \delta \bar{V}(y) \mid y \in \Gamma(x) \}$$
   Aqui, $X$ é um espaço de Banach, $w$ é a função objetivo, $\Gamma$ é a correspondência de restrição e $\delta \in (0, 1)$.

2. Ferramentas de Diferencial de Clarke: O artigo define a derivada direcional generalizada $f^\circ(x; v)$ e o diferencial de Clarke $\partial^\circ f(x)$ para funções localmente Lipschitz. Estabelece propriedades fundamentais, incluindo a relação entre o diferencial de Clarke e a diferenciabilidade forte, e prova que, para funções convexas ou côncavas, o diferencial de Clarke coincide com o subdiferencial padrão.

3. Condições de Regularidade: Um conceito chave introduzido é a regularidade de uma função, onde a derivada direcional generalizada é igual à derivada direcional clássica. O artigo aproveita o fato de que funções côncavas em conjuntos convexos abertos são regulares.

4. Estratégia de Prova: A prova do teorema principal (Teorema 3) procede por:

   • Estabelecer que a função valor $\bar{V}$ é localmente Lipschitz em torno de um ponto $\bar{x}$ sem assumir a limitação global de $w$.
   • Utilizar a hemicontinuidade superior da correspondência de política $G(x)$ e a compacidade do conjunto de restrição para construir sequências convergentes para o caminho ótimo.
   • Aplicar a definição do diferencial de Clarke à equação de Bellman para limitar a derivada generalizada de $\bar{V}$ pelo diferencial de Clarke parcial de $w$ em relação à variável de estado.

Principais Contribuições e Resultados
A principal contribuição é o Teorema 3, que estabelece o teorema do envelope para modelos de programação dinâmica determinística sob condições que são satisfeitas por muitos modelos econômicos padrão, mas excluídas por teoremas anteriores.

• Suposições Relaxadas: Ao contrário de Mordukhovich e Sagara [4], o Teorema 3 não exige que a função objetivo $w$ seja limitada ou definida em todo o espaço $X^2$. Ao contrário de Benveniste e Scheinkman [1], ele não exige que o domínio seja convexo ou que a função objetivo seja côncava (embora a concavidade implique continuidade Lipschitz local e regularidade, o que é suficiente).
• Resultado Principal: Sob as suposições de que $w$ é localmente Lipschitz, regular nos pontos ótimos, e que a correspondência de política satisfaz propriedades específicas de continuidade e interseção não vazia, a função valor $\bar{V}$ é localmente Lipschitz, e seu diferencial de Clarke satisfaz:
  $$\partial^\circ \bar{V}(\bar{x}) \subset \partial^\circ_x w(\bar{x}, \bar{y})$$
  para algum $\bar{y} \in \text{cl} G(\bar{x})$.
• Corolário 2: Se a função objetivo for fortemente diferenciável, a função valor também será fortemente diferenciável, e a inclusão torna-se uma igualdade envolvendo a derivada forte.

Significância e Escopo
O artigo afirma que seus resultados são significativos porque se aplicam a uma gama mais ampla de modelos econômicos do que era possível anteriormente. Especificamente, o autor demonstra que o teorema se aplica ao modelo RCK com funções de utilidade CRRA (incluindo o caso logarítmico) e tecnologias de produção Cobb-Douglas ou AK. Esses modelos apresentam funções de utilidade ilimitadas e domínios restritos aos reais positivos, o que viola as suposições de limitação e de espaço total de Mordukhovich–Sagara e as exigências de convexidade de Benveniste–Scheinkman.

O autor observa que, enquanto o Teorema 1 (Benveniste–Scheinkman) se aplica a modelos côncavos padrão, o Teorema 3 é necessário para modelos onde o conjunto de restrição ou a função objetivo carecem de convexidade (ex: modelos com regras de gastos governamentais que quebram a concavidade) ou onde a função objetivo é ilimitada. O artigo conclui que o Teorema 3 fornece uma ferramenta robusta para derivar o teorema do envelope em "situações econômicas naturais" onde a diferenciabilidade e a convexidade não podem ser garantidas.