Clarke Differentials and the Envelope Theorem in Dynamic Programming

Technische Samenvatting: Clarke-differentiaal en de Envelopstelling in Dynamische Programmering

Probleemstelling
Het artikel behandelt de toepassing van de envelopstelling op deterministische dynamische programmeermodellen. In de standaard optimalisatietheorie stelt de envelopstelling dat de afgeleide van de waardefunctie met betrekking tot een parameter enkel afhangt van het directe effect van de parameter op de objectieve functie, aangezien het indirecte effect via de optimale keuze verdwijnt door de eerste-orde conditie. Echter, in dynamische programmering wordt de waardefunctie $\bar{V}(x)$ endogeen afgeleid, waardoor het moeilijk is om differentiabiliteit exogeen aan te nemen. Bovendien is de optimale beleidsfunctie $y^*(x)$ mogelijk niet differentieerbaar.

Eerdere literatuur heeft geprobeerd dit op te lossen. Benveniste en Scheinkman [1] hebben een envelopstelling vastgesteld met behulp van convexe analyse, maar hun resultaten rusten op sterke aannames, waaronder de convexiteit van het domein en de concaviteit van de objectieve functie. Mordukhovich en Sagara [4] hebben deze resultaten uitgebreid met behulp van Clarke-differentialen naar niet-convexe settings en stochastische modellen. Hun benadering vereist echter dat de objectieve functie begrensd is en gedefinieerd is op de gehele ruimte. Deze aannames worden vaak geschonden in standaard economische modellen, zoals het Ramsey–Cass–Koopmans (RCK) model met Constant Relative Risk Aversion (CRRA) nutfuncties, die onbegrensd zijn en gedefinieerd zijn op beperkte domeinen (bijv. positieve reële getallen).

Methodologie
De auteur maakt gebruik van de Clarke-differentiaal, een instrument uit de niet-gladde analyse, om een envelopstelling af te leiden onder aanzienlijk zwakkere aannames. De methodologie omvat:

1. Kader: Het artikel maakt gebruik van een gereduceerd deterministisch dynamisch programmeermodel waarbij de waardefunctie voldoet aan de Bellman-vergelijking:
   $$\bar{V}(x) = \max \{ w(x, y) + \delta \bar{V}(y) \mid y \in \Gamma(x) \}$$
   Hier is $X$ een Banachruimte, $w$ de objectieve functie, $\Gamma$ de restrictie-correspondentie, en $\delta \in (0, 1)$.

2. Clarke-differentiaal instrumenten: Het artikel definieert de gegeneraliseerde directionele afgeleide $f^\circ(x; v)$ en de Clarke-differentiaal $\partial^\circ f(x)$ voor lokaal Lipschitz-continue functies. Het vestigt fundamentele eigenschappen, inclusief de relatie tussen de Clarke-differentiaal en sterke differentiabiliteit, en bewijst dat voor convexe of concave functies de Clarke-differentiaal samenvalt met de standaard subdifferentiaal.

3. Regulariteitsvoorwaarden: Een kernconcept dat wordt geïntroduceerd is de regulariteit van een functie, waarbij de gegeneraliseerde directionele afgeleide gelijk is aan de klassieke directionele afgeleide. Het artikel maakt gebruik van het feit dat concave functies op open convexe verzamelingen regular zijn.

4. Bewijsstrategie: De bewijsvoering van het hoofdtheorema (Theorema 3) verloopt door:

   • Vast te stellen dat de waardefunctie $\bar{V}$ lokaal Lipschitz is rond een punt $\bar{x}$ zonder de globale begrensdheid van $w$ aan te nemen.
   • Gebruik te maken van de boven-half-continue (upper hemi-continuous) aard van de beleids-correspondentie $G(x)$ en de compactheid van de restrictie-verzameling om sequenties te construeren die convergeren naar het optimale pad.
   • De definitie van de Clarke-differentiaal toe te passen op de Bellman-vergelijking om de gegeneraliseerde afgeleide van $\bar{V}$ te begrenzen door de partiële Clarke-differentiaal van $w$ met betrekking tot de toestandsvariabele.

Belangrijkste Bijdragen en Resultaten
De primaire bijdrage is Theorema 3, dat de envelopstelling vaststelt voor deterministische dynamische programmeermodellen onder voorwaarden die worden vervuld door veel standaard economische modellen, maar die door eerdere theorema's werden uitgesloten.

• Verzwakte Aannames: In tegen tegenstelling tot Mordukhovich en Sagara [4], vereist Theorema 3 niet dat de objectieve functie $w$ begrensd is of gedefinieerd is op de gehele ruimte $X^2$. In tegenstelling tot Benveniste en Scheinkman [1], vereist het niet dat het domein convex of de objectieve functie concaaf is (hoewel concaviteit lokale Lipschitz-continuïteit en regulariteit impliceert, wat voldoende is).
• Hoofdresultaat: Onder de aannames dat $w$ lokaal Lipschitz is, regular is bij de optimale punten, en dat de beleids-correspondentie specifieke continuïteits- en niet-lege doorsnede-eigenschappen bezit, is de waardefunctie $\bar{V}$ lokaal Lipschitz, en voldoet de Clarke-differentiaal aan:
  $$\partial^\circ \bar{V}(\bar{x}) \subset \partial^\circ_x w(\bar{x}, \bar{y})$$
  voor een bepaalde $\bar{y} \in \text{cl} G(\bar{x})$.
• Corollary 2: Als de objectieve functie sterk differentieerbaar is, dan is de waardefunctie eveneens sterk differentieerbaar, en de inclusie wordt een gelijkheid met betrekking tot de sterke afgeleide.

Betekenis en Reikwijdte
De auteur stelt dat de resultaten significant zijn omdat ze van toepassing zijn op een breder scala aan economische modellen dan voorheen mogelijk was. Specifiek demonstreert de auteur dat het theorema van toepassing is op het RCK-model met CRRA-nutfuncties (inclusclusief het logaritmische geval) en Cobb-Douglas of AK-productietechnologieën. Deze modellen bevatten onbegrensde nutfuncties en domeinen die beperkt zijn tot positieve reële getallen, wat de begrensdheids- en volledige-ruimte-aannames van Mordukhovich–Sagara en de convexiteitseisen van Benveniste–Scheinkman schendt.

De auteur merkt op dat hoewel Theorema 1 (Benveniste–Scheinkman) van toepassing is op standaard concave modellen, Theorema 3 noodzakelijk is voor modellen waar de restrictie-verzameling of de objectieve functie een gebrek aan convexiteit vertoont (bijv. modellen met overheidsuitgavenregels die concaviteit doorbreken) of waar de objectieve functie onbegrensd is. Het artikel concludeert dat Theorema 3 een robuust instrument biedt voor het afleiden van de envelopstelling in "natuurlijke economische situaties" waar differentiabiliteit en convexiteit niet gegarandeerd kunnen worden.