Clarke Differentials and the Envelope Theorem in Dynamic Programming

Sintesi Tecnica: Differenziali di Clarke e il Teorema dell'Inviluppo nella Programmazione Dinamica

Enunciato del Problema
Il documento affronta l'applicazione del teorema dell'inviluppo ai modelli di programmazione dinamica deterministica. Nella teoria dell'ottimizzazione standard, il teorema dell'inviluppo afferma che la derivata della funzione valore rispetto a un parametro dipende solo dall'effetto diretto del parametro sulla funzione obiettivo, poiché l'effetto indiretto tramite la scelta ottimale svanisce a causa della condizione del primo ordine. Tuttavia, nella programmazione dinamica, la funzione valore $\bar{V}(x)$ è derivata endogenamente, rendendo difficile assumere la sua differenziabilità in modo esogeno. Inoltre, la funzione di politica ottimale $y^*(x)$ potrebbe non essere differenziabile.

La letteratura precedente ha tentato di risolvere questo problema. Benveniste e Scheinkman [1] hanno stabilito un teorema dell'inviluppo utilizzando l'analisi convessa, ma i loro risultati si basano su ipotesi forti, tra cui la convessità del dominio e la concavità della funzione obiettivo. Mordukhovich e Sagara [4] hanno esteso questi risultati utilizzando i differenziali di Clarke per contesti non convessi e modelli stocastici. Tuttavia, il loro approccio richiede che la funzione obiettivo sia limitata e definita sull'intero spazio. Tali ipotesi sono spesso violate nei modelli economici standard, come il modello Ramsey–Cass–Koopmans (RCK) con funzioni di utilità CRRA (Constant Relative Risk Aversion), che sono illimitate e definite su domini ristretti (ad esempio, i reali positivi).

Metodologia
L'autore utilizza il differenziale di Clarke, uno strumento dell'analisi nonsmooth (non regolare), per derivare un teorema dell'inviluppo sotto ipotesi significativamente più deboli. La metodologia prevede:

1. Framework: Il documento utilizza un modello di programmazione dinamica deterministica in forma ridotta in cui la funzione valore soddisfa l'equazione di Bellman:
   $$\bar{V}(x) = \max \{ w(x, y) + \delta \bar{V}(y) \mid y \in \Gamma(x) \}$$
   Qui, $X$ è uno spazio di Banach, $w$ è la funzione obiettivo, $\Gamma$ è la corrispondenza dei vincoli e $\delta \in (0, 1)$.

2. Strumenti del Differenziale di Clarke: Il documento definisce la derivata direzionale generalizzata $f^\circ(x; v)$ e il differenziale di Clarke $\partial^\circ f(x)$ per funzioni localmente Lipschitziane. Stabilisce proprietà fondamentali, inclusa la relazione tra il differenziale di Clarke e la differenziabilità forte, e dimostra che per funzioni convesse o convesse, il differenziale di Clarke coincide con lo subdifferenziale standard.

3. Condizioni di Regolarità: Un concetto chiave introdotto è la regolarità di una funzione, dove la derivata direzionale generalizzata è uguale alla derivata direzionale classica. Il documento sfrutta il fatto che le funzioni convesse su insiemi convessi aperti sono regolari.

4. Strategia di Dimostrazione: La dimostrazione del teorema principale (Teorema 3) procede tramite:

   • L'instaurazione del fatto che la funzione valore $\bar{V}$ è localmente Lipschitziana intorno a un punto $\bar{x}$ senza assumere la limitatezza globale di $w$.
   • L'utilizzo dell'estensione semi-continua superiore della corrispondenza di politica $G(x)$ e della compattezza dell'insieme dei vincoli per costruire sequenze che convergono al percorso ottimale.
   • L'applicazione della definizione di differenziale di Clarke all'equazione di Bellman per limitare la derivata generalizzata di $\bar{V}$ dal differenziale parziale di Clarke di $w$ rispetto alla variabile di stato.

Contributi Principali e Risultati
Il contributo primario è il Teorema 3, che stabilisce il teorema dell'inviluppo per i modelli di programmazione dinamica deterministica sotto condizioni che sono soddisfatte da molti modelli economici standard ma escluse dai teoremi precedenti.

• Ipotesi Rilassate: A differenza di Mordukhovich e Sagara [4], il Teorema 3 non richiede che la funzione obiettivo $w$ sia limitata o definita sull'intero spazio $X^2$. A differenza di Benveniste e Scheinkman [1], non richiede che il dominio sia convesso o che la funzione obiettivo sia concava (sebbene la concavità implichi la continuità Lipschitziana locale e la regolarità, che sono sufficienti).
• Risultato Principale: Sotto le ipotesi che $w$ sia localmente Lipschitziana, regolare nei punti ottimali, e che la corrispondenza di politica soddisfi specifiche proprietà di continuità e di intersezione non vuota, la funzione valore $\bar{V}$ è localmente Lipschitziana, e il suo differenziale di Clarke soddisfa:
  $$\partial^\circ \bar{V}(\bar{x}) \subset \partial^\circ_x w(\bar{x}, \bar{y})$$
  per qualche $\bar{y} \in \text{cl} G(\bar{x})$.
• Corollario 2: Se la funzione obiettivo è fortemente differenziabile, anche la funzione valore è fortemente differenziabile, e l'inclusione diventa un'uguaglianza che coinvolge la derivata forte.

Significatività e Ambito
L'autore sostiene che i suoi risultati siano significativi perché applicabili a una gamma più ampia di modelli economici rispetto a quanto precedentemente possibile. Nello specifico, l'autore dimostra che il teorema si applica al modello RCK con funzioni di utilità CRRA (inclusa la variante logaritmica) e alle tecnologie di produzione Cobb-Douglas o AK. Questi modelli presentano funzioni di utilità illimitate e domini ristretti ai reali positivi, che violano le ipotesi di limitatezza e di spazio totale di Mordukhovich–Sagara e i requisiti di convessità di Benveniste–Scheinkman.

L'autore osserva che, mentre il Teorema 1 (Benveniste–Scheinkman) si applica ai modelli concavi standard, il Teorema 3 è necessario per i modelli in cui l'insieme dei vincoli o la funzione obiettivo mancano di convessità (ad esempio, modelli con regole di spesa pubblica che rompono la concavità) o dove la funzione obiettivo è illimitata. Il documento conclude che il Teorema 3 fornisce uno strumento robusto per derivare il teorema dell'inviluppo in "naturali situazioni economiche" dove la differenziabilità e la convessità non possono essere garantite.