Sintesi Tecnica: Teoria dell'Apprendimento Performativo

1. Definizione del Problema

I sistemi di machine learning si sono evoluti da analizzatori passivi di dati ad attori che modellano attivamente il mondo. In molti domini, l'implementazione di modelli predittivi influenza proprio gli esiti che mirano a prevedere, un fenomeno noto come predizioni performative (PP). Sebbene la letteratura precedente (ad es., Perdomo et al., 2020; Brown et al., 2022) abbia formalizzato le PP e studiato la stabilità e l'ottimalità dei modelli sotto cicli di feedback a livello di popolazione, rimane una lacuna critica: la generalizzazione sotto performatività.

Nello specifico, la letteratura esistente non affronta adeguatamente quanto bene i modelli generalizzano da un campione finito a una popolazione quando:

1. Il campione stesso reagisce alle predizioni del modello (ad es., gli utenti in un beta test che cambiano comportamento in base ai suggerimenti dell'app).
2. La popolazione reagisce alle predizioni.
3. Entrambi reagiscono, potenzialmente in modi contrastanti.

La domanda centrale è se e quanto bene i modelli addestrati su campioni performativi possano generalizzare a una popolazione performativa, e quali siano i limiti teorici di questo errore di generalizzazione.

2. Metodologia e Framework

Gli autori introducono la Teoria dell'Apprendimento Performativo (PLT), inserendo le predizioni performative all'interno della teoria dell'apprendimento statistico. Il framework generalizza l'impostazione standard considerando l'evoluzione sia della distribuzione del campione ($\hat{d}_t$) che della distribuzione della popolazione ($d_t$) nel tempo $t$.

Definizioni Chiave e Assunzioni

• Transizione Stateful (con stato): L'evoluzione della distribuzione è governata da una mappa di transizione incognita $Tr$, dove $d_t = Tr(d_{t-1}, \theta_t)$. Questo generalizza i modelli stateless dove $d_t$ dipende solo da $\theta_t$.
• Minimizzazione del Rischio: Lo studio considera sia la Minimizzazione del Rischio Ripetuta (RRM) sulla popolazione che la Minimizzazione dell'Errore Empirico Ripetuta (RERM) sul campione.
• Condizioni: L'analisi si basa sulle assunzioni standard della letteratura PP:
  • Forte Convessità: La funzione di perdita $\ell$ è $\gamma$-fortemente convessa nei parametri $\theta$.
  • Sensibilità di Wasserstein: La mappa di transizione $Tr$è$(\varepsilon, p)$-congiuntamente sensibile, il che significa che la distanza di Wasserstein tra le distribuzioni varia linearmente con lo spostamento dei parametri e delle distribuzioni precedenti.
  • Regolarità: La perdita è Lipschitziana rispetto ai dati e continuamente differenziabile nei parametri.

Approccio Teorico

Gli autori derivano i limiti di generalizzazione analizzando la distanza di Wasserstein tra le distribuzioni. Utilizzano:

• Limiti di Convergenza: Sfruttando Fournier & Guillin (2015) per limitare la distanza tra il campione iniziale e la vera popolazione.
• Limiti di Spostamento In-Sample: Derivando i limiti di quanto la distribuzione del campione si sposti a causa degli effetti performativi all'interno del ciclo di addestramento.
• Numeri di Copertura: Utilizzando gli integrali di entropia dei numeri di copertura (Kolmogorov & Tikhomirov, 1959) piuttosto che le complessità di Rademacher, per gestire la natura dinamica del supporto della distribuzione.
• Dualità nello Spazio di Wasserstein: Interpretando le predizioni auto-neganti (popolazione) e auto-realizzanti (campione) come funzionali di rischio min-max e min-min rispettivamente, permettendo l'uso della teoria dei processi empirici per l'apprendimento localmente robusto dal punto di vista distributivo e favorevole.

3. Contributi Chiave e Risultati

Il documento affronta quattro domande di ricerca specifiche (RQ1–RQ4) riguardanti la generalizzazione in diversi scenari di performatività:

RQ1: Generalizzazione sotto Performatività del Campione

• Scenario: Un modello viene riaddestrato su un campione che reagisce alle predizioni, ma la popolazione non lo fa (o non è ancora osservata).
• Risultato (Teorema 3.7): Gli autori dimostrano un limite superiore sull'eccesso di rischio $R(d_0, \hat{\theta}_T) - \inf R(d_0, \theta)$.
• Insight Chiave: Il limite dipende dal tasso di risposta performativa ($m/n$, la frazione di unità del campione che cambia comportamento). Se $m = o(n)$, il limite svanisce quando $n \to \infty$. Tuttavia, se il campione reagisce fortemente, il limite cresce, indicando un compromesso: manipolare il campione per migliorare i risultati degrada la capacità di apprendere proprietà generalizzabili da quel campione.

RQ2: Generalizzazione sotto Piena Performatività

• Scenario: Il modello viene addestrato su un campione, poi implementato in una popolazione che reagisce alle predizioni.
• Risultato (Teorema 3.10 & 3.13): Vengono derivati i limiti per l'eccesso di rischio performativo (errore sulla popolazione spostata) e il gap di generalizzazione (differenza tra il rischio sulla popolazione spostata e il campione spostato).
• Insight Strutturale: Nel caso peggiore, il campione crea una "camera d'eco empirica" tramite predizioni auto-realizzanti (che confermano in modo ingannevole il modello), mentre la popolazione le auto-nega (agendo in modo opposto). Ciò crea un divario fondamentale tra le prestazioni di addestramento e le prestazioni fuori campione.
• Corollario 3.11: Un insight pratico suggerisce che i vincoli di generalizzazione più stretti si ottengono utilizzando l'adattamento iniziale ($\hat{\theta}_0$) sui dati fuori campione, stimando contemporaneamente lo spostamento della popolazione dai cambiamenti osservati nel campione, piuttosto che riaddestrare ripetutamente sul campione distorto.

RQ3: Eccesso di Rischio Performativo Cumulativo

• Scenario: Un modello viene addestrato su un campione, poi distribuito a una popolazione in cui viene riaddestrato ripetutamente sulla popolazione in evoluzione.
• Risultato (Teorema 3.16): Il documento fornisce limiti sull'errore cumulativo. L'analisi mostra che l'errore accumulato è guidato dallo spostamento iniziale tra campione e popolazione e dalla successiva dinamica della popolazione.

RQ4: Gap Inferenziale

• Scenario: Confronto tra il minimizzatore del rischio empirico (addestrato sui campioni) e il minimizzatore del rischio teorico (addestrato sulla popolazione).
• Stato: Il documento nota che questo è parzialmente affrontato da lavori recenti (Li et al., 2025b) per i casi asintotici ($n \to \infty$) e identifica l'analisi del campione finito per la performatività stateful come una direzione aperta.

4. Illustrazione Empirica

Gli autori illustrano i loro limiti utilizzando dati amministrativi reali dell'Agenzia Federale per l'Impiego tedesca (1975–2017) relativi al profiling dei cercatori di lavoro.

• Setup: Un modello di regressione logistica predice il rischio di disoccupazione a lungo termine. Gli individui ad alto rischio vengono assegnati alla formazione professionale, il che (se efficace) riduce il loro rischio di disoccupazione, creando un effetto performativo.
• Risultati: I limiti quantificano con successo il gap di generalizzazione. All'aumentare della frazione di cercatori di lavoro assegnati alla formazione ($\xi$), il termine performativo nel limite cresce, dimostrando il compromesso tra cambiamento e apprendimento (change-learn trade-off): più il modello cambia la popolazione (assegnando più formazioni), meno affidabili diventano le sue predizioni per la popolazione generale.

5. Significato e Rivendicazioni

Il documento sostiene di avviare lo studio della imparabilità sotto performatività. I suoi principali contributi sono:

1. Fondazione Teorica: Stabilisce il primo set di limiti di generalizzazione per le predizioni performative che tengono conto dei campioni finiti e della distinzione tra reazioni del campione e della popolazione.
2. Compromesso Fondamentale: Formalizza un compromesso tra intervento (cambiare il mondo tramite le predizioni) e inferenza (imparare dai dati risultanti). Più un modello influenza il suo ambiente, più difficile diventa generalizzare dai dati risultanti.
3. Meccanismo della Camera d'Eco: Identifica un meccanismo specifico in cui i campioni possono "ingannare" i modelli attraverso profezie auto-realizzanti, mentre le popolazioni le "negano", portando a gap di generalizzazione gonfiati.
4. Guida Pratica: Offre una raccomandazione controintuitiva ma teoricamente fondata: di fronte alla performatività, fare affidamento sull'adattamento del modello iniziale combinato con le stime dello spostamento (derivate dalle reazioni del campione) può fornire garanzie più strette rispetto al continuo riaddestramento su dati distorti.

Gli autori mantengono un tono modesto, riconoscendo che i loro limiti dipendono da specifiche condizioni di regolarità (forte convessità, continuità Lipschitziana) e che la mappa di transizione $Tr$ è trattata come una black box. Posizionano questo lavoro come un passo fondamentale verso la comprensione dei limiti dei sistemi predittivi in domini ad alto impatto come i servizi per l'impiego, la finanza e la giustizia penale, dove le predizioni modellano attivamente i risultati.