Sintesi Tecnica: Un Framework basato sull'Entropia per Coalizioni Ibride nella Teoria dei Giochi. Parte I: Arbitrato Umano

1. Definizione del Problema

La Teoria dei Giochi classica, radicata nel framework di von Neumann e Morgenstern, assume che gli agenti abbiano un'autorità decisionale fissa e strutture di preferenza standard che soddisfano assiomi come completezza, transitività e proprietà archimedea. Tuttavia, i sistemi ibridi Uomo–IA presentano una sfida fondamentale: l'autorità di esecuzione può alternarsi endogenamente tra le componenti Umana e IA all'interno di un ambiente digitale. In tali contesti, il comportamento della coalizione non può essere rappresentato da un singolo ordinamento di preferenze fluido o da una funzione di utilità standard. Gli approoli ibridi esistenti spesso combinano le utilità o trattano l'autorità come statica, fallendo nel catturare la dinamica delle alternanze di controllo dove l'agente esecutore viene selezionato ad ogni passo in base alla divergenza di policy. Questo articolo affronta l'insufficienza dei concetti di equilibrio classici per le coalizioni ibride che operano sotto la "Natura Virtuale" (l'analogo algoritmico della classica Natura) e cerca di formalizzare un framework in cui la delega è dinamica e dipendente dal regime.

2. Metodologia: Neo-Teoria dei Giochi

Gli autori introducono la Neo-Teoria dei Giochi, un'estensione della classica Teoria dei Giochi progettata per coalizioni ibride Uomo–IA. Il framework si basa sui seguenti pilastri:

2.1. Natura Virtuale e Giochi Ibridi

L'ambiente è modellato come Natura Virtuale ($V$), una funzione di transizione $V: S \times A \to \Delta(S)$ che cattura la stocasticità algoritmica, le soglie rigide e le discontinuità. Un gioco ibrido è definito come una tupla $N(V) = (S, A, U, \lambda, P_V)$, dove:

• $S$ è lo spazio degli stati.
• $A$ è lo spazio comune delle azioni eseguite (unione degli insiemi di proposta di Uomo e IA).
• $U = \{U_H, U_{AI}\}$ sono le funzioni di utilità individuali.
• $\lambda_T \in \{0, 1\}$ è un fattore di delega binario che determina quale agente esegue l'azione al tempo $T$.
• $P_V$ è il kernel di transizione generato dalla Natura Virtuale.

2.2. Scostamenti Assiomatici

Il framework rilassa gli assiomi classici a livello di coalizione:

• Fallimento della Transitività: L'alternanza del controllo può indurre preferenze rivelate non transitive (ad es., $A \succ B, B \succ C, C \succ A$) anche se i singoli agenti sono transitivi.
• Fallimento dell'Assioma Archimedeo: La coalizione non presenta scambi fluidi; l'aggiustamento umano è graduale mentre l'ottimizzazione dell'IA può essere discreta.
• Utilità Lessicografica: Gli esiti della coalizione sono confrontati lessicograficamente. Il regime di esecuzione (Umano vs. IA) è selezionato prima della valutazione dell'utilità, il che significa che non esiste un compromesso compensativo tra i regimi.

2.3. Meccanismo di Delega basato sull'Entropia

La delega è determinata dalla divergenza di Jensen–Shannon (JS) ($D_{JS}$) tra la policy empirica umana ($p_H$) e la policy dell'IA ($p_{AI}$). Il framework utilizza due soglie fisse, $\alpha_{agree}$ e $\alpha_{disagree}$, per partizionare lo spazio delle policy in tre regimi:

1. Accordo ($D_{JS} \le \alpha_{agree}$): L'IA esegue ($\lambda = 0$).
2. Disaccordo ($D_{JS} \ge \alpha_{disagree}$): L'Umano esegue ($\lambda = 1$).
3. Contestuale ($\alpha_{agree} < D_{JS} < \alpha_{disagree}$): L'esecuzione è determinata da una regola probabilistica in cui la probabilità di esecuzione umana è uguale a $D_{JS}$.

2.4. Dinamiche di Apprendimento ed Equilibrio

L'articolo si concentra sullo Scenario 1: Arbitrato Umano, dove l'Umano mantiene l'autorità di esecuzione ultima.

• Aggiornamento delle Policy: L'IA aggiorna la propria policy in tutti i regimi verso l'azione eseguita. L'Umano aggiorna la propria policy solo nel regime di accordo ($D_{JS} \le \alpha_{agree}$).
• Tracce di Utilità: Le utilità vengono aggiornate online utilizzando una traccia EWMA (Media Mobile Esponenzialmente Pesata) basata sull'azione eseguita.
• Concetto di Equilibrio: L'articolo definisce un Equilibrio di Convergenza di Frequenza. Diversamente dai classici equilibri di Nash (punti fissi delle migliori risposte), questo è un equilibrio dinamico di stabilizzazione del processo di adattamento delle policy stocastiche. È caratterizzato dalla stabilizzazione asintotica delle frequenze dei regimi empirici ($f_{agree}, f_{ctx}, f_{disagree}$).

3. Contributi Chiave

1. Formalizzazione della Neo-Teoria dei Giochi: L'articolo stabilisce la base assiomatica per le coalizioni ibride, dimostrando come l'alternanza dell'autorità porti a strutture di utilità lessicografiche e potenziali fallimenti della transitività classica.
2. Delega tramite Entropia: Propone una nuova regola di delega basata sulla divergenza di Jensen–Shannon, utilizzando soglie per creare distinti regimi di esecuzione (Accordo, Contestuale, Disaccordo).
3. Regime di Arbitrato Umano: Gli autori sviluppano e simulano il primo regime di questa teoria, dove l'Umano funge da arbitro finale mentre l'IA apprende tramite osservazione e matching di frequenza.
4. Caratterizzazione Teorica: L'articolo dimostra che, sotto step size di Robbins–Monro o guadagni costanti, il sistema converge a una distribuzione stabile di frequenze di policy. Stabilisce che il processo di divergenza è asintoticamente stazionario ed ergodico sotto specifiche condizioni.

4. Risultati

Gli autori hanno condotto simulazioni su vari orizzonti ($H \in \{200, \dots, 50.000\}$) e griglie di parametri (soglie, tassi di apprendimento, programmi di step-size, modalità di generazione degli stati). Le scoperte principali includono:

• Convergenza: In tutti gli orizzonti, le policy dell'Umano e dell'IA si allineano progressivamente, causando la riduzione della divergenza di Jensen–Shannon ($D_{JS}$) verso lo zero.
• Ruolo dei Parametri:
  • Tasso di Apprendimento ($\eta$): Le step size costanti accelerano l'allineamento iniziale ma inducono piccole oscillazioni. Le step size decrescenti (Robbins–Monro) producono traiettorie di convergenza più fluide e stabili.
  • Soglie: Le soglie determinano la frequenza dei cambi di regime ma non alterano l'esito di allineamento a lungo termine.
  • Generazione degli Stati: Che gli stati siano generati esogenamente (casuali) o endogenamente (dipendenti dall'azione) influenza la volatilità a breve termine ma non l'equilibrio asintotico.
• Transitorio vs. Asintotico: I parametri influenzano principalmente il percorso di apprendimento transitorio (velocità e rumore) piuttosto che l'esistenza stessa della convergenza. Ad orizzonti sufficientemente ampi ($H \ge 30.000$), il sistema raggiunge un regime di saturazione in cui le policy sono allineate e $D_{JS} \approx 0$, indipendentemente dallo specifico programma di apprendimento o dalla specifica ambientale.
• Stabilità: Il sistema dimostra un robusto allineamento delle policy senza fare affidamento sulla classica ottimizzazione della migliore risposta. La stabilità emerge dalla ripetuta esecuzione, dall'adattamento empirico e dalla struttura statistica della regola di delega.

5. Significato e Rivendicazioni

L'articolo sostiene di fornire il primo regime (Arbitrato Umano) di un più ampio framework di Neo-Teoria dei Giochi. La sua importanza risiede nel:

• Fondazione Teorica: Offre una base assiomatica per i sistemi ibridi in cui l'autorità si alterna, andando oltre i modelli che si limitano ad aggregare le utilità.
• Equilibrio Comportamentale: Ridefinisce l'equilibrio non come un punto fisso strategico statico, ma come una stabilizzazione dinamica delle frequenze empiriche e della divergenza di policy.
• Implementazione Pratica: I risultati delle simulazioni validano che la delega basata sull'entropia può guidare robustamente l'allineamento delle policy nei sistemi ibridi, suggerendo un meccano viabile per l'addestramento human-in-the-loop e per sistemi di IA sensibili alla fiducia.

Gli autori dichiarano esplicitamente che questo lavoro pone le basi per estensioni future, specificamente i regimi di controllo dell'IA e di Negoziazione, che permetteranno confronti sistematici con concetti di soluzione stabiliti come gli equilibri di Nash e di Stackelberg in ambienti mediati digitalmente. L'articolo non pretende di risolvere tutti i problemi di interazione ibrida, ma di formalizzare una specifica classe di interazioni dove l'autorità di esecuzione è endogena e guidata dalla policy.