Sintesi Tecnica: Agenti di Apprendimento per Rinforzo Infra-Bayesiani Superano l'Apprendimento per Rinforzo Classico per la Robustezza nel Caso Peggiore

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) classico e l'RL Bayesiano operano sotto l'assunzione che un agente interagisca con un ambiente fisso, tipicamente modellato come un Processo Decisionale di Markov (MDP) o come una posterior Bayesiana su tali modelli. Questo quadro assume la realizzabilità: l'ambiente vero (o un modello sufficientemente accurato dello stesso) esiste all'interno della classe di ipotesi dell'agente.

Tuttavia, questa assunzione fallisce in contesti non realizzabili, in particolare quelli rilevanti per la sicurezza dell'IA e l'agenzia incorporata. In questi ambienti:

• Dipendenza dalla Politica: Altri attori (predittori, umani, istituzioni) anticipano la politica dell'agente e vi rispondono, piuttosto che limitarsi alle sue azioni realizzate.
• Incertezza Knightiana: L'agente affronta un'ambiguità in cui non esistono basi per costruire una precisa distribuzione di probabilità a priori sui mondi possibili.
• Specificazione Errata del Modello: Il mondo reale contiene sistemi di complessità paragonabile o superiore a quella dell'agente, rendendo impossibile che qualsiasi classe di ipotesi trattabile contenga una descrizione completa dell'ambiente.

In queste condizioni, i metodi Bayesiani classici possono produrre posteriori "sicuri ma errati", portando a decisioni inaffidabili e rimpianti illimitati. Gli agenti RL standard basati sul valore potrebbero non convergere verso politiche ottimali in ambienti dipendenti dalla politica (ad esempio, il problema di Newcomb), convergendo spesso solo verso politiche ratificabili.

2. Metodologia: Apprendimento per Rinforzo Infra-Bayesiano (IBRL)

Il documento presenta un'implementazione di prova di concetto di un'architettura di Apprendimento per Rinforzo Infra-Bayesiano (IBRL) progettata per problemi decisionali senza stato con esiti finiti. A differenza degli agenti classici che mantengono una distribuzione posterior sugli MDP, l'agente IB mantiene un insieme di ipotesi imprecise rappresentate come infradistribuzioni.

Oggetti Matematici Fondamentali

• Misura-a (Misura Affine): Il blocco fondamentale è una misura-a $a = (\lambda\mu, b)$, dove:
  • $\mu$ è una misura di probabilità sugli storici delle osservazioni (rappresentante l'incertezza stocastica ordinaria).
  • $\lambda \ge 0$ è un fattore di scala.
  • $b \ge 0$ è un termine di offset.
  • La valutazione di una funzione di ritorno limitata $f$ è data da $a(f) = \lambda E_\mu[f] + b$.
  • L'offset $b$ preserva il valore dai rami dell'albero degli storici esclusi dalle osservazioni, garantendo la coerenza dinamica.
• Infradistribuzioni ($\Psi$): Un insieme di misure-a ammissibili. L'agente valuta una politica tramite la sua speranza inferiore:
  $$E_\Psi[f] = \inf_{a \in \Psi} a(f)$$
  Questo rappresenta il valore garantito contro il membro peggiore ammissibile della classe di ipotesi.
• Tipi di Miscela:
  • Miscela Classica (Bayesiana): Una combinazione ponderata di infradistribuzioni ($\sum w_i \Psi_i$), rappresentante un'incertezza che può essere mediata.
  • Miscela Knightiana: Un'unione di insiemi di infradistribuzioni senza pesi, rappresentante un'ambiguità in cui il valore è determinato dal componente meno favorevole.

Componenti Algoritmici

1. Rappresentazione: L'agente memorizza solo i punti minimi estremali dell'infradistribuzione (analoghi ai vertici di un poliedro convesso), garantendo la trattabilità computazionale.
2. Modelli del Mondo: L'implementazione supporta rappresentazioni compresse specifiche per:
   • Bandit Bernoulli: Storici rappresentati come coppie $(N, R)$; misure come insiemi di coppie $(c_i, p_i)$.
   • Problemi Simili a Newcomb: Il modello del mondo contiene la matrice di ricompensa completa e l'accuratezza del predittore; non avviene apprendimento di stati interni poiché la struttura è nota.
3. Processo Decisionale:
   • L'agente discretizza lo spazio delle politiche $\Pi$.
   • Calcola la speranza inferiore per ciascuna politica: $E_{\Psi(\pi)}[f] = \inf_{a \in \Psi(\pi)} a(f)$.
   • Seleziona la politica $\pi^*$ che massimizza questa speranza inferiore (strategia Maximin).
4. Regola di Aggiornamento: Al momento dell'osservazione di un evento $L$, l'agente esegue un aggiornamento in stile IB:
   • Restringe la misura $\mu$ al ramo osservato ($\mu_L$).
   • Trasferisce il valore atteso dei rami non osservati nel termine di offset $b$: $(\lambda\mu, b) \to (\lambda\mu_L, b + \lambda\mu((1-L)g))$.
   • Rianormalizza l'infradistribuzione.
   • A causa della linearità dell'aggiornamento, non vengono creati nuovi punti estremali; solo quelli esistenti vengono aggiornati.

3. Contributi Chiave

1. Prima Implementazione di Prova di Concetto: Gli autori formulano e implementano un'architettura IBRL a esiti finiti basata su misure-a, infradistribuzioni e aggiornamenti in stile IB.
2. Recupero del Comportamento Classico: Si dimostra che l'architettura recupera il comportamento bayesiano ordinario nel caso degenere in cui ogni infradistribuzione ha un singolo punto minimo e tutta l'incertezza è classica.
3. Prestazioni nel Caso Peggiore: Dimostrazione empirica che un agente IB ottiene un rimpianto nel caso peggiore inferiore rispetto a un agente bayesiano classico in ambienti con incertezza knightiana.
4. Decision Making Ottimale Dipendente dalla Politica: Dimostrazione che l'agente IB ottiene ricompense ottimali in ambienti simili a Newcomb, superando gli agenti di teoria decisionale classica (Causale ed Evidenziale) che non riescono a catturare la corretta struttura causale o a convergere verso politiche ottimali.

4. Risultati Sperimentali

A. Incertezza Knightiana (Bandit Avversari)

• Configurazione: Un bandit Bernoulli a due bracci in cui le probabilità di ricompensa $p_1 \in [0.3, 0.7]$ e $p_2 \in [0.4, 0.8]$ sono scelte in modo avversario o dipendente dal tempo. L'agente conosce solo i vincoli, non le specifiche probabilità.
• Agente Classico: Deve assumere un prior preciso (ad esempio, masse puntuali agli angoli). Il comportamento è altamente sensibile a questa scelta arbitraria del prior.
• Agente IB: Rappresenta direttamente i vincoli di intervallo come incertezza knightiana. Identifica l'ambiente nel caso peggiore $(p_1=0.3, p_2=0.4)$ e seleziona coerentemente il Braccio 2, garantendo una ricompensa media di 0.4.
• Esito: L'agente IB ottiene un rimpianto nel caso peggiore inferiore rispetto all'agente classico. L'agente IB rifiuta correttamente di "imparare" da pattern potenzialmente avversari che potrebbero apparire attraenti ma non sono robusti.

B. Ambienti Dipendenti dalla Politica (Problema di Newcomb)

• Configurazione: Una variante del problema di Newcomb con un predittore imperfetto di accuratezza $\alpha$. L'agente sceglie una politica per scegliere una scatola con probabilità $p$.
• Esito: L'agente IB seleziona coerentemente la politica ottimale basata sull'accuratezza del predittore:
  • Per $\alpha > 0.55$, sceglie una scatola (ottimale).
  • Per $\alpha < 0.55$, sceglie due scatole (ottimale).
• Confronto: Gli agenti della Teoria Decisionale Causale scelgono due scatole indipendentemente dall'accuratezza (mancando grandi ricompense), mentre gli agenti della Teoria Decisionale Evidenziale scelgono una scatola ma per motivi che potrebbero fallire in altre strutture causali. L'agente IB seleziona l'azione ottimale per le ragioni strutturali corrette.

5. Significato e Affermazioni

Il documento afferma che questo lavoro colma il divario tra la promessa formale dell'Infra-Bayesianesimo (ragionamento robusto sotto non-realizzabilità) e l'implementazione pratica degli agenti.

• Robustezza per Progetto: I risultati suggeriscono che per agenti che operano in ambienti con specificazione errata o dipendenti dalla politica, l'ottimizzazione per garanzie nel caso peggiore (tramite speranze inferiori) fornisce una robustezza che manca all'ottimizzazione nel caso medio (RL Bayesiano).
• Distinzione dell'Incertezza: L'implementazione dimostra concretamente che distinguere tra incertezza probabilistica classica e incertezza knightiana porta a comportamenti degli agenti fondamentalmente diversi e più sicuri.
• Passaggio Fondamentale: Sebbene l'attuale implementazione sia limitata a esiti finiti e piccoli spazi di ipotesi, funge da passaggio necessario verso sistemi RL che rimangono robusti sotto specificazione errata del modello. Gli autori notano che i limiti di rimpianto per il loro agente IB sono lineari (un miglioramento rispetto all'RL classico in questi specifici contesti non realizzabili, sebbene ancora non sub-lineari) e che il passaggio a spazi continui e processi multi-step rimane una sfida aperta per lavori futuri.

Il documento conclude che l'IBRL offre un percorso praticabile verso agenti in grado di ragionare efficacemente quando l'assunzione del "granello di verità" dell'RL Bayesiano classico viene violata.