Sintesi Tecnica: Le invarianze rappresentazionali indotte dal compito dipendono dall'obiettivo di apprendimento nel Deep RL

Definizione del Problema

Sebbene il Deep Reinforcement Learning (RL) abbia ottenuto un successo straordinario in domini che spaziano dai giochi ai processi di allineamento dei Large Language Models (LLM), la comprensione teorica delle rappresentazioni apprese all'interno di questi modelli rimane limitata. Questa lacuna ostacola il confronto diretto tra modelli computazionali e l'apprendimento animale, nonché l'analisi sistematica di come le strutture dei compiti vengano codificate. Nello specifico, non è chiaro come diversi algoritmi di RL (ad esempio, basati sul valore vs. policy-gradient) codifichino le simmetrie del compito e se queste differenze rappresentazionali abbiano conseguenze funzionali per il transfer learning.

Metodologia

Gli autori analizzano le rappresentazioni del deep RL attraverso la lente della teoria della riduzione degli MDP, concentrandosi specificamente sulle invarianze rispetto alle simmetrie. La metodologia prevede:

1. Framework Teorico:

   • Omoformismo MDP: Utilizzo della teoria dei gruppi per identificare le simmetrie nello spazio stato-azione dove le funzioni di transizione e di ricompensa rimangono invarianti sotto specifiche trasformazioni (ad esempio, riflessione). Questo definisce la "simmetria MDP".
   • Simmetria della Policy: Definizione della simmetria basata sul fatto che una determinata policy selezioni la stessa azione per stati diversi (simmetria della policy ottimale, $\pi^*$).
   • Analisi della Similarità Rappresentazionale (RSA): Impiego della RSA per confrontare le rappresentazioni interne di diversi algoritmi. Invece di confrontare le attivazioni grezze, gli autori calcolano una Matrice di Similarità Rappente (RSM) basata sulle similarità del coseno a coppie tra le rappresentazioni degli stati. Misurano specificamente la similarità per coppie di stati che sono equivalenti sotto omoformismo MDP rispetto a quelli equivalenti sotto simmetria di policy.

2. Domini Sperimentali:

   • Task di Navigazione: Un labirinto in un ambiente gridworld (basato su Rosenberg et al.) con MDP omoformismi noti (simmetria di riflessione). Sono state utilizzate sia versioni tabulari che visive (basate su CNN).
   • Algoritmi Confrontati:
     • DQN: Un metodo basato sul valore (apprende una funzione di valore per derivare una policy).
     • PPO: Un metodo policy-gradient (ottimizza direttamente la policy).
     • Deep SARSA(n): Un esperimento di controllo addestrato on-policy (come PPO) ma basato sul valore (come DQN) per isolare l'obiettivo di apprendimento dalle strategie di raccolta dati.
   • Ambienti Complessi: CartPole (continuo) e Pong (pixel ad alta dimensionalità) per testare la generalizzazione oltre gli MDP esattamente riducibili.
   • Transfer Learning: Esperimenti su giochi Atari (Breakout, SpaceInvaders, Pong) per testare se le simmetrie apprese favoriscano il transfer learning a nuovi compiti.
   • Analisi LLM: Prompting di Qwen2.5-72B-Instruct per risolvere il compito di navigazione utilizzando diversi formati di input (albero ASCII vs. lista di archi) per osservare le simmetrie emergenti nell'apprendimento in-context.

Contributi Chiave

1. Invarianze Rappresentazionali Dipendenti dall'Obiettivo: Il documento dimostra che l'obiettivo di apprendimento detta sistematicamente il tipo di simmetria codificata nella rappresentazione, anche quando gli algoritmi risolvono lo stesso compito con prestazioni comparabili.
   • Metodi basati sul valore (DQN) apprendono rappresentazioni invarianti rispetto alle simmetrie di omoformismo MDP (simmetrie strutturali dell'ambiente).
   • Metodi policy-gradient (PPO) apprendono rappresentazioni invarianti rispetto alle simmetrie di azione (stati che condividono la stessa azione ottimale).
2. Isolamento Causale dell'Obiettivo di Apprendimento: Attraverso l'esperimento Deep SARSA(n), gli autori mostrano che la divergenza nella codifica della simmetria è guidata dall'obiettivo di apprendimento (basato sul valore vs. policy-gradient) piuttosto che dalle strategie di raccolta dati (off-policy vs. on-policy).
3. Conseguenze del Transfer Learning: Il documento fornisce prove empiriche che le rappresentazioni che codificano gli omoformismi MDP (DQN) facilitano un migliore transfer learning tra i compiti Atari con simmetrie ambientali condivise rispetto a quelle che codificano le simmetrie di azione (PPO).
4. Dipendenza dal Prompt negli LLM: Lo studio rivela che gli LLM possono esibire entrambi i tipi di simmetrie, ma l'emergenza della simmetria di omoformismo MDP è dipendente dal prompt. Essa appare quando la struttura del compito è descritta esplicitamente (rappresentazione ASCII), ma non quando descritta tramite una lista di archi meno strutturata, a differenza della robusta simmetria di policy osservata in entrambi i formati.

Risultati Chiave

• Task di Navigazione: Nel compito del labirinto, DQN ha mostrato un'alta similarità rappresentazionale per le coppie di stati MDP-simmetrici ma una bassa similarità per gli stati che condividono la stessa azione ottimale. Al contrario, PPO ha mostrato un'alta similarità per gli stati equivalenti per azione e una bassa similarità per le coppie MDP-simmetriche.
• Generalizzazione: Questa dissociazione è rimasta valida negli ambienti continui (CartPole) e ad alta dimensionalità (Pong), sebbene il segnale di simmetria MDP fosse più debole in Pong, probabilmente a causa dei campi recettivi locali nelle CNN.
• Transfer Learning: Negli esperimenti di transfer su Atari (es. Breakout $\to$ Pong), gli agenti DQN (che codificano le simmetrie MDP) hanno mostrato guadagni significativi di prestazioni e stabilità sotto rotazioni delle osservazioni. Gli agenti PPO hanno mostrato poco o nessun beneficio di transfer e sono stati più sensibili alle trasformazioni delle osservazioni.
• Risultati LLM: Gli LLM hanno codificato robustamente la simmetria di policy indipendentemente dal formato del prompt. Tuttavia, la simmetria di omoformismo MDP è emersa solo quando il prompt evidenziava esplicitamente la struttura gerarchica (rappresentazione ASCII), suggerendo che gli LLM possiedano una flessibilità nella rappresentazione che gli algoritmi di RL addestrati non hanno.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro fornisce un approccio rigoroso per confrontare le rappresentazioni apprese tra gli algoritmi di RL utilizzando la teoria della riduzione degli MDP. Il significato risiede in:

• Selezione dell'Algoritmo: Offrire una base teorica per scegliere gli algoritmi di RL in base agli obiettivi a valle. I professionisti che cercano rappresentazioni che catturino la struttura ambientale per il transfer o la generalizzazione potrebbero preferire i metodi basati sul valore, mentre coloro che danno priorità all'organizzazione a livello di azione potrebbero preferire i metodi policy-gradient.
• Neuroscienza: Fornire un framework per sondare i circuiti neurali biologici. Gli autori suggeriscono che questa pipeline può essere estesa alle registrazioni neurali per determinare se i cervelli animali codifichino preferenzialmente le simmetrie del compito tipo MDP o le mappature di azione tipo policy.
• Post-Training degli LLM: Evidenziare che l'RLHF e altri metodi di post-training potrebbero alterare le rappresentazioni degli LLM in modi che influenzano le capacità di apprendimento in-context, introducendo potenzialmente bias simili a quelli osservati nei fallimenti di transfer di PPO.

Il documento conclude con modestia, riconoscendo i limiti come l'assunzione di una mappatura uno-a-uno tra stato e osservazione (problematica nei POMDP), l'uso di metriche di similarità specifiche (similarità del coseno) e la mancanza di una teoria formale che predica quali simmetrie emergano da specifiche proprietà algoritmiche. Essi vedono i loro risultati come una caratterizzazione empirica iniziale piuttosto che una teoria completa.