Sintesi Tecnica: Un Framework Cognitivo per Agenti Autonomi

Definizione del Problema

I sistemi autonomi, in particolare i sistemi multi-agente utilizzati per il rilevamento e l'esplorazione, affrontano sfide significative nel completare i compiti in modo efficiente all'interno di ambienti complessi, parzialmente osservabili e incerti. Mentre le soluzioni ingegneristiche tradizionali si affidano pesantemente all'apprendimento strumentale (apprendere azioni basate sulle conseguenze per massimizzare le ricompense), esse trascurano spesso l'apprendimento Pavloviano (associare stimoli ambientali agli esiti prima che l'esito stesso si verifichi). Nella cognizione umana, questi due sistemi coesistono e interagiscono; le associazioni Pavloviane permettono agli organismi di utilizzare stimoli predittivi per influenzare il comportamento in modo riflessivo, accelerando l'adattamento. Gli attuali design di agenti autonomi trascurano ampiamente questo meccanismo a doppio sistema, portando a una convergenza più lenta e a un'esplorazione meno efficiente in ambienti sconosciuti, specialmente quando si fa affidamento esclusivamente sul Reinforcement Learning (RL) model-free o standard model-based.

Metodologia

Gli autori propongono un architettura di RL ispirata all'uomo che integra processi Pavloviani e strumentali, sfruttando specificamente gli stimoli a Radio-Frequenza (RF) come stimoli condizionati. Il framework è strutturato attorno ai seguenti componenti:

1. Architettura a Doppio Sistema:

   • Sottosistema Model-Free Pavloviano-Strumentale (P-I): Mimica l'amigdala e lo striato ventrale. Apprende le associazioni tra stimoli ambientali (ad esempio, segnali RF che indicano "gate" o zone "GPS-denied") e gli esiti. Questo genera bias riflessivi rapidi (avvicinamento o evitamento) che modulano la selezione delle azioni prima che l'esito si realizzi.
   • Sottosistema Strumentale Model-Free: Utilizza il classico Q-learning o SARSA per apprendere le funzioni di valore dell'azione basandosi sull'esperienza di trial-and-error, similmente al comportamento abitudinario negli esseri umani.
   • Sottosistema Strumentale Model-Based: Impiega un approccio Dyna-Q per apprendere un modello interno della dinamica dell'ambiente (probabilità di transizione e ricompense). Ciò consente la pianificazione forward e la simulazione per ottimizzare gli obiettivi a lungo termine.

2. Meccanismo di Arbitrato:

   • Un meta-controller pesa dinamicamente i contributi dei sistemi model-free e model-based.
   • L'affidabilità è quantificata utilizzando gli Errori di Predizione: Errori di Predizione della Ricompensa (RPE) per l'apprendimento model-free e Errori di Predizione dello Stato (SPE) per l'apprendimento model-based.
   • Il sistema sposta il controllo verso il pianificatore model-based quando il modello interno è accurato e verso il robusto sistema model-free quando l'incertezza è elevata.

3. Design della Policy:

   • La selezione delle azioni utilizza una policy softmax che combina i valori d'azione strumentali con un termine di bias Pavloviano.
   • Il termine Pavloviano è dipendente dallo stato e dall'azione, creando un "campo di potenziale rischio-ricompensa" che guida gli agenti verso aree informative (ad esempio, corridoi con Line-of-Sight) e lontano da zone pericolose (ad esempio, aree GPS-denied) senza richiedere la massimizzazione esplicita della ricompensa per ogni singolo passo.

4. Setup Sperimentale:

   • Scenario: Un team di quattro agenti autonomi (UAV) naviga in una griglia $24 \times 36$ per localizzare un target con un determinato Position Error Bound (PEB).
   • Ambiente: Include ostacoli, aree GPS-denied (stimoli negativi) e "gate" (stimoli positivi) che forniscono Line-of-Sight (LOS) verso il target.
   • Sensori: Gli agenti utilizzano la potenza del segnale ricevuto (RSS) per la localizzazione e si affidano a stimoli RF per identificare le caratteristiche ambientali.
   • Training: Gli agenti sono stati addestrati su 2.400 episodi utilizzando l'off-policy Q-learning e un critico Pavloviano, con tassi di apprendimento e parametri di temperatura che decadono nel tempo.

Contributi Chiave

• Integrazione del Trasferimento Pavloviano-Strumentale (PIT): Il documento traduce il concetto neuroscientifico di PIT in un framework per agenti digitali, dimostrando come i segnali RF possano agire come stimoli condizionati per influenzare il decision-making strumentale.
• Framework di Apprendimento Ibrido: Propone un'architettura innovativa che unifica l'apprendimento model-free (abitudinario), model-based (pianificazione) e Pavloviano (riflessivo), regolato da un meccanismo di arbitrato basato sugli errori di predizione.
• RF come Stimoli Cognitivi: Il lavoro identifica e utilizza specificamente le caratteristiche a radiofrequenza (LOS vs. NLOS, disponibilità GPS) come stimoli predittivi, andando oltre gli stimoli puramente visivi che possono essere inaffidabili in condizioni di scarsa visibilità.
• Mappatura della Cognizione Umana-Digitale: Gli autori forniscono un "dizionario" dettagliato (Tabella II) e un confronto funzionale (Tabella III) che mappa i sistemi neurali umani (ad esempio, amigdala, corteccia prefrontale) con i moduli degli agenti digitali, stabilendo una base rigorosa per il design ispirato all'uomo.

Risultati

I risultati della simulazione, mediati su 60 corse Monte Carlo, dimostrano l'efficacia del framework proposto:

• Accelerazione della Convergenza: L'agente Instrumental-Pavlovian con Model-based ha raggiunto policy competenti significativamente più velocemente rispetto agli agenti che utilizzano solo l'apprendimento strumentale. L'approccio guidato dagli stimoli ha ridotto il numero di passi necessari per episodio per completare la missione.
• Riduzione della Varianza: L'approccio ibrido ha mostrato una varianza nelle prestazioni inferiore rispetto al baseline puramente strumentale, indicando un apprendimento più stabile.
• Traiettorie Ottimizzate:
  • Gli agenti puramente strumentali si sono affidati a un trial-and-error non informato, seguendo spesso percorsi più lunghi ed inefficienti e penetrando occasionalmente in zone GPS-denied.
  • Gli agenti influenzati dal modello Pavloviano hanno sviluppato traiettorie dirette che mantengono margini di sicurezza attorno alle zone GPS-denied e sfruttano efficacemente i corridoi LOS.
• Evoluzione della Funzione di Valore: Le funzioni di valore Pavloviane si sono evolute da distribuzioni casuali a distinti "campi di potenziale rischio-ricompensa" entro l'episodio 400, con massimi locali intorno ai gate e minimi nelle regioni GPS-denied, potendo così ridurre efficacementmente lo spazio di ricerca per l'apprendista strumentale.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione dei principi di apprendimento umano, specificamente l'interazione tra i sistemi Pavloviano e strumentale, possa rimodellare l'intelligenza degli agenti digitali. La principale importanza risiede nel dimostrare che:

1. L'apprendimento guidato dagli stimoli accelera efficacementamente l'esplorazione in ambienti complessi e parzialmente osservabili fornendo segnali motivazionali immediati.
2. Un approccio ibrido (fondendo i processi model-based e model-free con il bias Pavloviano) supera gli agenti tradizionali basati solo sul modello strumentale sia nella velocità di adattamento che nella qualità finale della policy.
3. Gli stimoli a radiofrequenza fungono da meccanismo robusto e vitale per la segnalazione predittiva nella navigazione autonoma, offrendo vantaggi rispetto agli stimoli visivi in specifiche condizioni.

Gli autori pongono questo lavoro come un passo verso sistemi autonomi più biologicamente plausibili ed efficienti, suggerendo che la ricerca futura potrebbe estendere questi principi all'apprendimento collettivo, ad strategie di arbitrato avanzate e all'estrazione di stimoli da mappe radio semantiche.