Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

Sintesi Tecnica: Imparare a comunicare attraverso diverse modalità

Problematica
La ricerca attuale sulla comunicazione emergente assume ampiamente che gli agenti interagenti condividano rappresentazioni percettive omogenee o spazi rappresentativi allineati. Questa assunzione trascura una dimensione critica della comunicazione nel mondo reale: gli interlocutori spesso abitano mondi percettivi differenti (ad esempio, un agente percepisce tramite audio mentre un altro percepisce tramite visione), pur dovendo comunque stabilire una comunicazione efficace. Questo articolo investiga come tale eterogeneità e disallineamento percettivo influenzino la struttura, l'efficienza e l'interoperabilità dei protocolli di comunicazione emergente nei sistemi multi-agente.

Metodologia
Gli autori estendono il framework del gioco referenziale multimodale e multi-step (originariamente introdotto da Evtimova et al., 2018) da un contesto immagine-testo a un contesto audio-immagine.

• Task: Un Mittente (Sender) e un Ricevente (Receiver) devono identificare un oggetto target tra un insieme di distrattori. Il Mittente osserva l'oggetto in una modalità (ad esempio, l'audio di un cane che abbaia), mentre il Ricevente lo osserva in un'altra (ad esempio, l'immagine di un cane).
• Protocollo: L'interazione è un dialogo multi-step in cui il Mittente emette un messaggio binario a $D$ dimensioni ($m^s_t$). Il Ricevente decide se terminare il dialogo e indovinare l'oggetto o rispondere con un messaggio ($m^r_t$).
• Agenti: Il Mittente è una rete neurale feed-forward; il Ricevente è una rete neurale ricorrente. Entrambi sono addestrati congiuntamente utilizzando RMSprop per minimizzare un obiettivo combinato di perdita di classificazione, perdita di rinforzo basata su REINFORCE e regolarizzazione dell'entropia.
• Dataset: Gli esperimenti utilizzano un dataset sintetico "Shapes World" per una valutazione controllata e un dataset naturalistico che accoppia immagini CIFAR-100 con suoni provenienti da UrbanSound8K ed ESC-50 per valutare le prestazioni in condizioni di rumore.
• Confronti: Lo studio confronta i sistemi multimodali (audio $\to$ immagine) rispetto ai baseline unimodali (audio $\to$ audio).

Risultati Chiave

1. Efficienza e Incertezza: Il disallineamento percettivo influenza significativamente l'efficienza della comunicazione. Sebbene entrambi i sistemi tollerino la compressione del messaggio fino a una certa soglia, gli agenti multimodali richiedono uno scambio di informazioni maggiore (messaggi più lunghi) per mantenere l'accuratezza rispetto agli agenti unimodali. Al diminuire della lunghezza del messaggio, i sistemi multimodali mostrano un'accuratezza degradata e un'entropia di classificazione più elevata (incertezza), suggerendo che le rappresentazioni percettive disallineate introducano rumore nel canale di comunicazione.
2. Consistenza del Protocollo:
   • Consistenza del Mittente: I Mittenti sviluppano messaggi coerenti con la classe, convergendo verso codifiche deterministiche. Questa consistenza aumenta man mano che la capacità del messaggio viene limitata.
   • Consistenza tra Agenti: Nonostante la coerenza interna del Mittente, vi è poca o nessuna correlazione tra i messaggi del Mittente e del Ricevente. Ciò indica che gli agenti non convergono su un insieme condiviso di segnali, ma sviluppano piuttosto protocolli individuali.
3. Groundedness (Ancoraggio) e Semantica:
   • Perturbazione dei Bit: Il significato è codificato in modo distribuito piuttosto che composizionale. Perturbare i bit "costanti" (quelli costantemente 0 o 1) causa bruschi cali di accuratezza, mentre perturbare i bit "variabili" ha un impatto minimo. Fondamentalmente, il ruolo informativo di un bit dipende dal suo pattern circostante; nessun singolo bit possiede un significato fisso e interpretabile indipendente dal contesto.
   • Ancoraggio Percettivo: Anche quando il Ricevente opera su una modalità differente, i messaggi del Mittente rimangono ancorati al proprio spazio percettivo. Le visualizzazioni t-SNE mostrano che gli embedding dei messaggi si raggruppano secondo caratteristiche percettive di basso livello (ad esempio, la frequenza audio), indicando che il protocollo di comunicazione preserva tracce della struttura percettiva del Mittente.
4. Interoperabilità: I sistemi addestrati in contesti percettivi differenti (ad esempio, un Mittente addestrato sull'audio accoppiato con un Ricevente addestrato sull'immagine) falliscono nel comunicare efficacemente senza adattamento (l'accuratezza scende al caso casuale). Tuttavia, un fine-tuning limitato (anche solo 2–15 epoche) consente una comunicazione efficace tra sistemi diversi. Un fine-tuning esteso rivela un compromesso: sebbene l'accoppiamento con il nuovo partner migliori, le prestazioni con il partner originale possono subire un leggero degrado.

Significatività e Rivendicazioni
Questo articolo posiziona la comunicazione emergente come un framework per studiare come gli agenti si adattino e trasferiscano le rappresentazioni attraverso modalità eterogenee. Gli autori affermano che:

• Il disallineamento percettivo crea un "gap di modalità" che necessita di una maggiore capacità per una comunicazione affidabile.
• Il significato in questi sistemi emergenti è distribuito attraverso i pattern dei messaggi piuttosto che essere composizionale o localizzato in bit specifici.
• I protocolli di comunicazione possono rimanere ancorati alla realtà percettiva specifica del Mittente, anche quando il Ricevente non ha accesso a tale modalità.
• Gli agenti possiedono la capacità di adattare rapidamente i propri protocolli a nuovi interlocutori con realtà percettive differenti attraverso un fine-tuning minimo.

Queste scoperte offrono una base teorica per comprendere come la comprensione condivisa possa sorgere tra mondi percettivi divergenti, con potenziali implicazioni per la robotica, l'epistemologia e le teorie dell'embodiment. Gli autori suggeriscono che il lavoro futuro dovrebbe estendere queste analisi ad agenti incarnati (ad esempio, robot) e ad architetture alternative per sviluppare un resoconto più ampio della comunicazione emergente eterogenea.