MOSAIC: A Unified Platform for Cross-Paradigm Comparison and Evaluation of Homogeneous and Heterogeneous Multi-Agent RL, LLM, VLM, and Human Decision-Makers

Il paper presenta MOSAIC, una piattaforma open-source che unifica ambienti di apprendimento per agenti multipli permettendo il confronto equo e riproducibile tra paradigmi eterogenei come RL, LLM, VLM e decisori umani tramite un protocollo IPC isolato e un'interfaccia unificata.

L'essenziale

Immagina di dover organizzare una partita di calcio molto speciale. Ma c'è un problema: nella tua squadra ci sono quattro tipi di giocatori completamente diversi:

1. Un robot matematico (Reinforcement Learning - RL) che calcola ogni mossa in millisecondi basandosi su numeri.
2. Un genio della parola (Large Language Model - LLM) che pensa leggendo descrizioni testuali e risponde con frasi.
3. Un artista visivo (Vision-Language Model - VLM) che guarda le immagini e le descrive insieme.
4. Un essere umano che gioca con la tastiera.

Fino a oggi, far giocare questi quattro insieme era come cercare di far comunicare un telefono fisso, un piccione viaggiatore, un semaforo e un umano che urla, tutti nello stesso momento. Ognuno parlava una "lingua" diversa e usava regole diverse. Non esisteva un campo da gioco unico dove potessero confrontarsi in modo equo.

MOSAIC è la soluzione a questo caos. È una nuova piattaforma open-source (un "palestra digitale") che permette a tutti questi agenti diversi di giocare insieme, confrontarsi e imparare, proprio come se fossero nella stessa squadra.

Ecco come funziona, spiegato con metafore semplici:

1. Il "Traduttore Universale" (Il Protocollo IPC)

Immagina che MOSAIC sia un grande hub aeroportuale.

• Ogni agente (il robot, il genio della parola, l'artista) arriva al suo terminal specifico con il suo equipaggiamento originale. Non dobbiamo modificarli o costringerli a cambiare i loro vestiti (il loro codice sorgente).
• MOSAIC crea un corridoio di comunicazione (chiamato protocollo IPC) che funziona come un interprete in tempo reale.
• Quando il robot deve passare un'azione, MOSAIC la prende e la "traduce" in un formato che il campo di gioco capisce. Quando il genio della parola deve rispondere, MOSAIC prende il suo testo e lo trasforma in un comando per il gioco.
• Il risultato: Ognuno fa quello che sa fare meglio, senza dover cambiare il suo modo di pensare, ma tutti giocano nella stessa partita.

2. Il "Direttore d'Orchestra" (L'Abstrazione Operator)

Invece di avere un manager che cerca di capire come funziona ogni singolo giocatore, MOSAIC usa un sistema di "operatori".

• Pensa a un operatore come a un tesserino magico. Che tu sia un robot o un umano, se hai il tesserino "Operatore", il campo di gioco ti tratta allo stesso modo.
• Il campo chiede: "Chi ha la palla? Cosa fa?". L'operatore risponde: "Io sono il robot, faccio questo" oppure "Io sono l'umano, faccio quello".
• Questo permette di mescolare le carte: puoi avere una squadra con due robot e due umani, o un robot e un'intelligenza artificiale che "vede" le immagini, e il sistema gestisce tutto automaticamente.

3. La "Cronaca Sportiva Perfetta" (Valutazione Cross-Paradigma)

Prima, se volevi vedere chi era più forte tra un robot e un umano, dovevi fare due partite diverse, con condizioni diverse, e poi confrontare i risultati a occhio. Era come confrontare il tempo di una gara di nuoto con quello di una gara di corsa.

MOSAIC introduce due modi per giudicare le prestazioni:

• Modalità Manuale (Lo Specchio): Immagina di guardare due schermi affiancati. Da una parte vedi il robot muoversi, dall'altra l'umano. Il sistema li fa muovere esattamente nello stesso momento, con le stesse condizioni iniziali (come se il tempo si fosse fermato per entrambi allo stesso istante). Puoi vedere esattamente come reagiscono diversamente alla stessa situazione.
• Modalità Script (Il Cronometrista Automatico): Se vuoi fare migliaia di partite per vedere chi vince alla lunga, MOSAIC esegue tutto automaticamente, registrando ogni singolo dettaglio in un database, senza bisogno che tu sia lì a guardare.

Perché è importante?

Fino a ora, gli scienziati studiavano i robot, le intelligenze artificiali linguistiche e gli umani in stanze separate.

• Studiavano i robot in laboratori di matematica.
• Studiavano le intelligenze linguistiche in laboratori di testo.
• Studiavano gli umani in psicologia.

MOSAIC abbatte i muri tra queste stanze. Permette di rispondere a domande affascinanti come:

• "Se metto un robot esperto e un'intelligenza artificiale che parla come un umano nella stessa squadra, vincono di più o si disturbano a vicenda?"
• "Un umano può imparare a giocare meglio se ha un robot come compagno?"
• "Chi è più bravo a risolvere un enigma: chi vede le immagini o chi legge le parole?"

In sintesi, MOSAIC è il ponte che unisce mondi diversi. Non cerca di rendere tutti uguali, ma crea un terreno di gioco dove le differenze diventano una forza, permettendoci di capire come le diverse forme di intelligenza (umana e artificiale) possono collaborare o competere in modo equo e scientifico.

Sommario tecnico

Titolo: MOSAIC: Una Piattaforma Unificata per il Confronto e la Valutazione Cross-Paradigma di Agenti Multi-Agente (RL, LLM, VLM e Umani)

Data: Marzo 2026 (Preprint arXiv)
Autori: Abdulhamid M. Mousa, Yu Fu, Rakhmonberdi Khajiev, et al. (Beijing Institute of Technology, Beihang University, Ain Shams University).

---

1. Il Problema

Attualmente, le infrastrutture di ricerca per l'Intelligenza Artificiale sono frammentate in silos separati:

• Reinforcement Learning (RL): Framework come RLlib, CleanRL e Stable-Baselines3 operano su osservazioni tensoriali e producono azioni discrete/continue.
• LLM e VLM: I benchmark (es. AgentBench, BALROG) trattano agenti basati su linguaggio o visione-linguaggio che operano su prompt testuali e risposte testuali.
• Esseri Umani: Richiedono interfacce interattive specifiche.

Non esiste una piattaforma che permetta di deployare agenti di paradigmi decisionali diversi (es. un agente RL, un LLM, un VLM e un umano) nello stesso ambiente, sotto le stesse condizioni (semi casuali condivisi), per studiarne l'interazione in team eterogenei o confrontarne le prestazioni in modo equo. La letteratura esistente sull'ad-hoc teamwork (AHT) e sul coordinamento zero-shot (ZSC) assume implicitamente che tutti gli agenti condividano lo stesso spazio di osservazione e di azione, ignorando la complessità di un'interazione cross-paradigma.

2. Metodologia e Architettura

MOSAIC è una piattaforma open-source che risolve questo problema attraverso un'architettura a tre livelli che separa l'orchestrazione, la comunicazione e l'esecuzione:

A. Protocollo IPC basato su Worker (Isolamento dei Processi)

• Architettura: Utilizza un processo principale (Daemon) che gestisce worker isolati come sottoprocessi.
• Comunicazione: Gli agenti (RL, LLM, VLM, Umani) vengono eseguiti come worker indipendenti che comunicano con il sistema centrale tramite un protocollo JSON leggero su stdin/stdout (o gRPC in modalità batch).
• Vantaggio: Questo permette di integrare framework di terze parti (es. CleanRL, XuanCe, BALROG) senza modificare il loro codice sorgente. Ogni worker esegue la sua logica nativa di training/inferenza in isolamento.
• Robustezza: Include meccanismi di heartbeat e recupero dai guasti (checkpoint restoration).

B. Astrazione "Operator" (Interfaccia Unificata)

• MOSAIC introduce un livello di astrazione chiamato Operator che mappa i worker agli slot degli agenti nell'ambiente.
• Indipendentemente dal fatto che l'agente sia un policy RL, un LLM o un umano, tutti aderiscono a un'interfaccia unificata minima (OperatorController).
• Supporta due modalità operative:
  • Modalità AEC (Agent Environment Cycle): Un agente agisce alla volta.
  • Modalità Parallela: Tutti gli agenti agiscono simultaneamente.
• Gestisce la mappatura degli spazi di osservazione e azione eterogenei (es. trasformando le immagini RGB in testo per gli LLM, o viceversa).

C. Framework di Valutazione Deterministico

MOSAIC offre due modalità di valutazione complementi per garantire la riproducibilità:

1. Modalità Manuale: Permette l'avanzamento passo-passo (lock-step) di N operatori sotto semi condivisi. L'interfaccia grafica (GUI Qt6) visualizza le viewport degli agenti affiancate con badge colorati, permettendo un'ispezione visiva fine delle differenze comportamentali.
2. Modalità Script: Esecuzione automatizzata guidata da script Python dichiarativi, che genera telemetria JSONL per esperimenti a lungo termine e riproducibili.

3. Contributi Chiave

1. Prima Infrastruttura Cross-Paradigma: È l'unico sistema che supporta simultaneamente quattro tipi di agenti (RL, LLM, VLM, Umani) in team misti, permettendo di studiare scenari di "Ad-Hoc Teamwork" dove i compagni di squadra operano con meccanismi decisionali radicalmente diversi.
2. Integrazione Senza Modifiche: Grazie al protocollo IPC, permette di utilizzare framework RL esistenti e benchmark LLM/VLM come "worker" senza alcuna modifica al loro codice, riducendo drasticamente il costo di integrazione (es. ~50 righe di codice "glue" per CleanRL).
3. Valutazione Equa e Riproducibile: Fornisce semi casuali condivisi e un'interfaccia unificata per confrontare direttamente le prestazioni di un agente RL contro un LLM o un VLM nello stesso ambiente (es. MiniGrid, Soccer 2v2), cosa impossibile con le piattaforme attuali.
4. Supporto a 26 Famiglie di Ambienti: Include un'ampia gamma di ambienti, dai mondi griglia (MiniGrid) a simulazioni più complesse, con un focus specifico su domini discreti per gli agenti linguistici.

4. Risultati e Configurazioni Sperimentali

Il paper non presenta risultati numerici finali (destinati a un lavoro futuro), ma definisce una matrice sperimentale rigorosa per valutare il comportamento cross-paradigma:

• Configurazioni Avversariali: Confronta team omogenei (solo RL vs solo RL) contro team eterogenei (RL vs LLM, RL vs VLM, LLM vs VLM) per stabilire baseline e misurare il divario prestazionale.
• Configurazioni Cooperative (Heterogeneous Teams): Testa se un agente LLM/VLM può cooperare efficacemente con una policy RL "congelata" (addestrata da sola, senza co-training).
  • Obiettivo: Distinguere tra sinergia reale (il team misto supera le basi omogenee) e interferenza (il mismatch di paradigma degrada le prestazioni).
• Design "Solo-to-Team": Una scelta progettuale cruciale dove le policy RL sono addestrate in isolamento (N=1) e poi congelate. Questo elimina il confondimento del "co-training" (dove gli agenti RL imparano implicitamente le strategie dei partner RL), isolando la variabile "paradigma" come unico fattore sperimentale.

5. Significato e Impatto

MOSAIC rappresenta un passo fondamentale per la ricerca sull'IA multi-agente:

• Superamento dei Silos: Colma il divario tra le comunità di ricerca RL, LLM/VLM e Human-Computer Interaction.
• Studio del Coordinamento Zero-Shot Reale: Permette di studiare come agenti con rappresentazioni interne e modalità di input completamente diverse (testo vs tensori vs visione) possano coordinarsi senza pre-allineamento, un problema molto più complesso del classico ZSC omogeneo.
• Riproducibilità: La piattaforma open-source (licenza MIT) con GUI visiva e telemetria standardizzata facilita la riproducibilità degli esperimenti, un aspetto critico spesso carente nei benchmark attuali.
• Limitazioni e Scope: Il sistema riconosce che gli LLM/VLM attuali faticano nel controllo continuo ad alta frequenza (es. robotica), limitando il loro uso a domini discreti (grid-world) dove il ragionamento strategico e l'istruzione possono essere valutati senza confondere le variabili con la latenza motoria.

In sintesi, MOSAIC non è solo un altro benchmark, ma un'infrastruttura unificata che rende possibile la ricerca sistematica su come diverse forme di intelligenza (biologica e artificiale, simbolica e neurale) possano collaborare o competere in ambienti condivisi.