Riepilogo Tecnico: Comunicazione Emergente tra Agenti Visivi Eterogenei attraverso Apprendimento Decentralizzato

1. Enunciato del Problema

Il lavoro affronta una domanda fondamentale nella comunicazione emergente (CE): quali informazioni visive possono diventare condivisibili quando gli agenti possiedono rappresentazioni visive private differenti?

I paradigmi standard di CE si basano tipicamente su un segnale di compito esterno condiviso (ad esempio, un gioco referenziale in cui un ascoltatore deve identificare un'immagine target basandosi sul messaggio di un parlante). Questo segnale condiviso accoppia gli agenti attraverso un obiettivo comune, permettendo potenzialmente ai simboli emergenti di ottimizzarsi per il compito piuttosto che essere radicati nell'evidenza percettiva privata di ciascun agente. Gli autori sostengono che, per comprendere come i simboli sorgano dalla sola percezione privata, sia necessario un setting decentralizzato in cui gli agenti siano accoppiati solo attraverso messaggi scambiati e aggiornino i propri modelli utilizzando evidenze percettive locali, senza ricompense condivise, gradienti tra agenti o condivisione di parametri.

La sfida centrale consiste nel determinare se simboli comuni possano emergere senza accesso percettivo condiviso e in che modo la similarità (o la discrepanza) tra gli spazi visivi privati degli agenti vincoli il contenuto e la simmetria della lingua risultante.

2. Metodologia

2.1 Il Gioco di Didascalizzazione Metropolis-Hastings (MHCG)

Gli autori istanziano il loro setting decentralizzato utilizzando il Gioco di Didascalizzazione Metropolis-Hastings (MHCG), adattato per i Modelli Linguaggio-Visione (VLM).

• Agenti: Due agenti (Agente A e Agente B) osservano viste dello stesso image aumentate in modo indipendente.
• Architettura: Ogni agente è composto da:
  • Un codificatore visivo congelato (basato su ViT preaddestrato, ad es. DINOv2 o MAE).
  • Un modulo testuale inizializzato casualmente (configurazione BERT-Tiny) che funge sia da codificatore che da decodificatore.
  • Un adattatore ProbVLM che mappa le caratteristiche specifiche della modalità in uno spazio latente probabilistico condiviso, modellando le distribuzioni come gaussiane generalizzate diagonali.
• Protocollo di Interazione:
  1. Parlante: Codifica la propria osservazione visiva e campiona una sequenza di token candidati (didascalia) $c^*$.
  2. Ascoltatore: Genera la propria didascalia $c$ per la stessa immagine.
  3. Decisione di Accettazione: L'ascoltatore valuta la proposta del parlante $c^*$ rispetto alla propria didascalia $c$ utilizzando un criterio di accettazione Metropolis-Hastings (MH). La decisione si basa su un rapporto di verosimiglianza derivato dalle caratteristiche visive proprie dell'ascoltatore e dai parametri di densità lato testo delle didascalie.
  4. Aggiornamento: Se accettata, $c^*$ diventa l'obiettivo di addestramento per l'ascoltatore; altrimenti, viene mantenuta $c$. I ruoli si invertono nel turno successivo.
  5. Apprendimento: Gli agenti aggiornano solo i propri moduli testuali (codificatore, decodificatore, livelli di proiezione e testa ITM) e gli adattatori ProbVLM utilizzando le didascalie accettate come obiettivi fissi, minimizzando perdite in stile BLIP (Contrasto Immagine-Testo, Corrispondenza Immagine-Testo e Modellazione del Linguaggio). I codificatori visivi rimangono congelati.

2.2 Configurazione Sperimentale

• Dataset: MS-COCO (train2017 per l'addestramento, val2017 per la valutazione).
• Condizioni del Codificatore Visivo: Sono state testate tre combinazioni di codificatori congelati:
  1. HOMO: Codificatori identici (DINOv2 ViT-B/14 per entrambi).
  2. HETERO1 (Eterogeneità Moderata): DINOv2 ViT-B/14 vs. DINOv2 ViT-S/14.
  3. HETERO2 (Eterogeneità Forte): DINOv2 ViT-B/14 vs. MAE ViT-B/16.
• Controlli:
  • NoCom: Nessuna comunicazione (baseline).
  • AllAccept: Accetta tutte le proposte ($r \equiv 1$).
  • Accettazione Casuale: Corrisponde al tasso di accettazione MH ma accetta in modo uniforme e casuale.
  • Basato su ITM: Utilizza il punteggio discriminativo di corrispondenza immagine-testo dell'ascoltatore invece del rapporto di verosimiglianza MH.

2.3 Metriche di Valutazione

• Allineamento tra Agenti: Recupero cross-modale Top-1 (da Immagine a Testo e da Testo a Immagine) e Analisi di Similarità Rappresentazionale (RSA) Testo-Testo inter-agente.
• Trasferimento di Informazioni Visive: $\Delta R^2$ (predizione lineare corretta per permutazione delle caratteristiche visive dai token) e RSA Visione-Testo.
• Specificità Visiva: Raggio visivo global-normalizzato delle sequenze di token condivise negli spazi CLS fissi.
• Bias Rappresentazionale: Bias Partial-RSA ($\Delta X$) per misurare se i simboli emergenti si allineano più fortemente alla geometria visiva di un agente.

3. Contributi Chiave

1. Gioco Linguistico VLM Decentralizzato: Introduzione di un setting in cui agenti con codificatori visivi eterogenei apprendono simboli condivisi senza ricompense di compito condivise, gradienti tra agenti o condivisione di parametri.
2. Efficacia di MHCG: Dimostrazione che MHCG produce sequenze di token condivise che preservano le informazioni visive tra gli agenti, superando significativamente una baseline senza comunicazione in compiti di allineamento, predizione e recupero.
3. Caratterizzazione dell'Eterogeneità:
   • Disallineamento del Codificatore: Tutte le metriche tra agenti diminuiscono all'aumentare del disallineamento del codificatore.
   • Eterogeneità Moderata: Riduce il numero di sequenze condivise ma preserva la specificità visiva delle singole sequenze.
   • Eterogeneità Forte: Produce meno sequenze, più grezze, con un bias direzionale verso la struttura rappresentativa di un agente.
4. Ruolo Critico del Filtro MH: Dimostrazione che il filtraggio basato sul rapporto di verosimiglianza MH lato ascoltatore è essenziale per prevenire la formazione degenerata di token (collasso) e abilitare un trasferimento efficace di informazioni visive, superando i controlli basati su corrispondenza discriminativa o accettazione casuale.

4. Risultati

• Prestazioni vs Baseline: In tutte le condizioni di codificatore, MHCG ha superato significativamente la baseline NoCom su tutte le metriche (ad esempio, in HOMO, il recupero tra agenti era ~92% contro ~23% per NoCom).
• Impatto del Disallineamento:
  • HOMO: Prestazioni più elevate, allineamento simmetrico.
  • HETERO1: Le prestazioni sono diminuite ma sono rimaste robuste. Il sistema ha formato il 39% in meno di sequenze condivise rispetto a HOMO, ma la specificità visiva per sequenza (misurata dal raggio visivo) è rimasta comparabile.
  • HETERO2: Caduta significativa delle prestazioni. Le sequenze condivise erano meno numerose e coprivano set di immagini molto più ampi e diversificati (concetti più grezzi).
• Bias Rappresentazionale: Sotto HETERO2, è emerso un chiaro bias direzionale ($\Delta A > 0, \Delta B < 0$), dove la lingua condivisa si allineava più fortemente alla geometria visiva dell'Agente A (DINOv2 ViT-B). Ciò ha portato a prestazioni di recupero asimmetriche (i token dell'Agente B si trasferivano meglio nello spazio dell'Agente A rispetto al viceversa).
• Studi di Ablazione:
  • AllAccept: Ha prodotto un alto allineamento testo-testo ma con sequenze degeneri, a bassa diversità e scarso recupero.
  • Accettazione Casuale: Non è riuscita a trasferire informazioni visive, performando vicino al caso.
  • Basato su ITM: Ha migliorato rispetto al caso casuale ma è rimasto inferiore a MHCG, indicando che il filtro probabilistico MH è superiore alla semplice corrispondenza discriminativa per questo setting decentralizzato.

5. Significato e Affermazioni

Il lavoro afferma che i simboli condivisi possono sorgere dalla sola valutazione percettiva locale, senza la necessità di un obiettivo comunicativo esterno condiviso. Lo studio dimostra che:

• La Similarità Rappresentazionale Visiva è un fattore chiave nel plasmare la lingua risultante: determina sia il contenuto (specificità vs. grezzezza) sia la simmetria (bias) dei simboli emergenti.
• L'Inferenza Decentralizzata tramite campionamento MH permette agli agenti di negoziare uno spazio latente condiviso nonostante abbiano diversi backbones visivi congelati.
• L'Eterogeneità Moderata agisce come un collo di bottiglia di selezione, filtrando i concetti che non sono invarianti tra diverse rappresentazioni visive, risultando in un vocabolario più piccolo ma più robusto di concetti condivisi.
• L'Eterogeneità Forte porta a una rottura nella simmetria, dove la lingua condivisa tende a privilegiare la struttura rappresentativa dell'agente con il codificatore visivo più dominante o compatibile.

Gli autori collocano questo lavoro come fondamentale per comprendere come spazi percettivi privati e sistemi simbolici condivisi si sviluppino congiuntamente attraverso l'interazione, offrendo un quadro per studiare il grounding del linguaggio in sistemi multi-agente distribuiti ed eterogenei. Notano esplicitamente le limitazioni, inclusa l'uso di codificatori congelati (che impedisce l'adattamento della percezione), un singolo dataset e un vocabolario ridotto, suggerendo che lavori futuri dovrebbero esplorare se i simboli condivisi possano rimodellare gli spazi percettivi privati e come queste dinamiche scalino con popolazioni più ampie e modalità diverse.