Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

Technische Samenvatting: Leren communiceren over modaliteiten heen

Probleemstelling
Huidig onderzoek naar emergente communicatie gaat grotendeels uit van de aanname dat interagerende agenten homogene perceptuele representaties of uitgelijnde representationele ruimtes delen. Deze aanname negeert een cruciaal aspect van realistische communicatie: gesprekspartners bevinden zich vaak in verschillende perceptuele werelden (bijv. de ene agent neemt waar via audio, terwijl de andere via visie) maar moeten toch succesvolle communicatie tot stand brengen. Dit artikel onderzoekt hoe dergelijke perceptuele heterogeniteit en misalignement (niet-uitlijning) de structuur, efficiëntie en interoperabiliteit van emergente communicatieprotocollen in multi-agent-systemen beïnvloeden.

Methodologie
De auteurs breiden het multimodaliteit, multi-step referentiële spel-framework (oorspronkelijk geïntroduceerd door Evtimova et al., 2018) uit van een beeld-tekst-setting naar een audio-beeld-setting.

• Taak: Een Sender en een Receiver moeten een doelobject identificeren tussen een set afleiders. De Sender observeert het object in één modaliteit (bijv. het geluid van een blaffende hond), terwijl de Receiver het object in een andere modaliteit observeert (bijv. een afbeelding van een hond).
• Protocol: De interactie is een multi-step dialoog waarbij de Sender een $D$-dimensionale binaire boodschap ($m^s_t$) uitzendt. De Receiver besluit of de dialoog beëindigt en het object raadt, of reageert met een boodschap ($m^r_t$).
• Agenten: De Sender is een feed-forward neuraal netwerk; de Receiver is een recurrent neuraal netwerk. Beiden worden gezamenlijk getraind met RMSprop om een gecombineerde objectief te minimaliseren van classificatieverlies, REINFORCE-gebaseerd reinforcementverlies en entropie-regularisatie.
• Datasets: Experimenten maken gebruik van een synthetische "Shapes World"-dataset voor gecontroleerde evaluatie en een naturalistische dataset die CIFAR-100 afbeeldingen koppelt aan UrbanSound8K en ESC-50 geluiden om prestaties onder ruisige omstandigheden te beoordelen.
• Vergelijkingen: De studie vergelijkt multimodale systemen (audio $\to$ beeld) met unimodale baselines (audio $\to$ audio).

Belangrijkste Resultaten

1. Efficiëntie en Onzekerheid: Perceptuele misalignement heeft een significante impact op de communicatie-efficiëntie. Hoewel beide systemen berichtcompressie tot een bepaalde drempel tolereren, vereisen multimodale agenten een grotere informatie-uitwisseling (langere berichten) om de nauwkeurigheid te behouden vergeleken met unimodale agenten. Wanneer de berichtlengte afneemt, vertonen multimodale systemen een verminderde nauwkeurigheid en hogere classificatie-entropie (onzekerheid), wat suggereert dat misafgestemde perceptuele representaties ruis introduceren in het communicatiekanaal.
2. Protocol Consistentie:
   • Sender Consistentie: Senders ontwikkelen sterke klasse-consistente berichten en convergeren naar deterministische coderingen. Deze consistentie neemt toe naarmate de berichtcapaciteit wordt beperkt.
   • Cross-Agent Consistentie: Ondanks de interne consistentie van de Sender, is er weinig tot geen correlatie tussen de berichten van de Sender en de Receiver. Dit geeft aan dat agenten niet convergeren naar een gedeelde set signalen, maar eerder individuele protocollen ontwikkelen.
3. Gronding en Semantiek:
   • Bit Perturbatie: Betekenis wordt gecodeerd op een distributionele in plaats van een compositionele wijze. Het verstoren van "constante" bits (die consequent 0 of 1 zijn) veroorzaakt een scherpe daling in nauwkeurigheid, terwijl het verstoren van "variabele" bits minimale impact heeft. Cruciaal is dat de informatieve rol van een bit afhangt van het omringende patroon; geen enkele bit draagt een vaste, interpreteerbare betekenis onafhankelijk van de context.
   • Perceptuele Gronding: Zelfs wanneer de Receiver op een andere modaliteit opereert, blijven de berichten van de Sender gegrond in de eigen perceptuele ruimte van de Sender. t-SNE visualisaties tonen aan dat bericht-embeddings clusteren volgens laag-niveau perceptuele kenmerken (bijv. audiofrequentie), wat aangeeft dat het communicatieprotocol sporen van de perceptuele structuur van de Sender behoudt.
4. Interoperabiliteit: Systemen die in verschillende perceptuele contexten zijn getraind (bijv. een audio-getrainde Sender gekoppeld aan een beeld-getrainde Receiver) slagen er niet in effectief te communiceren zonder aanpassing (nauwkeurigheid daalt naar willekeurige gokken). Echter, beperkte fine-tuning (slechts 2–15 epochs) maakt succesvolle cross-systeem communicatie mogelijk. Uitgebreide fine-tuning onthult een trade-off: hoewel de nieuwe koppeling verbeterd, kan de prestatie met de oorspronkelijke partner licht verslechteren.

Betekenis en Claims
Dit artikel positioneert emergente communicatie als een framework voor het bestuderen van hoe agenten representaties over heterogene modaliteiten heen aanpassen en overdragen. De auteurs stellen dat:

• Perceptuele misalignement een "modaliteitskloof" creëert die een hogere capaciteit noodzakelijk maakt voor betrouwbare communicatie.
• Betekenis in deze emergente systemen verdeeld is over berichtpatronen in plaats van compositioneel of gelokaliseerd te zijn aan specifieke bits.
• Communicatieprotocollen gegrond kunnen blijven in de specifieke perceptuele realiteit van de Sender, zelfs wanneer de Receiver geen toegang heeft tot die modaliteit.
• Agenten de capaciteit bezitten om hun protocollen snel aan te passen aan nieuwe gesprekspartners met verschillende perceptuele realiteiten door middel van minimale fine-tuning.

Deze bevindingen bieden een theoretische basis voor het begrijpen van hoe gedeeld begrip kan ontstaan tussen uiteenlopende perceptuele werelden, met potentiële implicaties voor robotica, epistemologie en theorieën over belichaming. De auteurs suggereren dat toekomstig werk deze analyses moet uitbreiden naar belichaamde agent-systemen (bijv. robots) en alternatieve architecturen om een breder verslag van heterogene emergente communicatie te ontwikkelen.