Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

Resumen Técnico: Aprender a Comunicarse a través de Diferentes Modalidades

Planteamiento del Problema
La investigación actual en comunicación emergente asume mayoritariamente que los agentes que interactúan comparten representaciones perceptivas homogéneas o espacios representacionales alineados. Este supuesto ignora una dimensión crítica de la comunicación en el mundo real: los interlocutores suelen habitar mundos perceptivos diferentes (por ejemplo, un agente percibe mediante audio mientras que otro lo hace mediante visión) y, aun así, deben establecer una comunicación exitosa. Este artículo investiga cómo la heterogeneidad perceptual y la desalineación influyen en la estructura, la eficiencia y la interoperabilidad de los protocolos de comunicación emergente en sistemas multiagente.

Metodología
Los autores extienden el marco de juego referencial multimodal y de múltiples pasos (introducido originalmente por Evtimova et al., 2018) de un entorno de imagen-texto a un entorno de audio-imagen.

• Tarea: Un Emisor (Sender) y un Receptor (Receiver) deben identificar un objeto objetivo entre un conjunto de distractores. El Emisor observa el objeto en una modalidad (por ejemplo, el sonido de un perro ladrando), mientras que el Receptor lo observa en otra (por ejemplo, una imagen de un perro).
• Protocolo: La interacción es un diálogo de múltiples pasos donde el Emisor emite un mensaje binario de $D$ dimensiones ($m^s_t$). El Receptor decide si termina el diálogo y adivina el objeto o si responde con un mensaje ($m^r_t$).
• Agentes: El Emisor es una red neuronal de alimentación hacia adelante (feed-forward); el Receptor es una red neuronal recurrente. Ambos son entrenados conjuntamente utilizando RMSprop para minimizar un objetivo combinado de pérdida de clasificación, pérdida de refuerzo basada en REINFORCE y regularización de entropía.
• Conjuntos de Datos: Los experimentos utilizan un conjunto de datos sintético "Shapes World" para una evaluación controlada y un conjunto de datos naturalista que empareja imágenes de CIFAR-100 con sonidos de UrbanSound8K y ESC-50 para evaluar el rendimiento bajo condiciones de ruido.
• Comparaciones: El estudio compara sistemas multimodales (audio $\to$ imagen) frente a líneas base unimodales (audio $\to$ audio).

Resultos Clave

1. Eficiencia e Incertidumbre: La desalineación perceptual impacta significativamente la eficiencia de la comunicación. Si bien ambos sistemas toleran la compresión de mensajes hasta cierto umbral, los agentes multimodales requieren un mayor intercambio de información (mensajes más largos) para mantener la precisión en comparación con los agentes unimodales. A medida que la longitud del mensaje disminuye, los sistemas multimodales muestran una precisión degradada y una mayor entropía de clasificación (incertidumbre), lo que sugiere que las representaciones perceptivas desalineadas introducen ruido en el canal de comunicación.
2. Consistencia del Protocolo:
   • Consistencia del Emisor: Los emisores desarrollan mensajes consistentes con las clases, convergiendo hacia codificaciones deterministas. Esta consistencia aumenta a medida que se restringe la capacidad del mensaje.
   • Consistencia entre Agentes: A pesar de la consistencia interna del Emisor, existe poca o ninguna correlación entre los mensajes del Emisor y del Receptor. Esto indica que los agentes no convergen en un conjunto compartido de señales, sino que desarrollan protocolos individuales.
3. Anclaje (Grounding) y Semántica:
   • Perturbación de Bits: El significado se codifica de manera distributiva en lugar de composicional. Perturbar los bits "constantes" (aquellos consistentemente 0 o 1) causa caídas bruscas en la precisión, mientras que perturbar los bits "variables" tiene un impacto mínimo. Crucialmente, el rol informacional de un bit depende de su patrón circundante; ningún bit posee un significado fijo e interpretable de forma independiente al contexto.
   • Anclaje Perceptivo: Incluso cuando el Receptor opera en una modalidad diferente, los mensajes del Emisor permanecen anclados en su propio espacio perceptual. Las visualizaciones de t-SNE muestran que las incrustaciones (embeddings) de los mensajes se agrupan según características perceptivas de bajo nivel (por ejemplo, la frecuencia de audio), lo que indica que el protocolo de comunicación preserva rastros de la estructura perceptual del Emisor.
4. Interoperabilidad: Los sistemas entrenados en contextos perceptivos diferentes (por ejemplo, un Emisor entrenado en audio emparejado con un Receptor entrenado en imagen) fallan al comunicarse eficazmente sin adaptación (la precisión cae al nivel del azar). Sin embargo, un ajuste fino limitado (tan solo 2 a 15 épocas) permite una comunicación exitosa entre sistemas. El ajuste fino extendido revela un compromiso (trade-off): si bien el nuevo emparejamiento mejora, el rendimiento con el compañero original puede degradarse ligeramente.

Significancia y Reivindicaciones
El artículo posiciona la comunicación emergente como un marco para estudiar cómo los agentes adaptan y transfieren representaciones a través de modalidades heterogéneas. Los autores sostienen que:

• La desalineación perceptual crea una "brecha de modalidad" que requiere una mayor capacidad para una comunicación fiable.
• El significado en estos sistemas emergentes está distribuido en patrones de mensajes en lugar de ser composicional o estar localizado en bits específicos.
• Los protocolos de comunicación pueden permanecer anclados en la realidad perceptual específica del Emisor, incluso cuando el Receptor carece de acceso a esa modalidad.
• Los agentes poseen la capacidad de adaptar rápidamente sus protocolos a nuevos interlocutores con realidades perceptivas distintas mediante un ajuste fino mínimo.

Estos hallazgos ofrecen una base teórica para comprender cómo puede surgir el entendimiento compartido a través de mundos perceptivos divergentes, con implicaciones potenciales para la robótica, la epistemología y las teorías de la corporeidad (embodiment). Los autores sugieren que el trabajo futuro debería extender estos análisis a sistemas de agentes corporizados (por ejemplo, robots) y arquitecturas alternativas para desarrollar un relato más amplio de la comunicación emergente heterogénea.