Resumen Técnico: Comunicación Emergente entre Agentes Visuales Heterogéneos mediante Aprendizaje Descentralizado

1. Planteamiento del Problema

El artículo aborda una pregunta fundamental en la comunicación emergente (CE): ¿Qué información visual puede volverse compartible cuando los agentes poseen representaciones visuales privadas diferentes?

Los paradigmas estándar de CE suelen depender de una señal de tarea externa compartida (por ejemplo, un juego referencial donde un oyente debe identificar una imagen objetivo basándose en el mensaje de un hablante). Esta señal compartida acopla a los agentes mediante un objetivo común, permitiendo potencialmente que los símbolos emergentes se optimicen para la tarea en lugar de estar fundamentados en la evidencia perceptual privada de cada agente. Los autores argumentan que, para comprender cómo surgen los símbolos a partir de la percepción privada únicamente, se requiere un entorno descentralizado donde los agentes estén acoplados únicamente a través de mensajes intercambiados y actualicen sus modelos utilizando evidencia perceptual local, sin recompensas compartidas, gradientes entre agentes o compartición de parámetros.

El desafío central consiste en determinar si pueden emerger símbolos comunes sin acceso perceptual compartido y cómo la similitud (o discrepancia) entre los espacios visuales privados de los agentes restringe el contenido y la simetría del lenguaje resultante.

2. Metodología

2.1 El Juego de Descripción Metropolis-Hastings (MHCG)

Los autores instan su entorno descentralizado utilizando el Juego de Descripción Metropolis-Hastings (MHCG), adaptado para Modelos Visuales-Lingüísticos (VLM).

• Agentes: Dos agentes (Agente A y Agente B) observan vistas de la misma imagen aumentadas de forma independiente.
• Arquitectura: Cada agente consta de:
  • Un codificador visual congelado (basado en ViT preentrenado, por ejemplo, DINOv2 o MAE).
  • Un módulo de texto inicializado aleatoriamente (configuración BERT-Tiny) que actúa como codificador y decodificador.
  • Un adaptador ProbVLM que mapea características específicas de la modalidad en un espacio latente probabilístico compartido, modelando las distribuciones como gaussianas generalizadas diagonales.
• Protocolo de Interacción:
  1. Hablante: Codifica su observación visual y muestrea una secuencia de tokens candidata (descripción) $c^*$.
  2. Oyente: Genera su propia descripción $c$ para la misma imagen.
  3. Decisión de Aceptación: El oyente evalúa la propuesta del hablante $c^*$ frente a su propia descripción $c$ utilizando un criterio de aceptación Metropolis-Hastings (MH). La decisión se basa en una relación de verosimilitud derivada de las características visuales propias del oyente y los parámetros de densidad del lado del texto de las descripciones.
  4. Actualización: Si se acepta, $c^*$ se convierte en el objetivo de entrenamiento para el oyente; de lo contrario, se conserva $c$. Los roles se intercambian en la siguiente ronda.
  5. Aprendizaje: Los agentes actualizan únicamente sus módulos de texto (codificador, decodificador, capas de proyección y cabeza ITM) y los adaptadores ProbVLM utilizando las descripciones aceptadas como objetivos fijos, minimizando pérdidas al estilo de BLIP (Contraste Imagen-Texto, Coincidencia Imagen-Texto y Modelado de Lenguaje). Los codificadores visuales permanecen congelados.

2.2 Configuración Experimental

• Conjunto de datos: MS-COCO (train2017 para entrenamiento, val2017 para evaluación).
• Condiciones del Codificador Visual: Se probaron tres emparejamientos de codificadores congelados:
  1. HOMO: Codificadores idénticos (DINOv2 ViT-B/14 para ambos).
  2. HETERO1 (Heterogeneidad Moderada): DINOv2 ViT-B/14 vs. DINOv2 ViT-S/14.
  3. HETERO2 (Heterogeneidad Fuerte): DINOv2 ViT-B/14 vs. MAE ViT-B/16.
• Controles:
  • NoCom: Sin comunicación (línea base).
  • AllAccept: Acepta todas las propuestas ($r \equiv 1$).
  • Aceptación Aleatoria: Coincide con la tasa de aceptación MH pero acepta uniformemente al azar.
  • Basado en ITM: Utiliza la puntuación discriminativa de coincidencia imagen-texto del oyente en lugar de la relación de verosimilitud MH.

2.3 Métricas de Evaluación

• Alineación entre Agentes: Recuperación cruzada de modalidad Top-1 (Imagen-a-Texto y Texto-a-Imagen) y Análisis de Similitud Representacional Texto-Texto entre agentes (RSA).
• Transferencia de Información Visual: $\Delta R^2$ (predicción lineal corregida por permutación de características visuales a partir de tokens) y RSA Visión-Texto.
• Especificidad Visual: Radio visual global normalizado de secuencias de tokens compartidas en espacios CLS fijos.
• Sesgo Representacional: Sesgo Partial-RSA ($\Delta X$) para medir si los símbolos emergentes se alinean más fuertemente con la geometría visual de un agente.

3. Contribuciones Clave

1. Juego de Lenguaje VLM Descentralizado: Se introduce un entorno donde agentes con codificadores visuales heterogéneos aprenden símbolos compartidos sin recompensas de tarea compartidas, gradientes entre agentes o compartición de parámetros.
2. Eficacia del MHCG: Se demuestra que el MHCG produce secuencias de tokens compartidas que preservan la información visual entre agentes, superando significativamente a una línea base sin comunicación en tareas de alineación, predicción y recuperación.
3. Caracterización de la Heterogeneidad:
   • Discrepancia del Codificador: Todas las métricas entre agentes disminuyen a medida que aumenta la discrepancia del codificador.
   • Heterogeneidad Moderada: Reduce el número de secuencias compartidas pero preserva la especificidad visual de las secuencias individuales.
   • Heterogeneidad Fuerte: Produce menos secuencias, más gruesas, con un sesgo direccional hacia la estructura representacional de un agente.
4. Papel Crítico del Filtrado MH: Se muestra que el filtrado de la relación de verosimilitud MH del lado del oyente es esencial para prevenir la formación degenerada de tokens (colapso) y permitir una transferencia efectiva de información visual, superando a los controles de coincidencia discriminativa o aceptación aleatoria.

4. Resultados

• Rendimiento frente a la Línea Base: En todas las condiciones de codificador, el MHCG superó significativamente a la línea base NoCom en todas las métricas (por ejemplo, en HOMO, la recuperación entre agentes fue de ~92% frente a ~23% para NoCom).
• Impacto de la Discrepancia:
  • HOMO: Rendimiento más alto, alineación simétrica.
  • HETERO1: El rendimiento disminuyó pero permaneció robusto. El sistema formó un 39% menos de secuencias compartidas que HOMO, pero la especificidad visual por secuencia (medida por el radio visual) permaneció comparable.
  • HETERO2: Caída significativa del rendimiento. Las secuencias compartidas fueron menos numerosas y cubrieron conjuntos de imágenes mucho más amplios y diversos (conceptos más gruesos).
• Sesgo Representacional: Bajo HETERO2, surgió un sesgo direccional claro ($\Delta A > 0, \Delta B < 0$), donde el lenguaje compartido se alineó más fuertemente con la geometría visual del Agente A (DINOv2 ViT-B). Esto resultó en un rendimiento de recuperación asimétrico (los tokens del Agente B se transfirieron mejor al espacio del Agente A que viceversa).
• Estudios de Ablación:
  • AllAccept: Produjo una alta alineación texto-texto pero con secuencias degeneradas, de baja diversidad y recuperación pobre.
  • Aceptación Aleatoria: Falló en transferir información visual, desempeñándose cerca del azar.
  • Basado en ITM: Mejoró respecto al azar pero permaneció inferior al MHCG, indicando que el filtro probabilístico MH es superior a la coincidencia discriminativa simple para este entorno descentralizado.

5. Significado y Afirmaciones

El artículo afirma que los símbolos compartidos pueden surgir de la evaluación perceptual local únicamente, sin necesidad de un objetivo comunicativo externo compartido. El estudio demuestra que:

• La Similitud Representacional Visual es un factor clave que moldea el lenguaje resultante: determina tanto el contenido (especificidad frente a grosor) como la simetría (sesgo) de los símbolos emergentes.
• La Inferencia Descentralizada mediante muestreo MH permite a los agentes negociar un espacio latente compartido a pesar de tener diferentes backbones visuales congelados.
• La Heterogeneidad Moderada actúa como un cuello de botella de selección, filtrando conceptos que no son invariantes a través de diferentes representaciones visuales, resultando en un vocabulario más pequeño pero más robusto de conceptos compartidos.
• La Heterogeneidad Fuerte conduce a una ruptura en la simetría, donde el lenguaje compartido tiende a privilegiar la estructura representacional del agente con el codificador visual más dominante o compatible.

Los autores posicionan este trabajo como fundamental para comprender cómo los espacios perceptuales privados y los sistemas simbólicos compartidos co-evolucionan a través de la interacción, ofreciendo un marco para estudiar la fundamentación del lenguaje en sistemas multiagente distribuidos y heterogéneos. Señalan explícitamente limitaciones, incluido el uso de codificadores congelados (que impiden la adaptación perceptual), un único conjunto de datos y un vocabulario pequeño, sugiriendo que trabajos futuros deberían explorar si los símbolos compartidos pueden remodelar los espacios perceptuales privados y cómo estas dinámicas escalan con poblaciones más grandes y modalidades diversas.