Emergent Compositional Communication for Latent World Properties

Resumen Técnico: Comunicación Composicional Emergente para Propiedades del Mundo Latentes

1. Problema y Motivación

El entendimiento físico profundo requiere inferir propiedades que nunca son directamente visibles en una sola imagen estática, como la elasticidad, la fricción o la relación de masas. Estas propiedades solo se revelan a través de la dinámica temporal (cómo rebotan, deslizan o desaceleran los objetos).

• La pregunta central: ¿Pueden agentes artificiales desarrollar representaciones estructuradas y composicionales de estas propiedades físicas latentes, impulsados únicamente por la necesidad de comunicarse?
• El desafío: La comunicación emergente previa se ha centrado en atributos visibles (color, forma) o en representaciones continuas. Este trabajo investiga si es posible generar códigos discretos y composicionales para propiedades físicas inferidas de la dinámica temporal, sin supervisión directa sobre los valores de las propiedades.

2. Metodología

Entorno y Tarea:

• Simulaciones: Se utilizan entornos de física generados con Kubric/PyBullet.
  • Física de Rampa: Un objeto se desliza y rebota. Las propiedades (elasticidad y fricción) varían en una cuadrícula 5x5.
  • Dinámica de Colisión: Dos esferas visualmente idénticas colisionan. Las propiedades (relación de masas y elasticidad) solo son deducibles analizando los cambios de velocidad post-colisión.
• Protocolo de Comunicación:
  • Agentes: Múltiples agentes (emisores) observan fragmentos de video.
  • Cuello de botella: Los emisores deben comprimir su observación en mensajes cortos de símbolos categóricos discretos, utilizando un cuello de botella Gumbel-Softmax.
  • Receptor: Un receptor recibe los mensajes de todos los emisores y debe determinar cuál objeto tiene un valor mayor para una propiedad específica (tarea de comparación binaria).
  • Restricciones: Los emisores nunca ven los valores reales de las propiedades; el aprendizaje se impulsa exclusivamente por la pérdida de tarea del receptor.

Arquitectura y Entrenamiento:

• Backbones de Percepción: Se comparan dos modelos de fundación congelados (frozen):
  • DINOv2: Basado en imágenes (características espaciales por cuadro).
  • V-JEPA 2: Basado en video (arquitectura de incrustación conjunta predictiva, captura dinámica temporal).
• Estrategia de Entrenamiento:
  • Aprendizaje Iterado (Iterated Learning): Se entrena un emisor contra una población de receptores que se reinician periódicamente. Esto crea presión evolutiva para que el protocolo sea aprendible desde cero (simulando transmisión cultural).
  • Presión Multi-agente: Se varía el número de agentes (2, 3, 4) para estudiar cómo la estructura de observación parcial influye en la composición.

3. Contribuciones Clave

1. Comunicación Composicional sobre Física Invisible: Se demuestra que los agentes desarrollan protocolos donde la posición del mensaje codifica propiedades específicas (desenredo posicional). Con 2 agentes, el 54% de las semillas logran composición; con 4 agentes, el 100% converge a un desenredo casi perfecto (PosDis ≈ 0.999).
2. La Percepción Determina lo Comunicable: Se establece que el modelo de percepción subyacente limita qué propiedades pueden ser comunicadas.
   • DINOv2 domina en física espacialmente visible (rampa).
   • V-JEPA 2 domina significativamente en física de colisión puramente dinámica (donde la masa es invisible en cuadros individuales), superando a DINOv2 incluso con controles de escala y número de cuadros emparejados.
3. Estructura Multi-agente como Motor: La composición no es impulsada por el ancho de banda o la cobertura temporal, sino por la estructura multi-agente. Un solo agente con el mismo ancho de banda total falla en desarrollar composición, mientras que múltiples agentes con observaciones parciales independientes sí lo logran.
4. Validación en Video Real: El mecanismo se valida en el dataset Physics 101 (video de cámara real). Los agentes alcanzan un 85.6% de precisión en la comparación de masas en objetos no vistos, demostrando que la dinámica temporal aporta un +11.2% de precisión sobre la apariencia estática.
5. Interfaz Causal y Reutilizable: La comunicación no solo es correlativa; permite intervenciones causales. Cegar (zeroing) una posición específica del mensaje afecta selectivamente solo a la propiedad que codifica, permitiendo razonamiento cruzado (ej. comparar la elasticidad del Objeto A con la fricción del Objeto B) sin reentrenar el emisor.

4. Resultados Principales

• Composición y Generalización: Los protocolos composicionales generalizan significativamente mejor a combinaciones de propiedades no vistas durante el entrenamiento (79.3% vs 75.9% en 2 agentes; 98.3% en 4 agentes).
• Comparación de Backbones (Colisión):
  • En tareas de colisión (masa/elasticidad), V-JEPA 2 alcanza un 87.4% de precisión, mientras que DINOv2 (incluso en su versión grande ViT-L con 304M parámetros) solo alcanza un 74.6%.
  • Esto confirma que el pre-entrenamiento nativo de video es crucial para codificar diferencias de velocidad temporal, algo que los modelos de imagen, incluso escalados, no logran.
• Razonamiento Cruzado y Planificación:
  • Un emisor congelado entrenado para comparar elasticidad puede ser usado por un nuevo receptor para comparar elasticidad vs. fricción con un 93.8% de precisión.
  • En tareas de planificación condicionada a la acción (predecir resultados con nuevas velocidades), el sistema mantiene un 91.5% de precisión y muestra un comportamiento contrafactual físicamente correcto ($r=0.780$).
• Límites: El mecanismo falla en tareas de reconocimiento categórico (identidad de clase), donde los agentes tienden a memorizar códigos holísticos en lugar de composicionales. La composición emerge robustamente en propiedades continuas.

5. Significado e Implicaciones

• Para la Arquitectura de Modelos del Mundo: Los resultados apoyan la hipótesis de Yann LeCun sobre la necesidad de variables latentes discretas en arquitecturas cognitivas. La comunicación discreta actúa como una instancia empírica de la variable latente $z$, forzando una estructura predecible y compuesta que permite el razonamiento causal.
• Diseño de Sistemas Multi-agente: Se demuestra que distribuir la percepción entre múltiples agentes independientes es más efectivo para inducir la composición que simplemente aumentar la capacidad de un solo canal de comunicación.
• Evaluación de Modelos de Fundamento: Este marco ofrece una nueva metodología de evaluación para modelos de visión (como JEPA). No solo pregunta "¿tiene el modelo la información?", sino "¿puede el modelo estructurar esa información en una interfaz composicional y reutilizable?".
• Robótica y Entendimiento Físico: La capacidad de extraer propiedades físicas latentes y comunicarlas de forma modular es un paso crucial para la coordinación de robots y la creación de modelos del mundo interpretables y manipulables.

En conclusión, el trabajo demuestra que la presión de comunicación, combinada con una percepción adecuada (modelos de video nativos) y una estructura multi-agente, es suficiente para que los agentes aprendan a "hablar" sobre las leyes físicas invisibles del mundo de manera composicional, causal y generalizable.