Emergent Compositional Communication for Latent World Properties

Probleemstelling

Het paper adresseert de vraag welke fysieke kennis video-fundatiemodellen (zoals DINOv2 en V-JEPA) coderen en of deze kennis kan worden geëxtraheerd naar een discrete, compositieel vorm. Mensen kunnen eigenschappen zoals elasticiteit, wrijving en massa-ratio's niet direct waarnemen in een statische foto; deze worden alleen zichtbaar door temporele dynamiek (hoe objecten stuiteren, glijden of botsen).

De kernvraag is of kunstmatige agenten, gedreven door de noodzaak om te communiceren, gestructureerde representaties van deze "onzichtbare" fysieke eigenschappen kunnen ontwikkelen. Bestaand werk focust vaak op zichtbare attributen (kleur, vorm) of continue representaties, maar er is weinig onderzoek naar emergente, discrete communicatie over latente fysieke eigenschappen die alleen via tijdsverloop te infereren zijn.

Methodologie

De auteurs stellen een experimenteel kader op waarin agenten moeten samenwerken om fysieke eigenschappen te vergelijken, zonder directe supervisie op de boodschappenstructuur.

1. Omgeving en Taak:

   • Simulaties: Agenten observeren video's van ballen die een helling afrollen (wrijving) of botsen (elasticiteit/massa). De eigenschappen (bijv. elasticiteit, wrijving) zijn verborgen en worden getrokken uit een raster.
   • Taak: Twee zender-agenten observeren elk een scène en moeten samenwerken met een ontvanger om te bepalen welke bal een hogere waarde heeft voor een specifieke eigenschap.
   • Communicatiekanaal: De communicatie verloopt via een discrete bottleneck (Gumbel-Softmax). Agenten zenden korte berichten van categorische symbolen. Ze zien de eigenschapswaarden nooit; ze leren uitsluitend via de verliesfunctie van de ontvanger.

2. Architectuur:

   • Perceptie: Gebruik van bevroren (frozen) features van twee verschillende backbones: DINOv2 (beeldgebaseerd, per frame) en V-JEPA 2 (videobased, spatiotemporeel).
   • Factored Message Structure: Het bericht bestaat uit $K$ onafhankelijke posities (slots), elk met een vocabulaire van grootte $V$. Dit creëert de capaciteit voor positionele specialisatie.
   • Training: Iterated Learning met populatie-druk. De zender traint tegen een populatie van ontvangers die periodiek worden gereset. Dit simuleert culturele overdracht en dwingt de zender om protocollen te ontwikkelen die voor iedereen leerbaar zijn (wat compositieelheid bevordert).

3. Metrieken:

   • PosDis (Positional Disentanglement): Meet in hoeverre elke berichtpositie één eigenschap codeert en andere minimaliseert.
   • Holdout Generalisatie: Test op combinaties van eigenschappen die niet in de trainingsdata voorkwamen.

Belangrijkste Bijdragen

1. Compositionaliteit voor Onzichtbare Fysica: Agenten ontwikkelen spontaan positioneel ontwarde protocollen (waarbij positie 1 elasticiteit codeert en positie 2 wrijving) uit ruwe video. Dit gebeurt in 54% van de runs met 2 agenten en 100% met 4 agenten.
2. Perceptie Bepaalt Communicatie: Een gecontroleerde vergelijking toont aan dat de keuze van het perceptuele model cruciaal is. V-JEPA 2 (videobased) overtreft DINOv2 (beeldbased) significant bij dynamische botsingen waar massa-ratio's alleen uit snelheidsverschillen te halen zijn. DINOv2 doet het juist beter bij ruimtelijk zichtbare fysica (hellingen).
3. Multi-Agent Structuur als Drijver: De overgang van stochastisch naar betrouwbaar compositieel leren wordt gedreven door de multi-agent structuur (onafhankelijke waarnemers), niet door bandbreedte of temporele dekking.
4. Causaal Interventie Bewijs: Door specifieke posities in het bericht "nul te zetten" (zeroing), wordt alleen de corresponderende eigenschap verstoord, wat bewijst dat de structuur echt compositieel en causaal is, en niet slechts correlatief.
5. Validatie op Real Video: Het mechanisme werkt ook op het Physics 101 dataset (echte camera-beelden), waarbij agenten massa-vergelijkingen correct uitvoeren op onbekende objecten.

Resultaten

• Compositionaliteit en Generalisatie:
  • Met 4 agenten bereiken alle 80 zaden (seeds) bijna perfecte compositieelheid (PosDis = 0.999) en een holdout-accuraatheid van 98.3%.
  • Compositieel lerende agenten generaliseren significant beter naar nieuwe eigenschapscombinaties dan holistische agenten (79.3% vs 75.9% bij 2 agenten).
• Backbone Vergelijking (2x2 Factorieel):
  • Botsing (Collision): V-JEPA 2 scoort 87.4% vs DINOv2 77.7%. Zelfs bij gelijke schaal (DINOv2 ViT-L) en gelijke frame-aantallen blijft V-JEPA 2 winnen (d=6.53). Dit bewijst dat video-native pretraining essentieel is voor het coderen van dynamische eigenschappen.
  • Helling (Ramp): DINOv2 scoort 98.3% vs V-JEPA 2 95.1%, omdat de eigenschappen hier ook in statische frames zichtbaar zijn.
• Causale Robuustheid:
  • Bij een "cross-property" taak (bijv. "Is de elasticiteit van bal A groter dan de wrijving van bal B?") behalen bevroren compositieel getrainde zenders 93.8% accurate.
  • Causale ablatie toont aan dat het wissen van de relevante positie de nauwkeurigheid met ~15% laat dalen, terwijl het wissen van irrelevante posities nauwelijks effect heeft (<3%).
• Real-World Validatie:
  • Op Physics 101 (echte video) bereiken agenten 85.6% nauwkeurigheid op massa-vergelijkingen.
  • Temporele dynamiek draagt +11.2% bij bovenop statische verschijning.
  • De agent-scaling (van 1 naar 4 agenten) leidt ook op echte video tot een stijging in compositieelheid (van 20% naar 90%).

Betekenis en Conclusie

Dit paper levert fundamenteel bewijs dat communicatiedruk in combinatie met een factored message structure en iterated learning leidt tot emergente compositieelheid voor complexe, latente fysieke concepten.

• Voor Wereldmodellen: De resultaten ondersteunen het idee van LeCun's cognitieve architectuur, waarin discrete latente variabelen ($z$) essentieel zijn voor interpreteerbare redenering. Het discrete kanaal fungeert als een empirische instantiatie van deze $z$, waardoor fysieke eigenschappen causaal adresseerbaar worden.
• Voor Robotica en Multi-Agent Systemen: Het toont aan dat het verspreiden van waarneming over meerdere agenten (in plaats van het vergroten van de capaciteit van één encoder) een effectievere strategie is om compositieel leren te forceren.
• Voor Evaluatie: Het communicatiekader biedt een nieuwe methode om wereldmodellen te evalueren: niet alleen of informatie aanwezig is (via lineaire probes), maar of deze informatie kan worden gestructureerd tot een herbruikbaar, compositieel formaat.

Kortom, de studie toont aan dat agenten echte fysiek begrijpen en dit kunnen communiceren via discrete symbolen, mits ze de juiste perceptuele basis (videobased modellen voor dynamiek) en de juiste sociale structuur (multi-agent druk) hebben.