Emergent Compositional Communication for Latent World Properties

1. 연구 배경 및 문제 정의 (Problem)

기존의 비디오 기반 기초 모델 (Foundation Models) 은 물리적 세계에 대한 지식을 내재하고 있을 가능성이 있으나, 이러한 지식이 이산적 (discrete) 이고 구성적 (compositional) 인 형태로 추출 가능한지 여부는 불분명했습니다. 특히 탄성, 마찰, 질량 비율과 같은 물리 속성은 단일 프레임에서는 관찰할 수 없으며, 시간적 역학 (temporal dynamics) 을 통해만 추론 가능합니다.

• 핵심 질문: 다중 에이전트 간의 의사소통 압력과 이산적 병목 현상이 결합될 때, 에이전트들이 관찰 불가능한 잠재적 물리 속성을 추론하고 이를 구성적인 언어 (예: "탄성이 높고 미끄러운 공") 로 표현할 수 있는가?
• 기존 연구의 한계: 기존 발생적 의사소통 연구는 색상, 모양, 위치 등 직접 관찰 가능한 속성에 집중했고, 물리 이해 연구는 연속적인 표현을 사용한 예측 작업에 국한되었습니다. 시간적 역학을 통해 추론해야 하는 잠재적 물리 속성에 대한 이산적 구성적 의사소통을 연구한 사례는 없었습니다.

2. 방법론 (Methodology)

2.1 환경 및 태스크

• 시뮬레이션: Kubric 와 PyBullet 을 사용하여 물리 시뮬레이션을 생성했습니다.
  • 램프 물리 (Ramp Physics): 공이 경사면을 미끄러지고 바닥에 튀는 장면. 마찰 (미끄러짐 속도) 과 탄성 (튀는 높이) 을 추론.
  • 충돌 역학 (Collision Dynamics): 시각적으로 동일한 두 공이 충돌하는 장면. 질량 비율과 탄성 계수는 충돌 후 속도 변화 (시간적 차이) 를 통해만 추론 가능.
• 작업: 두 명의 송신자 에이전트가 각각의 비디오를 관찰하여 이산적 메시지 (Gumbel-Softmax 를 통한 카테고리 심볼) 를 생성합니다. 수신자 에이전트는 두 메시지를 받아 각 속성 (예: "어떤 공이 더 탄성이 높은가?") 에 대해 비교 판단을 수행합니다.
• 학습 압력: 송신자는 속성 값을 직접 보지 못하며, 수신자의 태스크 손실 (binary cross-entropy) 을 통해만 학습합니다.

2.2 아키텍처 및 학습 전략

• 지각 (Perception): 고정된 (frozen) 백본 모델 사용.
  • DINOv2: 이미지 기반 특징 추출.
  • V-JEPA 2: 비디오 기반 (Joint-Embedding Predictive Architecture) 특징 추출.
• 메시지 구조: $K$개의 독립적인 Gumbel-Softmax 헤드를 가진 팩터링된 (factored) 메시지 구조. 각 위치가 서로 다른 속성을 인코딩할 수 있도록 설계.
• 학습 알고리즘:
  • 반복 학습 (Iterated Learning): 수신자 풀 (population) 을 주기적으로 리셋하여, 송신자가 새로운 수신자도 이해할 수 있는 보편적으로 학습 가능한 프로토콜을 만들도록 압력을 가함.
  • 다중 에이전트 구조: 2 명에서 4 명까지 에이전트 수를 조절하여 부분적 관찰을 독립적으로 압축하도록 유도.

3. 주요 기여 (Key Contributions)

1. 보이지 않는 물리에 대한 구성적 의사소통: 에이전트들이 원시 비디오에서 탄성, 마찰, 질량과 같은 잠재적 속성을 추론하고, 이를 위치가 분리된 (positionally disentangled) 구성적 프로토콜로 발전시킴을 증명했습니다. (2 에이전트 기준 54%, 4 에이전트 기준 100% 성공)
2. 지각이 의사소통 가능성을 결정함: 백본 모델의 특성이 전달 가능한 내용을 결정합니다.
   • DINOv2: 공간적으로 가시적인 물리 (램프) 에 강점.
   • V-JEPA 2: 시간적 역학이 필요한 충돌 물리에 강점.
   • 이는 모델의 크기 (Scale) 나 프레임 수와 무관하며, 비디오 네이티브 프리트레이닝의 결과임을 통제 실험으로 입증했습니다.
3. 정보 기반의 전문화 (Specialization): 동일한 아키텍처가 도메인의 정보 구조에 맞춰 에이전트 간 전문화 패턴을 재구성합니다. 속성 추출이 쉬운 경우 (스프링 - 질량) 높은 분리도를, 복잡한 경우 (6 속성 비전) 분산 인코딩을 보입니다.
4. 이산적 vs 연속적 경계 조건: 연속적인 속성 변화에서는 구성적 구조가 발생하지만, 범주형 (categorical) 시각 인식 태스크에서는 단순 암기 (memorization) 가 발생하여 구성성이 실패함을 확인했습니다.
5. 실제 비디오 검증 (Physics 101): 실험실 환경의 실제 카메라 영상 (Physics 101) 에서도 질량 비교 정확도 85.6% 를 달성하며, 시간적 역학이 정적 외관보다 +11.2% 더 기여함을 입증했습니다.

4. 주요 결과 (Results)

• 구성성 (Compositionality) 의 발생:
  • 2 에이전트: 80 개의 시드 중 54% 가 구성적 프로토콜 (PosDis > 0.4) 을 형성. 구성적 에이전트는 미시적 일반화 (holdout) 에서 79.3% 정확도, 비구성적 에이전트는 75.9% 정확도 ($p=0.011$).
  • 4 에이전트: 모든 시드 (100%) 에서 거의 완벽한 위치 분리 (PosDis = 0.999) 와 98.3% 의 일반화 정확도를 달성.
• 인과적 개입 (Causal Intervention):
  • 메시지의 특정 위치를 0 으로 설정 (zeroing) 했을 때, 해당 속성 인코딩은 파괴되지만 다른 속성은 영향을 받지 않음 (수술적 절단). 이는 메시지가 단순 상관관계가 아닌 인과적으로 주소 지정 가능한 구조임을 증명.
  • 교차 속성 추론: "공 A 의 탄성 > 공 B 의 마찰"과 같이 훈련되지 않은 태스크에서도 93.8% 정확도를 달성하여 프로토콜의 재사용성을 입증.
• 백본 비교 (Backbone Comparison):
  • 충돌 태스크: V-JEPA 2 (87.4%) 가 DINOv2 (77.7%) 를 압도. 크기 매칭 (DINOv2 ViT-L) 과 프레임 매칭 (DINOv2 48 프레임) 통제 실험에서도 V-JEPA 2 의 우위가 유지됨 ($d=6.53$).
  • 램프 태스크: DINOv2 (98.3%) 가 V-JEPA 2 (95.1%) 보다 우세.
  • 의미: 비디오 네이티브 프리트레이닝은 동적 속성 추론에 필수적이며, 단순한 모델 크기 확대로 대체 불가.
• 하류 태스크 유용성:
  • 고정된 구성적 메시지를 사용하여 충돌 결과를 예측하는 태스크에서 88.7% 정확도 달성 (원시 특징의 94% 성능 유지).
  • 반사적 (counterfactual) 추론 (가상 속도 변경 시 결과 예측) 에서 물리적으로 올바른 단조 증가/감소 행동 ($r=0.780$) 을 보임.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 다중 에이전트 구조가 단순한 대역폭 증가가 아닌, 독립적인 부분 관찰을 가진 에이전트들이 서로 다른 채널을 통해 정보를 압축하도록 강제함으로써 구성적 표현을 유도한다는 것을 보여줍니다.

• 세계 모델 설계에 대한 시사점: LeCun 의 인지 아키텍처에서 제안된 이산적 잠재 변수 $z$의 실증적 인스턴스를 제공합니다. JEPA 스타일의 세계 모델 내에서 이산적 구조가 구성적이고 인과적으로 주소 지정 가능한 물리 추론을 지원함을 입증했습니다.
• 지각 - 의사소통 인터페이스: 지각 모델 (백본) 의 선택이 에이전트가 언어로 표현할 수 있는 세계의 측면을 결정합니다. 비디오 기반 모델은 동적 속성 이해에 필수적입니다.
• 실제 적용 가능성: 합성 환경을 넘어 실제 카메라 영상에서도 유효성이 입증되었으며, 로봇 조작 간 물질 속성 전달이나 해석 가능한 세계 모델 구축에 중요한 통찰을 제공합니다.

결론적으로, 적절한 지각 기반 (Perceptual Foundation) 과 다중 에이전트 구조, 그리고 반복 학습 압력이 결합될 때, 에이전트는 보이지 않는 물리 법칙을 구성적인 기호 체계로 자연스럽게 학습할 수 있음을 증명했습니다.