Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

기술 요약: 이종 양상 간 의사소통 학습 (Learning to Communicate Across Modalities)

문제 제기
창발적 의사소통(emergent communication)에 관한 현재의 연구는 상호작용하는 에이전트들이 동질적인 지각 표현이나 정렬된 표현 공간을 공유한다고 주로 가정한다. 이러한 가정은 현실 세계의 의사소통이 가진 중요한 차원을 간과하고 있다. 즉, 대화 상대자들은 서로 다른 지각 세계(예: 한 에이전트는 오디오를 통해 지각하고 다른 에이전트는 시각을 통해 지각함)에 거주하면서도 여로 성공적인 의사소통을 구축해야 한다는 점이다. 본 논문은 이러한 **지각적 이질성(perceptual heterogeneity)**과 **불일치(misalignment)**가 다중 에이전트 시스템 내 창발적 의사소통 프로토콜의 구조, 효율성 및 상호 운용성에 어떠한 영향을 미치는지 조사한다.

연구 방법론
저자들은 멀티모달, 다단계 참조 게임 프레임워크(Evtimova et al., 2018에서 처음 소개됨)를 이미지-텍스트 설정에서 오디오-이미지 설정으로 확장한다.

• 태스크: 송신자(Sender)와 수신자(Receiver)는 일련의 방해 요소들 사이에서 목표 객체를 식별해야 한다. 송신자는 한 가지 양상(예: 개가 짖는 소리)으로 객체를 관찰하고, 수신자는 다른 양상(예: 개의 이미지)으로 해당 객체를 관찰한다.
• 프로토콜: 상호작용은 $D$-차원 이진 메시지($m^s_t$)를 생성하는 다단계 대화이다. 수신자는 대화를 종료하고 객체를 추측할지, 아니면 메시지($m^r_t$)로 응답할지를 결정한다.
• 에이전트: 송신자는 피드포워드 신경망(feed-forward neural network)이며, 수신자는 순환 신경망(recurrent neural network)이다. 두 에이전트는 분류 손실(classification loss), REINFORCE 기반 강화 학습 손실, 그리고 엔트로피 정규화(entropy regularisation)를 결합한 목적 함수를 최소화하기 위해 RMSprop을 사용하여 공동으로 학습된다.
• 데이터셋: 실험에는 통제된 평가를 위한 합성 "Shapes World" 데이터셋과, 노이즈 조건에서의 성능을 평가하기 위해 CIFAR-100 이미지와 UrbanSound8K 및 ESC-50 사운드를 쌍으로 구성한 자연주의적 데이터셋을 활용한다.
• 비교 대상: 본 연구는 멀티모달 시스템(오디오 $\to$ 이미지)을 유니모달 베이스라인(오디오 $\to$ 오디오)과 비교한다.

주요 결과

1. 효율성 및 불확실성: 지각적 불일치는 의사소통 효율성에 상당한 영향을 미친다. 두 시스템 모두 임계치까지는 메시지 압축을 허용하지만, 멀티모달 에이전트는 유니모달 에이전트에 비해 정확도를 유지하기 위해 더 많은 정보 교환(더 긴 메시지)을 필요로 한다. 메시지 길이가 감소함에 따라 멀티모달 시스템은 정확도가 저하되고 분류 엔트로피(불확실성)가 높아지는데, 이는 정렬되지 않은 지각적 표현이 통신 채널에 노이즈를 유입시킨다는 것을 시사한다.
2. 프로토콜 일관성:
   • 송신자 일관성: 송신자는 강력한 클래스 일관적 메시지를 개발하며, 결정론적 인코딩(deterministic encodings)을 향해 수렴한다. 이러한 일관성은 메시지 용량이 제한될수록 증가한다.
   • 에이전트 간 일관성: 송신자의 내부적 일관성에도 불구하고, 송신자와 수신자 메시지 사이에는 상관관계가 거의 없거나 전혀 없다. 이는 에이전트들이 공유된 신호 집합으로 수렴하는 것이 아니라 각자의 개별적인 프로토콜을 개발함을 나타낸다.
3. 접지(Grounding) 및 의미론:
   • 비트 섭동(Bit Perturbation): 의미는 구성적(compositional) 방식이 아닌 분포적(distributional) 방식으로 인코딩된다. "상수" 비트(지속적으로 0 또는 1인 비트)를 섭동시키면 정확도가 급격히 떨어지는 반면, "변수" 비트를 섭동시키면 영향이 미미하다. 결정적으로, 비트의 정보적 역할은 주변 패턴에 따라 달라지며, 어떤 단일 비트도 맥락과 독립하여 고정되거나 해석 가능한 의미를 갖지 않는다.
   • 지각적 접지: 수신자가 다른 양상에서 작동하더라도, 송신자의 메시지는 자신의 지각 공간에 접지되어 있다. t-SNE 시각화 결과, 메시지 임베딩이 저수준의 지각적 특징(예: 오디오 주파수)에 따라 클러스터링되는 것을 보여주며, 이는 의사소통 프로토콜이 송신자의 지각 구조의 흔적을 보존하고 있음을 나타낸다.
4. 상호 운용성: 서로 다른 지각적 맥락에서 학습된 시스템(예: 오디오로 학습된 송신자와 이미지로 학습된 수신자의 결합)은 적응 없이는 효과적으로 통신하지 못한다(정확도가 무작위 추측 수준으로 떨어짐). 그러나 제한적인 미세 조정(fine-tuning)(단 2~15 에포크만으로도 가능)을 통해 성공적인 교차 시스템 통신이 가능하다. 확장된 미세 조정은 트레이드오프를 드러내는데, 새로운 쌍의 성능은 향상되지만 기존 파트너와의 성능은 약간 저하될 수 있다.

의의 및 주장
본 논문은 창발적 의사소통을 이종 양상 간에 표현을 적응시키고 전이하는 방법을 연구하기 위한 프레임워크로 자리매김한다. 저자들은 다음과 같이 주장한다:

• 지각적 불일치는 신뢰할 수 있는 의사소통을 위해 더 높은 용량을 필요로 하는 "양상 격차(modality gap)"를 생성한다.
• 이러한 창발적 시스템에서의 의미는 특정 비트에 국한되거나 구성적이기보다는 메시지 패턴 전체에 분산되어 존재한다.
• 의사소통 프로토콜은 수신자가 해당 양상에 접근할 수 없는 경우에도 송신자의 특정 지각적 실재에 접지된 상태를 유지할 수 있다.
• 에이전트는 최소한의 미세 조정을 통해 서로 다른 지각적 실재를 가진 새로운 대화 상대에게 자신의 프로토콜을 빠르게 적응시킬 수 있는 능력을 갖추고 있다.

이러한 발견은 서로 다른 지각 세계 사이에서 어떻게 공유된 이해가 발생할 수 있는지에 대한 이론적 토대를 제공하며, 로보틱스, 인식론, 그리고 체화(embodiment) 이론에 대한 잠재적 함의를 갖는다. 저자들은 향후 연구가 체화된 에이전트 시스템(예: 로봇)과 대안적 아키텍처로 확장되어 이종 간 창발적 의사소통에 대한 더 넓은 설명을 개발해야 한다고 제언한다.