🤖 AI

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

본 논문은 이질적인 시각 에이전트들이 분산 학습과 국소적 지각 평가만으로 공유되고 정보적인 의사소통 기호를 발전시킬 수 있음을 보여주며, 그 결과로 생성된 언어의 구체성과 대칭성은 그들의 근본적인 시각 표현의 유사성에 의해 직접적으로 형성됨을 입증한다.

원저자: Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 사람이 서로에게 그림을 설명하려 하지만, 서로 다른 종류의 '마법 안경'을 쓰고 있다고 상상해 보세요.

A 사람은 세상을 선명하고 고해상도 세부 사항으로 보는 안경을 씁니다.
B 사람은 약간 더 흐릿하고 저해상도 스타일로 세상을 보는 안경을 씁니다.

두 사람 모두 상대방이 안경을 통해 무엇을 보는지 알 수 없습니다. 그들은 오직 자신의 렌즈를 통해 그림만 봅니다. 그들의 목표는 그림을 설명하는 비밀 코드 (숫자 목록) 에 동의하는 것입니다. 그래야 A 사람이 코드를 말하면 B 사람이 A 사람이 보고 있는 그림이 정확히 무엇인지 알 수 있고, 그 반대도 마찬가지입니다.

이것이 이 논문에서 수행한 핵심 실험입니다: 서로 다른 '시각'을 가진 두 에이전트가 옳고 그름을 알려주는 교사 없이도 같은 언어를 배울 수 있을까요?

게임: "추측하거나 거절하기"

교사가 채점하는 대신, 에이전트들은 **메트로폴리스 - 헤스팅스 캡션 게임 (MHCG)**이라는 게임을 합니다. 작동 방식은 다음과 같습니다:

화자: 에이전트 A 는 안경을 통해 사진을 보고, 그것을 설명한다고 생각하는 비밀 코드 (숫자 시퀀스) 를 생각해 냅니다.
청자: 에이전트 B 는 동일한 사진을 서로 다른 안경을 통해 봅니다. 그리고 자신만의 코드를 생성합니다.
결정: 에이전트 B 는 결정해야 합니다: "에이전트 A 의 코드가 이 사진에 대한 나의 시각에 대한 좋은 설명인가?"
- 에이전트 B 가 "예, 그 코드는 내 그림에 잘 맞는다"고 생각하면, 그것을 수용합니다.
- "아니오, 그 코드는 내 그림에 맞지 않는다"고 생각하면, 그것을 거절하고 자신의 코드를 유지합니다.
학습: 수천 번의 라운드를 거치며 그들은 역할을 바꿉니다. 그들은 오직 수용된 코드들만을 기반으로 '뇌' (텍스트 생성기) 를 업데이트합니다. 상대방의 추측이 자신에게 의미가 있는지 확인함으로써, 두 세트의 안경 모두에 작동하는 언어를 배우는 것입니다.

그들이 발견한 것

연구자들은 세 가지 시나리오로 이를 테스트했습니다:

1. 쌍둥이 (같은 안경)
두 에이전트가 정확히 같은 종류의 안경을 썼을 때, 그들은 빠르게 풍부하고 세부적인 언어를 배웠습니다. 그들은 많은 다른 것들을 설명할 수 있었고, 서로를 완벽하게 이해했습니다.

2. 중간 정도의 불일치 (약간 다른 안경)
한 에이전트는 고해상도 안경을, 다른 에이전트는 약간 더 저해상도 안경을 썼을 때, 그들은 여전히 의사소통을 배웠습니다.

결과: 그들은 더 작은 어휘를 개발했습니다. 쌍둥이들만큼 많은 특정 코드에 동의하지는 않았습니다.
반전: 그러나 그들이 동의한 코드들은 매우 정밀했습니다. 그들은 두 종류의 안경 모두로 볼 수 있을 정도로 명확한 설명들만 유지했습니다. 마치 "큰, 명백한 것들" (예: "개"나 "자동차") 에 대해서만 이야기하고 한 쌍의 안경만 볼 수 있는 작은 세부 사항은 무시하기로 합의한 것과 같았습니다.

3. 큰 불일치 (매우 다른 안경)
에이전트들이 매우 다른 종류의 안경 (하나는 고해상도, 다른 하나는 완전히 다른 아키텍처) 을 가졌을 때, 의사소통은 훨씬 더 어려워졌습니다.

결과: 그들은 매우 적은 수의 코드만 배웠습니다. 그들이 배운 코드들은 "거칠다" (모호하다) 고 할 수 있었습니다.
편향: 언어는 불균형해졌습니다. 그것은 "더 강력한" 안경을 가진 에이전트의 언어와 더 비슷해지기 시작했습니다. 더 약한 안경을 가진 에이전트는 세상을 보는 더 강한 에이전트의 방식에 더 많이 적응해야 했습니다. 언어는 공정한 혼합이 아니었고, 한쪽으로 크게 기울어졌습니다.

비밀 재료: "청자의 직관적 점검"

이 논문은 이 게임에서 가장 중요한 부분이 청자가 "아니오"라고 말할 수 있는 능력임을 발견했습니다.

연구자들이 청자가 화자가 제안하는 모든 코드를 수용하도록 강요했다면, 에이전트들은 모든 그림에 대해 "1-1-1-1-1"과 같이 같은 지루한 코드를 반복하기 시작했을 것입니다. "거절" 단계는 실제로 유용한 시각 정보를 전달하는 코드를 찾도록 그들을 강요하는 데 필수적이었습니다. 청자의 내부 "직관적 점검" (자신의 시각 데이터에 대해 코드를 평가하는 것) 이 언어가 무의미한 것으로 붕괴되는 것을 막는 유일한 것이었습니다.

큰 교훈

이 논문은 공유된 기호가 사적이고 서로 다른 경험에서 발생할 수 있음을 증명합니다. 공통 언어를 만들기 위해 공유된 교사나 공유된 목표가 필요하지 않습니다. 두 에이전트가 자신의 추측이 자신의 사적인 세계관에 의미가 있는지 지속적으로 확인하기만 하면 됩니다.

그러나 그들의 시각이 더 다를수록, 그들의 언어는 더 단순해지고 한쪽으로 치우치게 됩니다. 그들은 여전히 대화할 수 있지만, 세부 사항에서 타협해야 하며, 결과적으로 생성된 언어는 종종 약한 쪽보다 "더 강한" 관찰자의 관점을 더 많이 반영합니다.

기술 요약: 분산 학습을 통한 이종 시각 에이전트 간의 창발적 의사소통

1. 문제 제기

본 논문은 창발적 의사소통 (EC) 의 근본적인 질문을 다룹니다: 에이전트가 서로 다른 개인적 시각 표현을 가질 때, 어떤 시각 정보가 공유 가능해질 수 있는가?

기존의 표준 EC 패러다임은 일반적으로 공유된 외부 작업 신호 (예: 화자의 메시지를 기반으로 청자가 대상 이미지를 식별해야 하는 지시 게임) 에 의존합니다. 이러한 공유 신호는 에이전트들을 공통된 목표와 결합시켜, 창발적 기호가 각 에이전트의 개인적 지각 증거에 기반하기보다는 작업 최적화를 위해 조정될 가능성을 내포합니다. 저자들은 개인적 지각만으로 기호가 어떻게 발생하는지 이해하기 위해서는 에이전트가 공유된 보상, 에이전트 간 기울기, 또는 매개변수 공유 없이 오직 교환된 메시지를 통해 결합되고 국소적 지각 증거를 사용하여 모델을 업데이트하는 분산 환경이 필요하다고 주장합니다.

핵심적인 과제는 공유된 지각 접근 없이 공통 기호가 발생할 수 있는지, 그리고 에이전트들의 개인적 시각 공간 간의 유사성 (또는 불일치) 이 결과적으로 생성되는 언어의 내용과 대칭성을 어떻게 제약하는지 규명하는 것입니다.

2. 방법론

2.1 메트로폴리스 - 헤이스팅스 캡션 게임 (MHCG)

저자들은 비전 - 언어 모델 (VLM) 에 적용된 **메트로폴리스 - 헤이스팅스 캡션 게임 (MHCG)**을 사용하여 분산 환경을 구체화했습니다.

에이전트: 두 에이전트 (에이전트 A 와 B) 가 동일한 이미지의 독립적으로 증강된 뷰를 관찰합니다.
아키텍처: 각 에이전트는 다음으로 구성됩니다:
- 동결된 시각 인코더 (사전 학습된 ViT 기반, 예: DINOv2 또는 MAE).
- 랜덤 초기화된 텍스트 모듈 (인코더이자 디코더로 작용하는 BERT-Tiny 구성).
- ProbVLM 어댑터: 모달리티별 특징을 공유 확률적 잠재 공간으로 매핑하며, 분포를 대각선 일반화 가우시안으로 모델링합니다.
상호작용 프로토콜:
1. 화자: 시각 관찰을 인코딩하고 후보 토큰 시퀀스 (캡션) $c^*$ 를 샘플링합니다.
2. 청자: 동일한 이미지에 대한 자신의 캡션 $c$ 를 생성합니다.
3. 수락 결정: 청자는 메트로폴리스 - 헤이스팅스 (MH) 수락 기준을 사용하여 자신의 캡션 $c$ 에 대해 화자의 제안 $c^*$ 를 평가합니다. 이 결정은 청자의 시각 특징과 캡션의 텍스트 측 밀도 매개변수에서 유도된 가능도 비율에 기반합니다.
4. 업데이트: 수락되면 $c^*$ 가 청자의 학습 목표가 되고, 그렇지 않으면 $c$ 가 유지됩니다. 다음 라운드에서 역할이 바뀝니다.
5. 학습: 에이전트는 수락된 캡션을 고정된 목표로 사용하여 텍스트 모듈 (인코더, 디코더, 프로젝션 레이어, ITM 헤드) 과 ProbVLM 어댑터만 업데이트하며, BLIP 스타일의 손실 (이미지 - 텍스트 대비, 이미지 - 텍스트 매칭, 언어 모델링) 을 최소화합니다. 시각 인코더는 동결된 상태로 유지됩니다.

2.2 실험 설정

데이터셋: MS-COCO (훈련용 train2017, 평가용 val2017).
시각 인코더 조건: 동결된 인코더의 세 가지 조합을 테스트했습니다:
1. HOMO: 동일한 인코더 (양쪽 모두 DINOv2 ViT-B/14).
2. HETERO1 (중등 이종성): DINOv2 ViT-B/14 대 DINOv2 ViT-S/14.
3. HETERO2 (강한 이종성): DINOv2 ViT-B/14 대 MAE ViT-B/16.
통제 조건:
- NoCom: 의사소통 없음 (기준선).
- AllAccept: 모든 제안을 수락 ( $r \equiv 1$ ).
- Random Accept: MH 수락률과 일치하지만 균일하게 무작위로 수락합니다.
- ITM-based: MH 가능도 비율 대신 청자의 판별적 이미지 - 텍스트 매칭 점수를 사용합니다.

2.3 평가 지표

에이전트 간 정렬: Top-1 교차 모달 검색 (이미지 - 텍스트 및 텍스트 - 이미지) 및 에이전트 간 텍스트 - 텍스트 표현 유사성 분석 (RSA).
시각 정보 전달: $\Delta R^2$ (토큰으로부터 시각 특징을 예측하는 치환 보정 선형 예측) 및 비전 - 텍스트 RSA.
시각 특이성: 고정된 CLS 공간에서 공유 토큰 시퀀스의 글로벌 정규화 시각 반경.
표현 편향: 창발적 기호가 한 에이전트의 시각 기하학과 더 강하게 정렬되는지 측정하는 부분-RSA 편향 ( $\Delta X$ ).

3. 주요 기여

분산형 VLM 언어 게임: 공유된 작업 보상, 에이전트 간 기울기, 또는 매개변수 공유 없이 이종 시각 인코더를 가진 에이전트가 공유 기호를 학습하는 환경을 도입했습니다.
MHCG 유효성: MHCG 가 에이전트 간 시각 정보를 보존하는 공유 토큰 시퀀스를 생성하며, 정렬, 예측, 검색 작업에서 의사소통이 없는 기준선보다 훨씬 우수한 성능을 보임을 입증했습니다.
이종성 특성화:
- 인코더 불일치: 인코더 불일치가 증가함에 따라 모든 에이전트 간 지표가 감소합니다.
- 중등 이종성: 공유 시퀀스의 수는 줄이지만 개별 시퀀스의 시각 특이성은 유지됩니다.
- 강한 이종성: 더 적고 거친 시퀀스를 생성하며, 한 에이전트의 표현 구조를 향한 방향성 편향을 보입니다.
MH 필터링의 핵심 역할: 청자 측 MH 가능도 비율 필터링이 퇴화한 토큰 형성 (붕괴) 을 방지하고 효과적인 시각 정보 전달을 가능하게 하는 데 필수적임을 보여주었으며, 이는 단순 판별적 매칭이나 무작위 수락 통제 조건보다 우수합니다.

4. 결과

기준선 대비 성능: 모든 인코더 조건에서 MHCG 는 모든 지표에서 NoCom 기준선을 크게 능가했습니다 (예: HOMO 에서 에이전트 간 검색은 약 92% 인 반면 NoCom 은 약 23% 였습니다).
불일치의 영향:
- HOMO: 가장 높은 성능, 대칭적 정렬.
- HETERO1: 성능은 감소했으나 견고하게 유지되었습니다. 시스템은 HOMO 대비 39% 적은 공유 시퀀스를 형성했지만, 시퀀스당 시각 특이성 (시각 반경으로 측정) 은 유사하게 유지되었습니다.
- HETERO2: 성능이 크게 하락했습니다. 공유 시퀀스는 더 적고 훨씬 더 광범위하며 다양한 이미지 세트 (더 거친 개념) 를 포괄했습니다.
표현 편향: HETERO2 하에서 명확한 방향성 편향이 나타났습니다 ( $\Delta A > 0, \Delta B < 0$ ). 여기서 공유 언어는 에이전트 A(DINOv2 ViT-B) 의 시각 기하학과 더 강하게 정렬되었습니다. 이로 인해 비대칭적 검색 성능이 발생했습니다 (에이전트 B 의 토큰이 에이전트 A 의 공간으로 전이되는 것이 그 반대보다 더 잘 수행됨).
애블레이션 연구:
- AllAccept: 높은 텍스트 - 텍스트 정렬을 생성했으나 퇴화되고 다양성이 낮은 시퀀스 및 열악한 검색 성능을 보였습니다.
- Random Accept: 시각 정보를 전달하지 못해 우연 수준에 근접한 성능을 보였습니다.
- ITM-based: 무작위 조건보다 개선되었으나 MHCG 보다 열등하여, 이 분산 환경에서 확률적 MH 필터가 단순 판별적 매칭보다 우수함을 시사합니다.

5. 중요성 및 주장

본 논문은 공유된 외부 의사소통 목표 없이도 국소적 지각 평가만으로 공유 기호가 발생할 수 있다고 주장합니다. 본 연구는 다음을 입증합니다:

시각 표현 유사성은 결과적인 언어를 형성하는 핵심 요인입니다: 이는 창발적 기호의 내용(특이성 대 거칠기) 과 대칭성(편향) 을 모두 결정합니다.
분산 추론을 통한 MH 샘플링은 에이전트들이 서로 다른 동결된 시각 백본을 가지고 있음에도 불구하고 공유 잠재 공간을 협상할 수 있게 합니다.
중등 이종성은 선택 병목 현상으로 작용하여 서로 다른 시각 표현 전반에서 불변하지 않은 개념들을 필터링함으로써, 더 작지만 더 견고한 공유 개념 어휘를 생성합니다.
강한 이종성은 대칭성의 붕괴로 이어지며, 공유 언어는 더 지배적이거나 호환 가능한 시각 인코더를 가진 에이전트의 표현 구조를 우대하는 경향이 있습니다.

저자들은 이 작업을 개인적 지각 공간과 공유 기호 체계가 상호작용을 통해 어떻게 공동 발전하는지 이해하는 데 기초를 제공하는 것으로 위치지으며, 분산된 이종 다중 에이전트 시스템에서의 언어 정착을 연구할 수 있는 프레임워크를 제시합니다. 저자들은 동결된 인코더 사용 (지각 적응 방지), 단일 데이터셋, 작은 어휘 등 한계를 명시적으로 언급하며, 향후 연구는 공유 기호가 개인적 지각 공간을 재형성할 수 있는지, 그리고 이러한 역학이 더 큰 개체군과 다양한 모달리티로 확장될 때 어떻게 변하는지 탐구해야 한다고 제안합니다.