🤖 AI

Speaking Your Language: Spatial Relationships in Interpretable Emergent Communication

이 논문은 에이전트들이 구성적 메시지와 비구성적 메시지를 혼합하여 사용하여, 인공 수신자와 인간 모두에게 성공적으로 이해되는, 공간적 관계를 높은 정확도로 표현할 수 있는 해석 가능한 창발적 언어를 발달시킬 수 있음을 입증한다.

원저자: Olaf Lipinski, Adam J. Sobey, Federico Cerutti, Timothy J. Norman

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Olaf Lipinski, Adam J. Sobey, Federico Cerutti, Timothy J. Norman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구와 함께 "물건 맞히기" 게임을 하고 있다고 상상해 보세요. 하지만 당신은 서로 같은 것을 볼 수 없습니다. 당신은 숫자가 적힌 긴 타일 줄을 보고 있지만, 한 번에 다섯 개의 타일만 보이는 아주 작은 창문만을 통해 볼 수 있습니다. 당신의 친구는 전체 줄과 몇 개의 다른 무작위 숫자들을 보고 있습니다. 당신의 임bed는 친구가 당신이 보고 있는 정확한 타일을 골라낼 수 있도록 짧고 비밀스러운 코드를 보내야 합니다.

이 논문은 컴퓨터 프로그램(이하 "에이전트")이 이 게임을 하기 위해 자신들만의 비밀 언어를 발명하도록 가르치는 것에 관한 것입니다. 하지만 연구진은 단순히 모든 타일에 대해 개별적인 코드를 암기하는 대신, 에이전트들이 **공간적 관계(spatial relationships)**를 사용하는 법을 배우기를 원했습니다. 즉, "5의 왼쪽에 있는 것"이나 "맨 처음에 있는 것"과 같이 말하는 법을 배우게 하고 싶었던 것입니다.

다음은 일상적인 비유를 사용하여 설명한 이 이야기의 전개 과정입니다.

1. 설정: "창문" 문제

숫자 시퀀스를 긴 기차라고 생각해 보세요. "송신자(Sender)" 에이전트는 한 번에 다섯 개의 기차 칸만 볼 수 있는 작은 창문이 있는 승강장에 서 있습니다. 그중 한 칸에는 목표를 나타내는 특별한 표시(-1)가 있습니다. "수신자(Receiver)" 에이전트는 전체 기차와 네 개의 가능한 칸 목록(하나의 정답과 세 개의 오답)을 보고 있습니다.

송신자는 기차가 어디서 시작하고 끝나는지 알지 못하며, 오직 자신의 작은 창문 안에 있는 것들만 압니다. 따라서 목표가 되는 칸을 수신자에게 알려주기 위해, 송신자는 "그것은 12번째 칸이다"라고 말할 수 없습니다. 왜냐하면 전체적인 위치(global number)를 모르기 때문입니다. 대신 송신자는 자신이 보는 것과 관련하여 설명해야 합니다. 예를 들어 "그것은 숫자 4 바로 다음에 오는 칸이다"와 같이 말이죠.

2. 발견: 두 가지 유형의 "단어"

연구진은 에이전트들이 이 게임을 수천 번 반복하게 했습니다. 연구진은 그들에게 영어를 가르치지 않았습니다. 에이전트들은 스스로 기호(1부터 26까지의 숫자)를 만들어내야 했습니다. 훈련 후, 에이전트들은 매우 뛰어난 실력을 보여주며 90% 이상의 정답률을 기록했습니다.

하지만 진짜 질문은 이것이었습니다: 그들의 언어는 어떤 모습일까? 연구진은 어떤 기호가 어떤 상황과 연결되어 있는지 확인하기 위해 NPMI(단어 연관성 탐지기라고 생각하세요)라는 통계 도구를 사용했습니다. 그 결과, 에이전트들이 두 가지 뚜렷한 의사소통 스타일을 개발했다는 것을 발견했습니다.

스타일 A: "약어" (비구성적 - Non-Compositional)

때때로 에이전트들은 매우 특정한 상황을 위해 단 하나의 고유한 코드를 사용했습니다.

비유: 만약 당신에게 *"나는 줄의 맨 처음에 있다"*라는 의미를 가진 특별한 수신호가 있다면, 당신은 "나는 시작 부분에 있다"라고 말하는 대신 그냥 그 신호를 보낼 것입니다.
논문 내용: 에이전트들은 목표가 시퀀스의 맨 처음이나 맨 끝에 있는 것과 같은 드문 사건들을 위한 특정 코드를 만들었습니다. 이러한 상황은 드물게 발생하기 때문에, 복잡한 문장을 만드는 것보다 하나의 특별한 "단어"를 갖는 것이 더 효율적입니다.

스타일 B: "레고 블록" (구성적 - Compositional)

대부분의 경우, 에이전트들은 여러 요소를 조합하여 의미를 만들어내는 방식을 사용했습니다.

비유: 레고 블록으로 문장을 만드는 것을 생각해 보세요. 한 브릭은 *"오른쪽으로 2단계"*를 의미하고, 다른 브릭은 *"숫자 18"*을 의미합니다. 이들을 올바른 순서로 끼워 맞추면, *"목표는 18의 오른쪽으로 2단계에 있다"*라는 메시지가 됩니다.
논문 내용: 에이전트들은 메시지 내에서 기호의 위치가 중요하다는 것을 배웠습니다. 만약 "오른쪽으로 2단계"를 뜻하는 기호가 첫 번째 슬롯에 있다면 그것은 한 가지 의미를 갖지만, 두 번째 슬롯에 있다면 다른 의미를 가질 수 있습니다. 이는 단어의 순서가 의미를 바꾸는 기초적인 형태의 **통사론(syntax, 문법)**입니다.

3. 증거: 인간이 이해할 수 있는가?

연구진은 단순히 추측만 한 것이 아닙니다. 그들은 통계적 분석을 바탕으로 "사전"을 만들었습니다. 그런 다음, 이 사전을 사용하여 수신자 에이전트에게 메시지를 전달했습니다.

테스트: 연구진은 에이전트들이 발명한 "레고 블록"들을 가져와서, 발견한 규칙에 따라 새로운 메시지로 조립한 뒤 수신자에게 보냈습니다.
결과: 수신자는 인간이 조립한 이러한 메시지들을 78% 이상의 높은 확률로 정확하게 이해했습니다. 이는 에이전트들이 단순히 무작위한 소음을 사용한 것이 아니라, 인간이 해독할 수 있는 구조화되고 해석 가능한 언어를 개발했음을 입증합니다.

4. 이것이 왜 중요한가?

이 논문은 이전의 AI 의사소통 실험들이 종종 효율적이긴 하지만 제작자조차 해독할 수 없는—마치 암호 같은—완전히 이해 불가능한 언어를 만들어냈다는 점을 지적하며, 이것이 왜 중요한 사건인지 설명합니다.

연구진은 에이전트들에게 공간적 관계(왼쪽, 오른쪽, 시작, 끝)를 묘사하도록 강제함으로써, AI가 인간 언어의 근본적인 부분인 **직시(deixis, 공간이나 시간 속의 대상을 가리키는 것)**를 반영하는 언어를 개발하도록 유도했습니다. 이는 단순한 게임에서도 AI가 문법적 구조와 공간적 참조를 사용하는 법을 배울 수 있음을 보여주며, 그들의 의사소통을 더 투명하고 신뢰할 수 있게 만듭니다.

요약

이 논문은 AI 에이전트가 어떤 것의 상대적인 위치를 설명하도록 강요받을 때, 드문 사건을 위한 특별한 약어 코드와 흔한 사건을 위한 조합 가능한 문법 구조를 모두 사용하는 언어를 자연스럽게 발명한다는 것을 보여줍니다. 그리고 가장 중요한 것은, 우리가 실제로 그들의 사전을 읽고 그들이 무엇을 말하고 있는지 이해할 수 있다는 점입니다.

기술 요약: 당신의 언어로 말하기: 해석 가능한 창발적 의사소통에서의 공간적 관계

문제 정의
창발적 의사소통(Emergent communication) 연구는 에이전트들이 효율적이고 구성적인 언어를 개발할 수 있음을 성공적으로 입증해 왔다. 그러나 직시(deixis), 특히 공간적 직시(예: "옆에", "왼쪽에")의 창발에는 상당한 공백이 존재한다. 이는 에이전트가 다른 대상과 관련하여 관찰 내용의 특정 부분을 참조할 수 있게 해준다. 이전 연구들은 시간적 직시(관찰 내용의 반복)를 탐구했으나, 관찰 내 특정 위치에 대한 상대적 참조의 창발을 보여준 선행 연구는 없었다. 이러한 공간적 참조의 부재는 에이젝트가 상세하고 고유한 객체 설명을 줄이기 위해 공유된 환경 맥락을 활용하는 것을 제한한다. 또한, 공간적 참조와 같은 통사적 구조의 결핍은 창발된 언어를 인간이 해석하는 데 어려움을 준다.

방법론
저자들은 공간적 의사소통의 창발을 강제하기 위해 수정된 참조 게임(referential game) 환경을 제안한다.

환경: 이 게임은 송신자와 수신자를 포함한다. 송신자는 더 긴 무작위 생성 정수 시퀀스( $s$ )에서 길이 5의 윈도우를 관찰한다. 윈도우 내의 정수 하나는 **타겟(target)**을 나타내는 값인 $-1 $로 마스킹되어 있다. 송신자는 전체 시퀀스$ s$ 내에서 타겟의 절대적 위치를 알지 못하지만(전체 시퀀스는 수신자에게만 보임), 이를 사용하여 타겟을 식별해야 한다.
공간적 필연성: 송신자의 시야는 슬라이딩 윈도우 형태이므로 타겟의 절대적 위치는 알 수 없다. 타겟의 정체를 전달하기 위해, 송신자는 다른 가시적인 정수들에 대한 상대적 위치(예: "15의 오른쪽 두 번째 정수")를 통해 타겟을 설명해야 한다.
에이전트 아키텍처: 에이전트들은 표준적인 창발적 의사소통(EGG) 아키텍처를 사용한다. 송신자는 관찰 벡터를 인코딩하기 위해 GRU를 사용하며, 두 번째 GRU와 Gumbel-Softmax 재매개변수화(reparameterization)를 사용하여 길이 3의 이산 메시지 벡터를 생성한다. 수신자는 메시지와 전체 시퀀스 $s$ 를 수정된 GRU 아키텍처를 통해 처리하여 방해 요소들 사이에서 타겟의 인덱스를 예측한다.
분석 프레임워크: 창발된 언어를 해석하기 위해 저자들은 계산 언어학의 공기어(collocation) 측정 방식인 **정규화된 점수 상호 정보량(Normalised Pointwise Mutual Information, NPMI)**을 채택한다. 저자들은 두 가지 특정 알고리즘을 개발했다:
1. $PMI_{nc}$ : 특정 관찰 유형(예: "시작", "끝")에 직접 매핑되는 비구성적(non-compositional, 단일적) 메시지를 식별한다.
2. $PMI_{c}$ : n-gram(unigram 및 bigram)과 특정 정수 및 상대적 위치 간의 연관성을 분석하여 구성적(compositional) 메시지를 식별한다. 이 알고리즘은 위치 분산(n-gram의 의미가 메시지 내 위치에 따라 달라지는 경우)과 위치 불변성을 고려한다.

주요 기여

공간적 직시의 입증: 본 논문은 에이전트가 관찰 내의 공간적 관계(상대적 위치)를 표현할 수 있는 언어를 자발적으로 개발한다는 첫 번째 증거를 제공한다.
하이브리드 언어 구조: 분석 결과 에이전트들이 단일 전략에 의존하지 않고 다음과 같은 혼합 형태를 개발함을 보여준다:
- 비구성적 참조: 희소하고 특정한 관찰 유형(예: 타겟이 시퀀스의 맨 처음이나 맨 끝에 있을 때)을 위해 사용된다. 이는 효율적인 단일 토큰이다.
- 구성적 참조: 일반적인 경우를 위해, 에이전트가 위치 지표(예: "오른쪽으로 2")와 정수 식별자(예: "15")를 결합하여 사용한다.
NPMI를 통한 해석 가능성: 저자들은 사전 정의된 레이블 없이 창발된 메시지를 분절하고 해석하는 방법을 도입한다. n-gram을 정수 및 상대적 위치에 NPMI를 사용하여 매핑함으로써, 인간이 읽을 수 있는 에이전트 언어 사전을 구축한다.
통사 구조의 검증: 분석은 특정 n-gram이 특정 의미를 전달하기 위해 메시지 내의 고정된 위치를 차지하는 단순한 통사 구조의 출현을 시사한다(예: 위치 지표가 항상 첫 번째 슬롯에 등장함).

결과

태스크 성능: 에이전트 쌍은 참조 태스크에서 98% 이상의 정확도를 달달성하여, 공간적 관계를 전달하는 데 성공했음을 확인했다.
창발률:
- 비구성적 위치 메시지(예: "시작", "끝")는 에이전트 쌍의 **99.3%**에서 나타났다.
- 구성적 공간 참조는 에이전트 쌍의 **25%**에서 나타났다.
해석 정확도:
- 비구성적 위치 메시지로부터 도출된 사전을 사용하여 수신자를 테스트했을 때, 수신자는 무작위 기준선인 20%를 훨씬 상회하는 90% 이상의 정확도(최대 94%)를 기록했다.
- 식별된 정수와 위치 구성 요소를 모두 포함하는 **구성적 메시지(Compositional-P)**를 사용하여 테스트했을 때, 수신자는 최선의 경우 78% 이상의 정확도(평균 30%, 높은 분산)를 기록했으며, 이는 무작위 기준선 및 위치 구성 요소를 마스킹한 버전(Compositional-NP)보다 유의미하게 높았다.
가설 검증:
- H1 (비자명한 구성성): 지지됨. 비구성적 메시지는 복잡하고 문맥 의존적인 함수에 의존하지 않으므로 높은 정확도로 해석되었다.
- H2 (위치 구성 요소): 지지됨. 식별된 위치 구성 요소를 사전에 포함하는 것이 제외했을 때보다 정확도를 크게 높였으며, 이는 NPMI 방법이 공간적 의미를 성공적으로 포착했음을 증명한다.

의의 및 주장
본 논문은 공간적 참조를 포함하는 최초로 보고된 창발적 언어를 제시하며, 문헌상의 공백인 직시 문제를 다룬다. 저자들은 이러한 참조의 출현이 단순한 참조 게임에서도 자연어의 근본적인 속성인 통사와 공간 추론을 이끌어낼 수 있는 세심한 환경 설계가 중요함을 보여준다고 주장한다.

연구는 에이전트가 희소한 관찰 유형(예: "시작" 또는 "끝")에 대해 비구성적 메시지를 사용하는 선택이 **언어적 절약성(linguistic parsimony)**과 효율성에 의해 구동된다고 상정한다. 반면, 흔한 경우에 대한 구성적 구조의 출현은 일반화 가능하고 인간이 해석 가능한 의사소통으로의 이동을 시사한다.

저자들은 NPMI 기반의 분석 방법이 블랙박스 형태의 창발적 의사소통과 인간의 이해 사이의 간극을 성공적으로 메우며, 에이전트의 공간적 논리를 높은 충실도로 해석할 수 있는 사전을 구축한다고 결론짓는다. 이들은 본 연구가 다중 에이전트 시스템에서 신뢰도와 일반화 가능성을 높이기 위해 창발된 언어를 자연어의 속성과 정렬하려는 광범 l한 목표를 뒷받침한다고 제언한다.