A Dynamic-Semantics Framework for Grounding Human Referring Expressions in Visual Perceptual Data

"우리가 지금 무엇에 대해 이야기하고 있는가?"라는 거대한 게임

당신과 친구가 서로 다른 일련의 기묘하고 추상적인 퍼즐 조각 모양들을 가지고 게임을 하고 있다고 상상해 보세요. 서로의 화면을 볼 수는 없지만, 당신은 정확히 똑같은 모양을 골라야 합니다. 당신은 자신의 모양을 설명합니다 ("춤추는 고양이처럼 생긴 것"). 그러면 친구는 그것이 무엇을 의미하는지 맞춰야 합니다. 까다로운 점은 무엇일까요? 이 모양들은 "고양이"나 "개"와 같은 실제 이름을 가지고 있지 않습니다. 그저 이상한 실루 силу엣(실루엣)일 뿐입니다.

과학의 세계에서 이것은 **참조 게임(reference game)**이라고 불립니다. 연구자들이 인간이 어떻게 공통 기반(common ground)—즉, 오직 두 사람만이 이해할 수 있는 공유된 정신적 사전—을 구축하는지 연구하는 방법입니다. 이 게임을 반복해서 플레이하다 보면, 당신과 친구는 **개념적 협정(conceptual pacts)**을 맺게 됩니다. 이는 단순히 당신과 친구가 "좋아, 이제부터 내가 '뾰족한 숙녀'라고 말하면, 우리 둘 다 그것이 바로 그 특정 퍼즐 조각을 의미한다는 걸 아는 거야"라고 합의하는 것을 뜻하는 멋진 표현입니다. 이 과정은 **어휘적 동조(lexical entrainment)**라고 불립니다. 이것은 우리가 "뾰족한 부분이 있는 것"이라고 말하는 것을 멈추고, 혼란 없이 "뾰족한 숙녀"라고 말하기 시작하는 방식입니다.

왜 우리가 이것에 관심을 가질까요? 그것은 우리가 컴퓨터에게도 똑같은 일을 가르치려 하기 때문입니다. 우리는 AI가 단순히 무작위로 추측하는 로봇이 아니라, 훌륭한 팀원이 되기를 원합니다. 하지만 문제는 여기에 있습니다. 현재의 AI 모델들은 이 작업에 매우 서툽니다. 그들은 우리가 5분 전에 합의했던 내용을 잊어버리고, 설명을 짧게 줄이지 못하며, 자신들이 직접 만들지 않은 별명을 사용하려고 하면 혼란에 빠집니다. 이 논문은 간단한 질문을 던집니다. "우리가 나눈 합의를 명확하고 체계적인 노트에 기록하여, 대화 중에 길을 잃지 않는 컴퓨터를 만들 수 있을까?"

---

이 논문의 핵심 아이디어: 노트를 가진 컴퓨터

이 논문의 저자는 이 퍼즐 게임을 위한 특별한 종류의 컴퓨터 플레이어를 만들었습니다. 그들은 이를 "기계 공동 수행자(Machine Co-Performer, MCP)"라고 부릅니다. AI가 거대하고 무질서한 뇌를 가진 인간처럼 "생각"하도록 만드는 대신, 저자는 매우 구체적이고 체계적인 도구를 주었습니다: 바로 **상징적 노트(symbolic notebook)**입니다.

AI의 뇌를 세 개의 별도 폴더를 가진 것으로 생각해보세요:

1. "확실한 것" 폴더 (Γ): AI가 100% 확신하는 합의 사항을 담습니다. "우리는 '뾰족한 숙녀'가 빨간 삼각형을 의미한다는 것에 동의했다."
2. "아마도" 폴더 (Ξ): AI가 여전히 고민 중인 추측들을 담습니다. "음, '뾰족한 숙녀'는 빨간 삼각형일 수도 있고, 어쩌면 파란색일 수도 있어. 둘 다 염두에 두자."
3. "절대 아님" 폴더 (Ω): 틀린 것으로 판명된 아이디어들을 버리는 쓰레기통입니다. "알았어, '뾰족한 숙녀'는 확실히 초록색 원은 아니야."

인간 플레이어가 새로운 말을 할 때마다, AI는 논리적 규칙을 사용하여 항목들을 이 폴더들 사이로 이동시킵니다. 만약 인간이 "발이 뾰족한 형태예요"라고 말하고, AI가 빨간 삼각형만이 그 설명에 부합한다는 것을 확인하면, AI는 그 아이디어를 "아마도" 폴더에서 "확실한 것" 폴더로 옮깁니다. 이것이 **동적 의미론 계층(dynamic-semantics layer)**입니다. 이는 마치 어떤 책이 대출 중인지, 선반에 있는지, 혹은 금지되었는지를 절대 놓치지 않는 매우 엄격한 사서와 같습니다.

AI가 세상을 "보는" 법

하지만 AI가 퍼즐 조각이 어떻게 생겼는지 모른다면 노트는 쓸모가 없습니다. 인간 플레이어는 "스케이트 타는 사람"이라고 말할 수 있지만, AI는 눈이 없습니다. 그래서 저자는 AI에게 초능력을 주었습니다: 구글 이미지(Bing 경유).

인간 플레이어가 "스케이트 타는 사람"이라고 말하면, AI는 인터넷에서 스케이트 타는 사람의 상위 7개 이미지를 가져옵니다. 그런 다음 AI는 그 사진들을 유심히 살펴보며, 그 사진들이 테이블 위에 있는 12개의 퍼즐 조각 중 어느 것과 닮았는지 확인합니다. 이를 위해 AI는 **SIFT 정렬(SIFT alignment)**이라는 영리한 기술(사진의 모양을 퍼즐 조각과 일치시키는 것)과 UQI라는 품질 검사(모양의 유사성을 측정하는 것)를 사용합니다.

이는 마치 AI가 실제 스케이트 타는 사람의 사진을 검은색 퍼즐 조각 옆에 대고, 사진을 회전시키고, 뒤집고, 흑백으로 바꾸면서 "헤이, 이 모양이 저 모양과 닮았나?"라고 확인하는 것과 같습니다. 만약 모양이 충분히 잘 맞으면, AI는 그 퍼즐 조각을 "아마도" 폴더에 넣습니다.

결과: 좋지만 완벽하지는 않음

연구팀은 15,000개 이상의 과거 인간 게임 데이터를 사용하여 이 시스템을 테스트했습니다. 그들은 노트 기록 방식의 AI가 인간의 첫 번째 설명만 듣고도 올바른 퍼즐 조각을 맞출 수 있는지 알고 싶었습니다.

결과는 다음과 같습니다:

• "아마도" 리스트: AI가 상위 5개의 추측을 제시했을 때, 정답 퍼즐 조각이 그 리스트 안에 포함될 확률은 **83.56%**였습니다. 이는 꽤 훌륭합니다!
• "확실한 것" 리스트: AI가 단 하나의 답을 골라야 했을 때(상위 1순위 추측), 정답률은 **41.66%**였습니다.
• 인간과의 비교: 동일한 게임을 하는 실제 인간은 첫 번째 시도에서 정답을 맞힐 확률이 약 **77~80%**입니다.

따라서 AI는 무작위 추측(정답률 8.33%)보다는 확실히 뛰어나지만, 아직 인간을 이기지는 못하고 있습니다. 단 하나의 최선의 답을 고르는 데 여전히 어려움을 겪고 있습니다.

"누출(Leakage)" 문제: 숨겨진 비밀

저자는 실험의 결함에 대해 매우 솔직했습니다. AI가 "스케이트 타는 사람"을 검색할 때, 간혹 인터넷에서 맞추고자 하는 정확한 퍼즐 조각과 똑같은 사진을 찾아낸다는 사실을 깨달았습니다. 이는 마치 "카드 맞추기 게임"을 하고 있는데, 힌트를 주는 사람이 실수로 카드 자체를 건네준 것과 같습니다.

만약 AI가 검색 결과에서 해당 퍼즐 조각을 보았다면, 그것은 언어를 이해해서가 아니라 사진을 인식했기 때문에 맞춘 것입니다. 이를 **검색 누출(retrieval leakage)**이라고 합니다.

이를 해결하기 위해 저자는 다시 테스트를 진행했습니다. 이번에는 퍼즐 조각과 너무 닮은 검색 결과들을 필터링했습니다. 이렇게 "보수적인" 테스트를 수행했을 때, AI의 성능은 하락했습니다:

• 상위 5개 추측: **67.8%**로 하락.
• 상위 1개 추측: **29.2%**로 하락.

이는 AI가 언어를 이해하고 이를 모양과 매칭하는 능력을 어느 정도 갖추고 있다는 것(신호는 실재함)을 보여주지만, 초기 성공의 큰 부분은 검색 결과에서 정답을 찾은 운에 의한 것이었음을 시사합니다. 이 필터를 적용하더라도, AI는 여전히 인간의 기준선인 77~80%에 훨씬 못 미칩니다.

이 논문이 하는 것(과 하지 않는 것)

이 논문을 이해할 때 가장 중요한 것은 이 논문이 하지 않는 것입니다.

• 이것은 완전히 상호작용하는 로봇이 아닙니다. 이 연구의 AI는 절대 말을 되받지 않습니다. "빨간색을 말씀하시는 건가요, 아니면 파란색인가요?"라고 묻지 않습니다. 그저 듣고 추측할 뿐입니다.
• 이것은 AI가 인간처럼 학습하도록 가르치는 마법 같은 해결책이 아닙니다. 저자는 진정한 "동조(entrainment, 함께 학습함)"에는 양방향 대화가 필요하지만, 이 시스템에는 그것이 없다는 점을 인정합니다.
• 이것은 완성된 제품이 아닙니다. 저자는 자신의 시스템이 더 크고 똑똑한 로봇에 끼워 넣을 수 있는 특정 도구인 "구성 요소(component)"라고 명시했습니다.

요약

이 논문은 종착역이 아니라 하나의 진전입니다. 저자는 많은 현대 AI 시스템이 실패하는 지점인, 자신이 무엇을 알고 있는지에 대한 명확하고 감사 가능한 기록을 유지하는 시스템을 성공적으로 구축했습니다. 또한 논리적인 "노트"와 시각적 검색 엔진을 결합하면 무작위 확률보다 더 잘 이해하는 컴퓨터를 만들 수 있음을 증명했습니다.

하지만 컴퓨터는 여전히 서툽니다. 쉽게 혼란스러워하고, 도움을 요청할 줄 모르며, 때로는 검색 결과에서 답을 찾는 것에 의존합니다. 저자는 다음 단계는 실제로 말을 하고, 명확한 질문을 던지며, 실시간으로 실수를 통해 배우는 로봇을 만드는 것이라고 결론짓습니다. 그때까지 이 "노트"는 로봇이 스스로 게임을 할 준비가 되지 않았을지라도, 그 과정이 어떻게 작동해야 하는지를 이해하는 데 아주 좋은 도구가 될 것입니다.