당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 수백만 개의 사진과 영상을 보여주며, 로봇이 스스로 패턴을 '학습'하기를 바랐습니다. 이는 학생에게 책의 내용을 읽게 하지는 않고, 오직 표지만 보고 이야기를 추측하게 하는 것과 같습니다. 로봇은 뇌 속에 유사한 것들이 서로 가까이 모여 있는 거대하고 보이지 않는 지도를 만듭니다. 하지만 이 지도는 그것을 만든 인간들에게조차 미스터리입니다. 우리는 그것이 작동한다는 것은 알지만, 왜 작동하는지는 알지 못하며, 로봇이 실수를 했을 때 지도의 어느 부분이 잘못되었는지 쉽게 파악할 수 없습니다.

이를 해결하기 위해 연구자들은 로봇의 사고방식을 인간이 말하는 방식과 더 비슷하게 만들 방법을 찾고 있습니다. 막연한 느낌이나 흐릿한 그림 대신, 로봇이 "차가 빨간색이다" 또는 "신호등이 초록불이다"와 같이 명확하고 단순한 문장을 사용하도록 만들려는 것입니다. 이 논문은 바로 이 대화에 참여하여 다음과 같은 질문을 던집니다. 만약 우리가 로봇에게 신비롭고 보이지 않는 지도를 통해 세상을 이해하도록 강요하는 대신, 단순한 사실들로 이루어진 공유된 사전(dictionary)을 준다면 어떻게 될까요? 목표는 이미지와 영상의 무질서하고 혼란스러운 세계를 누구나(또는 어떤 기계라도) 읽고, 확인하고, 결합하여 복잡한 상황을 이해할 수 있는 깔끔한 진술 목록으로 바꾸는 것입니다.

---

미스터리 지도에서 공유된 사전으로

당신이 친구에게 혼란스러운 거리 장면을 설명한다고 상상해 보세요. 당신은 이렇게 말할 수도 있습니다. "와, 저기 젖은 보도 옆에서 개가 공을 쫓아가는 동안 커다란 빨간 트럭이 빠르게 지나가고 있어!" 그 문장은 많은 세부 정보를 담고 있지만, 동시에 다소 무질서합니다. 만약 당신이 '공을 쫓는 개'가 나오는 모든 영상을 찾고 싶다면, 그 문장 전체로 검색하는 것은 어려울 것입니다. 왜냐하면 개는 프리스비를 쫓고 있을 수도 있고, 트럭은 파란색일 수도 있으며, 보도는 마른 상태일 수도 있기 때문입니다.

NVIDIA에서 연구 중인 이 논문의 저자들은 이러한 묘사들을 정리하는 새로운 방법을 제안합니다. 그들은 이를 **원자적 명제 꾸러미(Bag of Atomic Propositions, BoAP)**라고 부릅니다. 여기서 '명제(propositions)'란 이야기의 가장 작고 기본적인 구성 요소, 즉 "개가 공을 쫓는다", "트럭이 빨간색이다", "보도가 젖어 있다"와 같이 단순하고 진실된 문장을 의미합니다.

이 프레임워크는 로봇이 전체 문장을 뇌 속의 숨겨지고 혼란스러운 부분에 그대로 간직하게 하는 대신, 모든 이미지, 영상, 또는 텍스트 로그를 이러한 단순한 사실들의 '꾸러미(bag)'로 분해합니다. 이는 마치 복잡한 레고 성을 만든 후, 모든 브릭을 분류하여 빨간색 브릭, 파란색 브릭, 바퀴 등으로 상자에 나누어 담는 것과 같습니다. 일단 브릭이 분류되면, 어떤 성에서 왔든 상관없이 모든 빨간 브릭이나 바퀴를 쉽게 찾아낼 수 있습니다.

마법의 사전 (코드북)

여기 까다로운 문제가 있습니다. 사람(그리고 로봇)은 같은 것을 서로 다른 방식으로 말한다는 점입니다. 어떤 사람은 "차가 멈춰 있다"라고 말하고, 다른 사람은 "차량이 대기 중이다"라고 말할 수 있습니다. 컴퓨터에게 이 둘은 완전히 다른 것으로 보입니다. 만약 이 문제를 해결하지 않는다면, 당신의 '사실 꾸러미'는 엉망이 되고 중복된 내용으로 가득 차게 될 것입니다.

이를 해결하기 위해 연구팀은 **글로벌 시맨틱 코드북(Global Semantic Codebook)**을 구축했습니다. 모든 방식의 "차가 멈춰 있다"라는 표현을 "차량이 대기 중이다"라는 단 하나의 공식적인 항목으로 매핑하는 거대한 마스터 사전이라고 상상해 보세요.

과정은 다음과 같습니다:

1. 추출(Extraction): 매우 똑똑한 AI(멀티모달 거대 언어 모델)가 비디오나 이미지를 보고 무엇이 일어나고 있는지 설명하는 단순한 문장 목록을 작성합니다.
2. 정제(Cleaning): AI는 큰 그림에 중요하지 않은, 예를 들어 특정 자동차 브랜드나 정확한 파란색의 색조와 같은 '방해 요소'들을 제거합니다. (단, 해당 세부 사항이 작업에 필수적인 경우는 제외합니다.)
3. 매칭(Matching): AI는 자신이 작성한 모든 문장을 마스터 사전에 대조합니다. 만약 일치하는 항목을 찾으면, 지저지고 복잡한 문장을 깔끔하고 공식적인 버전으로 교체합니다.

이제 세상의 모든 영상은—그것이 도쿄의 자율주행 자동차이든 브라질 숲 위를 나는 드론이든—단순하고 표준화된 사실들의 동일한 언어로 번역됩니다.

이것이 왜 중요한가

이 논문은 이 방법이 기존의 "미스터리 지도" 방식이 어려워하는 세 가지 멋진 일을 해낸다는 것을 보여줍니다.

1. 검색을 매우 정밀하게 만듭
만약 당신이 "보행자가 길을 건너고" AND "신호등이 빨간불이며" AND "도로가 젖어 있는" 영상을 찾고 싶다면, 기존 방식은 혼란을 겪을 수 있습니다. 기존 방식은 신호는 빨간불이지만 도로가 마른 영상을 찾거나, 보행자는 건너고 있지만 신호는 초록불인 영상을 찾을 수도 있습니다. 새로운 시스템은 사물들을 별개의 사실들로 분해하기 때문에, 이들을 완벽하게 조합하고 섞을 수 있습니다. 이는 마치 책 제목 전체를 추측하는 대신 특정 태그를 체크하여 도서관을 검색하는 것과 같습니다. 논문은 방대한 양의 주행 영상과 오픈 월드 푸티지 데이터셋에서 희귀하고 복잡한 시나리오를 성공적으로 찾아냄으로써 이를 입증했습니다.

2. 로봇이 무엇을 모르는지 밝혀냅니다
이것은 아마도 가장 강력한 부분일 것입니다. 모든 것이 단순한 사실로 기록되어 있기 때문에, 당신은 그것들을 셀 수 있습니다. 당신의 훈련 데이터(로봇이 학습한 영상들)를 분석하여 어떤 사실이 빠져 있는지 정확히 확인할 수 있습니다.
예를 들어, 이 논문은 주행 영상 데이터셋을 분석하여 로봇이 "차가 좌회전하는" 수백만 개의 사례는 보았지만, "비가 내리는 와중에 보행자가 건너는 상황에서 차가 좌회전하는" 조합은 거의 본 적이 없다는 것을 발견했습니다. 기존 방식은 단순히 "이것은 희귀한 좌회전 상황이다"라고 말하겠지만, 이 새로운 방식은 "당신은 비, 좌회전, 그리고 보행자의 조합이 부족하다"라고 말해줍니다. 이는 과학자들이 로봇을 더 안전하게 만들기 위해 어떤 종류의 새로운 데이터를 수집해야 하는지 정확히 알 수 있게 도와줍니다.

3. 서로 다른 세계를 연결합니다
시스템이 모든 것을 동일한 단순한 언어로 번역하기 때문에, 자동차 영상과 날씨 보고서의 텍스트 로그, 혹은 길거리 표지판 사진을 서로 비교할 수 있습니다. 이들은 모두 동일한 "사실의 꾸러미"로 귀결됩니다. 이를 통해 로봇은 '젖은 도로'에 대한 텍스트 설명이 비록 텍스트일지라도, 젖은 도로를 보여주는 영상과 동일한 개념임을 이해할 수 있습니다.

핵심 요약

이 논문은 AI의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신 정보를 조직화하는 새로운 방법을 제 제안합니다. 저자들은 기존의 "미스터리 지도"(밀집 임베딩, dense embeddings)가 패턴을 인식하는 데는 뛰어나지만, 왜 그런 일이 일어났는지 설명하거나 특정 사건의 조합을 찾는 데는 서투르다고 주장합니다.

세상을 **원자적 명제의 꾸러미(Bag of Atomic Propositions)**로 변환함으로써, 저자들은 AI를 더 투명하게 만들고, 검색하기 쉽게 만들며, 놓쳤을지도 모르는 희귀하고 위험한 상황을 더 잘 포착할 수 있음을 보여줍니다. 이는 로봇에게 엉망진창인 스케치북 대신 명확하고 체계적인 노트를 쥐여주는 것과 같으며, 이를 통해 우리는 마침 finally 로봇의 마음을 읽고 그것이 정확히 무엇을 보고 있는지 이해할 수 있게 됩니다.