SaaF: Scene-Specific Ambiguity-Aware 3D Language Fields towards Interactive Real-World Object Retrieval

당신이 지저로 가득 찬 거실에서 인간을 도우려는 로봇이라고 상상해 보세요. 인간이 손가락으로 가리키며 말합니다. "컨트롤러 가져다줘!" 그런데 잠깐, 테이블 위에는 비디오 게임용, TV 리모컨, 그리고 드론 컨트롤러까지 세 개의 서로 다른 컨트롤러가 있습니다. 표준적인 로봇이라면 눈에 보이는 첫 번째 것을 집어 들거나, 더 최악의 경우, 혼란스러워하며 멈춰버릴 것입니다. 이것이 로봇 공학에서의 "모호성(ambiguity)" 문제입니다. 이 문제를 해결하기 위해 과학자들은 "3D 언어 필드(3D language field)"라고 불리는 것을 사용합니다. 이것은 방의 모든 물체가 단순히 형태만 가진 것이 아니라, 컴퓨터가 읽을 수 있는 투명 잉크로 라벨이 적혀 있는 마법 같은 지도라고 생각하면 됩니다. 만약 당신이 "빨간 컵"을 달라고 하면, 지도는 빨간 컵을 밝게 비춥니다. 하지만 여기 함정이 있습니다. 만약 당신이 "병"이라고 말했는데, 거의 똑같이 생긴 두 개의 병이 있다면, 기존의 지도들은 혼란에 빠집니다. 이들은 공간을 절약하기 위해 세부 사항을 뭉뚱그려 버리기 때문에, 두 병을 구분하기 어려워지며, 당신의 질문이 모호하다는 사실을 알려주지 못합니다.

이 논문은 이 마법 같은 지도의 더 똑똑한 버전인 SaaF(Scene-specific Ambiguity-aware 3D Language Fields)를 소개합니다. 연구진은 단순히 물체를 찾는 것을 넘어, 당신의 질문이 너무 모호한지까지 확인하는 시스템을 구축했습니다. 이들은 "메트릭 학습(metric learning)"이라는 기술을 사용하는데, 이는 로봇을 더 나은 탐정으로 훈련시키는 것과 같습니다. 단순히 사물이 어떻게 보이는지를 암기하는 대신, 유사한 물체들(예: 두 종류의 탄산음료 병) 사이의 미세한 차이를 포착하는 법을 배우고, 결정적으로 "병"이라는 단어가 두 물체 모두에 적용될 수 있다는 사실을 인식하는 법을 배웁니다. 이렇게 하면 로봇은 모호한 질문을 받았을 때 잘못 추측하는 대신, "어떤 병을 말씀하시는 건가요?"라고 정중하게 되물을 수 있습니다. 이는 현실 세계에서(물건들이 결코 완벽하게 명확하지 않은 곳에서) 로봇이 명령을 따르는 능력을 훨씬 더 향과하게 만들어 줍니다.

문제점: "그 병"만으로는 부족할 때

로봇은 인간의 명령을 따르는 능력이 향상되고 있지만, 명령이 모호할 때는 여전히 어려움을 겪습니다. 예를 들어, 당신이 로봇에게 "포켓몬 가져와!"라고 말한다고 가정해 봅시다. 선반 위에 몇 개의 서로 다른 포켓몬 피규어가 있다면, 표준적인 로봇은 엉뚱한 것을 집거나, 결정을 내리지 못해 멈춰버릴 수 있습니다. 기존 방식들은 모든 물체에 언어적 특징(예: "포켓몬"이라는 단어)이 태그된 3D 지도를 만드는 방식으로 이를 해결하려 했습니다. 그러나 이러한 기존 지도에는 두 가지 큰 결함이 있었습니다.

첫째, 지도를 빠르고 효율적으로 만들기 위해 데이터를 압축했습니다. 이는 탄산음료 병의 고화질 사진을 아주 작고 흐릿한 아이콘으로 축소하는 것과 같았습니다. 이렇게 하면 공간은 절약되지만, 매우 유사한 두 병을 구별하기 어렵게 만듭니다. "흐릿해진" 지도 속에서 두 병은 똑같아 보였고, 그 결과 로봇은 올바른 것을 선택할 수 없었습니다.

둘째, 이러한 지도들은 모호성을 처리하는 방법을 몰랐습니다. 만약 당신이 "그 병"이라고 말하면, 기존 시스템은 두 개가 있더라도 그냥 하나를 골라버렸습니다. "잠깐, 어떤 병을 원하는 건지 잘 모르겠어요"라고 말할 방법이 없었던 것입니다. 논문은 로봇이 진정으로 도움이 되려면, 이러한 모호한 질문을 포착하고 명확한 설명을 요구할 수 있어야 한다고 주장합니다.

해결책: SaaF의 탐정 훈련

저자들은 로봇이 세상을 보는 방식을 바꿈으로써 이 문제를 해결하는 새로운 시스템인 SaaF를 제안합니다. SaaF는 데이터를 맹목적으로 압축하는 대신, **메트릭 학습(metric learning)**이라는 특별한 훈련 방법을 사용합니다.

작동 방식은 간단한 비유를 통해 설명할 수 있습니다. 당신이 로봇에게 군중 속에서 서로 다른 사람들을 식별하도록 훈련시킨다고 상상해 보세요.

1. 기존 방식: 로봇에게 각 사람의 흐릿한 사진을 줍니다. 두 사람이 비슷하게 생겼다면, 사진은 동일하게 보일 것입니다. 로봇은 그들을 구분할 수 없습니다.
2. SaaF 방식: 로봇에게 "훈련 캠프"를 제공합니다. 동일 인물의 다양한 각도에서 찍은 선명한 사진들을 보여주며 "이들은 모두 같은 사람이니, 기억 속에서 가깝게 배치하라"고 말합니다. 그런 다음, 서로 다른 사람들의 사진을 보여주며 "이들은 서로 다르니, 멀리 떨어뜨려 놓으라"고 말합니다.

SaaF는 물체에 대해서도 이와 같이 수행합니다. 카메라가 방 안을 움직임에 따라 물체를 추적하며 동일한 아이템의 사진을 많이 찍습니다. 그런 다음 강력한 AI(시각-언어 모델)를 사용하여 해당 물체에 대해 수백 가지의 서로 다른 이름을 생성합니다. 어떤 이름은 매우 구체적이고(예: "흰색 로고가 있는 빨간색 코카콜라 캔"), 어떤 이름은 매우 모호합니다(예: "음료", "병", 또는 "용기").

로봇은 이러한 이름들을 특별한 "특징 공간(feature space, 의미의 정신적 지도)"에 배치하는 법을 배웁니다.

• 구체적인 이름(예: "코카콜라")은 다른 물체로부터 멀리 밀려납니다.
• 모호한 이름(예: "병")처럼 여러 아이템에 적용될 수 있는 이름은 지도의 중심부 근처로 끌려옵니다.

이것이 마법 같은 기술입니다. 시스템은 단어가 모호하다면 지도의 중심 근처에 위치하게 된다는 것을 배웁니다. 반대로 단어가 구체적이라면 지도 가장자리 멀리 위치하게 됩니다. 이 단어가 중심으로부터 얼마나 떨어져 있는지를 측정함으로써, 로봇은 당신의 질문이 모호한지 판단할 수 있습니다.

실제 작동 방식

당신이 로봇에게 "컨트롤러 가져다줘"라고 말하면, SaaF는 특정 과정을 따릅니다.

1. 모호도 측정기(Vague-o-meter) 확인: 질문을 가져와 특징 공간에서의 "거리"를 확인합니다. 만약 거리가 짧다면(즉, 단어가 모호하여 여러 대상에 적용될 수 있다면), 로봇은 멈춥니다. 추측하지 않고 대신 이렇게 말합니다. "여러 개의 컨트롤러를 찾았습니다. 어떤 것을 원하시나요?"
2. 구체화하기: 당신이 명확하게 설명하면(예: "Xbox 컨트롤러"), 단어는 구체적이 됩니다. 이제 이 단어는 특징 공간에서 멀리 떨어져 있으며, 하나의 물체를 명확히 가리키게 됩니다.
3. 물체 잡기: 그 후 로봇은 해당 물체의 정확한 3D 위치를 찾아 잡습니다.

연구진은 유사한 물체(탄산음료 병, 게임 컨트롤러, 피규어 등)가 포함된 여러 데이터셋을 통해 실험을 진행했습니다. 실험 결과, SaaF는 이전 방식들보다 올바른 물체를 선택하는 데 훨씬 뛰어난 성능을 보였습니다. 두 개의 유사한 컨트롤러가 있는 "소파 장면" 테스트에서, 기존 방식들은 혼란을 느껴 잘못된 것을 선택했지만, SaaF는 매번 올바르게 선택했습니다.

결과: 더 빠르고 더 똑똑하게

이 논문은 SaaF가 더 똑똑할 뿐만 아니라 더 빠르다는 점도 보여줍니다. 데이터를 더 스마트하게 압축하기 때문에, 이전의 최고 방식인 LangSplat(9.6밀리초)보다 약 1.5배 빠른 6.3밀리초 만에 물체를 검색할 수 있습니다.

또한 실험을 통해 이 시스템이 실제로 모호성을 감지할 수 있음이 증명되었습니다. 로봇에게 "음식(food)"(테스트 장면에서 타르트나 포도를 의미할 수 있음)과 같은 모호한 질문을 했을 때, 시스템은 낮은 "모호도 점수"를 부여하여 질문이 불분명함을 정확히 식별했습니다. 반면 "초록 사과(green apple)"와 같은 구체적인 질문을 받았을 때는 점수가 올라갔고, 로봇은 무엇을 잡아야 할지 정확히 알았습니다.

향후 과제

저자들은 아직 시스템이 완벽하지 않다는 점을 명시했습니다. 이 시스템은 로봇이 물체를 정확하게 추적하는 능력에 크게 의존합니다. 만약 로봇이 물체를 놓치면 시스템은 혼란에 빠집니다. 또한, 로봇이 완전히 자율적으로 작동하기 위해서는 인간이 "임계값(질문이 너무 모호한지 결정하는 숫자)"을 설정해 주어야 하는데, 이는 이상적인 상태는 아닙니다.

하지만 이 연구는 로봇에게 "병"과 "파란색 병"의 차이를 이해하게 하고, 도움을 요청할 때를 아는 법을 가르침으로써, 우리가 훨씬 더 실용적이고 신뢰할 수 있는 서비스 로봇을 만들 수 있다는 가능성을 시사합니다. 결론적으로, 이 접근 방식은 모호한 지시에도 당황하지 않고 인간과 진정으로 상호작용할 수 있는 로봇을 구축하는 데 있어 중요한 진전입니다.