LISA-3D: Lifting Language-Image Segmentation to 3D via Multi-View Consistency

당신이 로봇에게 단순히 보는 것뿐만 아니라, 당신의 말을 듣고 세상을 이해하도록 가르치려 한다고 상상해 보세요. 이것은 **언어 유도형 3D 재구성(language-guided 3D reconstruction)**이라는 흥미로운 최전선입니다. 이것을 마법 같은 기술이라고 생각해 보세요. 당신이 어질러진 방을 가리키며 "저 빨간 의자를 잡아"라고 말하면, 로봇이 다른 모든 것은 무시하고 오직 그 의자만을 위한 완벽하게 떠 있는 3D 모델을 즉시 만들어내는 것입니다. 이를 실현하기 위해 로봇은 두 가지 초능력이 협력하여 작동해야 합니다. 첫째, 로봇은 당신의 자유로운 지시를 읽고 2D 사진에서 정확한 물체를 찾아낼 수 있는 "두뇌"가 필요합니다(예를 들어, 평면 사진 속에서 빨간 의자를 찾아내는 것과 같습니다). 둘째, 그 2D 지점을 가져와 3D 형상으로 들어 올릴 수 있는 "건축가"가 필요합니다. 문제는 이 두 부분이 서로 잘 소통하지 못하는 경우가 많다는 점입니다. "두뇌"는 사진이 이상한 각도에서 찍혔을 때 혼란을 느낄 수 있고, "건축가"는 "두뇌"가 잘못된 곳을 가리키면 엉망인 결과물을 만들게 됩니다.

여기서 LISA-3D라는 논문이 등장합니다. 이 논문은 로봇 전체를 처음부터 다시 만들지 않고도 어떻게 로봇의 "두뇌"를 3D 공간에 대해 더 똑똑하게 만들 수 있는지에 대한 까다로운 질문을 다룹니다. 연구진은 언어 능력이 뛰어난 이미지 세그멘터(image-segmenter)에게, 몇 장의 추가적인 깊이 센서(depth sensor) 사진만을 사용하여 물체가 다른 각도에서도 동일하게 보인다는 것을 가르칠 수 있는지 알고 싶었습니다. 그들은 영리하고 가벼운 학습 기법을 사용함으로써 로봇의 지시가 훨씬 더 신뢰할 수 있게 만들 수 있다는 것을 발견했습니다. 그 결과, 이 시스템은 로봇이 나중에 단 한 장의 사진만 보더라도, 혹은 두 장의 사진을 비교할 수 있다면 더욱 잘 작동하며, 텍스트로부터 더 나은 3D 모델을 구축하게 되었습니다.

문제점: "혼란스러운 카메라"

당신이 그 의자를 본 적이 없는 친구에게 방 안의 특정 의자를 설명하려고 한다고 상상해 보세요. 당신은 "창가 근처에 있는 나무 의자야"라고 말합니다. 만약 친구가 왼쪽에서 사진을 찍으면, 친구는 의자의 옆모습을 보게 됩니다. 만약 친구가 오른쪽에서 사진을 찍으면, 친구는 앞모습을 보게 됩니다. 만약 친구의 "두뇌"가 3D 공간을 이해하도록 훈련되지 않았다면, 친구는 옆모습과 앞모습을 서로 다른 두 개의 의자로 생각하거나, 3D로 만들려고 할 때 말이 안 되는 방식으로 의자의 윤곽을 그릴 수도 있습니다.

AI의 세계에는 LISA(복잡한 언어 지시에 따라 사진 속 물체를 찾는 로봇 두뇌)와 SAM-3D(2D 윤곽선을 3D 객체로 변환하는 로봇 건축가)와 같은 강력한 도구들이 있습니다. 하지만 결함이 하나 있습니다. LISA가 사진을 볼 때, 물체 주위에 마스크(디지털 윤곽선)를 그립니다. 만약 다른 각도에서 찍은 사진을 보여주면, LISA는 약간 다른 윤곽선을 그릴 수 있습니다. 이러한 일관성 없는 윤곽선을 건축가(SAM-3D)에게 전달하면, 최종 3D 모델은 흔들리거나, 깨지거나, 그냥 틀리게 됩니다. 이는 마치 집을 바라보는 거리의 모퉁이가 바뀔 때마다 설계도가 계속 바뀌는 것을 가지고 집을 지으려는 것과 같습니다.

해결책: "더블 체크" 학습

LISA-3D의 저자들은 로봇 전체를 다시 구축하지 않고도 이를 해결하기 위해 영리한 2단계 계획을 고안했습니다. 그들은 거대한 두뇌 전체를 다시 훈련시키고 싶지 않았습니다(그러면 시간이 너무 오래 걸리고 엄청난 양의 데이터가 필요할 것입니다). 대신, 그들은 LoRA(Low-Rank Adaptation)라고 불리는 기술을 사용했습니다.

로봇의 두뇌를 거대하고 얼어붙은 지식의 도서관이라고 생각해 보세요. 그 안의 책들을 바꿀 수는 없지만, 사서에게 특정 새로운 작업을 처리하는 방법을 알려주는 작은 포스트잇을 표지에 붙일 수는 있습니다. 이 경우, "포스트잇"은 카메라가 움직일 때 윤곽선을 어떻게 일관되게 유지할지 가르치는 아주 작은 새로운 파라미터 세트(단 1,160만 개)입니다.

학습 방식은 다음과 같습니다:

1. 설정: 연구진은 약간 다른 각도에서 촬영된 동일한 장면의 사진 두 장과 깊이 지도(물체가 얼마나 멀리 있는지 알려주는 그림)를 로봇에게 보여줍니다.
2. 게임: 그들은 로봇에게 동일한 문장(예: "빨간 의자")을 사용하여 두 사진에서 물체를 찾도록 요청합니다.
3. 마법의 기술: 로봇은 첫 번째 사진에서 그린 윤곽선을 가져와서, 3D 깊이 정보를 바탕으로 두 번째 사진에서 해당 물체가 어디에 나타나야 하는지 수학적으로 "왜곡(warp)"합니다.
4. 교정: 만약 두 번째 사진에서의 실제 윤곽선이 첫 번째 사진에서 왜곡된 윤곽선과 일치하지 않으면, 시스템은 실수를 바로잡기 위해 부드러운 "넛지(nudge, 가벼운 자극)"(손실 함수)를 줍니다. 이는 마치 선생님이 "이봐, 첫 번째 사진에서 의자를 여기에 그렸다면, 방이 움직이지 않았기 때문에 두 번째 사진에서는 반드시 이렇게 보여야 해"라고 말하는 것과 같습니다.

이 과정은 로봇이 "기하학을 인식(geometry-aware)"하도록 가르칩니다. 로봇은 카메라 각도에 상관없이 그 물체가 동일한 물리적 실체라는 것을 배우게 됩니다.

결과: 한 장의 사진 vs 두 장의 사진

논문은 이 새로운 로봇을 두 가지 방식으로 테스트하며, 결과는 매우 명확합니다.

모드 1: 단일 뷰의 영웅 (Single-View Hero)
현실 세계에서는 종종 사진 한 장만 가질 때가 있습니다. 당신은 의자 사진을 찍고 "이것을 만들어줘"라고 말합니다. 연구진은 로봇이 두 장의 사진을 사용하여 훈련되었음에도 불구하고, 단 한 장의 사진으로 작업하는 능력이 훨씬 좋아졌다는 것을 발견했습니다.

• 이 훈련 전에는 로봇의 2D 윤곽선이 정확할 확률이 **10.2%**였습니다(mIoU라는 지표로 측정).
• "더블 체크" 훈련 후에는 정확도가 **17.6%**로 뛰었습니다.
• 더 중요한 것은, 구축된 3D 모델이 훨씬 더 좋아졌다는 점입니다. 3D 형상의 완전성과 정밀도를 나타내는 "F-score"는 54.7에서 61.8로 상승했고, 형상의 오차(Chamfer Distance)는 12.4에서 10.2로 감소했습니다.
  이는 로봇이 일반적인 기술을 배웠음을 증명합니다. 즉, 단순히 두 장의 사진을 다루는 법을 암기한 것이 아니라, 더 나은 "탐지기(spotter)"가 되는 법을 배운 것입니다.

모드 2: 슈퍼 헬퍼 (The Super-Helper)
만약 (로봇 팔이나 자신의 위치를 아는 VR 헤드셋처럼) 두 번째 사진을 가지고 있다면, 시스템에는 선택적인 "퓨전(fusion)" 모드가 있습니다. 이 모드는 두 사진의 윤곽선을 모두 가져와서 하나로 합치고, 건축가를 위한 더 나은 지시를 생성합니다.

• 이 추가적인 도움을 받으면 2D 정확도는 **25.4%**로 치솟았습니다.
• 3D 품질은 F-score 70.3에 도달했으며, 오차는 7.9로 크게 감소했습니다.

이것이 왜 중요한가

이 발견의 가장 흥激한 부분은 저자들이 새로운 3D 건축가나 새로운 언어 두뇌를 발명할 필요가 없었다는 점입니다. 그들은 기존의 것들(LISA와 SAM-3D)을 가져와 그 사이에 작고 기하학적으로 똑똑한 층을 추가했을 뿐입니다.

저자들은 혜택을 얻기 위해 사용 시점에 반드시 두 번째 사진이 필요하지 않다는 점을 명시적으로 밝혔습니다. 훈련은 두 장의 사진을 사용하여 교훈을 주었지만, 학생(로봇)은 단 한 장의 사진만으로도 시험을 통과할 수 있습니다. 이는 매우 중요한데, 우리가 보통 단 한 장의 스냅샷만을 가지는 일상적인 사용 환경에서 이 시스템이 실용적이라는 것을 의미하기 때문입니다.

하지만 논문은 또한 한계에 대해서도 솔직하게 밝히고 있습니다. 훈련은 명확한 깊이 데이터(RGB-D)와 카메라의 위치를 정확히 아는 것에 의존합니다. 만약 깊이 센서가 노이즈가 심하거나 카메라가 흔들린다면, "더블 체크"가 혼란을 겪을 수 있습니다. 이 시스템은 움직이는 사람들이 있는 혼란스러운 야외 장면보다는, 딱딱한 물체(가구 등)가 있는 구조화된 실내 환경에서 가장 잘 작동합니다.

요약하자면, LISA-3D는 로봇에게 훈련 캠프 동안 3D 안경을 씌워주는 것과 같습니다. 설령 로봇이 안경을 벗고 단 하나의 눈(한 장의 사진)만 가진 채 세상 밖으로 나가더라도, 어떻게 3D로 세상을 보는지 기억하며 당신의 말로부터 더 나은, 더 안정적인 모델을 구축하게 됩니다. 이것은 우리가 말하는 것과 로봇이 만드는 것 사이의 간극을 메우는 모듈형의 효율적이고 놀라운 방법입니다.