💻 computer science

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

이 논문은 음향적으로 풍부한 실내 환경에서 다중 목표 미션으로 에이전트에게 도전 과제를 부여하는 장기 시계 오디오-시각-언어 내비게이션을 위한 새로운 벤치마크인 LH-AVLN을 소개하며, 탐색을 위해 양이(binaural) 오디오를 효과적으로 활용하면서 목표 완수를 위해 시각-의미론적 검증에 의존하는 학습이 필요 없는 에이전트인 PAG-Nav를 제안한다.

원저자: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 궁극의 집 탐정(house detective)이 되는 법을 가르치고 있다고 상상해 보세요. 보통 우리는 로봇에게 움직이는 법을 가르칠 때, "빨간 공을 찾아라"와 같은 단순한 임무를 줍니다. 로봇은 카메라 눈으로 주변을 둘러보고, 자신이 지나온 곳을 기억하며, 물체를 발견할 때까지 걸어갑니다. 이 과학 분야는 로봇이 실제 세상을 돌아다니며 과제를 해결하는 방법을 배우는 "체화된 내비게이션(embodied navigation)"이라고 불립니다. 하지만 여기에는 함정이 있습니다. 대부분의 이러한 훈련 게임은 완전히 정적입니다. 로봇은 오직 자신의 렌즈 바로 앞에 보이는 것만 볼 수 있습니다. 만약 공이 닫힌 문 뒤에 있거나 어두운 구석에 숨겨져 있다면, 로봇은 눈앞의 상황 외에는 아무것도 볼 수 없는 '눈먼' 상태가 되어 갇혀버리게 됩니다.

이제 그 로봇에게 초능력을 준다고 상상해 보세요. 바로 '귀'입니다. 현실 세계에서 소리는 단순히 직선으로만 이동하지 않습니다. 소리는 모퉁이를 돌아 흐르고 틈새로 스며듭니다. 좋은 귀를 가진 로봇은 옆 방에서 짖는 개 소리나 벽 너머에서 물이 떨어지는 수도꼭지 소리를 들을 수 있고, 이는 물체를 아직 보지 못했을 때도 어디로 가야 할지에 대한 힌트를 줄 수 있습니다. 이 논문은 이 두 가지 초능력—보는 것과 듣는 것—을 결합하되, 미션을 훨씬 더 어렵게 만든다면 어떤 일이 벌어질지라는 매우 까다로운 질문을 던집니다. 단 하나의 물건을 찾는 대신, 만약 로봇이 단어로 설명된 것, 사진으로 된 것, 그리고 이름만 있는 것 등 다양한 목록을 찾아야 하며, 퍼즐을 푸는 동안 집 안의 소리가 계속해서 변한다면 어떨까요?

이 연구를 이끄는 홍콩 과학기술대학교와 길림대학교의 천루펑(Rufeng Chen)과 동료들은 LH-AVLN이라는 새로운 도전 과제를 구축했습니다. 이것을 로봇을 위한 고난도의 멀티 레벨 비디오 게임이라고 생각하면 됩니다. 이 게임에서 로봇은 3D 집 안에 투입되며 두 개에서 네 개의 서로 다른 목표가 포함된 "글로벌 미션"을 부여받습니다. 이 목표들은 까다롭습니다. 하나는 "소파를 찾아라"(카테고리)일 수 있고, 다른 하나는 "얇은 커튼 옆에 있는 밝은 회색 소파를 찾아라"(설명)일 수 있으며, 세 번째는 "이 특정 침대 사진을 찾아라"(이미지 참조)일 수 있습니다.

하지만 진짜 반전은 소리에 있습니다. 이 게임에서는 로봇이 찾고 있는 모든 물건이 소리를 냅니다. 그러나 여기서 주의할 점은, 이 소리들이 고정된 타겟이 아니라는 것입니다. 로봇이 하나의 목표를 찾아 완료할 때마다 그 물건의 소리는 멈춥니다. 반면에 아직 찾지 못한 물건들은 여전히 소리를 내며, 번갈아 가며 가장 크게 들리도록 합니다. 이는 혼란스러운 상황을 만듭니다. 만약 로봇이 소파를 찾고 있는데 변기 물 내려가는 소리가 들린다면(변기를 아직 찾지 못했기 때문에), 그 소리는 방해 요소가 됩니다. 로봇은 다음과 같이 판단해야 합니다. "이 소리가 나의 현재 목표를 찾는 데 도움이 되는 것인가, 아니면 내가 아직 완료하지 못한 다른 작업으로 나를 유인하는 레드 헤링(red herring, 엉뚱한 단서)인가?"

이를 테스트하기 위해 저자들은 로봇이 시끄럽고 다중 목표가 있는 미션을 수행해야 하는 15만 개 이상의 에피소드를 담은 거대한 데이터셋을 만들었습니다. 그들은 기존의 로봇들, 즉 지시 사항을 잘 따르거나 시각적 지도를 잘 기억하는 똑똑한 로봇들조차 처참하게 고전한다는 것을 발견했습니다. 소리가 혼란스러워지거나 미션이 길어지면, 이 로봇들은 길을 잃거나 포기해 버립니다. 이들은 도움이 되는 단서와 방해되는 소음을 구분하지 못합니다.

이것이 얼마나 어려운지 보여주기 위해, 팀은 자신들만의 로봇 에이전트인 PAG-Nav를 구축했습니다. 이 로봇은 복잡한 훈련을 통해 배우는 대신 영리한 전략을 사용합니다. 로봇은 집 전체의 정신적 지도를 유지하며, 자신이 어디를 지나왔는지, 무엇을 보았는지, 그리고 소리가 어디서 오는지 추적합니다. 로봇은 시각적으로 아무것도 볼 수 없을 때 소리를 사용하여 탐색을 안내하지만, 그것이 정말 맞는 물건인지 확인하기 위해 확실하고 선명하게 관찰하기 전까지는 "찾았다!"라고 말하기를 거부합니다. 이러한 스마트한 전략에도 불구하고, 이 로봇은 순서가 있는 미션에서는 약 2~~3%, 순서가 없는 미션에서는 약 3~~5%의 성공률만을 보였습니다.

이 논문의 주요 발견은 소리를 추가하는 것이 현재의 기술에 있어 문제를 더 쉽게 만드는 것이 아니라 훨씬 더 어렵게 만든다는 것입니다. 저자들은 소리가 보이지 않는 곳에 있는 물건을 찾는 강력한 도구이지만, 로봇이 어떤 소리가 어떤 작업에 속하는지 파악하지 못한다면 악몽이 될 수 있다고 주장합니다. 그들은 미래의 로봇 내비게이션이 단순히 더 잘 보고 더 잘 듣는 것이 아니라, 소음을 무시하고 적절한 시기에 적절한 단서에 집중하는 법을 배우는 것에 달려 있다고 주장합니다. 논문은 우리가 이 퍼즐을 풀기에는 아직 멀었으며, 이는 소음이 많은 다중 작업의 세계를 진정으로 항해할 수 있는 로봇을 만들 수 있는 미래의 발명가들에게 많은 기회를 남겨두고 있다고 결론짓습니다.

기술 요약: LH-AVLN

문제 정의

체화된 내비게이션(Embodied navigation)은 짧고 단일 목적을 가진 에피소드에서 긴 호흡의 미션으로 진화하고 있습니다. 그러나 기존의 장기 호흡(long-horizon) 벤치마크는 대부분 "음향적으로 정적인(acoustically silent)" 상태이며, 이로 인해 에이전트는 시각적 영역이나 시각-의미론적 메모리에만 의존해야 합니다. 반대로, 기존의 오디오-비주얼 내비게이션 작업은 일반적으로 특정 목표에 고정된 음향 단서만을 다룹니다.

LH-AVLN(Long-Horizon Audio-Visual-Language Navigation)은 보통 별도로 평가되던 세 가지 요소를 결합한 벤치마크를 도입함으로써 이러한 격차를 해소합니다:

이질적인 목표 명세(Heterogeneous Goal Specifications): 목표는 객체 카테고리, 자연어 설명, 또는 참조 이미지를 통해 정의됩니다.
장기 호흡 진행 추적(Long-Horizon Progress Tracking): 에이전트는 2개에서 4개의 목표로 구성된 미션을 완료해야 하며, 이를 위해 지속적인 메모리와 작업 진행 추적이 필요합니다.
지속적인 공간화된 음향 단서(Persistent Spatialized Acoustic Cues): 단일 목표 작업과 달리, LH-AVLN의 소리는 정적인 타겟이 아닌 미션에 결합되어 있습니다. 완료되지 않은 타겟들은 교대로 공간화된 바이노럴 오디오를 방출합니다.

핵심 과제: 중심적인 어려움은 **태스크 조건부 단서 그라운딩(task-conditioned cue grounding)**입니다. 음향 단서는 고정된 타겟이 아니라, 진행 상황에 의존하는 정보입니다. 소리는 미완료된 목표를 찾는 데 도움을 줄 수 있지만, 에이전트가 하위 작업을 완료함에 따라 동일한 소리가 무의미해지거나 방해 요소(distractor)가 될 수 있습니다. 에이전트는 소리의 물리적 근원을 추론하고, 이를 올바른 미완료 목표와 연관시키며, 무관한 단서를 억제하고, 제출 전 시각-의미론적 검증을 수행해야 합니다.

방법론

벤치마크 (LH-AVLN)

SoundSpaces 2.0을 기반으로 Matterport3D 장면을 사용하여 구축된 LH-AVLN은 다음과 같은 특성을 가진 에피소드를 생성합니다:

관측(Observations): 에이전트는 에고센트릭(egocentric) RGB-D 관측값, 포즈, 그리고 바이노럴 오디오를 받습니다.
미션 구조: 미션 $G = \{g_i\}_{i=1}^N$ ( $N \in \{2,3,4\}$ )가 시작 시점에 제공됩니다. 목표는 순서가 정해진 방식(사전 정의된 시퀀스) 또는 순서가 정해지지 않은 방식(에이전트가 순서를 선택)으로 구성될 수 있습니다.
오디오 역학(Audio Dynamics): 각 타겟 인스턴스는 공간화된 음원과 연결됩니다. 미완료된 타겟들이 교대로 단서를 방출합니다. 타겟이 성공적으로 제출되면 해당 음원은 비활성화됩니다. 활성 음원은 시간에 따라 변하며, 에이전트를 무관한 미완료 목표로 유인할 수 있습니다.
목표 모달리티(Goal Modalities):
- 카테고리: 객체 레이블 (예: "소파").
- 설명: 자연어 지칭 표현 (예: "얇은 커튼 옆에 있는 밝은 회색 소파").
- 이미지: 타겟 인스턴스의 참조 이미지.
- 제약 사항: 설명 및 이미지 목표에는 카테고리 레이블이나 인스턴스 식별자가 포함되지 않으므로, 에이전트는 의미론을 추론해야 합니다.

참조 에이전트: PAG-Nav

저자들은 진단용 베이스라인을 구축하기 위해 설계된 훈련이 필요 없는 모듈형 에이전트인 PAG-Nav를 소개합니다. 이는 비가시선(non-line-of-sight) 탐색을 위해 오디오를 사용하고, 최종 검증을 위해 시각-의미론적 매칭을 예약한다는 원칙에 따라 작동합니다.

아키텍처 구성 요소:

목표 조건부 인지(Goal-Conditioned Perception): 이질적인 목표(카테고리, 텍-이미지)를 쿼리 임베딩으로 인코딩합니다. 관측값을 룸 세만틱스, 객체 가설, 그리고 음향 국지화 단서로 투영합니다.
시계열 균일 의미 맵(Temporal Uniform Semantic Map): 다음을 통합하는 지속적 메모리 모듈( $M_t$ $M_{t}$ )입니다:
- 룸 메모리 ( $R_t$ ): 의미적 맥락.
- 객체 메모리 ( $O_t$ ): 지속적인 객체 가설 및 목표 연관성.
- 오디오 메모리 ( $A_t$ ): 강도 메모리(확인을 위한 국소 음향 강도 축적)와 방위 메모리(탐색을 위한 방향성 관측 저장)로 구성됩니다.
점진적 목표 상태 계획(Progressive Goal-State Planning): 에이전트는 활성 목표의 그라운딩 상태에 따라 세 단계 사이를 전환합니다:
- 탐색(Search): 신뢰할 수 있는 후보가 없을 때, 에이전트는 의미적 사전 지식과 음향 방위를 사용하여 프런티어를 탐색합니다.
- 후보 그라운딩(Candidate Grounding): 그럴듯한 후보가 존재할 때, 에이전트는 시각-의미론적 호환성, 맥락적 사전 지식, 그리고 오디오 강도 일관성을 사용하여 후보의 점수를 매깁니다.
- 인스턴스 검증(Instance Verification): 에이전트는 Submit 동작을 실행하기 전, 특정 포스로 이동하여 후보를 시각적으로 검증합니다. 음향 단서가 접근을 유도하지만, 시각적 검증이 완료를 트리거합니다.

주요 기여

LH-AVLN 벤치마크: 다중 목표 실행, 이질적인 목표 모달리티, 동적이고 교대하는 음향 단서를 통합한 장기 호흡 내비게이션을 위한 새로운 평가 체계입니다. 이는 미션 상태가 변화함에 따라 관련 음향 단서와 방해 요소를 구별하는 과제를 강조합니다.
진단 베이즈라인 (PAG-Nav): 음향 탐색과 시각 검증의 분리를 명시적으로 모델링하여 지속적인 교차 모달 메모리가 이 작업들에 필수적임을 보여주는 훈련이 필요 없는 에이전트입니다.
실험적 분석: 기존의 최첨단 에이전트들(시각-언어, 메모리 기반, 오디오-비주얼 모델)이 LH-AVLN 전체 미션에서 심각하게 고전함을 보여주는 종합적인 평가를 통해, 방해 요소 거부 및 장기 호흡 계획에서의 구체적인 실패 모드를 밝혀냈습니다.

실험 결과

실험은 2~4개의 목표를 가진 순서가 있는(ordered) 및 순서가 없는(unordered) 미션 설정 모두에서 수행되었습니다.

베이스라인 성능: 기존의 시각-언어 에이전트(예: MTU3D, 3D-Mem)는 비가시선 탐색을 위한 오디오 입력의 부재로 인해 매우 낮은 전체 작업 성공률(예: 순서 있는 설정에서 약 1.7% SR)을 기록했습니다. 사전 훈련된 오디오-비주얼 에이전트(예: SAVI)는 유의미한 오라클 성공률(OSR)을 보였는데, 이는 오디오가 소리가 나는 영역을 찾는 데 도움이 됨을 나타내지만, 이들은 이질적인 목표를 그라운딩하거나 다중 목표 진행을 관리하는 능력이 부족하여 전체 미션을 완료하는 데 실패했습니다.
PAG-Nav 성능: PAG-Nav는 모든 베이스라인을 능가하여 두 설정 모두에서 가장 높은 성공률(SR)과 오라클 성공률(OSR)을 달야냈습니다(예: 순서 있는 설정 2.3% SR, 순서 없는 설정 3.1% SR).
핵심 통찰: 결과는 오디오가 소리가 나는 영역에 접근하는 데는 도움이 되지만, 성공적인 장기 호흡 내비게이션을 위해서는 태스크와 무관한 소리를 억제하고, 목표 진행을 추적하며, 시각-의미론적 인스턴스 검증을 수행하는 능력이 필요함을 확인시켜 줍니다. PAG-Nav를 포함한 모든 에이전트의 낮은 성능은 향후 발전 가능성이 크다는 것을 시사합니다.

의의 및 주장

본 논문은 LH-AVLN이 오디오-비주얼 내비게이션의 패러다임을 "소리를 따라 타겟을 쫓는 것"에서 "변화하는 미션 상태에서 소리의 관련성을 추론하는 것"으로 근본적으로 전환한다고 주장합니다.

음향 그라운딩 vs 퓨전: 저자들은 핵심 과제가 일반적인 멀티모달 퓨전이 아니라, 태스크 조건부 단서 그라운딩이라고 주장합니다. 에이전트는 어떤 소리가 현재 미완료된 목표에 해당하는지, 그리고 어떤 소리가 방해 요소가 되었는지를 결정해야 합니다.
기존 방법의 한론: 이 벤치마크는 현재의 체화된 에이전트들이 다단계 작업에서 지속적이고 교대하는 음향 단서를 처리할 수 있는 메커니즘이 부족함을 드러냅니다. 그들은 시간을 두고 소리를 특정 목표와 연결하는 데 필요한 교차 모달 메모리를 유지하는 데 어려움을 겪습니다.
향-후 연구 방향: 본 논문은 LH-AVLN을 동적인 단서 관리, 장기 호흡 계획, 그리고 음향적으로 풍부한 환경에서의 견고한 시각-의미론적 검증이 가능한 에이전트를 위한 연구를 이끄는 진단 도구로 포지셔닝합니다.