🤖 AI

Bridging Learned Visual Perception and Symbolic Belief-Space Planning

이 논문은 시각적 인식의 불확실성을 기호적 상태에 대한 확률 분포로 포착하는 새로운 "VLM-as-probabilistic-grounder" 패러다임을 도입하며, 이를 통해 부분 관측 가능한 환경에서 기존의 결정론적 방식보다 뛰어난 성능을 보이는 강건한 믿음 공간 계획(belief-space planning)을 가능하게 한다.

원저자: Guy Azran, Michael Navat, Sarah Keren

게시일 2026-09-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guy Azran, Michael Navat, Sarah Keren

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 어질러진 거실을 정리하려고 노력하는 모습을 상상해 보십시오. 로봇은 탁자 위의 책과 방 건너편의 선반을 보지만, 카메라가 흔들리고 조명은 어둡습니다. 현실 세계에서 로봇의 시야는 결코 완벽하지 않습니다. 로봇은 모든 것을 한 번에 볼 수 없습니다. 물체는 가구 뒤에 숨어 있고, 센서는 자신이 보고 있는 것을 오해하기도 합니다. 로봇이 안전하고 효과적으로 행동하기 위해서는 자신이 무엇을 모르는지 인정해야 합니다. 만약 물체의 위치를 잘못 추측한다면, 존재하지 않는 것을 잡으려 하거나, 더 심하게는 들고 있지 않은 물체를 놓으려 할 수도 있습니다. 이러한 불확실성은 기계가 우리의 복잡하고 예측 불가능한 가정을 항해하도록 가르치는 데 있어 가장 큰 장애물입니다.

수년 동안 연구자들은 로봇에게 사진을 보고 무엇이 진실인지 즉각 결정할 수 있는 '두뇌'를 부여함으로써 이 문제를 해결하려 노력해 왔습니다. 그들은 이미지와 언어를 모두 이해하는 강력한 인공지능 모델을 사용합니다. 아이디어는 간단했습니다. 로봇에게 사진을 보여주고 "캐비닛이 열려 있습니까?"라고 묻는 것입니다. 만약 모델이 "예"라고 답하면, 로봇은 그것을 절대적인 사실로 간주하고 다음 동작을 계획합니다. 하지만 실제로 이 접근 방식은 취약합니다. 모델이 실수할 때(물체가 가려져 있거나 시야가 불분명할 때 자주 발생합니다), 로봇은 거짓말에 기반한 계획을 따르게 됩니다. 로봇은 이미 열려 있는 문을 열려고 몇 분 동안 시간을 허비하거나, 더 심하게는 작업이 불가능하다고 생각하여 아예 포기해 버릴 수도 있습니다. 핵심 문제는 이러한 시스템이 불확실한 추측을 확실한 사실로 취급하여 오류에 대한 여지를 남겨두지 않는다는 점입니다.

이스라엘 테크니온(Technion)의 연구팀은 이 문제에 대해 다른 방식으로 생각할 것을 제안했습니다. 로봇에게 세상에 대해 단 하나의 경직된 추측을 강요하는 대신, 여러 가능성을 동시에 염두에 두도록 가르친 것입니다. 그들은 이를 RoVLaP라고 부릅니다. 이 시스템은 인공지능 모델에게 "책이 탁자 위에 있다" 또는 "책이 탁자 위에 없다"라고 말하라고 요구하는 대신, 각 시나리오가 얼마나 일어날 법한지를 말하라고 요청합니다. 예를 들어, 책이 탁자 위에 있을 확률이 60%, 서랍 안에 숨겨져 있을 확률이 40%라고 말할 수 있습니다. 이러한 확률을 유지함으로써, 로봇은 불확실성을 인정하는 세상에 대한 '믿음'을 구축할 수 있습니다. 로봇은 단순히 가장 가능성 높은 시나리오만을 위해 계획을 세우는 것이 아니라, 여러 가능한 시나리오를 동시에 고려하여 계획을 세웁니다.

연구진은 가상의 가구, 서랍, 물체들로 가득 찬 디지털 세계인 시뮬레이션된 가정 환경에서 이 아이디어를 테스트했습니다. 그들은 로봇에게 책을 선반에 정리하거나, 서랍을 정리하거나, 문을 잠그는 것과 같은 일반적인 가사 노동 과제를 부여했습니다. 이 테스트에서 로봇은 숨겨진 물체의 위치에 대한 특별한 지식 없이 오로지 카메라가 볼 수 있는 것에만 의존해야 했습니다. 그들은 이 새로운 방식과 두 가지 다른 일반적인 접근 방식을 비교했습니다. 하나는 AI 모델이 로봇에게 단계별로 직접 지시하는 방식이고, 다른 하나는 모델이 표준 플래너가 사용할 수 있도록 방에 대한 단 하나의 고정된 설명을 제공하는 방식입니다.

결과는 새로운 접근 방식의 명확한 우위를 보여주었습니다. 시뮬레이션 테스트에서 표준 방식들은 로봇의 시야가 가려지거나 오도될 때 자주 완전히 실패했습니다. 예를 들어, 그릇이 닫힌 캐비닛 안에 숨겨져 있는 과제에서, 표준 로봇은 그릇이 보일 것이라고 가정하고 즉시 잡으려 시도하다가 매번 실패했습니다. 그러나 새로운 시스템은 그릇이 숨겨져 있을 수 있다는 점을 인식했습니다. 이 시스템은 먼저 캐비닛을 여는 과정을 포함하는 일련의 행동을 계획했습니다. 이 단 한 번의 변화가 표준 방식이 실패한 상황에서 로봇이 성공할 수 있게 해주었습니다. 어려운 과제에서 새로운 시스템은 66.7%의 문제를 해결한 반면, 표준 "그라운더(grounder)" 방식은 하나도 해결하지 못했습니다. 중간 난이도의 과제에서 이 시스템은 표준 방식에 비해 성공률을 160% 이상 향상시켰습니다.

단순히 더 많은 과제를 해결하는 것을 넘어, 이 새로운 시스템은 더 효율적이었습니다. 처음부터 불확실성을 고려하여 계획을 세웠기 때문에, 실수를 덜 저질렀고 계획을 재시작해야 하는 횟수도 적었습니다. 표준 방식들은 종-종 멈춰서 자신들이 틀렸음을 깨닫고 다시 시도해야 했기에 시간과 에너지를 낭비했습니다. 반면 새로운 시스템은 초기 혼란을 처리할 수 있을 만큼 견고한 계획을 생성하여 다시 생각하기 위해 멈출 필요 없이 움직였습니다. 로봇은 첫 번째 추측이 틀릴 가능성에 대비하고 만약을 위한 백업 계획을 준비하며, 일종의 신중한 자신감을 가지고 움직였습니다.

연구진은 또한 이 방법이 수학적으로 타당하다는 것을 증명했습니다. 그들은 인공지능 모델이 무작위 추측보다 조금이라도 더 낫다면, 로봇이 관찰과 믿음 업데이트를 지속할 경우 결국 세상의 실제 상태를 파악하게 될 것임을 보여주었습니다. 이 시스템은 모델이 완벽할 것을 요구하지 않습니다. 단지 동전 던지기보다 일관되게 나은 수준이면 충분합니다. 시간이 흐름에 따라 로봇이 더 많은 시각적 증거를 수집하면 불확실성은 줄어들고 계획은 더욱 정밀해집니다. 이는 안전망을 제공합니다. 설령 로봇이 잘못된 생각을 가지고 시작하더라도, 시스템은 충돌하거나 멈추지 않고 스스로를 수정하도록 설계되었습니다.

이 연구는 자율 에이전트를 구축하는 방식의 변화를 나타냅니다. 로봇이 행동하기 위해 진실을 알아야 한다는 생각에서 벗어나, 불확실할 때도 현명하게 행동할 수 있다는 방향으로 나아가는 것입니다. 세상을 단 하나의 고정된 현실이 아닌 일련의 가능성으로 다룸으로써, 로봇은 더 적응력이 높고 신뢰할 수 있게 됩니다. 시뮬레이션된 가정에서 이는 숨겨진 물체를 볼 수 없을 때 포기하는 로봇과, 인내심 있게 캐비닛을 열어 그것을 찾아내는 로봇 사이의 차이를 의미했습니다. 빛이 변하고, 물체가 움직이며, 시야가 가려지는 실제 가정으로 로로봇이 이동함에 따라, 미지의 것을 계획하는 이 능력은 그들을 진정으로 유용한 동반자로 만드는 핵심이 될 수 있습니다.

기술 요약: 학습된 시각적 인지와 기호적 믿음 공간 계획 간의 가교: 확률적 접지(Probabilistic Grounding)를 통하여

문제 정의

부분 관측 가능한 환경에서 작동하는 로봇 에이전트는 인지와 행동 결과의 불확실성으로 인해 상당한 어려움에 직면한다. 전통적인 계획 프레임ка워크는 대개 폐쇄 세계 가정(Closed World Assumption, CWA)이나 결정론적 기호 접지에 의존하며, 관측되지 않은 사실을 거짓으로 간다거나 VLM의 예측을 절대적인 진리로 취급한다. 시각-언어 모델(VLM)을 계획 루프에 통합하는 최근의 시도들은 두 가지 패러다임을 도입했다: VLM-as-planner(이미지를 액션 시퀀스로 직접 매핑)와 VLM-as-grounder(이미지를 기성 플래너를 위한 결정론적 기호 상태로 매핑)이다.

저자들은 두 패러다임 모두 시각적 접지의 내재된 불확실성을 고려하지 못한다고 주장한다. 가사 로봇 공학과 같이 물체가 가려져 있거나, 숨겨져 있거나, 모호할 수 있는 도메인에서 VLM 출력을 결정론적으로 취급하는 것은 취약한 계획을 초래한다. 만약 VLM이 상태를 잘못 예측한다면(예: 로봇이 물체를 잡고 있다고 믿지만 실제로는 그렇지 않거나, 숨겨진 물체를 감지하지 못하는 경우), 결과적인 계획은 즉시 실패하여 비용이 많이 드는 재계획을 요구하거나 작업 실패를 야기할 수 있다. 핵심 문제는 어떻게 VLM을 기호적 상태 추정에 활용하면서도, 그로 인해 발생하는 지각적 불확실성 하에서 명시적으로 모델링하고 계획할 것인가이다.

방법론: 강건한 시각-언어 계획 (RoVLaP)

본 논문은 VLM-as-probabilistic-grounder라고 명명된 세 번째 패러다임인 RoVLaP를 소개한다. 이 접근 방식은 VLM을 순응적 확률 계획(Conformant Probabilistic Planning, CPP) 프레임워크에 통합한다. 파이프라인은 세 가지 주요 구성 요소로 이루어진다:

1. VLM 기반 기호 상태 추정

RoVLaP는 VLM에 작업 관련 플루언트(fluent, 술어)에 대한 결정론적인 "참/거짓" 라벨을 묻는 대신, "true", "false", "null" 토큰에 대한 확률 분포를 쿼리한다.

확률적 접지 (Probabilistic Grounding): 각 플루언트 $f$ 에 대해, 시스템은 VLM의 내부 토큰 확률을 추출한다. 만약 "null"이 가장 가능성 높은 토큰이라면(증거가 불충분함을 의미), 해당 확률은 0.5로 설정된다. 그렇지 않으면 "true"와 "false"의 확률을 정규화하여 해당 플루언트에 대한 믿음 $\beta_f$ 를 정의한다.
믿음 유지 (Belief Maintenance): 시스템은 개별 플루언트에 대한 **요인화된 믿음(factored belief)**을 유지한다. 시스템은 로그 의견 풀링(logarithmic opinion pooling)을 사용하여 시간이 지남에 따라 이 믿음을 업데이트하며, 이를 통해 에이전트가 연속적인 관측으로부터 증거를 축적할 수 있게 한다.
제약 조건 처리: 전체 상태 믿음을 생성하기 위해, 시스템은 플루언트 간의 조건부 독립을 가정하되, 불변량 발견 도구(예: Fast Downward)로부터 도출된 도메인 특화 제약 조건(예: 상호 배제)을 강제한다. 제약 조건을 위반하는 상태에는 0의 확률을 할당한다.

2. 순응적 확률 계획 (CPP)

믿음 상태 $\beta$ 가 확립되면, RoVLaP는 불확실성 하에서의 계획 문제를 공식화한다.

최빈 부분 집합 상태 (Most Likely Subset of States, MLSS): 시스템은 누적 확률이 사용자 정의 임계값 $\theta$ 를 초과하는 기호 상태들의 부분 집합 $b^I$ 를 식별한다. 이는 제약 조건이 없는 믿음 순서대로 상태를 탐색하고 도메인 제약을 만족하는 상태를 필터링하는 검색 알고리즘(Algorithm 1)을 통해 수행된다.
계획 합성 (Plan Synthesis): 순응적 플래너(CPOR)를 호출하여, 선택된 MLSS 내의 모든 상태에 대해 목표를 달성하는 것이 보장되는 단일 계획을 찾는다. 이는 믿음 분포에 포착된 구체적인 불확실성에 대해 강건한 계획을 보장한다.

3. 실행 및 재계획

실행 루프는 현재의 믿음과 관측된 결과 사이의 일치 여부를 모니터링한다.

재계획 트리거: 시스템은 다음의 경우 재계획을 트리거한다:
1. 불가능한 계획: 새로운 관측에 따라 현재 계획의 성공 확률이 $\theta$ 미만으로 떨어지는 경우.
2. 안전하지 않은 행동: 전제 조건이 전체 믿음 집합 전체에서 충족되지 않는 행동이 감지된 경우("환각된 확실성" 방지).
3. 계획 고갈: 계획이 작업을 완료하는 데 실패한 경우.
이 메커니즘은 단순히 단일 단계의 지각 오류에 반응하는 것이 아니라, VLM의 불일치로 인한 **믿음 표류(belief drift)**를 명시적으로 추론한다.

주요 기여

VLM-as-Probabilistic-Grounder: 결정론적인 기호 접지나 직접적인 액션 생성을 넘어, VLM으로부터 플루언트별 확률을 추출하여 명시적인 기호적 믿음을 유지하는 새로운 패러다임.
강건한 시각적 계획 (Robust Visual Planning, RVP)의 공식화: 지각적 불확실성(관측-상태 매핑)과 부분 관측 가능성을 모두 고려하는 시각적 로봇 도메인을 위한 원칙적인 정의.
RoVLaP 프레임워크: VLM 유도 믿음을 순응적 확률 계획 문제로 컴파일하여, 기성 플래너를 활용해 강건한 계획을 생성하는 완전한 시스템.
이론적 보장: VLM이 (예: 약한 보정(weakly calibrated) 및 최소 가시성 비율) 특정 조건 하에서 실제 상태가 MLSS에 포함될 것임을 보장하여 만족스러운 계획의 존재를 보장한다. 또한 결정론적 베이스라인과 비교하여 안전하지 않은 행동에 대한 안전 보장을 제공한다.

실험 결과

저자들은 iGibson 기반의 가사 로봇 도메인인 ViPlan-HH 벤치마크에서 RoVLaP를 평가했다. 평가는 특권 정보(숨겨진 물체의 그라운드 트루스)를 제거하여 진정한 부분 관측 가능 환경을 만들도록 수정되었다.

비교 성능: RoVLaP는 VLM-as-planner (VLM-P) 및 **VLM-as-grounder (VLM-G)**와 비교되었다.
- 성공률: Ro-VLaP는 모든 난이도 수준에서 현저히 높은 성공률을 기록했다. "Hard" 작업에서 VLM-G는 0%의 성공률을 보인 반면, RoVLaP는 66.7%를 해결했다. "Medium" 작업에서 RoVLaP는 VLM-G 대비 성공률을 166.8% 향상시켰다.
- 효율성: RoVLaP는 베이스라인들에 비해 플래너 호출 횟수가 적었으며(1.9~~10.0배 적음), 실행된 액션 수도 적었다(평균 1.2~~6.8회 적음). 이는 강건한 초기 계획이 반응적인 재계획의 필요성을 줄였음을 나타낸다.
질적 분석: 숨겨진 물체(예: 닫힌 캐비닛 안의 그릇)가 포함된 시나리오에서 VLM-P와 VLM-G는 물체가 도달 가능하거나 가시적이라고 가정했기 때문에 자주 실패했다. 반면 RoVLaP는 숨겨진 상태에 대한 확률 분포를 유지하며, 먼저 용기를 여는 과정을 포함하는 계획을 생성함으로써 물체의 초기 가시성과 관계없이 성공했다.

의의 및 주장

본 논문은 RoVLaP가 상징적 추론의 해석 가능성을 희생하지 않으면서도, 어떻게 파운데이션 모델을 불확실성 하에서의 신뢰할 수 있는 계획에 활용할 수 있는지 보여준다고 주장한다. VLM 출력을 결정론적인 사실이 아닌 확률적 증거로 취급함으로써, 이 접근 방식은 학습된 지각과 강건한 의사결정 사이의 간극을 메운다.

저자들은 자신의 방법이 완벽한 VLM을 요구하는 것이 아니라, VLM이 "약하게 보정되어(weakly calibrated)" 있어야 하며(무작위 추측보다 지속적으로 나은 성능을 보임), 시스템이 시간의 흐름에 따라 증거를 축적할 수 있는 능력에 의존한다는 점을 강조한다. 이 연구는 지각적 불확실성을 무시하는 것이 취약한 로봇 동작으로 이어지는 반면, 이를 믿음 공간 계획을 통해 명시적으로 모델링하는 것이 복잡하고 실제와 유사한 환경에서 모호함, 가림, 센서 노이즈를 효과적으로 처리할 수 있게 함을 보여준다. 저자들은 향후 연구로서 능동적 감지(active sensing)와 이러한 방법들을 더 넓은 과업 및 동작 계획(TAMP) 시스템에 통합하는 것을 언급하며 결론을 맺는다.