🤖 AI

Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents

본 논문은 LLM 기반 데이터 합성 전략을 통해 구축된 특수하게 훈련된 생성형 검증기를 활용하여 후보 행동을 샘플링하고 가장 신뢰할 수 있는 행동을 선택함으로써, 다중 모달 대규모 언어 모델 기반의 구체적 에이전트의 강건성을 향상시키는 테스트 시간 프레임워크인 검증기 안내 행동 선택 (VeGAS) 을 제안하며, 이는 기본 정책을 수정하지 않고도 복잡한 장기 작업에서 상당한 성능 향상을 달성합니다.

원저자: Nishad Singhi, Christian Bialas, Snehal Jauhri, Vignesh Prasad, Georgia Chalvatzaki, Marcus Rohrbach, Anna Rohrbach

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nishad Singhi, Christian Bialas, Snehal Jauhri, Vignesh Prasad, Georgia Chalvatzaki, Marcus Rohrbach, Anna Rohrbach

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇에게 집 청소를 가르치고 있다고 상상해 보세요. 로봇에게 간단한 지시를 내립니다: "스포츠 용품을 찾아서 카운터 위에 올려놓아라."

과거에 똑똑한 로봇에게 이런 일을 시켰다면, 로봇은 빠르게 훑어보고 다음에 무엇을 해야 할지 추측한 뒤 본인이 본 첫 번째 물건을 바로 집어 들었을 것입니다. 로봇이 공인 줄 알고 스펀지를 집어 들었다면, 로봇은 실패했을 것이며 전체 작업이 망가질 때까지 자신이 실수를 저질렀다는 사실을 깨닫지 못했을 것입니다. 이는 시험을 치르는 학생이 머릿속에 떠오르는 첫 번째 답을 적어내어 검토도 하지 않은 채 제출하는 것과 같습니다.

이 논문은 이러한 문제를 해결하기 위해 VEGAS(Verifier-Guided Action Selection, 검증자 안내 행동 선택) 라는 새로운 방법을 소개합니다. VEGAS 는 로봇이 행동하기 전에 '두 번째 의견'을 듣는 것과 같습니다.

문제: '충동적인' 로봇

현재의 로봇들은 매우 똑똑한 AI 모델(멀티모달 대규모 언어 모델이라고 함) 에 의해 구동됩니다. 이들은 언어를 이해하고 이미지를 파악하는 데 뛰어납니다. 하지만 이들은 다소 충동적인 천재와 같습니다. "바나나" 대신 "노란색으로 구부러진 과일"을 찾거나, 캐비닛에 넣기 전에 사과를 닦는 것과 같이 까다로운 상황에 직면했을 때, 그들은 종종 서둘러 답을 내립니다. 초기에 사소한 실수를 저지르면, "잠깐, 이게 정말 맞는 걸까?"라고 멈춰서 생각하지 않기 때문에 전체 계획이 무너집니다.

해결책: '한 번 더 생각하기' 전략

저자들은 간단하지만 강력한 변화를 제안합니다: 행동하기만 하지 말고, 두 번 생각한 뒤 한 번 행동하라.

VEGAS 가 어떻게 작동하는지 요리 비유를 들어 설명해 보겠습니다:

요리사 (정책): 로봇이 레시피를 따라 하려는 요리사라고 상상해 보세요. 재료를 하나 집어 냄비에 던져 넣는 대신, 요리사는 이제 멈춥니다.
테이스팅 메뉴 (샘플링): 요리사는 현재 단계를 해결할 16 가지의 서로 다른 방법을 생각해 냅니다. "토마토를 집어라", "양파를 집어라", "먼저 냉장고로 가라" 등등. 요리사는 각 옵션이 왜 좋은지 설명하는 작은 메모 (생각의 사슬) 를 작성합니다.
비평가 (검증자): 이것이 마법 같은 부분입니다. 요리사는 첫 번째 아이디어만 선택하지 않습니다. 모든 16 가지 아이디어를 실수를 찾아내도록 훈련된 전문 AI 인 비평가에게 넘깁니다.
- 비평가는 레시피와 요리사의 메모를 읽습니다.
- 비평가는 말합니다: "옵션 1 은 틀렸습니다. 공이 아니라 스펀지를 집었기 때문입니다."
- "옵션 2 는 틀렸습니다. 이미 닫혀 있는 전자레인지 열려고 했기 때문입니다."
- "옵션 3 이 완벽합니다!"
최종 행동: 요리사는 비평가가 '좋음' 표시를 한 한 가지 행동만 실행합니다.

비밀 재료: 비평가 훈련

"비평가로 그냥 아주 똑똑한 AI 를 쓸 수 있지 않나?"라고 생각하실 수 있습니다. 저자들은 이를 시도해 보았으나 실패했습니다. 범용 AI 는 로봇의 구체적인 실수를 잡아내기에는 너무 예의 바르거나 너무 모호합니다.

이를 해결하기 위해 저자들은 합성 실패 공장을 고안해 냈습니다.

그들은 수천 개의 성공적인 로봇 작업을 가져왔습니다.
강력한 AI 를 이용해 이를 고의적으로 망가뜨렸습니다. 로봇이 잘못된 물건을 집게 하거나, 단계를 건너뛰게 하거나, 잘못된 문을 열게 했습니다.
그런 다음 AI 에게 각 실수가 왜 나쁜지 설명하는 보고서를 작성하도록 요청했습니다.
그들은 이러한 "가짜 실수"와 "가짜 보고서"를 이용해 비평가를 훈련시켰습니다.

이는 위험한 행동을 하는 사람들의 수천 개의 영상을 보여주고 정확히 왜 그것이 위험한지 설명함으로써 안전 검사관을 훈련시키는 것과 같습니다. 이제 실제 로봇이 행동할 때, 비평가는 그러한 구체적인 오류들을 찾아내는 전문가가 됩니다.

결과

저자들은 로봇이 집안일을 해야 하는 두 가지 가상 세계 (Habitat 와 ALFRED) 에서 이를 테스트했습니다.

VEGAS 없이: 로봇은 약 65% 의 작업을 올바르게 수행합니다.
VEGAS 로: 로봇은 약 71% 를 올바르게 수행합니다.
가장 어려운 작업에서: 개선 폭은 매우 컸습니다. 이전보다 36% 까지 향상되었습니다.

이 논문은 로봇이 여러 옵션을 생성하게 하고 전문적인 '비평가'가 가장 좋은 것을 선택하게 함으로써, 로봇이 훨씬 더 신뢰할 수 있게 된다는 것을 보여줍니다. 특히 지시가 까다롭거나 상황이 새로운 경우 더욱 그렇습니다.

요약

이 논문은 이것이 내일 질병을 치료하거나 자동차를 운전하게 해줄 것이라고 주장하지 않습니다. 단순히 집안일을 하는 로봇에게 있어 작업을 확인하기 위해 속도를 늦추는 것(훈련된 검증자 사용) 은 로봇을 훨씬 더 똑똑하게 만들고, 상황이 복잡해질 때 실패할 가능성을 크게 줄인다고 주장할 뿐입니다. 이는 "추측하고 희망하는" 로봇을 "계획하고, 확인하고, 실행하는" 로봇으로 바꿉니다.

기술 요약: Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents

문제 제기

물리적 환경에서 복잡하고 장기적인 과제를 해결할 수 있는 범용 체화 에이전트 (generalist embodied agents) 를 구축하는 것은 여전히 근본적인 과제입니다. 멀티모달 대규모 언어 모델 (MLLM) 은 비전 - 언어 지식과 사고의 연쇄 (Chain-of-Thought, CoT) 프롬프팅을 통해 에이전트 추론을 발전시켰지만, 분포 외 (OOD) 시나리오에 직면하면 여전히 취약합니다. 현재 MLLM 기반 에이전트는 각 시간 단계에서 자기 수정이나 대안 경로 평가 능력이 없이 단일 탐욕적으로 디코딩된 행동에 의존합니다. 이러한 검증 부재는 "노란색 구부러진 과일" 대 "바나나"와 같은 문장 변형이 포함된 과제나 오류가 누적되어 성능이 저하되는 복잡한 다단계 추론 과제에서 실패로 이어집니다.

방법론: Verifier-Guided Action Selection (VEGAS)

저자들은 행동 실행 전에 명시적인 검증 단계를 도입하여 MLLM 기반 체화 에이전트의 견고성을 향상시키기 위해 설계된 테스트 시간 프레임워크인 VEGAS를 제안합니다.

핵심 메커니즘

VEGAS 는 추론 시 Best-of-N 절차를 통해 작동합니다:

후보 샘플링: 단일 행동을 디코딩하는 대신, 기본 정책이 각각 CoT 추론 흔적을 동반한 $N$ 개의 후보 행동 앙상블을 샘플링합니다.
생성적 검증: 학습된 생성적 검증기 (generative verifier) 가 각 후보를 평가합니다. 스칼라 점수를 출력하는 판별적 검증기와 달리, 생성적 검증기는 명시적인 추론 흔적 (비판) 을 생성한 후 이진 정확도 판단 (yes/no) 을 내립니다.
선택: 판단은 점수로 매핑됩니다 (정답 1, 오답 0). 에이전트는 여러 검증 샘플에 걸쳐 평균 점수가 가장 높은 후보 행동을 실행합니다.

주요 혁신: 합성 실패 학습

이 논문의 중요한 발견은 오프더셸 (off-the-shelf) MLLM 을 검증기로 사용할 경우 기본 정책 대비 개선 효과가 전혀 없다는 것입니다. 범용 언어 이해는 체화 검증을 위해 충분하지 않습니다. 표준 체화 데이터셋 (일반적으로 성공적인 시연만 포함) 에 실패 데이터가 부족하다는 문제를 해결하기 위해, 저자들은 LLM 기반 데이터 합성 파이프라인을 도입합니다:

CoT 증강: 성공적인 궤적에 CoT 추론 흔적을 증강합니다.
실패 합성: 교사 LLM(예: OpenAI o3) 을 프롬프팅하여 성공적인 궤적에서 현실적이고 다양한 실패 궤적을 생성하도록 합니다. 이러한 실패에는 잘못된 객체 선택, 잘못된 수용체 선택, 전제 조건 위반 (예: 보이지 않는 객체를 들어 올리려 시도), 잘못된 행동 순서가 포함됩니다.
검증 주석: 교사 LLM 은 성공 및 실패 궤적의 모든 행동에 검증 흔적과 정확도 판단을 주석으로 달아줍니다.
검증기 학습: 정답과 오답 예제의 합성 데이터셋으로 전용 MLLM 을 미세 조정하여 생성적 검증기로 활용합니다.

실험 설정

이 프레임워크는 OOD 일반화를 목표로 하는 두 가지 주요 벤치마크에서 평가되었습니다:

LangR (Habitat 2.0): 문장 변형 견고성과 행동 일반화 (예: 다중 객체 재배치) 에 중점을 둡니다.
EB-ALFRED (AI2-THOR): ALFRED 의 재구성 버전으로, 장기 과제, 상식 추론, 공간 이해를 평가합니다.

기본 정책과 검증기는 Qwen2.5-VL-3B-Instruct로 구현되었습니다. 실험은 VEGAS 를 다음과 비교했습니다:

CoT 없는 베이스라인.
CoT 전용 정책.
제로샷 검증기 (미세 조정 없이 동일한 모델 사용).
자기 일관성 (Self-Consistency, 검증기 없이 다수결 투표).
작은 미세 조정 검증기와 짝을 이룬 더 큰 오프더셸 정책 (예: Qwen-72B, Gemma-27B).

주요 결과

미세 조정의 필요성: 제로샷 검증기를 사용하면 CoT 베이스라인 대비 성능 향상이 없었습니다 (예: LangR 에서 64% 대 65%). **미세 조정된 검증기 (VEGAS)**만이 성능을 유의미하게 향상시켜 LangR 의 평균 성공률을 65% 에서 **71%**로, EB-ALFRED 에서 44% 에서 **49%**로 높였습니다.
확장성과 일반화: VEGAS 는 모든 작업 카테고리에서 일관된 개선을 보였으며, 특히 까다로운 다중 객체 장기 과제에서 가장 큰 개선 (최대 36% 상대적 향상) 이 관찰되었습니다.
교차 모델 개선: 작은 미세 조정 검증기 (3B 파라미터) 는 훈련된 적이 없는 훨씬 더 큰 오프더셸 정책의 성능을 성공적으로 향상시켰습니다. 예를 들어, EB-ALFRED 에서 Qwen-72B 정책의 성공률을 30% 에서 **38%**로 높였습니다.
효율성 대 자기 일관성: 테스트 시간 컴퓨팅을 확장할 때, VEGAS 는 다수결 투표에 의존하는 자기 일관성보다 더 효과적으로 확장되어 동일한 수의 LLM 호출로 더 가파른 성능 향상을 달성했습니다.
지연 시간: $N(M+1)$ 개의 LLM 호출이 필요함에도 불구하고 ( $N$ 은 후보 수, $M$ 은 후보당 검증 수), 병렬 샘플링으로 인해 실제 지연 시간은 관리 가능한 수준으로 유지됩니다 (예: $N$ 을 1 에서 16 으로 확장할 때 3 초에서 8 초로 증가).

의의 및 주장

이 논문은 VEGAS가 "한 번 행동하기"에서 "두 번 생각하고 한 번 행동하기"로 패러다임을 전환함으로써 견고한 체화 AI 를 향한 중요한 단계라고 주장합니다. 저자들은 다음과 같이 강조합니다:

검증은 추론과 구별됨: 단순히 여러 후보를 샘플링하는 것만으로는 부족하며, 물리적 제약과 작업 의미론의 맥락에서 올바른 행동과 잘못된 행동을 구별하기 위해 전문화된 미세 조정 검증기가 필요합니다.
데이터 합성이 중요함: 오프더셸 모델이 체화 행동을 검증하지 못한다는 사실은 수동 인간 주석 없이 검증기를 훈련할 수 있게 하는 합성 실패 데이터 생성의 필요성을 시사하며, 이는 중요한 기여입니다.
컴퓨팅 확장: 검증 을 통한 테스트 시간 컴퓨팅 확장은 체화 에이전트의 일반성을 향상시키는 실현 가능한 전략임을 이 프레임워크는 보여주며, 종종 단순히 모델 파라미터를 확장하는 것보다 더 나은 성과를 냅니다.

이 연구는 합성적으로 생성된 실패 모드로 훈련된 검증기에 의해 구동되는 테스트 시간의 명시적 검증이 까다로운 현실과 유사한 시나리오에서 체화 에이전트의 신뢰성을 크게 향상시킨다고 결론지었습니다.