🤖 AI

CWM: Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines

이 논문은 물리적 실행 가능성과 미묘하게 다른 부정확한 행동 간의 구분을 명확히 하기 위해 hard-mined 부정 예제를 활용한 InfoNCE 대비 학습을 통해 대규모 언어 모델을 미세 조정하는 'CWM(Contrastive World Model)'을 제안하여, 기존 지도 학습 방식보다 embodied agent 의 행동 실행 가능성 판별 정확도와 안전 마진을 크게 향상시켰음을 보여줍니다.

원저자: Chayan Banerjee

게시일 2026-02-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chayan Banerjee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 비유: "요리 실습 수업"과 "요리사 면접"

생각해 보세요. 어떤 AI 가 요리사 면접을 보고 있다고 가정해 봅시다. 면접관은 "지금 냄비에 물을 넣고 불을 켜야 해"라고 말합니다.

1. 기존 방식 (SFT): "정답 암기형" 요리사

기존의 AI 는 정답을 외우는 방식으로 훈련받았습니다.

면접관: "물을 끓여."
AI: "네, 알겠습니다. (물 끓이기)" -> O
면접관: "물을 식혀."
AI: "네, 알겠습니다. (물 식히기)" -> O

하지만 문제는 미묘한 함정이 있을 때 발생합니다.

면접관: "물을 식혀." (실제로는 끓여야 하는 상황인데, AI 는 '식혀'라는 단어만 보고 '식히기'를 선택할 수 있음)
기존 AI: "물 식히기"를 선택합니다. (물론 틀렸죠. 물이 식으면 요리가 망칩니다.)

기존 방식은 각 행동이 맞는지 틀린지 개별적으로만 판단합니다. "식히기"라는 단어 자체는 문법적으로 맞으니까 통과시키는 거죠. 하지만 물리적으로는 완전히 반대되는 행동입니다.

2. 새로운 방식 (CWM): "비교와 경쟁"을 시킨 요리사

저자가 만든 **CWM(Contrastive World Model)**은 조금 다릅니다. 이 방식은 AI 에게 **"이것과 저것 중 무엇이 더 현실적인가?"**를 비교하게 훈련시킵니다.

훈련 과정:
- 면접관: "여기서 할 수 있는 행동은 '물 끓이기'와 '물 식히기' 두 가지야. 둘 다 문장은 비슷해. 근데 지금 상황은 물을 끓여야 해."
- CWM AI: "아! '물 끓이기'가 정답이고, '물 식히기'는 함정이구나. 두 가지가 얼마나 다른지 비교해서 정답을 더 높게 점수 주고, 함정은 더 낮게 점수 주겠어!"

이 방식은 AI 가 **가장 헷갈리는 함정 (하드 네거티브)**들을 의도적으로 많이 보여주면서, "정답과 오답의 경계선"을 명확히 구분하도록 가르칩니다. 마치 요리사에게 "이 두 가지 재료 중 어떤 게 이 요리에 맞지?"라고 계속 물어보며 훈련시키는 것과 같습니다.

🔍 이 연구가 발견한 놀라운 사실

논문의 실험 결과 (ScienceWorld 라는 게임 환경에서 테스트) 는 다음과 같습니다.

완벽한 오답은 둘 다 잘 골라냄:
- "공을 먹어라" 같은 말도 안 되는 행동은 기존 방식도 새 방식도 잘 걸러냈습니다. (이건 너무 쉬워서 비교할 게 없음)
미묘한 함정에서 CWM 이 압도적:
- **"물을 식히라" vs "물을 끓이라"**처럼, 단어 하나만 바뀌고 물리적으로 정반대인 상황에서는 기존 방식이 자주 틀렸습니다.
- 하지만 CWM은 이런 미묘한 차이를 6.76% 더 정확하게 찾아냈습니다.
- 비유하자면: 기존 AI 는 "식히기"라는 단어에 속아 넘어갔지만, CWM 은 "아, 지금 상황에서는 식히면 안 되지!"라고 물리 법칙을 비교해서 깨달은 것입니다.
예상치 못한 상황 (새로운 요리 레시피) 에서도 강함:
- 훈련할 때 보지 못한 새로운 미션이 주어졌을 때, CWM 은 "정답이 10 개 중 몇 번째에 있을까?"를 더 잘 예측했습니다.
- 기존 방식은 헷갈려서 정답을 뒤로 밀어냈지만, CWM 은 정답을 여전히 앞쪽에 두었습니다. 이는 AI 가 새로운 환경에 들어갔을 때 실수를 덜 한다는 뜻입니다.

💡 왜 이게 중요할까요?

이 연구는 **"AI 가 단순히 문장을 맞추는 게 아니라, 물리적인 세계의 법칙을 이해해야 한다"**는 것을 증명했습니다.

기존: "이 문장이 맞니?" (문법/통계 중심)
새로운 CWM: "이 행동이 지금 상황에서 물리적으로 가능한가? 불가능한 것들과 비교해 봐." (물리/현실 중심)

미래에 우리가 로봇을 집이나 공장에 보내고 싶다면, 로봇이 "벽을 통과해" 같은 불가능한 행동을 시도하다가 고장 나거나 위험한 일을 당하지 않게 해야 합니다. CWM은 바로 그 "불가능한 행동을 미리 차단하는 똑똑한 문지기" 역할을 더 잘 해낼 수 있게 해주는 기술입니다.

📝 한 줄 요약

"기존 AI 는 정답을 외웠지만, 새로운 AI(CWM) 는 정답과 오답을 비교하며 물리 법칙을 깨달아, 헷갈리는 함정에서도 훨씬 똑똑하게 행동합니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 물리적 환경에서 작동하는 임베디드 에이전트 (Embodied Agent) 는 매 단계에서 "현재 상태에 물리적으로 실행 가능한 행동은 무엇인가?"를 판단해야 합니다.
핵심 병목 현상: 기존 에이전트 파이프라인은 계획 (Planning) 이나 추론 (Reasoning) 전에 실행 가능한 행동 후보를 선별하는 '행동 점수 매기기 (Action Scoring)' 모듈이 필수적입니다.
기존 방법의 한계: 현재 널리 사용되는 **지도 미세 조정 (Supervised Fine-Tuning, SFT)**은 각 행동 후보를 독립적으로 '유효/무효'로 분류하는 이진 분류 문제로 접근합니다.
- 문제점: SFT 는 명확하게 틀린 행동 (예: "그것을 먹을 수 없다") 과 구분하기 쉽지만, **물리적으로 매우 유사하지만 미세하게 다른 행동 (Hard Negatives)**을 구별하는 데 취약합니다. 예를 들어, "물을 데우다"와 "물을 식히다"처럼 문법적/의미적 유사성은 높지만 물리적 결과가 정반대인 경우를 SFT 는 잘 구분하지 못합니다.
목표: 물리적으로 실행 가능한 행동과 실행 불가능한 행동 (특히 Hard Negative) 을 명확히 구분하고, 유효 행동을 불유효 행동보다 높은 점수로 순위 매길 수 있는 더 강력한 스코어러 개발.

2. 제안 방법론: CWM (Contrastive World Model)

저자는 행동 점수 매기기를 단순 분류가 아닌 대비 학습 (Contrastive Learning) 문제로 재정의하여 CWM을 제안합니다.

모델 아키텍처:
- 기반 모델: Qwen-2.5-7B (LoRA 를 통해 미세 조정).
- 입력: 현재 상태 (자연어) 와 행동 후보.
- 출력: 행동의 유효성을 나타내는 스코어 (Log-likelihood).
학습 목표 (Objective):
- InfoNCE Loss: 주어진 상태 $s$ 에서 정답 행동 $a^+$ 가 $N$ 개의 부정적 행동 (Negatives) $a^-$ 들보다 높은 확률을 갖도록 Softmax 정규화 방식으로 학습합니다.
- 마진 정규화 (Margin Regularization): 정답과 부정 행동 간의 점수 차이를 일정 수준 ( $\gamma$ ) 이상 유지하도록 강제하여 점수 분포를 안정화합니다.
하드 네거티브 마이닝 (Hard Negative Mining):
- 학습 데이터의 질을 높이기 위해 환경 피드백 로그에서 4 가지 유형의 부정 데이터를 채취합니다.
  1. Type 1 (Silent Failures): 아무 변화가 없는 행동 (쉬운 부정).
  2. Type 2 (Explicit Rejections): 환경이 명시적으로 거절하는 행동 (중간 난이도).
  3. Type 3 (Cross-task Transplants): 다른 작업에서는 유효하지만 현재 문맥에서는 부적합한 행동 (어려운 부정).
  4. Type 4 (Minimal-edit Negatives, 평가용): 유효 행동의 물리적으로 중요한 단어 하나만 바꾼 것 (예: "데우다" $\to$ "식히다"). 가장 어려운 부정 데이터로, 물리적 경계를 테스트하는 핵심입니다.
- 학습 시 정답 1 개당 **16 개의 부정 행동 (N=16)**을 사용하여 강도 높은 대비 신호를 제공합니다.

3. 주요 기여 (Key Contributions)

CWM 아키텍처 제안: InfoNCE 손실 함수와 구조화된 하드 네거티브 마이닝 파이프라인을 통해 Qwen-2.5-7B 를 행동 스코어러로 미세 조정하는 방법 제시.
ScienceWorld 를 위한 하드 네거티브 분류 체계: 물리적으로 반대되는 결과를 초래하는 '최소 편집 (Minimal-edit)' 부정 데이터를 포함한 4 가지 유형 분류 체계 정립.
실증적 검증:
- 내재적 능력 평가 (Intrinsic Evaluation): 605 개의 하드 네거티브 테스트 쌍에 대한 정밀도 평가.
- 라이브 필터 특성 분석 (Live Filter Characterization): 실제 작업 수행 중 골드 경로 (정답) 행동이 상위권에 유지되는지 측정.

4. 실험 결과 (Results)

ScienceWorld 벤치마크를 통해 CWM 을 기존 SFT, 베이스 LLM(Zero-shot), 무작위 Baseline 과 비교했습니다.

실험 1: 내재적 어포던스 평가 (Intrinsic Affordance Evaluation)
- 최소 편집 (Minimal-edit) 카테고리: 물리적으로 반대되는 단어 하나만 바꾼 경우, CWM 은 **Precision@1 93.24%**를 기록하여 SFT(86.49%) 보다 +6.76%p 높은 성능을 보였습니다.
- AUC-ROC: CWM(0.929) 이 SFT(0.906) 보다 우수했습니다.
- 해석: SFT 는 정답과 오답 간의 절대 점수 차이는 크지만 (17.35 vs 13.10), Hard Negative 에서는 순위 매기기가 불안정했습니다. 반면 CWM 은 전체 부정 집합을 대비하여 학습했기 때문에 상대적 순위 매기기가 훨씬 정확했습니다.
실험 2: 에이전트 루프 내 필터 성능 (Filter Characterization)
- OOD (Out-of-Distribution) 스트레스 테스트: 학습 데이터에 없는 새로운 작업 환경 (온도계, 화학 혼합 등) 에서 평가.
- 안전 마진 (Safety Margin): 정답 행동 점수와 최상위 오답 행동 점수의 차이. CWM 은 -2.39로 SFT(-3.96) 보다 훨씬 안전 마진이 컸습니다. 이는 OOD 환경에서도 CWM 이 정답을 더 상위에 배치한다는 것을 의미합니다.
- GARR@K (Top-K 내 정답 유지율): Top-10 후보만 남길 때, CWM 은 OOD 환경에서도 약 49.6% 의 확률로 정답을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

학습 목표의 중요성: 물리적으로 구조화된 환경 (Embodied AI) 에서 행동 점수 매기기를 할 때, 개별 행동의 분류 (SFT) 보다 전체 후보군 간의 대비 학습 (Contrastive Learning) 이 더 효과적임을 입증했습니다.
Hard Negative 처리 능력: 특히 문법적/의미적 유사성이 높지만 물리적 결과가 정반대인 경우 (Minimal-edit) 에 SFT 가 실패하는 경향을 CWM 이 성공적으로 해결했습니다.
에이전트 설계에 대한 시사점:
- CWM 을 계획 (Planning) 모듈의 전처리 필터로 사용하면, 에이전트가 실행 불가능한 행동을 시도하는 낭비를 크게 줄일 수 있습니다.
- OOD 환경에서도 CWM 은 더 안정적인 순위 매기기를 제공하므로, 새로운 작업 도메인으로의 확장 시 더 안전한 선택지가 됩니다.
향후 작업: CWM 을 ReAct 또는 DRRN 같은 전체 에이전트 루프에 통합하여 종단 간 (End-to-End) 작업 수행 성공률을 높이는 연구가 예정되어 있습니다.

요약하자면, 이 논문은 임베디드 에이전트가 물리적으로 실행 가능한 행동을 식별하는 데 있어, 단순 지도 학습보다 대비 학습 (Contrastive Learning) 을 통해 Hard Negative 를 효과적으로 학습한 모델이 훨씬 더 강력하고 견고한 성능을 낸다는 것을 증명했습니다.