From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

이 논문은 사전 학습된 비전 - 언어 모델 (VLM) 을 활용하여 시각적 술어 (predicates) 를 추출하고 최적화 기반 학습을 통해 추상적 심볼릭 세계 모델을 구축함으로써, 제한된 짧은 시퀀스 데모만으로도 다양한 물체, 배경, 그리고 훈련 시 보지 못한 긴 시간 범위의 새로운 목표에 대해 제로샷 일반화가 가능한 로봇 의사결정 시스템을 제안합니다.

핵심

🤖 1. 문제: 로봇은 왜 멍청할까?

상상해 보세요. 로봇이 "식탁을 닦아줘"라는 명령을 받으면, 보통 로봇은 정해진 대로만 움직입니다.

• 기존 방식: "식탁에 컵이 있으면 컵을 치우고, 그다음 닦아라"라고 프로그래밍해 두면, 컵이 없는데 식탁에 책이 놓여 있으면 로봇은 당황해서 멈춥니다. "책은 치우지 않는다고 했잖아!"라고 생각하니까요.
• 한계: 로봇은 새로운 상황 (책이 있는 경우, 식탁이 아닌 테이블인 경우) 이 나오면 전혀 대처를 못 합니다. 마치 레시피를 외운 요리사가, 레시피에 없는 재료가 나오면 당황하는 것과 같습니다.

💡 2. 해결책: 'pix2pred'라는 새로운 로봇 두뇌

이 논문은 로봇에게 새로운 요리법 (규칙) 을 스스로 찾아내게 하는 방법을 제안합니다. 이를 **'pix2pred'**라고 부릅니다.

🎨 비유 1: 요리사 vs. 미식가

• 기존 로봇 (요리사): 레시피 (데이터) 에 있는 '계란 후라이'만 만들 수 있습니다. '계란' 대신 '두부'가 나오면 "이건 계란이 아니야!"라고 거부합니다.
• pix2pred 로봇 (미식가): "음, 이 재료는 '계란'과 비슷하게 노랗고 둥글네. 그럼 이걸 '계란'이라고 부르고, 계란을 다루는 방식 (프라이팬에 넣기) 을 적용해 볼까?"라고 유추합니다.

이 로봇은 **AI(대규모 언어 모델)**를 고용해서, 카메라로 찍은 사진을 보고 "저건 컵이야", "저건 비어있어", "저건 바닥에 떨어져 있어" 같은 **논리적 규칙 (술어)**을 스스로 찾아냅니다.

🧩 비유 2: 레고 블록을 조립하는 과정

1. 시작 (학습): 인간이 로봇에게 "컵을 치우고 식탁을 닦아"라는 시범을 몇 번 보여줍니다. (데이터 6~10 개만 필요!)
2. 생각 (규칙 찾기): 로봇은 AI 를 통해 사진을 분석하며 "아! 컵이 식탁 위에 있으면 '컵이 식탁 위에 있다'는 규칙이 생기고, 컵을 치우면 '식탁이 비었다'는 규칙이 생기네"라고 새로운 규칙들을 발명합니다.
3. 선별 (필요한 것만 고르기): AI 가 너무 많은 규칙을 만들어냅니다. "컵이 빨간색이다", "컵이 둥글다", "컵이 유리다" 등. 로봇은 이 중에서 실제로 일을 해결하는 데 필요한 규칙들만 골라냅니다. (예: "컵이 식탁 위에 있다"는 중요하지만, "컵이 빨간색이다"는 식탁 닦기와는 상관없으니 버림).
4. 실행 (계획 세우기): 이제 새로운 상황 (예: 식탁이 아닌 의자에 컵이 있음) 이 와도 로봇은 "아, 의자에도 컵이 있을 수 있구나. 그럼 '의자 위에 컵이 있다'는 규칙을 적용해서 치우면 되겠네!"라고 스스로 계획을 세우고 행동을 실행합니다.

🌟 3. 왜 이 방법이 놀라운가? (실제 성과)

연구진은 이 방법을 실제 Boston Dynamics 의 Spot 로봇과 시뮬레이션에서 테스트했습니다.

• 상황: 로봇은 훈련할 때 "컵을 치우고 식탁을 닦는" 모습만 봤습니다.
• 테스트: 실제 실험에서는 커피 머신을 작동시키거나, 버거를 여러 개 쌓거나, 쓰레기통을 비우고 다시 치우는 전혀 새로운 일을 시켰습니다.
• 결과: 기존 로봇들은 완전히 멈췄지만, 이 로봇은 **"아, 쓰레기통이 가득 차 있으니 먼저 비워야겠다"**라고 생각하며 스스로 해결했습니다. 마치 유아기 아이가 "엄마가 컵을 치우면 식탁이 깨끗해지더라"는 원리를 깨닫고, "그럼 이 책도 치우면 방이 깨끗해지겠네!"라고 스스로 적용하는 것과 같습니다.

🚀 4. 핵심 요약

이 논문은 로봇에게 **"정해진 명령만 따르는 기계"**가 아니라, **"상황을 보고 원리를 깨닫고 새로운 일을 해내는 지능"**을 심어주는 방법을 제시합니다.

• 핵심 기술: 카메라 (눈) + AI (두뇌) = 자신만의 논리 규칙 (머리)
• 장점: 아주 적은 데이터 (몇 번의 시범) 로도 어떤 상황에서도 유연하게 대처할 수 있습니다.
• 미래: 앞으로 로봇이 우리 집 부엌에서 요리하거나, 복잡한 공장 일을 할 때, 매번 프로그래머가 코드를 고칠 필요 없이 로봇이 스스로 상황을 판단하고 일할 수 있는 시대가 올 것입니다.

한 줄 요약:

"로봇에게 레시피를 외우게 하지 말고, '재료와 도구'의 관계를 이해하게 만들어, 새로운 요리도 스스로 해내게 하자!"

기술 요약

논문 요약: From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

이 논문은 복잡한 로봇 조작 환경에서 저수준의 시각적 입력 (픽셀) 을 기반으로 장기적인 의사결정 문제를 해결하기 위해, 사전 훈련된 비전 - 언어 모델 (VLM) 을 활용하여 심볼릭 월드 모델 (Symbolic World Models) 을 자동으로 학습하는 새로운 방법론인 pix2pred를 제안합니다.

1. 문제 정의 (Problem)

로봇이 다양한 가정 환경에서 "식탁 닦기", "주스 만들기"와 같은 장기적이고 복잡한 작업을 수행하려면, 단순히 저수준의 기술 (Skills) 을 나열하는 것을 넘어 추상적인 세계 모델을 이해하고 계획 (Planning) 을 세워야 합니다. 기존 접근법의 한계는 다음과 같습니다.

• 시뮬레이션과 현실의 괴리: 복잡한 환경 변화 (객체 수, 배치, 배경, 목표의 다양성) 에 대한 일반화가 어렵습니다.
• 예측 불가능한 변수: 훈련 시 보지 못한 새로운 목표나 객체 구성에 대해 모델이 실패합니다.
• 상징적 표현의 부재: 기존 딥러닝 기반 방법들은 종종 블랙박스처럼 작동하여 해석 가능한 추상적 개념 (Predicates) 을 명시적으로 학습하지 못합니다.
• 데이터 부족: 효율적인 학습을 위해 많은 양의 상호작용 데이터가 필요하지만, 실제 로봇 환경에서는 이를 수집하기 어렵습니다.

이 연구는 **소수의 짧은 시범 (Demonstrations)**과 저수준의 기술 라이브러리만 주어졌을 때, 카메라 이미지 (픽셀) 에서 직접 추상적인 심볼릭 관계 (Predicates) 를 발견하고 이를 바탕으로 새로운 목표에 대해 0-shot(Zero-shot) 으로 일반화하여 계획을 수립하는 것을 목표로 합니다.

2. 방법론 (Methodology: pix2pred)

제안된 방법론인 pix2pred는 VLM 의 지각적 grounding 능력과 프로그램 합성 (Program Synthesis) 프레임워크를 결합합니다. 주요 과정은 다음과 같습니다.

2.1. 시각적 술어 (Visual Predicates) 제안 및 생성

• VLM 을 활용한 후보 생성: 훈련 시나리오 (시범) 의 이미지와 행동 설명을 VLM 에 입력하여, 작업 수행에 관련될 수 있는 다양한 시각적 술어 (예: NoObjectsOnTop(?table), IsEraser()) 의 후보 목록을 생성합니다.
• 구체화 (Grounding): 생성된 자연어 기반의 술어 후보들을 실제 객체 (Object) 와 연결하여 구체적인 문장 (Ground Atoms) 으로 변환합니다.

2.2. VLM 을 통한 술어 평가 (Labeling)

• 이미지 기반 진위 판별: 생성된 후보 술어들이 특정 상태 (이미지) 에서 참 (True) 인지 거짓 (False) 인지 VLM 에게 직접 질문하여 라벨링합니다.
• Chain-of-Thought 활용: VLM 이 단순히 참/거짓만 판단하는 것이 아니라, 이미지 간의 변화와 행동의 결과를 설명하도록 유도하여 라벨링의 정확도를 높입니다.

2.3. 최적화를 통한 술어 및 연산자 선택 (Subselection)

• 힐 클라이밍 (Hill-climbing) 최적화: 수백 개의 후보 술어 중에서 실제 계획 (Planning) 에 가장 효율적이고 중요한 소수의 술어 집합을 선택합니다.
• 목표 함수: 선택된 술어 집합으로 학습된 심볼릭 월드 모델이 시범 데이터를 얼마나 잘 설명하고, 새로운 목표에 대해 효율적으로 계획을 수립할 수 있는지를 최적화합니다.
• 노이즈 처리: VLM 의 라벨링 오류를 고려하여, 약간의 노이즈가 있더라도 일관된 연산자 (Operator) 를 학습할 수 있도록 '소프트 인터섹션 (Soft Intersection)' 기법을 적용합니다.

2.4. 계획 및 실행 (Planning & Execution)

• 학습된 심볼릭 모델 (술어와 연산자) 을 기반으로, 새로운 목표가 주어졌을 때 **검색 기반 계획 알고리즘 (Search-based Planner)**을 사용하여 저수준 기술들의 시퀀스를 생성합니다.
• 실행 시에는 VLM 을 통해 현재 상태의 심볼릭 설명을 생성하고, 이를 기반으로 계획을 수정하거나 재계획합니다.

3. 주요 기여 (Key Contributions)

1. VLM 기반 술어 발명 (Predicate Invention): 인간이 직접 정의하지 않아도 VLM 을 통해 작업에 필요한 추상적 개념 (술어) 을 자동으로 발견하고, 이를 픽셀 기반의 세계 모델로 변환하는 새로운 프레임워크를 제시했습니다.
2. 강력한 일반화 능력: 훈련 데이터에서 보지 못한 객체 수, 배치, 배경, 그리고 훨씬 더 긴 시간 범위 (Long-horizon) 의 목표에 대해 성공적으로 일반화하는 것을 입증했습니다.
3. 실제 로봇 적용: Boston Dynamics Spot 로봇을 사용하여 실제 물리 환경 (청소, 주스 제조) 에서 소수의 인간 시범 (6~10 개) 만으로 복잡한 장기 작업을 성공적으로 수행했습니다.
4. 효율적인 계획: VLM 이 제안한 방대한 후보군 중 계획에 필수적인 핵심 술어만 선별하여, 과적합을 방지하고 계산 효율성을 높였습니다.

4. 실험 결과 (Results)

연구진은 시뮬레이션 (Kitchen, Burger, Coffee 등) 과 실제 로봇 환경 (Cleanup, Juice) 에서 다양한 베이스라인 (ViLa, VLM 직접 선택 등) 과 비교 실험을 수행했습니다.

• 성공률: pix2pred 는 대부분의 시뮬레이션 및 실제 환경에서 가장 높은 성공률을 기록했습니다. 특히, 훈련 시 보지 못한 복잡한 목표 (예: 쓰레기통 비우기 후 청소, 여러 컵에 커피 따르기) 에서 기존 방법들 (ViLa 등) 이 실패한 반면, pix2pred 는 성공했습니다.
• 장기 계획 능력: 15 개 이상의 행동이 필요한 긴 작업 (Burger 만들기 등) 에서 ViLa 는 훈련 데이터의 패턴 매칭에 머무르며 실패했으나, pix2pred 는 추상적 모델을 통해 올바른 행동 순서를 구성했습니다.
• 서브셀렉션의 중요성: VLM 이 제안한 모든 술어를 사용하는 경우 (No subselect) 나 VLM 이 직접 선택하는 경우 (VLM subselect) 보다, 최적화를 통해 핵심 술어만 선별하는 pix2pred 의 성능이 압도적으로 뛰어났습니다. 이는 불필요한 술어가 모델 학습을 방해하고 과적합을 유발함을 보여줍니다.
• 실제 로봇 성능: Boston Dynamics Spot 로봇을 통해 훈련 시 보지 못한 새로운 방 (배경), 새로운 객체, 그리고 훈련 시 보지 못한 목표 조합 (예: 쓰레기통에서 지우개를 꺼내서 청소하기) 을 성공적으로 수행했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비전 - 언어 모델 (VLM) 의 지각 능력과 심볼릭 계획 (Symbolic Planning) 의 추론 능력을 효과적으로 결합한 획기적인 접근법을 제시합니다.

• 해석 가능성: 로봇이 왜 그런 행동을 했는지 추상적인 술어 (예: "테이블 위에 물체가 없다") 를 통해 설명할 수 있어 신뢰성을 높입니다.
• 데이터 효율성: 실제 로봇과의 상호작용 없이 인간이 촬영한 짧은 시범 영상만으로 복잡한 세계 모델을 학습할 수 있어, 실제 로봇 학습의 비용과 시간을 크게 절감할 수 있습니다.
• 미래 전망: 이 연구는 로봇이 새로운 환경과 작업에 적응할 수 있는 진정한 의미의 "일반 지능 (General Intelligence)"을 향한 중요한 단계로, 구조화되고 해석 가능한 세계 모델을 학습하여 복잡한 로봇 조작 문제를 해결하는 새로운 패러다임을 제시합니다.

한계점으로는 현재 객체 식별을 위해 수동으로 기술자 (Descriptor) 를 제공해야 하며, VLM 의 라벨링 오류가 계획 실패의 주요 원인이 될 수 있다는 점이 지적되었으나, 향후 자동화 및 노이즈 강인성 향상을 통해 해결될 수 있을 것으로 기대됩니다.