Critic in the Loop: A Tri-System VLA Framework for Robust Long-Horizon Manipulation

이 논문은 VLM(고수준 추론) 과 VLA(저수준 실행) 의 장점을 결합하고 경량화된 비전 기반 '비평가'가 예외 상황에 따라 두 시스템을 동적으로 전환하도록 하여, 장기적 로봇 조작 작업의 견고성과 자율성을 획기적으로 향상시킨 'Critic in the Loop' 프레임워크를 제안합니다.

핵심

🍳 비유: "명령을 내리는 셰프, 빠르게 움직이는 조리사, 그리고 감시하는 비평가"

기존의 로봇들은 보통 두 가지 방식 중 하나만 썼습니다.

1. 생각만 많은 로봇 (VLM): 모든 동작을 하나하나 머리로 계산해서 명령을 내립니다. 하지만 머리가 너무 무거워서 움직이는 속도가 매우 느립니다. (예: "칼을 들어야지... 어? 칼이 어디 있지?..." 하다가 요리가 다 식어버림)
2. 행동만 빠른 로봇 (VLA): 머리는 거의 쓰지 않고 눈으로 보고 손이 가는 대로 빠르게 움직입니다. 하지만 복잡한 일이 생기면 당황해서 엉뚱한 행동을 하거나 멈춰버립니다. (예: "아이스크림을 꺼내라"고 했더니 냉장고 문을 열어놓고 멈춤)

이 논문은 이 두 가지를 합쳐서 세 명의 팀원으로 구성된 새로운 시스템을 만들었습니다.

1. System 2: "두뇌 (The Brain)" - 셰프

• 역할: 전체적인 메뉴를 구상하고 큰 그림을 그립니다. "먼저 양파를 썰고, 그다음 고기를 볶아라" 같은 고차원적인 계획을 세웁니다.
• 특징: 아주 똑똑하지만, 계산이 느려서 매 순간마다 명령을 내리면 로봇이 멈추게 됩니다. 그래서 필요할 때만 깨어납니다.

2. System 1: "소뇌 (The Cerebellum)" - 조리사

• 역할: 셰프의 명령을 받아서 실제로 손과 발을 빠르게 움직입니다. "양파를 3mm 두께로 썰어라" 같은 구체적인 동작을 연속적으로 수행합니다.
• 특징: 반응 속도가 매우 빨라 (초당 20 회 이상) 실시간으로 물건을 잡거나 놓을 수 있습니다. 하지만 "왜 썰어야 하지?" 같은 깊은 생각은 못 합니다.

3. System 3: "비평가 (The Critic)" - 이 시스템의 핵심!

• 역할: 주방을 계속 감시하는 감시자입니다. 셰프나 조리사가 아닌, 독립적인 제 3 의 눈입니다.
• 무엇을 하나요?
  • 진행 상황 체크: "양파를 다 썰었나?"를 계속 확인합니다.
  • 비상 신호 (Critic): 만약 양파를 썰다가 칼이 미끄러져서 바닥에 떨어지거나, 로봇이 같은 동작을 반복하며 멈춰버리면 (Stagnation), 즉시 "STOP! 사고 발생!" 또는 **"이대로는 안 돼!"**라는 신호를 보냅니다.
  • 규칙 적용: "만약 10 초 동안 아무 일도 안 일어나면, 로봇이 꽉 막힌 거야. 팔을 당겨서 다시 시작해!" 같은 인간의 직관적인 규칙도 적용합니다.

---

🚀 이 시스템이 어떻게 작동할까요? (실제 상황)

가상 현실에서 로봇이 **"테이블에 접시를 정리해"**라는 복잡한 지시를 받았다고 상상해 보세요.

1. 계획 단계 (셰프 깨어남): 비평가가 "아직 시작도 안 했네"라고 보고하면, **두뇌 (셰프)**가 깨어납니다. "먼저 큰 접시를 쌓고, 그다음 작은 그릇을 쌓아라"라고 계획을 세웁니다.
2. 실행 단계 (조리사 활동): **소뇌 (조리사)**가 이 명령을 받아 빠르게 접시를 들어 옮깁니다. 이때 두뇌는 잠들어 있습니다. (계속 생각하면 너무 느리니까요).
3. 비평가의 감시: 비평가는 로봇이 접시를 옮기는 모습을 계속 봅니다.
   • 상황 A (원활함): "접시가 잘 쌓였네." -> 비평가는 아무 말 안 하고 소뇌가 계속 일하게 둡니다.
   • 상황 B (사고 발생): 로봇이 접시를 떨어뜨렸습니다! -> 비평가가 즉시 "사고 발생 ()!" 신호를 보냅니다.
   • 상황 C (멈춤): 로봇이 접시를 잡으려다 같은 자리에서 10 초를 맴돕니다. -> 비평가가 "멈춤 (Stagnation) 감지! 팔을 당겨라!"라고 인간적인 규칙을 적용해 로봇을 초기화합니다.
4. 재계획: 비평가가 신호를 보내면, 두뇌가 다시 깨어나서 "아, 접시가 떨어졌네. 다시 잡아서 쌓아야겠다"라고 새로운 계획을 세우고 소뇌에게 전달합니다.

✨ 왜 이 방식이 특별한가요?

1. 빠르고 똑똑함: 평소에는 빠른 '소뇌'가 일하고, 문제가 생길 때만 느리지만 똑똑한 '두뇌'를 부릅니다. 그래서 속도도 빠르고 지능도 높습니다.
2. 실수 복구 능력: 로봇이 길을 잃거나 사고가 나면, 그냥 멈추는 게 아니라 **비평가가 알아서 "이건 안 돼, 다시 생각해"**라고 알려주어 스스로 고쳐 나갑니다.
3. 예상치 못한 상황 (OOD) 대처: 훈련할 때 보지 못한 상황 (예: 왼쪽에 있는 컵을 잡아야 하는 상황) 이 와도, 비평가가 "아, 오른쪽 팔로는 안 되네. 왼쪽 팔로 바꿔야겠다"라고 판단하여 인간처럼 유연하게 대처합니다.
4. 데이터 자동화: 로봇에게 일을 가르치기 위해 사람이 일일이 "이건 접시 잡기, 저건 그릇 쌓기"라고 라벨을 붙이는 수고를 덜어줍니다. 비평가와 AI 가 자동으로 데이터를 정리해 줍니다.

📝 한 줄 요약

"로봇에게 '생각하는 두뇌', '빠르게 움직이는 손', 그리고 '실수를 감시하고 고쳐주는 비평가'를 동시에 심어주어, 복잡한 일도 실수 없이 스스로 해결하게 만든 혁신적인 시스템입니다."

이 기술은 앞으로 집안일을 도와주는 로봇이나 공장에서 복잡한 조립을 하는 로봇이 훨씬 더 똑똑하고 안전하게 일할 수 있는 기반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

로봇의 시각적 조작 (Visual Robotic Manipulation) 분야에서 고수준의 의미론적 추론 (High-level Semantic Reasoning) 과 저수준의 반응적 제어 (Low-level Reactive Control) 사이의 균형을 맞추는 것은 여전히 핵심적인 과제입니다.

• 기존 접근법의 한계:
  • VLM(시각 - 언어 모델): 복잡한 계획 수립에는 탁월하지만, 추론 지연 시간 (Latency) 이 길어 실시간 실행에는 부적합합니다.
  • VLA(시각 - 언어 - 행동 모델): 빠른 실행 속도를 가지지만, 장기적 (Long-horizon) 이거나 복잡한 작업에 필요한 의미론적 깊이가 부족합니다.
  • 이중 시스템 (Dual-System) 의 비효율성: 기존 연구 (Kahneman 의 System 1/2 비유) 는 고정된 빈도나 휴리스틱에 따라 두 시스템을 전환합니다. 이는 원활한 실행 중에는 불필요한 연산 자원을 낭비하고, 예기치 않은 장애 발생 시에는 둔감하게 반응하는 병목 현상을 초래합니다. 또한, 실패 복구나 무한 반복 루프 (Infinite retry loops) 를 해결하기 위해 특정 작업에 대한 방대한 데이터 수집이 필요하다는 문제점이 있습니다.

2. 방법론 (Methodology)

저자들은 Tri-System VLA(3 시스템 VLA) 아키텍처를 제안하여 인지적 추론과 연속적 제어를 비동기적으로 분리하고, Critic(비평가) 이 주도하는 동적 스케줄링을 도입했습니다.

A. 3 시스템 아키텍처 (Tri-System Architecture)

1. System 1 (Cerebellum / 소뇌):
   • 역할: 저수준의 반응적 제어 및 연속적인 행동 생성.
   • 구현: Flow-matching 기반의 전용 행동 생성 네트워크. VLM 의 추론 병목 현상을 우회하여 20Hz 이상의 고주파수로 정밀한 운동 제어 (Kinematic action chunks) 를 수행합니다.
2. System 2 (Brain / 뇌):
   • 역할: 고수준의 의미론적 추론 및 하위 작업 (Subtask) 생성.
   • 구현: 대규모 VLM(예: PaliGemma) 을 사용. 사용자의 전체 지시와 단기 기억 (실행 이력, 이상 감지 등) 을 바탕으로 구체적인 하위 작업 지시 (예: "파란 컵 집기") 를 생성합니다.
3. System 3 (Critic / 비평가):
   • 역할: 작업 진행 상황의 지속적 모니터링, 이상 감지 (Anomaly Detection), 및 시스템 전환 (스케줄링) 의 트리거.
   • 구현: 경량화된 시각 - 언어 모델 (예: Florence-2) 을 활용. 현재 시각 관측치와 하위 작업 지시를 입력받아 진행률 (Progress) 이나 이상 상태 (예: <aci> 토큰) 를 텍스트로 출력합니다.

B. 동적 스케줄링 및 이벤트 기반 제어

• 비동기 작동: System 1(행동) 은 20Hz 로 지속적으로 실행되는 반면, System 2(생각) 는 Critic 의 신호가 있을 때만 깨어납니다.
• 전환 조건 (Preemption Logic): Critic 이 다음 조건 중 하나를 감지하면 System 2 를 호출하여 재계획을 수행합니다.
  1. 이상 감지: 물리적 교란이나 실패가 감지될 때 (<aci> 토큰 출력).
  2. 하위 작업 완료: 진행도가 성공 임계값을 초과할 때.
  3. 작업 정지 (Stagnation): 일정 시간 동안 진행도가 개선되지 않을 때 (인간과 유사한 휴리스틱 규칙 적용). 이 경우 로봇 상태를 초기화하고 새로운 전략을 수립합니다.

C. 자동화된 하위 작업 주석 생성 파이프라인

• 수동 주석의 비효율성을 해결하기 위해 운동학적 휴리스틱 (Kinematic Heuristics) 과 VLM 검색을 결합한 자동화 파이프라인을 개발했습니다.
• 엔드 이펙터 궤적을 기하학적으로 분석하여 핵심 프레임 (Keyframes) 을 추출하고, 이를 VLM 에게 전달하여 정확한 의미론적 레이블을 자동 생성합니다.

3. 주요 기여 (Key Contributions)

1. 적응형 인지 전환 (Adaptive Cognitive Switching): Critic 이 주도하는 비동기 스케줄링을 통해 고수준 추론을 필요할 때만 호출함으로써 계산 효율성과 물리적 반응성을 극대화했습니다.
2. 선제적 이상 감지 및 복구 (Proactive Anomaly Detection & Recovery): 인간과 유사한 휴리스틱 규칙과 데이터 기반 전략을 결합하여 무한 반복 루프를 깨고, 분포 외 (OOD) 시나리오에서도 시스템의 견고성을 향상시켰습니다.
3. 확장 가능한 자동 주석 파이프라인: 수동 데이터 수집의 병목 현상을 제거하고, 다양한 데이터셋으로부터 강건한 장기 작업 학습을 가능하게 했습니다.

4. 실험 결과 (Results)

• 실험 환경: Cobot Magic ALOHA 플랫폼 (이중 팔 로봇) 을 사용하여 실세계에서 평가.
• 테스트 작업:
  • 식기 정리 (Arrange the Tableware): 크기 순서 정렬, 흩어진 물체 처리, 분포 외 (OOD) 위치 (왼쪽 컵), 작업 중 물체 낙하 복구 등 4 가지 시나리오.
  • 책상 정리 (Tidy up the Desk): 변형 가능한 물체 (비닐봉지) 와의 상호작용 및 다단계 작업.
• 성과:
  • 성공률: 제안된 Tri-System 은 Single-System 및 Dual-System 베이스라인을 모든 시나리오에서 압도적으로 능가했습니다. 특히 OOD 시나리오 (왼쪽 컵 조작) 에서 Single-System 은 0% 성공, Dual-System 은 10% 성공에 그친 반면, Tri-System 은 70% 성공률을 기록했습니다.
  • OOD 일반화: 훈련 데이터에 왼쪽 팔로 컵을 다루는 데이터가 없었음에도, 다른 물체 (그릇) 에 대한 왼쪽 팔 데이터를 학습함으로써 성공적으로 일반화했습니다.
  • 복구 능력: 작업 중 물체가 넘어지거나 로봇이 갇히는 (Stagnation) 상황에서 Critic 이 이를 감지하고 자동 복구/재계획을 수행하여 작업을 완수했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇의 "생각 (Thinking)"과 "행동 (Acting)"을 분리하면서도 Critic 을 통해 유기적으로 연결함으로써, 장기적이고 복잡한 조작 작업에서 발생하는 지연, 경직성, 그리고 OOD 상황에서의 실패를 효과적으로 해결했습니다.

• 효율성: 고비용인 VLM 추론을 불필요한 시점에 수행하지 않아 실시간 제어가 가능해졌습니다.
• 견고성: 인간과 유사한 휴리스틱 규칙 (정지 감지 및 상태 초기화) 을 통합하여 데이터에 의존하지 않는 자율 복구 능력을 확보했습니다.
• 확장성: 자동 주석 파이프라인을 통해 대규모 데이터셋 구축의 장벽을 낮추었습니다.

이러한 프레임워크는 향후 강화학습 (RL) 통합 및 생성적 세계 모델을 통한 시나리오 합성 등을 통해 더욱 발전할 수 있는 기반을 마련했습니다.