Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

이 논문은 그래디언트 업데이트, 시연 데이터, 보상 설계 없이도 시각적 관찰과 실패 분석을 통해 실행 가능한 제어 코드를 스스로 생성하고 수정하는 'Act-Observe-Rewrite(AOR)' 프레임워크를 제안하여 로봇 조작 정책을 학습하는 새로운 접근법을 제시합니다.

핵심

로봇이 스스로 실수를 고쳐 배운다: 'Act-Observe-Rewrite' 이야기

이 논문은 **"로봇이 인간에게 시범을 보여주거나, 수천 번의 훈련을 거치지 않아도, 스스로 실수를 분석하고 코드를 고쳐서 더 잘할 수 있을까?"**라는 질문에서 시작합니다.

저자 (Vaishak Kumar) 는 **"그렇다"**고 답하며, **'Act-Observe-Rewrite (행동 - 관찰 - 다시 쓰기)'**라는 새로운 방식을 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방식 vs. 새로운 방식: "요리사"의 차이

• 기존 방식 (딥러닝/RL):
  마치 수천 번의 요리 실습을 통해 맛을 익힌 요리사 같습니다.

  • "소금을 너무 많이 넣었네? 다음엔 조금 덜 넣어야지."
  • "불이 너무 세서 타버렸네? 온도를 낮춰야지."
  • 단점: 새로운 요리를 배우려면 처음부터 수천 번을 연습해야 합니다. 실패한 이유를 정확히 설명하기 어렵고 (블랙박스), 실수를 고치려면 다시 훈련해야 합니다.

• 이 논문의 방식 (AOR):
  마치 자신의 레시피 (코드) 를 직접 수정하는 천재 요리사 같습니다.

  • "아, 소금 양이 아니라 계량 스푼의 눈금이 잘못되어서 소금을 너무 많이 넣은 거구나!"
  • "레시피에 적힌 '불 조절' 방법이 잘못되어 있네. 이 부분을 고쳐야겠다."
  • 장점: 실수를 한 번만 해도, 그 원인이 '눈금' 문제인지 '방법' 문제인지 정확히 파악하고, 레시피 (코드) 를 직접 고쳐서 다음 시도부터 완벽하게 해냅니다.

2. AOR 의 3 단계 과정: "행동 - 관찰 - 다시 쓰기"

이 시스템은 로봇이 물건을 잡는 작업을 할 때 다음과 같은 사이클을 반복합니다.

1 단계: 행동 (Act) - "일단 해보자"

로봇이 주어진 임무 (예: 빨간 큐브를 집어 들어 테이블 위에 올려놓기) 를 수행합니다. 이때 로봇은 AI 가 작성한 **파이썬 코드 (레시피)**를 따라 움직입니다.

2 단계: 관찰 (Observe) - "왜 실패했지?"

작업이 끝나면, AI 는 두 가지 정보를 봅니다.

1. 결과: 성공했나? 실패했나?
2. 사진 (카메라): 로봇이 실수했을 때의 장면 (예: 로봇 손이 물체보다 5cm 위에 멈췄다).

여기서 중요한 점은 AI 가 단순히 "실패했다"고만 보는 게 아니라, **사진을 보고 "아, 로봇이 물체를 5cm 높게 잡았네"**라고 구체적으로 파악한다는 것입니다.

3 단계: 다시 쓰기 (Rewrite) - "레시피를 고쳐라"

이게 가장 놀라운 부분입니다. AI 는 실패 원인을 분석한 뒤, 로봇을 움직이는 코드를 직접 고쳐서 (Rewrite) 다시 컴파일합니다.

• 비유: 로봇이 물건을 놓칠 때마다, AI 는 "아, 내가 쓴 레시피에 '물체를 잡을 때 손목을 10 도 더 기울여라'라고 잘못 썼구나. 이걸 '20 도'로 고치고, '손가락이 물체를 누르지 않게 하라'는 문구도 추가해야겠다"라고 생각하며 코드를 직접 수정합니다.

3. 이 방식이 왜 특별한가? (핵심 통찰)

기존의 로봇 학습 방식들은 보통 **"매개변수 (숫자)"**만 조정했습니다.

• "속도를 0.1 줄여라", "힘을 5% 늘려라" 같은 식입니다.

하지만 이 방식은 **"코드의 논리 자체"**를 바꿉니다.

• 실제 사례: 로봇이 물체를 잡으려는데 계속 놓쳤습니다.
  • 기존 방식: "잡는 힘 (그립) 을 더 세게 해보자" (하지만 문제는 힘이 아니라 시야 문제였습니다).
  • AOR 방식: AI 가 코드를 분석하며 **"아! 카메라 사진의 '위쪽'과 '아래쪽'을 뒤집어서 계산하는 공식에 오류가 있구나! 그래서 로봇이 물체의 위치를 8cm나 잘못 파악하고 있었어!"**라고 발견합니다.
  • 그리고 그 수학 공식 (코드) 을 직접 고쳐서 다음 시도부터 100% 성공하게 됩니다.

4. 실험 결과: 얼마나 잘할까?

논문은 세 가지 미션을 테스트했습니다.

1. 큐브 들어 올리기 (Lift): 3 번의 시도 만에 100% 성공.
   • 이유: 카메라가 물체의 높이를 잘못 계산하는 '시각 오류'를 AI 가 스스로 찾아내서 고쳤습니다.
2. 캔을 통에 넣기 (PickPlaceCan): 2 번의 시도 만에 100% 성공.
   • 이유: 캔이 은색이 아니라 빨간색으로 보인다는 것을 AI 가 깨닫고, "빨간색 캔을 찾으라"는 코드로 바꿨습니다.
3. 큐브 쌓기 (Stack): 91% 성공 (아직 9% 는 실패).
   • 이유: 가장 어려운 미션입니다. AI 는 거의 완벽하게 했지만, 마지막에 로봇 손가락이 아래에 있는 다른 큐브에 닿는 문제를 발견은 했지만, 그걸 피하는 새로운 방법을 찾지는 못했습니다. (여전히 인간이 도와줘야 할 부분이 있다는 뜻입니다.)

5. 결론: 로봇의 '자기 성찰' 시대

이 논문은 **"로봇이 스스로 코드를 읽고, 고치고, 배울 수 있다"**는 것을 증명했습니다.

• 시범이 필요 없다: 인간이 시범을 보여줄 필요가 없습니다.
• 보상 설계가 필요 없다: "잘했어"라고 점수를 줄 필요도 없습니다.
• 재학습이 필요 없다: 실패하면 바로 코드를 고쳐서 다음에 다시 하면 됩니다.

마무리 비유:
기존의 로봇 학습이 **"수천 번의 연습을 통해 근육 기억을 만드는 운동선수"**라면,
이 논문의 AOR 는 **"실수한 영상을 보고 자신의 동작 분석을 코드로 고쳐서, 다음 경기부터 완벽하게 하는 천재 코치"**와 같습니다.

이 기술이 발전하면, 새로운 로봇을 도입할 때마다 수개월씩 훈련할 필요 없이, 실수를 몇 번만 겪으면 스스로 완벽하게 적응하는 로봇을 만날 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 로봇 조작 (Robot Manipulation) 연구는 주로 대규모 데이터로 사전 훈련된 비전 - 언어 - 행동 (VLA) 모델에 의존하거나, 강화 학습 (RL) 을 통해 정책을 학습하는 방식을 취해 왔습니다. 그러나 이러한 접근법에는 두 가지 주요 한계가 존재합니다.

1. 배포 환경에서의 적응 부재: 특정 배포 구성에서 모델이 실패할 경우, 재학습 (Retraining) 없이 왜 실패했는지 진단하고 적응하는 것이 어렵습니다.
2. 비용과 접근성: 인터넷 규모의 데이터와 막대한 컴퓨팅 자원을 요구하는 사전 훈련 모델은 새로운 조작 작업을 빠르게 반복 실험하려는 연구자들에게 비현실적입니다.

기존의 언어 에이전트 연구 (Reflexion 등) 는 텍스트 기반 환경에서 성공적이었으나, 물리적 조작은 연속적인 운동학, 노이즈가 많은 비전, 작업 공간의 기하학적 제약 등 자연어만으로 설명하기 어려운 요소를 포함하고 있어 적용이 제한적이었습니다.

핵심 질문: "기울기 업데이트 (Gradient Updates), 시연 데이터 (Demonstrations), reward 공학 (Reward Engineering) 없이, 다중 모달 언어 모델이 자신의 실패를 추론하여 물리적 객체 조작을 학습할 수 있는가?"

2. 방법론: Act–Observe–Rewrite (AOR)

저자는 Act–Observe–Rewrite (AOR) 라는 새로운 프레임워크를 제안합니다. 이는 로봇이 실패한 경험을 바탕으로 실행 가능한 Python 제어기 코드 전체를 다시 작성 (Rewrite) 하는 방식입니다.

핵심 아키텍처

AOR 는 두 가지 시간 척도 (Two-timescale) 로 작동합니다.

1. 빠른 루프 (Fast Loop - Episode 내):

   • 로봇은 현재 Python 제어기 (Policy) 를 사용하여 작업을 수행합니다.
   • 시각적 관측 (RGB-D) 과 프로프리오셉티브 상태 (Proprioceptive state) 를 기반으로 행동을 생성합니다.
   • 제어기는 상태 머신, PID 루프, 기하학적 계산 등 임의의 Python 로직을 구현할 수 있습니다.

2. 느린 루프 (Slow Loop - Episode 간):

   • Act (행동): 로봇이 작업을 수행하고 종료됩니다.
   • Observe (관측): 다중 모달 LLM 은 다음 데이터를 분석합니다.
     • 시각적 증거: 작업 중의 핵심 프레임 (Key-frame) 이미지.
     • 구조화된 결과 데이터: 보상, 단계 로그, 실패 시점의 진단 신호 (예: 진동 플래그, 목표물까지의 최소 거리).
   • Rewrite (재작성): LLM 은 다음과 같은 과정을 거칩니다.
     1. 진단 (Diagnosis): 실패의 원인을 식별 (예: "카메라 좌표계 convention 이 OpenGL 과 OpenCV 가 달라서 Y 축이 반전됨").
     2. 코드 생성 (Synthesis): 실패 원인을 해결하는 전체 새로운 Python 제어기 클래스를 생성합니다.
     3. 보안 및 검증: 생성된 코드는 샌드박스 환경에서 컴파일되고 검증된 후, 다음 시도에서 동적으로 로드됩니다.

주요 특징

• 코드 기반 정책 (Code as Policy): 정책이 단순한 파라미터 벡터나 기술 선택기가 아닌, 실행 가능한 코드 전체입니다. 이를 통해 LLM 은 파라미터 튜닝을 넘어 아키텍처 변경 (새로운 단계 추가, 기하학적 보정 등) 이 가능합니다.
• 시각적 피드백 루프: 텍스트 기반의 자기 성찰 (Self-reflection) 에 시각적 증거 (이미지) 를 결합하여, 물리적 실패의 원인을 코드 로직 수준에서 정확히 진단합니다.
• 안전 장치: 생성된 코드는 컴파일 샌드박스, 행동 클램핑 (Action Clamping), 이전 작동 제어기로의 폴백 (Fallback) 메커니즘을 통해 안전성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 학습 패러다임 제시: 로봇 학습에서 "학습 (Training)" 대신 "작성 및 재작성 (Write & Rewrite)"을 통한 인-컨텍스트 학습 (In-Context Learning) 의 타당성을 입증했습니다.
2. 해석 가능한 정책 학습: LLM 이 실패의 원인을 "코드 논리" (예: y 좌표 부호 오류) 로 진단하고 수정함으로써, 블랙박스 신경망 정책과 구별되는 완전한 해석 가능성 (Interpretability) 을 제공합니다.
3. 자율적 비전 디버깅: LLM 이 시뮬레이션 환경에서 카메라 좌표계 convention 오류 (OpenGL vs OpenCV) 와 같은 숨겨진 비전 파이프라인 버그를 인간 개입 없이 자동으로 발견하고 수정했습니다.
4. 시연 데이터 불필요: 어떤 시연 데이터 (Demonstrations) 도 없이, 오직 실패 경험과 시각적 관측만으로 고성능 제어기를 학습했습니다.

4. 실험 결과 (Experimental Results)

Robosuite 시뮬레이션 환경 (UR5e 로봇 팔) 에서 세 가지 과제를 수행하여 검증했습니다.

작업 (Task)	설명	성공률	LLM 호출 횟수	주요 발견 사항
Lift	빨간색 큐브 들어 올리기	100%	3 회	깊이 센서 편향 (Depth bias) 과 그립 시 하향 압력 문제를 코드 수정으로 해결.
PickPlaceCan	콜라 캔을 통에 넣기	100%	2 회	캔이 은색이 아닌 빨간색으로 렌더링되는 비전 오류와 통의 마커로 인한 centroid 오류를 수정.
Stack	빨간 큐브를 초록 큐브 위에 쌓기	91%	20 회	비전 파이프라인 버그 (좌표계 반전 등) 를 수정하여 정확도 향상. 잔여 실패는 그립퍼가 타겟 큐브에 접촉하여 발생하는 것으로 진단되었으나, 이를 피하는 전략을 찾지 못해 9% 실패.

• 비교 실험: GPT-5 기반의 Codex 에이전트는 동일한 조건에서 세 과제 모두 실패하여, AOR 프레임워크의 성공이 사용된 코딩 에이전트 (Claude Code) 의 추론 능력과 밀접한 관련이 있음을 시사합니다.
• 성공 요인: AOR 는 단순한 파라미터 조정이 아닌, 비전 파이프라인의 근본적인 수학적 오류 (Back-projection formula sign error 등) 를 찾아내고 수정함으로써 성공했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 물리적 AI 배포의 새로운 도구: 재학습 없이도 특정 배포 환경의 결함을 진단하고 수정할 수 있는 강력한 디버깅 도구로서의 가능성을 제시했습니다.
• VLA 모델과의 상호 보완: 광범위한 일반화를 위한 VLA 모델이 특정 작업에서 실패할 때, AOR 는 해당 작업을 위한 맞춤형 제어기를 빠르게 생성하여 보완할 수 있습니다.
• 비용 효율성: RL 기반의 reward 설계 (Eureka 등) 는 수천 번의 학습 루프가 필요하지만, AOR 는 에피소드 실행 한 번과 LLM 호출만으로 개선이 가능합니다.

한계 및 향후 과제

• 시뮬레이션 제한: 모든 실험은 시뮬레이션 환경에서 이루어졌으며, 실제 로봇의 센서 노이즈와 조명 변화에 대한 검증은 필요합니다.
• 검색의 국소 최적화 (Local Optima): Stack 작업의 경우, 에이전트가 실패 원인을 정확히 진단했으나 (그립퍼 접촉), 이를 해결하는 새로운 전략을 찾지 못해 91% 에서 멈췄습니다. 이는 LLM 의 탐색 공간이 제한적일 수 있음을 보여줍니다.
• LLM 의존성: 프레임워크의 성능은 사용된 LLM 의 기하학, 물리, 코딩 추론 능력에 직접적으로 의존합니다.
• 순차적 반복: 현재는 한 번에 하나의 가설만 테스트하지만, 병렬 가설 검증을 통해 시간을 단축할 수 있습니다.

결론

이 논문은 Act–Observe–Rewrite를 통해, 다중 모달 코딩 에이전트가 시연 데이터나 기울기 업데이트 없이도 물리적 조작 과제를 학습하고 개선할 수 있음을 입증했습니다. 특히, 실행 가능한 코드를 정책의 기본 단위로 삼음으로써 LLM 이 단순한 전략 수정을 넘어 시스템의 근본적인 구현 오류를 진단하고 수정할 수 있는 능력을 획득했다는 점이 가장 중요한 기술적 기여입니다.