💻 computer science

Trace-Focused Diffusion Policy for Multi-Modal Action Disambiguation in Long-Horizon Robotic Manipulation

이 논문은 장기 작업(long-horizon tasks) 수행 시 발생하는 시각적 유사성으로 인한 행동 모호성(MA2) 문제를 해결하기 위해, 로봇의 실행 이력을 시각적 공간에 투영하여 조건화하는 'Trace-Focused Diffusion Policy(TF-DP)'를 제안하여 작업의 일관성과 강건성을 크게 향상시켰습니다.

원저자: Yuxuan Hu, Xiangyu Chen, Chuhao Zhou, Yuxi Liu, Gen Li, Jindou Jia, Jianfei Yang

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Hu, Xiangyu Chen, Chuhao Zhou, Yuxi Liu, Gen Li, Jindou Jia, Jianfei Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 로봇의 고민: "어? 아까 본 장면인데, 지금은 뭘 해야 하지?"

상상해 보세요. 당신이 요리 로봇입니다.

먼저 **'소금'**을 집어서 **'왼쪽'**에 둡니다.
그다음 **'설탕'**을 집어서 **'오른쪽'**에 둡니다.

그런데 로봇의 눈(카메라)에는 소금을 놓기 전의 깨끗한 테이블 모습과, 설탕을 놓기 전의 깨끗한 테이블 모습이 거의 똑같이 보입니다.

로봇은 지금 이 순간의 사진만 보고 판단해야 하는데, 사진이 너무 비슷하니까 혼란에 빠집니다.

"어? 지금 테이블이 깨끗하네? 아까처럼 소금을 왼쪽에 둬야 하나? 아니면 설탕을 오른쪽에 둬야 하나? 둘 다 맞는 행동 같은데... 에라 모르겠다!"

이렇게 똑같은 상황에서 여러 가지 행동이 가능해져서 갈팡질팡하는 현상을 이 논문에서는 **'다중 모드 행동 모호성(MA2)'**이라고 부릅니다. 이 때문에 로봇은 순서를 헷갈려 하거나 엉뚱한 짓을 하게 됩니다.

✨ 해결책: "발자국(Trace)을 보고 길을 찾자!" (TF-DP)

연구팀은 로봇에게 아주 간단하지만 강력한 해결책을 주었습니다. 바로 **'자신이 지나온 길(발자국)을 눈에 보이게 그려주는 것'**입니다. 이것을 **TF-DP(Trace-Focused Diffusion Policy)**라고 부릅니다.

1. 👣 "내 발자국은 내가 안다" (Motion Trace)

로봇의 손이 움직인 경로를 마치 지도 위에 그려진 **'점선'**처럼 카메라 화면에 실시간으로 그려줍니다.
이제 로봇은 사진만 보는 게 아니라, **"아, 내 손이 방금 왼쪽에서 왔으니까, 이번에는 오른쪽으로 가야 하는구나!"**라고 과거의 흔적을 보고 현재 단계를 정확히 파악합니다. 마치 미로 찾기를 할 때 내가 지나온 길에 실을 매달아 놓는 것과 같습니다.

2. 🔦 "중요한 곳에만 스포트라이트를!" (Trace-Focused Field)

주변이 너무 어지럽거나 배경에 잡동사니가 많으면 로봇은 또 헷갈릴 수 있습니다. 그래서 연구팀은 로봇이 움직인 경로 주변에 **'밝은 조명(스포트라이트)'**을 비추는 기술을 더했습니다.
중요한 작업 경로 주변은 밝게 강조하고, 상관없는 배경은 어둡게 처리해서 로봇이 **"아, 내가 지금 집중해야 할 곳은 여기구나!"**라고 명확히 알게 해줍니다.

🏆 결과는 어땠을까요?

이 '발자국 지도'를 도입했더니 놀라운 결과가 나왔습니다.

성공률 폭발: 기존 로봇이 순서를 헷갈려 10% 정도만 성공했다면, 이 방식은 90% 이상의 높은 성공률을 보였습니다.
방해꾼 퇴치: 주변에 물건을 잔뜩 늘어놓아 시야를 방해해도, 로봇은 자기 발자국만 보고 꿋꿋하게 작업을 완수했습니다.
가성비 최고: 로봇의 뇌(컴퓨터)를 엄청나게 무겁게 만들지 않으면서도, 아주 약간의 시간만 더 써서 훨씬 똑똑해졌습니다.

💡 요약하자면!

이 논문은 로봇에게 **"지금 눈앞의 사진만 보지 말고, 네가 방금 어디서 왔는지 그 '발자국'을 봐!"**라고 가르쳐준 것입니다. 덕분에 로봇은 긴 시간 동안 이어지는 복잡한 작업도 헷갈리지 않고, 마치 숙련된 요리사처럼 차근차근 해낼 수 있게 되었습니다.

[기술 요약] Trace-Focused Diffusion Policy (TF-DP)

1. 문제 정의 (Problem Statement)

기존의 확산 모델 기반 로봇 정책(Diffusion Policy)은 모방 학습(Imitation Learning)에서 뛰어난 성능을 보이지만, 장기 작업(Long-horizon tasks) 수행 시 **'다중 모드 행동 모호성(Multi-modal Action Ambiguity, MA2)'**이라는 근본적인 한계에 직면합니다.

MA2 현상: 장기 작업 중에는 시각적으로 매우 유사한 관찰(Observation)이 작업의 서로 다른 단계에서 반복적으로 나타날 수 있습니다. 예를 들어, 큐브를 중앙에서 오른쪽으로 옮긴 후 다시 중앙으로 가져오는 과정에서, '중앙'이라는 시각적 상태는 '오른쪽으로 이동'해야 할 때와 '왼쪽으로 이동'해야 할 때 동일하게 보일 수 있습니다.
결과: 정책이 현재의 순간적인 시각 정보에만 의존할 경우, 동일한 관찰에 대해 서로 다른 여러 유효한 행동(Action)을 동일한 확률로 예측하게 되어, 실행 순서가 뒤섞이거나 작업이 실패하는 불안정한 동작을 유발합니다.

2. 제안 방법론 (Methodology: TF-DP)

본 논문은 실행 이력(Execution History)을 명시적인 **'궤적(Trace)'**으로 활용하여 이 모호성을 해결하는 TF-DP(Trace-Focused Diffusion Policy) 프레임워크를 제안합니다.

Motion Trace Acquisition (모션 궤적 획득): 로봇의 말단 장치(End-effector)가 지나온 3D 위치 정보를 카메라 좌표계로 변환한 후, 이를 2D 이미지 평면에 투영하여 시각적 궤적( $I_{trace}$ )을 생성합니다. 이는 신경망의 파라미터를 늘리지 않고도 과거의 움직임을 시각 정보에 통합하는 효율적인 방법입니다.
Trace-Focused Field (TFF) Rendering (궤적 집중 필드 렌더링): 단순히 점으로 된 궤적을 찍는 것에 그치지 않고, 각 궤적 지점에 가우시안 응답 맵(Gaussian response map)을 적용하여 연속적인 에너지 필드를 생성합니다. 이를 통해 현재 관찰 이미지( $I_{global}$ $I_{g l o ba l}$ )와 결합하여 **'실행 인지형 관찰(Execution-aware observation)'**을 만듭니다.
- 효과 1 (Disambiguation): 시각적으로 동일한 장면이라도 과거 궤적이 다르면 서로 다른 단계임을 인지하여 정확한 행동을 선택할 수 있게 합니다.
- 효과 2 (Robustness): 궤적이 지나간 주변 영역을 강조함으로써, 배경의 시각적 노이즈나 방해 요소(Disturbances)를 억제하고 작업 관련 영역에 집중하게 합니다.
Diffusion-based Training: 강화된 시각 정보( $\tilde{o}_t$ )를 조건(Condition)으로 하여 확산 모델이 노이즈를 제거하며 행동을 생성하도록 학습합니다.

3. 주요 기여 (Key Contributions)

MA2 문제 규명: 장기 로봇 조작에서 확산 모델이 겪는 핵심 실패 모드인 '다중 모드 행동 모호성'을 정의하고 분석했습니다.
TF-DP 프레임워크 제안: 실행 궤적을 시각적 공간에 투영하여 단일 정책(Single Policy) 내에서 시간적 일관성을 확보하는 경량화된 구조를 제안했습니다.
효율성 및 범용성 입증: 추가적인 고수준 플래너(LLM 등) 없이도 낮은 연산 비용으로 높은 성능을 내며, DDIM이나 Flow Matching 같은 다양한 생성 모델과 결합 가능함을 보였습니다.

4. 실험 결과 (Experimental Results)

실제 로봇(Franka Emika Research 3)을 이용한 세 가지 복잡한 작업(큐브 배치, 키보드 누르기, 서랍에서 물건 꺼내기)을 통해 검증했습니다.

MA2 해결 능력: 기존 Diffusion Policy(DP)가 MA2로 인해 낮은 성공률을 보인 반면, TF-DP는 궤적 정보를 통해 작업 순서를 정확히 지키며 평균 성공률을 11.11%에서 91.67%로 대폭 향상시켰습니다.
시각적 방해에 대한 강건성: 배경에 방해 물체를 추가했을 때, 기존 DP는 거의 실패(평균 2.78%)했으나, TF-DP는 88.89%의 높은 성공률을 기록하며 강력한 강건성을 보였습니다.
연산 효율성: 추론 시간 증가율은 **6.4%**에 불과하며, 과거 행동을 입력으로 넣는 방식(DP-HistAct)보다 메모리 사용량과 연산 속도 면에서 훨씬 효율적이었습니다.

5. 의의 (Significance)

본 연구는 복잡한 장기 작업을 수행하기 위해 반드시 거대한 계층적 구조(Hierarchical architecture)나 외부 플래너가 필요한 것은 아니라는 점을 시사합니다. 로봇의 물리적 움직임 이력(Trace)을 시각적 컨텍스트로 변환하는 단순하면서도 원리적인 접근만으로도, 단일 정책이 높은 반응성(Reactivity)과 신뢰성을 유지하며 복잡한 작업을 수행할 수 있음을 입증했습니다.