🤖 machine learning

Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities

원저자: Hassan Ismkhan, Hamid Bouchahcia

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

원저자: Hassan Ismkhan, Hamid Bouchahcia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 요리법을 가르치고 있다고 상상해 보세요. 보통은 셰프가 채소를 써는 영상(시각 데이터)을 보여주고, 말로 된 레시피(언어 데이터)를 들려줍니다. 로봇은 셰프의 동작을 보고 들으며 그 동작을 따라 하는 법을 배웁니다.

하지만 요리 중간에 카메라가 고장 나거나 마이크가 작동을 멈춘다면 어떻게 될까요? 현실 세계에서는 센서가 고장 나거나, 물체에 가려지거나, 신호 전송이 중단되기도 합니다. 현재 대부분의 로봇 학습 방식은 이런 상황에서 패닉에 빠집니다. 이들은 카메라와 마이크가 항상 완벽하게 작동할 것이라고 가정하기 때문입니다. 만약 하나라도 실패하면, 로봇은 멈춰버리거나 실수를 저지릅니다.

이 논문은 로봇을 위한 '슈퍼 스마트한 사서'처럼 행동하는 RL4IL이라는 새로운 방법을 소개합니다. 이 방법은 카메라나 센서가 꺼지더라도, 로봇을 새로 다시 학습시키거나 새로운 레슨을 가르칠 필요 없이 로봇이 완벽하게 작업을 계속 수행할 수 있게 해줍니다.

작동 원리는 다음과 같습니다 (쉬운 비유를 사용했습니다):

1. "스마트한 사서" (강화 학습)

보통 로봇이 무엇을 해야 할지 결정해야 할 때, 과거의 시연 데이터(전문가가 과업을 수행하는 영상) 라이브러리를 살펴보고 현재 보고 있는 것과 가장 유사한 것을 고릅니다. 이는 마치 학생이 그림만 보고 교과서에서 알맞은 페이지를 찾으려는 것과 같습니다.

문제는 그림이 사라지면(카메라가 고장 나면), 학생이 엉뚱한 페이지를 고를 수 있다는 점입니다.

RL4IL은 이 단순한 '훑어보기'를 스마트한 사서로 대체합니다. 이 사서는 강화 학습(시행착오를 통해 배우는 AI의 한 종류) 에이전트입니다. 단순히 가장 '비슷한' 것을 고르는 대신, 사서는 현재 상황에 얼마나 유용한지를 기준으로 라이브러리 내의 후보들을 순위 매하는 법을 배웁니다. 이는 단순히 표지가 가장 비슷한 책을 찾는 사서가 아니라, 설령 표지가 손상되었더라도 당신이 처한 구체적인 문제에 실제로 도움이 되는 지침이 담긴 책을 찾아내는 사서와 같습니다.

2. "그룹 채팅" (소프트 퓨전)

기존 방식은 라이브러리에서 단 하나의 최적의 매칭을 선택하고, "좋아, 우리는 이 특정 영상을 복사한다"라고 말합니다. 만약 그 영상이 약간 노이즈가 있거나 불완전하다면 로봇은 실패하게 됩니다.

RL4IL은 소프트 퓨전(Soft Fusion) 방식을 사용합니다. 로봇이 단 한 명의 전문가에게만 조언을 구하는 대신, 가장 관련성이 높은 상위 5명 또는 10명의 전문가에게 조언을 구한다고 상상해 보세요. 로봇은 단 하나를 선택하는 것이 아니라, 그들의 조언을 모두 듣고 이를 하나로 혼합하며, 더 자신감 있어 보이는 전문가에게 더 많은 비중을 둡니다. 이는 로봇이 노이즈를 평균화하는 "그룹 채팅"과 같습니다. 만약 한 전문가의 조언이 약간 어긋나더라도 다른 전문가들이 이를 바로잡아주어 훨씬 더 부드럽고 신뢰할 수 있는 동작을 만들어냅니다.

3. "마법의 빈칸 채우기" (결측 모달리티 임퓨테이션)

이것이 이 논문의 가장 놀라운 기술입니다. 만약 카메라가 완전히 죽었다면 어떻게 될까요? 로봇에게 시각 데이터가 전혀 없는 상황입니다.

포기하는 대신, RL4IL에는 마법의 빈칸 채우기 메커리즘이 있습니다.

탐정: 특화된 AI 탐정이 로봇이 가지고 있는 다른 정보들(예: 언어 지침이나 손 부분의 카메라)을 살펴보고 이렇게 말합니다. "이 단서들을 바탕으로 볼 때, 라이브러리의 어떤 전문가가 이와 유사한 상황이었는가?"
재구성: 해당 전문가들을 찾아낸 후, 로봇은 단순히 그들의 영상을 복사하는 데 그치지 않습니다. '크로스 어텐션(cross-attention)' 메커니즘을 사용하여 그 전문가들의 영상에서 누락된 부분들을 살펴보고, 수학적으로 누락된 카메라가 보았을 법한 장면을 재구성합니다.
결과: 로봇은 결손된 카메라 피드를 매우 정확하게 흉내 낸 가상의 피드를 만들어냅니다. 로봇은 이 재구성된 피드를 사용하여, 마치 카메라가 고장 난 적이 없었던 것처럼 올바른 동작을 수행합니다.

이것이 왜 중요한가요?

재학습 불필요: 대부분의 방법은 센서 고장을 처리하기 위해 로봇을 처음부터 다시 학습시켜야 합니다. 하지만 RL4IL은 "제로샷(zero-shot)"입니다. 한 번만 학습시켜 두면, 내일 카메라가 고장 나더라도 새로운 레슨 없이 즉시 대처할 수 있습니다.
기존 방식보다 뛰어난 성능: 저자들은 세 가지 서로 다른 로봇 작업 세트(물체 이동, 목표 추적, 공간 추론)에서 이 방법을 테스트했습니다. 카메라가 고장 나는 상황을 시뮬레이션했을 때, RL4IL 방식은 약 **70%에서 73%**의 성공률을 보였습니다. 그다음으로 좋은 방식은 약 **29%**의 성공률에 그쳤습니다.
강건성(Robustness): 센서가 가려지거나 완전히 고장 날 수 있는 혼란스러운 환경에서도 잘 작동합니다.

요약

RL4IL을 단순히 대본을 암기하는 로봇이 아니라, 최선의 도움을 찾기 위한 스마트한 사서를 갖추고, 여러 전문가의 조언을 섞는 그룹 채팅을 하며, 고장 난 카메라가 무엇을 보았을지 추측하는 마법의 빈칸 채우기 도구를 가진 로봇이라고 생각하세요. 이를 통해 로봇은 센서가 자주 고장 나는 무질서하고 예측 불가능한 현실 세계에서도 작업을 매끄럽게 지속할 수 있습니다.

기술 요약: 강건한 멀티모달 모방 학습을 위한 RL4IL

문제 정의

로봇 조작 시스템은 에이전트 뷰 및 인핸드(in-hand) 카메라와 같은 시각적 피드와 자연어 지시를 결합한 이종 센서 스트림에 의존합니다. 최근의 모방 학습(Imitation Learning, IL) 방법론들은 구조화된 벤치마크에서 강력한 성능을 달왔으나, 모든 센서 모달리티가 영구적으로 가용하다는 비현실적인 가정하에 작동합니다. 실제 환경에 배포될 경우, 센서가 고장 나거나, 가려지거나(occlusion), 성능이 저하되는 "모달리티 누락(missing modality)" 시나리오가 발생할 수 있습니다. 기존의 강건성 확보 방법들은 새로운 드롭아웃 패턴을 처리하기 위해 재학습이나 미세 조정(fine-tuning)을 요구하는 경우가 많으며, 많은 검색 기반 접근 방식들은 쿼리 관측치가 불완전할 때 실패합니다. 또한, 누락된 데이터를 다루는 현재의 멀티모달 학습 기술은 대개 정적인 작업(예: 분류)이나 특정 도메인의 모달리티(예: MRI)에 국한되어 있어, 로보틱스에서 요구되는 순차적 액션 출력에는 적합하지 않습니다.

방법론: RL4IL

본 논문은 강화 학습(RL)과 소프트 퓨전(soft fusion)에 의해 유도되는 검색 기반 접근 방식을 통해 모달리티 누락 문제를 해결하는 RL4IL 프레임워크를 소개합니다. 이 방식은 추론 시 핵심 정책 네트워크를 재학습할 필요가 없습니다.

1. 핵심 아키텍처

시스템은 전문가 데모의 동결된 라이브러리 $\mathcal{D}_{tr}$ 상에서 작동합니다. 각 데모는 멀티모달 관측치(시각 프레임, 언어)와 그에 대응하는 액션 시퀀스로 구성됩니다.

동결된 인코더(Frozen Encoders): 사전 학습된 인코더는 가공되지 않은 센서 입력을 고정된 차원의 임베딩으로 매핑합니다. 이 가중치는 업데이트되지 않습니다.
모달리티 공정 정규화(Modality-Fair Normalization): 이질적인 임베딩 차원을 처리하기 위해, 시스템은 모달리티별 z-score 정규화를 적용하고 각 모달리티의 기여도를 동일하게 가중치 부여하는 거리 메트릭을 정의합니다.

2. RL 유도 검색 (RL-Guided Retrieval)

이웃들을 집계하기 위해 휴리스틱한 거리 가중치를 사용하는 대신, RL4IL은 학습된 선택 전략을 채택합니다.

BFS 증강 후보 세트: 쿼리 관측치에 대해 시스템은 먼저 $k$ -최근접 이웃(k-NN) 세트를 식별합니다. 이 세트는 훈련 k-NN 그래프 상에서의 너비 우선 탐색(BFS)을 통해 더 풍부하고 다양한 후보 풀 $B(s)$ 로 확장됩니다.
PPO 정책: PPO(Proximal Policy Optimization)를 통해 학습된 정책은 BFS로 증강된 후보 세트 내에서 후보들을 순위 매깁니다. 이 정책은 쿼리의 상태를 바탕으로 가장 관련성이 높은 데모("오라클")를 선택하도록 학습됩니다.
보상 신호: 보상은 오라클(동일한 레이블과 최소 그래프 거리를 가진 후보)을 기준으로 정의되며, 정책이 최적의 선택을 일치시키도록 유도합니다.

3. 소프트 크로스 어텐션 퓨전 (Soft Cross-Attention Fusion)

노이즈가 발생할 수 있는 단일 "최적" 이웃을 결정하는 것(hard argmax) 대신, RL4IL은 소프트 퓨전 헤드를 활용합니다.

RL 정책에 의해 순위가 매겨진 상위 $K'$ 개의 후보들은 크로스 어텐션 메커니즘을 통해 집계됩니다.
이 헤드는 후보 임베딩과 그에 연관된 액션 시퀀스(레이블)에 대한 어텐션 가중치를 계산하여 가중 평균 예측값을 생성합니다.
이러한 방식은 단일 데모를 선택하는 방식보다 검색 노이즈에 더 강한 것으로 나타났습니다.

4. 제로샷 모달리티 누락 임퓨테이션 (Zero-Shot Missing Modality Imputation)

추론 시 센서가 실패하는 경우(예: 카메라 가려짐), 시스템은 재학습 없이 누락된 임베딩을 재구성합니다.

모달리티별 RL 검색: 각 모달리티에 대해 특화되어 학습된 전용 RL 정책이 라이브러리 내에서 누락된 모달리티가 존재하는 "기여자(donor)" 데모를 식별합니다.
소프트 임퓨테이션 헤드: 예측 퓨전과 유사하게, 소프트 임퓨테이션 헤드는 상위 순위 기여자들에 대한 크로스 어텐션을 사용하여 누락된 임베딩 벡터를 재구성합니다.
파이프라인 연속성: 누락된 임베딩이 재구성되면, 전체 관측치는 표준 예측 파이프라인으로 전달됩니다. 이 과정에서 다운스트림 정책 네트워크의 수정은 필요하지 않습니다.

주요 기여

RL 유도 데모 검색: 휴리스틱한 집계 대신 BFS 증강 후보 세트 상에서 학습된 랭킹 전략을 사용하여 전문가 데모를 선택하는 데 강화 학습을 최초로 적용했습니다.
소프트 크로스 어텐션 퓨전: 여러 상위 랭크 후보들로부터 신호를 집계하는 경량 메커니즘으로, 특히 노이즈가 있는 검색 조건에서 하드 선택 방식보다 우수한 성능을 보입니다.
제로샷 강건성: 정책 네트워크를 재학습하지 않고도 추론 시 센서 드롭아웃을 처리할 수 있는 능력을 갖추었습니다. 이는 전용 모달리티별 RL 검색 정책과 누락된 임베딩을 재구성하는 소프트 임퓨테이션 헤드를 통해 달성됩니다.
최첨단 성능: LIBERO 벤치마크에서 완전한 카메라 드롭아웃 상황에 대해 기존 베이스라인 대비 우수한 성능을 입증했습니다.

실험 결과

저자들은 세 가지 LIBERO 벤치마크 제품군(LIBERO-Spatial, LIBERO-Object, LIBERO-Goal)에서 RL4IL을 평가했습니다. 실험에서는 완전한 카메라 드롭아웃(에이전트 뷰 또는 인핸드 카메라 부재)을 시뮬레이션했습니다.

성능: RL4IL은 Behavior Cloning (BC), Disentangled BC (DisBC), BESO-ACT, Disentangled Diffusion Policy (DisDP)를 포함한 모든 베이스라인을 실질적으로 압도했습니다.
- LIBERO-Goal에서 에이전트 뷰 카메라가 없는 경우, RL4IL은 0.700의 성공률을 달성한 반면, 가장 강력한 베이스라인인 DisDP는 0.004에 그쳤습니다.
- LIBERO-Object에서 인핸드 카메라가 없는 경우, RL4IL은 0.677을 기록하여 DisDP의 0.226보다 높은 성능을 보였습니다.
절제 연구 (Ablation Studies):
- 소프트 퓨전: 모든 제품군에서 하드 argmax 선택보다 일관되게 우수하거나 대등한 성능을 보였습니다.
- 모달리티 공정 정규화: 단일 모달리티의 큰 임베딩 노름(norm)이 거리 메트릭을 지배하는 것을 방지하여 모든 제품군에서 일관된 성능을 보장했습니다.
- 학습 에포크: 시스템은 단 한 번의 학습 에포크 후에도 경쟁력 있는 성능을 유지하며 문헌에 보고된 모든 베이스라인을 능가했습니다.
- 하이퍼파라미터: 퓨전 대상 상위 $K$ 후보의 범위( $K' \in \{4, 8, 12, 16, 32\}$ ) 내에서 성능이 안정적으로 유지되었습니다.

의의 및 주장

본 논문은 RL4IL이 센서 가용성을 보장할 수 없는 환경에 로봇 시스템을 배치하기 위한 실용적이고 효과적인 전략을 제공한다고 주장합니다. 검색 및 임퓨테이션 메커니즘을 정책 네트워크 학습으로부터 분리함으로써, 이 방법은 재학습의 계산 비용 없이 강건성을 확보합니다. 저자들은 이 접근 방식이 복잡한 조작 작업에서 높은 성능을 유지하면서도, 센서 드롭아웃을 처리한다는 실세계 배포의 근본적인 요구 사항을 해결한다고 강조합니다. 이 연구는 학습된 랭킹과 소프트 임퓨테이션으로 보강된 검색 기반 모방 학습이 강건한 자율 시스템을 향한 유망한 경로임을 시사합니다.