💻 computer science

Mind the Context: Continual Learning of Socially Appropriate Robot Actions via Environmental-Social Disentanglement

이 논문은 명시적 분리 이중 분기(Explicit Disentanglement Dual-Branch, EDD) 프레임워크를 소개하며, 이는 환경적 단서와 사회적 단서를 명시적으로 분리하여 치명적 망각을 완화함으로써 사회적 로봇이 다양한 환경에 걸쳐 문맥에 적절한 행동을 지속적으로 학습할 수 있도록 한다.

원저자: Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 방 안으로 걸어 들어가는 장면을 상상해 보세요. 인간에게 이 방은 하나의 이야기를 들려줍니다. 이곳이 파티가 열리고 있는 북적이는 거실인지, 아니면 진지한 회의가 진행 중인 조용한 사무실인지 말이죠. 시끄러운 대화를 시작하거나 바닥 청소를 하는 것과 같은 동일한 행동도, 첫 번째 방에서는 완벽하게 예의 바른 행동일 수 있지만 두 번째 방에서는 완전히 재앙이 될 수 있습니다. 이것이 바로 기계가 인간 행동의 불문율을 배우려고 노력하는 **사회적 로보틱스(social robotics)**의 세계입니다. 하지만 여기 까다로운 문제가 있습니다. 로봇에게는 앞으로 방문할 수 있는 모든 가능한 방의 모든 규칙을 일일이 프로그래ミング해 줄 수 없다는 점입니다. 대신, 로봇에게는 **지속 학습(Continual Learning)**이 필요합니다. 이것은 마치 새로운 학교를 계속 다니는 학생과 같습니다. 그들은 이전 학교에서 배웠던 규칙을 잊지 않으면서도, 새로운 학교의 식당이나 체육관의 규칙을 배워야 합니다. 만약 규칙을 잊어버린다면, 그것은 '파괴적 망각(catastrophic forgetting)'이라 불리며, 로봇은 혼란에 빠지고 무례해질 것입니다.

연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 로봇이 자신이 '어디에 있는지'(환경)와 '누가 거기에 있는지'(사회적 군중)가 어떻게 함께 작용하여 예의를 결정하는지 이해하도록 가르칠 수 있을까요? 보통 로봇은 방 전체의 모습을 보고 규칙을 추측하려고 합니다. 하지만 저자들은 그것이 마치 안개가 낀 안경을 쓰고 퍼즐을 맞추려는 것과 같다고 제안합니다. 연구진은 더 똑똑한 방법을 제안합니다. 로봇에게 '배경'(가구, 벽)과 '사람'(군중, 그들의 위치)을 분리하여 학습시키고, 이 조각들을 다시 합치기 전에 각각 따로 학습시키는 것입니다.

"맥락을 주의하라" 실험 (The "Mind the Context" Experiment)

이 연구에서 연구진은 EDD(Explicit Disentanglement Dual-Branch, 명시적 분리 이중 분기)라고 불리는 새로운 학습 시스템을 구축했습니다. 두 종류의 안경을 쓴 로봇을 상상해 보세요. 한 쌍의 안경인 "환경 렌즈(Environmental Lens)"는 사람들을 흐릿하게 처리하여 로봇이 음식을 차릴 테이블이 있는지 또는 청소할 지저한 바닥이 있는지와 같이 순수하게 방의 구조에 집중할 수 있게 합니다. 다른 한 쌍의 안경인 "사회적 렌즈(Social Lens)"는 가구나 벽을 흐릿하게 만들어, 로봇이 사람들이 어디에 서 있고 서로 얼마나 가까이 있는지를 볼 수 있도록 사람들의 실루엣만을 남깁니다.

로봇은 이 두 가지 별도의 뷰를 사용하여 학습합니다. 로봇은 이 뷰들을 독립적으로 처리하는 두 개의 "두뇌"(또는 분기)를 가지고 있으며, 그 후 이들의 생각을 결합하여 "여기서 대화를 시작해도 괜찮을까?" 또는 "지금 청소기를 돌려야 할까?"를 결정합니다. 로봇이 거실에서 배운 것을 사무실로 이동했을 때 잊어버리지 않도록, 팀은 "리플레이 버퍼(replay buffer)"를 사용했습니다. 이것은 로봇이 새로운 방을 배우는 동안 연습할 수 있도록 예전 방의 스냅샷 몇 장을 보관하는 디지털 스첩북과 같으며, 이를 통해 로봇이 혼란에 빠지는 것을 방지합니다.

연구 결과

연구팀은 이 시스템을 아늑한 집부터 회의실, 복도, 넓은 개방형 사무실 등 다양한 유형의 사무 공간에 이르기까지 6가지의 서로 다른 실내 환경에서 테스트했습니다. 그들은 이 "두 개의 렌즈"를 가진 로봇을 전체 이미지를 한 번에 보는 방식이나, 훈련 없이 사회적 규칙을 추측하려는 매우 고급 AI 모델(소위 "제로샷(zero-shot)" 모델)을 포함한 다른 방법들과 비교했습니다.

결과는 매우 명확했습니다. 분리된 렌즈와 스크랩북을 가진 EDD 로봇이 인간이 예의 바르다고 간주하는 행동을 예측하는 데 가장 뛰어났습니다. 이 로봇은 오류율이 더 낮았으며(0.783, 다른 방법들의 경우 1.2 또는 2.0 이상), 그 예측은 인간의 의견과 훨씬 더 밀접하게 일치했습니다.

연구진은 또한 "사람"과 "방"을 나누는 다양한 방식을 테스트했습니다. 그들은 바운딩 박스(사람 주변에 상자를 그려 그 밖의 영역을 숨기는 방식)를 사용하는 것이 단순히 윤곽선(실루엣)을 사용하거나 로봇을 중심으로 줌인하는 것보다 약간 더 효과적이라는 것을 발견했습니다. 이는 사람들을 "환경" 뷰로부터 명확하게 숨기는 것이 로봇이 방의 규칙을 더 잘 이해하도록 돕는다는 것을 시사합니다.

흥미롭게도, 로봇이 방문한 방의 순서는 그리 중요하지 않았습니다. 단순한 복도에서 복잡한 거실으로 이동했든, 혹은 그 반대였든, 로봇은 양방향 모두에서 잘 학습했습니다. 이는 이 시스템이 매우 견고하며 새로운 경험의 순서에 의해 쉽게 혼란에 빠지지 않는다는 것을 보여줍니다.

시사점

이 논서는 로봇이 변화하는 세상에서 진정으로 예의 바르게 행동하기 위해서는 장면을 하나의 크고 엉망인 덩어리로 보는 것을 멈춰야 한다고 제안합니다. 대신, 그들은 "어디"와 "누구"를 능동적으로 분리해야 합니다. 환경과 사회적 군중을 두 가지 서로 다른 것으로 이해하도록 명시적으로 가르치고, 그 지식을 결합함으로써 로봇은 더 빨리 배우고 덜 잊어버리게 됩니다. 비록 이것이 실제 영상이 아닌 합성 이미지(컴퓨터 생성 장면)를 대상으로 테스트되었지만, 결과는 이러한 "분리(disentanglement)" 전략이 로봇이 매너를 잃지 않고 새로운 사회적 상황에 적응할 수 있는 유망한 경로임을 나타냅니다.

기술 요약: Mind the Context – 환경-사회적 분리를 통한 사회적으로 적절한 로봇 행동의 지속 학습

1. 문제 정의

본 논문은 사회적 로봇이 다양한 변화하는 실내 환경(예: 가정, 사무실, 회의실)에서 작동할 수 있도록 하는 과제를 다룹니다. 여기서 **사회적 적절성(social appropriateness)**은 맥락에 따라 달라집니다. 특정 행동(예: 대화를 시작하거나 청소하기)은 한 설정(붐비는 거실)에서는 적절할 수 있지만, 다른 설정(회의실)에서는 방해가 될 수 있습니다. 이는 사회적 구성(social arrangement)이 유사해 보이더라도 마찬가지입니다.

핵심 문제는 **도메인 점진적 지속 학습(Domain-Incremental Continual Learning, DIL)**으로 프레임링됩니다. 태스크가 변하지만 환경은 정적인 태스크 점진적(task-incremental) 설정과 달리, DIL은 로봇이 서로 다른 데이터 분포를 가진 새로운 도메인(환경)을 순차적으로 마주해야 함을 요구합니다. 로봇은 이전 지식을 유지하면서 동시에 새로운 도메인에서 여러 행동(예: 진공 청소, 서빙, 물체 운반)의 적절성을 예측하는 법을 배워야 하며, 이를 통해 **파괴적 망각(catastrophic forgetting)**을 완화해야 합니다.

기존 연구에서 확인된 결정적인 격차는, 사회적으로 적절한 행동을 학습하는 기존 방법들이 장면을 단일한 입력으로 취급하여 환경적 단서(레이아웃, 가구, 개방성)와 사회적 단서(에이전트의 위치, 그룹 구성)를 암묵적으로 혼합한다는 점입니다. 저자들은 도메인 점진적 학습을 위해서는 이러한 단서들을 명시적으로 분리하는 것이 거짓 상관관계(spurious correlations)를 줄이고 지식 전이를 개선하는 데 필요하다고 주장합니다.

2. 방법론: EDD 프레임워크

저자들은 세 가지 주요 구성 요소로 이루어진 명시적 분리 이중 브랜치(Explicit Disentanglement Dual-Branch, EDD) 프레임워크를 제안합니다.

A. 의미론적 맥락 분해 (Semantic Context Decomposition)

환경적 정보와 사회적 정보를 명시적으로 분리하기 위해, 저자들은 **파놉틱 세그멘테이션(Panoptic Segmentation)**을 사용하여 각 장면 이미지 $x$ 를 두 개의 별도 뷰로 분해합니다.

환경 뷰 ( $x_E$ ): 이 뷰는 배경과 공간 레이아웃을 강조하고 사회적 에이전트를 가립니다. 이는 탐지된 에이전트를 마스킹하고 이를 고정된 색상으로 대체하며, 또한 도메인 풀에서 샘플링된 "디코이(decoy)" 바운딩 박스 마스크를 도입하여 에이전트 위치를 더욱 은폐함으로써 구축됩니다. 이는 네트워크가 어포던스(affordance)와 공간적 제약에 의존하도록 강제합니다.
사회적 뷰 ( $x_S$ ): 이 뷰는 균일한 배경을 바탕으로 사회적 에이전트(인간, 반려동물, 다른 로봇)를 격리합니다. 이는 에이전트의 실루엣 마스크를 사용하여 구축되며, 환경적 맥락을 제거하면서도 이들의 상대적 위치와 그룹 구성을 보존합니다.

B. 이중 브랜치 네트워크 (Dual-Branch Network)

분해된 뷰는 이중 브랜치 아키텍처에 의해 처리됩니다.

환경 인코더 ( $\phi_E$ ): $x_E$ 를 처리하여 설정(예: 방 유형, 가구 밀도)과 관련된 특징을 추출합니다.
사회적 인코더 ( $\phi_S$ ): $x_S$ 를 처리하여 에이전트 구성과 관련된 특징을 추출합니다.
융합 및 회귀 (Fusion and Regression): 두 브랜치로부터 나온 특징 벡터는 결합되어 공유 회귀 헤드( $g$ )를 통과하며, $K$ 개의 가능한 행동에 대한 $K$ 차원 적절성 점수 벡터를 예측합니다. 이를 통해 모델은 환경적 요인과 사회적 요인이 어떻게 공동으로 행동의 적절성에 영향을 미치는지 학습할 수 있습니다.

C. 리플레이를 통한 지속 학습 (Continual Learning with Replay)

과거 데이터에 접근할 수 없는 상태에서 순차적으로 도착하는 도메인을 처리하기 위해, EDD는 경험 리플레이(Experience Replay) 전략을 활용합니다.

메모리 버퍼는 마주친 각 도메인으로부터 고정된 수의 샘플을 저장합니다.
새로운 도메인에 대한 학습 중에 모델은 현재 도메인의 데이터와 버퍼에서 리플레이된 샘플의 혼합물으로 학습됩니다.
이 접근 방식은 모든 도메인에 대한 공동 학습을 근사하여 누적 손실을 최소 최소화하고 파괴적 망각을 완화합니다.

3. 주요 기여

명시적 분리: 본 논문은 전체 장면 이미지로부터 암묵적인 특징 학습에 의존하는 대신, 파놉틱 세그멘테이션을 사용하여 입력 수준에서 환경적 단서와 사회적 단서를 명시적으로 분리함으로써 사회적 로봇을 위한 도메인 점진적 CL에 대한 새로운 접근 방식을 도입했습니다.
EDD 프레임워크: 의미론적 분해와 이중 브칭 아키텍처 및 리플레이 기반 리허설을 결합한 명시적 분리 이중 브랜치 프레임워크를 제안했습니다.
포괄적 평가: 저자들은 OfficeDB와 MannersDB+를 병합한 데이터셋을 통해 여섯 가지 실내 도메인(가정 및 5가지 사무실 변형)에 대해 프레임워크를 평가하고 다음 사항에 대한 절제 연구(ablation studies)를 수행했습니다.
- 분해 전략: 바운딩 박스 마스크, 실루엣, 공간 근접 촬영, 분해 없음 비교.
- 도메인 순서: 노출 순서에 대한 민감도를 평가하기 위해 다양한 시퀀스(복잡도 기반, 대비 기반) 테스트.
- 베이스라인: 로봇 특화 CL 방법, 도메인 점진적 비전 모델, 제로샷 시각-언어 모델(VLM)과의 비교.

4. 실험 결과

실험은 Pepper 로봇의 9가지 행동 카테고리에 초점을 맞추어 OfficeDB와 **MannersDB+**를 병합한 데이터셋에서 수행되었습니다.

베이스라인 대비 성능 (RQ1): EDD는 최신 로보틱스 CL 방법(FedLGR), 도메인 점진적 비전 모델(DUCA, DARE++), 제로샷 VLM(Qwen, LLaVA, DeepSeek)을 포함한 모든 베이스라인보다 우수한 성능을 보였습니다. EDD는 가장 낮은 평균 제곱근 오차(RMSE: 0.783)와 가장 높은 피어슨(PCC: 0.552) 및 콘코던스(CCC: 0.375) 상관계수를 달arl성했습니다. 특히, VLM은 경쟁력 있는 RMSE를 보였으나 인간의 판단과 잘 상관되지 않았으며, 이는 파운데이션 모델 단독으로는 이 특정 작업에 불충분함을 시사합니다.
분해 전략 (RQ2): 바운딩 박스 분해(제안된 방법)가 가장 좋은 전반적 성능과 가장 낮은 망각(역방향 전이, BWT)을 나타냈습니다. "분해 없음" 대조군은 오차 지표에서 유사한 성능을 보였으나, 명시적 분리는 인간의 판단과 더 잘 일치하는 결과를 제공했습니다(더 높은 PCC/CCC). "로봇 근접 촬영" 전략은 가장 낮은 BWT를 보여 보유력은 좋았으나 상관관계는 낮았는데, 이는 도메인 특화 특징은 잘 보존하지만 광범위한 사회적 맥락을 놓칠 수 있음을 시사합니다.
도메인 순서 (RQ3): 도메인 노출 순서는 성능에 측정 가능하지만 미미한 영향을 미쳤습니다. "복잡도 증가" 커리큘럼이 Home 도메인에서 약간 더 나은 성능을 보였으나, 망각과 일반 정확도에 미치는 전반적인 영향은 아키텍처 선택에 비해 제한적이었습니다. 모델은 다양한 시퀀싱 전략에 대해 비교적 견고하게 유지되었습니다.

5. 의의 및 주장

본 논문은 환경적 단서와 사회적 단서를 명시적으로 분리하는 것이 사회적 로봇 공학을 위한 지속 학습의 유효하고 효과적인 전략이라고 주장합니다. 저자들은 다음과 같이 주장합니다.

사회적 적절성은 단순히 에이전트 배치만의 함수이 아니라, 환경(어포던스)과 사회적 구성에 의해 공동으로 결정됩니다.
이러한 단서들을 별개의 입력으로 취급하면 모델이 이전 지식을 잊지 않으면서 새로운 도메인 변화에 더 잘 적응할 수 있습니다. 환경 브랜치는 새로운 레이아웃에 적응할 수 있고, 사회적 브랜치는 일반화 가능한 에이전트 상호작용 패턴을 유지할 수 있기 때문입니다.
현재의 제로샷 VLM은 강력하지만, 체화된(embodied) 환경에서의 미묘하고 맥락 의존적인 사회적 규범을 포착하는 데 필요한 특정 구조적 귀납 편향(structural inductive bias)이 부족합니다.

이 연구는 향-장기적으로 배포될 사회적 로봇이 맥락 유형을 구조적으로 분리하는 아키텍처를 통해 더욱 다양한 실세계 환경에 보다 강력하게 적응할 수 있을 것임을 시사합니다. 저자들은 합성 데이터 사용 및 파놉틱 세그멘테이션에 대한 의존성과 같은 한계를 인정하며, 실세계 검증, 브랜치 기여도의 설명 가능성, 적응형 융합 메커니즘에 대한 향후 연구를 제안합니다.