🤖 machine learning

Nested Training for Mutual Adaptation in Human-AI Teaming

이 논문은 인간과 AI 팀의 상호 적응을 해결하기 위해 인간 적응을 상태에 명시적으로 모델링하고 하위 수준의 적응적 에이전트와 대결하며 학습하는 중첩 훈련 방식을 제안함으로써, 기존 방법의 한계를 극복하고 새로운 파트너와의 일반화 성능을 향상시켰음을 보여줍니다.

원저자: Upasana Biswas, Durgesh Kalwar, Subbarao Kambhampati, Sarath Sreedharan

게시일 2026-02-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Upasana Biswas, Durgesh Kalwar, Subbarao Kambhampati, Sarath Sreedharan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **로봇과 사람이 함께 일할 때, 서로가 서로의 행동을 예측하고 맞춰가는 '상호 적응 (Mutual Adaptation)'**을 어떻게 더 잘 만들 수 있는지에 대한 연구입니다.

기존의 로봇들은 사람과 함께 일할 때, "사람이 어떻게 행동할지"를 미리 정해진 패턴으로만 생각하거나, 사람과 로봇이 동시에 변하는 상황을 제대로 따라가지 못해 엉뚱한 행동을 하곤 했습니다. 이 논문은 이를 해결하기 위해 **'계단식 훈련 (Nested Training)'**이라는 새로운 방법을 제안했습니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 **요리사 (로봇) 와 손님 (사람)**의 비유로 설명해 드리겠습니다.

🍳 비유: "요리사 훈련소" 이야기

1. 기존 방식의 문제점: "고정된 메뉴만 외운 요리사"

기존의 로봇 (요리사) 은 수많은 손님을 만나기 위해 훈련을 받았습니다. 하지만 문제는 훈련할 때 손님들이 움직이지 않는 인형처럼 고정되어 있었다는 점입니다.

상황: 요리사가 "손님이 토마토를 원할 거야"라고 생각하며 토마토를 자르면, 손님은 그걸 보고 "아, 이 요리사는 토마토를 좋아하네"라고 생각하며 행동을 바꿉니다.
문제: 하지만 기존 로봇은 손님이 변하는 걸 모릅니다. 손님이 행동을 바꿔도 로봇은 여전히 "토마토를 자르겠지"라고만 생각하다가, 손님이 양파를 자르고 있을 때 서로 부딪히거나, 둘 다 같은 재료를 자르며 혼란이 빚어집니다. 이를 **'불안정한 조율'**이라고 합니다.

2. 이 논문의 해결책: "3 단계 계단식 훈련"

이 연구팀은 로봇이 손님의 변화를 예측하고 맞춰가기 위해 **3 단계 계단식 훈련 (Nested Training)**을 고안했습니다. 마치 요리사 학교에서 단계별로 난이도를 높이는 훈련 같습니다.

1 단계 (Level-1): 초보 요리사 훈련
- 상황: 로봇이 아닌, **가상의 '초보 요리사 (Level-0)'**들이 고정된 메뉴만 고집하며 훈련합니다.
- 결과: 이 단계에서 훈련된 'Level-1 요리사'는 "아, 이 초보들은 토마토만 고집하구나"라고 배우고, 그들에 맞춰 행동을 바꿉니다. 즉, 상대방의 고정된 습관을 파악하는 법을 배웁니다.
2 단계 (Level-2): 마스터 요리사 훈련 (핵심!)
- 상황: 이제 진짜 로봇 (Level-2) 이 훈련을 받습니다. 하지만 상대는 고정된 초보 요리사가 아니라, **방금 위에서 훈련받은 'Level-1 요리사 (적응형)'**입니다.
- 핵심: Level-1 요리사는 로봇의 행동을 보고 자신의 행동을 바꿉니다. 로봇은 이걸 보고 "아, 이 친구는 내가 토마토를 자르면 양파를 자르겠구나"라고 상대방이 변하는 것까지 예측합니다.
- 효과: 로봇은 상대방이 어떻게 변할지 미리 상상하며 (Level-2 추론), 서로가 서로를 맞춰가는 원활한 춤을 추는 법을 배웁니다.

3. 왜 이 방법이 좋은가요? "불투명한 규칙"을 피하다

기존 방식은 로봇과 사람이 동시에 훈련하다 보면, "우리 둘만 아는 특이한 규칙 (예: 토마토를 자르면 무조건 춤을 춘다)" 같은 불투명한 관습이 생기기 쉽습니다. 이는 새로운 사람과 만나면 통하지 않아 실패합니다.

하지만 이 계단식 훈련은 로봇이 다양한 유형의 '적응형 파트너'와 만나는 경험을 쌓게 합니다. 그래서 로봇은 "누구와 만나도 유연하게 맞춰갈 수 있는 능력"을 키우게 됩니다. 마치 유연한 춤추기를 배운 요리사는, 어떤 파트너와 만나도 즉흥적으로 맞춰 춤을 추는 것과 같습니다.

📊 실험 결과: "오븐 (Overcooked) 게임"에서 증명됨

이론을 검증하기 위해 '오븐 (Overcooked)'이라는 유명한 협력 요리 게임을 사용했습니다.

상황: 로봇과 사람이 함께 요리를 해야 점수를 받습니다.
결과:
- 기존 로봇들: 새로운 파트너와 만나면 서로 재료를 자르다가 부딪히거나, 어떤 요리를 할지 끝까지 결정하지 못해 헛수고를 했습니다. (성공률 약 50% 미만)
- 이 논문의 로봇: 처음엔 살짝 망설이다가도, 상대방의 행동을 빠르게 파악하고 **"아, 이 사람은 양파를 자르겠구나, 내가 토마토를 자르자"**라고 빠르게 결론을 내렸습니다. (성공률 90% 이상)

💡 결론: "서로가 서로를 읽는 눈"

이 논문은 로봇이 단순히 사람의 행동을 따라 하는 게 아니라, "사람이 내 행동을 보고 어떻게 변할지"를 미리 계산해서 행동할 때 가장 훌륭한 팀워크가 나온다는 것을 보여줍니다.

마치 훌륭한 연인이나 파트너가 서로의 눈빛만으로도 무엇을 원하는지 알아채는 것처럼, 이 로봇은 사람의 변화까지 예측하며 안정적이고 효율적인 협력을 가능하게 합니다. 앞으로 실제 사람과 함께 일하는 로봇 (병원, 공장, 가정 등) 이 더 자연스럽고 안전하게 작동하는 데 큰 도움이 될 것입니다.

1. 문제 정의 (Problem)

기존의 인간 - 로봇 팀워크 연구는 다음과 같은 한계를 가지고 있습니다:

일방적 적응: 대부분의 기존 접근법은 로봇이 고정된 (또는 정적인) 인간 파트너에 반응하는 방식에 집중합니다. 이는 인간이 로봇의 행동에 따라 전략을 실시간으로 수정하는 '상호 적응 (Mutual Adaptation)' 과정을 고려하지 못합니다.
취약한 관례 형성: 동시 다중 에이전트 학습 (Simultaneous Multi-agent Learning) 은 훈련 중 특정 파트너와만 작동하는 불투명한 조정 관례 (Coordination Conventions) 를 형성하여, 훈련되지 않은 새로운 파트너와 협력할 때 일반화 성능이 떨어지는 문제가 있습니다.
불안정한 협력: 인간과 AI 가 서로의 행동을 예측하며 적응할 때, 표준 훈련 방법들은 종종 요리 선택과 같은 핵심 결정에서 불안정한 진동 (Oscillation) 을 보이며 안정적인 협력을 이루지 못합니다.

2. 방법론 (Methodology)

이 논문은 인간 - 로봇 팀워크를 유한 레벨의 상호 작용 부분 관측 마르코프 결정 과정 (Finite-level Interactive Partially Observable Markov Decision Process, I-POMDP) 으로 모델링하고, 이를 해결하기 위해 중첩 훈련 (Nested Training) 방식을 제안합니다.

핵심 개념: I-POMDP 모델링

레벨 0 (Level-0): 고정된 정책 (비적응형) 을 가진 로봇.
레벨 1 (Level-1): 레벨 0 로봇에 적응하는 인간 정책. 인간은 로봇의 행동을 관찰하여 로봇의 유형에 대한 믿음 (Belief) 을 형성하고 적응합니다.
레벨 2 (Level-2): 레벨 1 수준의 적응적 인간을 모델링하는 로봇 정책. 로봇은 인간이 자신의 행동에 어떻게 반응할지 (적응할지) 를 추론하여 행동합니다.

중첩 훈련 regimes (Nested Training Regime)

동시 학습의 문제 (관례 형성) 를 피하기 위해 단계별 훈련을 수행합니다:

레벨 1 인간 정책 훈련: 고정된 레벨 0 로봇 정책 집합에 대해 인간 에이전트를 훈련시킵니다. 이는 인간이 다양한 로봇 행동에 적응하는 능력을 학습하게 합니다.
레벨 2 로봇 정책 훈련: 위에서 훈련된 적응형 인간 정책 집합 {𝜋_H} 에 대해 로봇을 훈련시킵니다. 로봇은 인간이 어떻게 적응할지 (레벨 1 모델) 를 추론하며 학습합니다.
잠재 임베딩 (Latent Embedding): 상호작용 이력 ( $h_t$ ) 을 요약하는 잠재 변수 $z_t = f_\theta(h_t)$ 를 학습하여 파트너의 유형에 대한 불확실성을 추정하고, 이를 정책 ( $a_t \sim \pi_\theta(a|o_t, z_t)$ ) 에 조건부로 적용합니다. 이를 통해 계산적으로 tractable 한 belief update 를 가능하게 합니다.

이 방식은 에이전트가 단일 관례에 수렴하는 것을 방지하면서도, 파트너의 적응 행동을 명시적으로 모델링하여 일반화를 촉진합니다.

3. 주요 기여 (Key Contributions)

상호 적응을 위한 I-POMDP 기반 프레임워크: 인간 - AI 팀워크를 상호작용적 상태 공간으로 명시적으로 모델링하여, 로봇이 인간의 적응 전략을 추론할 수 있는 이론적 기반을 마련했습니다.
중첩 훈련 알고리즘: 동시 학습의 단점 (과적합 및 관례 형성) 을 피하면서 레벨 2 추론 (Level-2 reasoning) 을 근사하는 새로운 훈련 체계를 제안했습니다.
이론적 증명: 중첩 훈련이 단일 협조 관례 (Single Coordination Convention) 로 수렴하지 않음을 수학적 귀납법으로 증명하여, 다양한 파트너에 대한 일반화 가능성을 보장합니다.
실증적 검증: 'Overcooked' 환경에서 기존 최첨단 방법론 (LIAM, LILI, PACE 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

환경: 협력 필수 (Required-cooperation) 변형 Overcooked 게임.
평가: 8 개의 훈련되지 않은 적응형 파트너와 10 라운드 (단기: 5 에피소드, 장기: 25 에피소드) 에 대한 평균 성공률.

성능 비교:
- 제안된 방법: 단기 평가에서 0.90, 장기 평가에서 0.935의 평균 성공률을 기록하여 모든 베이스라인을 압도했습니다.
- 베이스라인:
  - Generalist: 단기 0.575, 장기 0.65
  - PACE: 단기 0.55, 장기 0.61
  - LILI: 단기 0.45, 장기 0.505
  - LIAM: 0.00 (작업 완료 실패)
안정성: 제안된 방법은 모든 파트너 시드 (Seed) 에서 일관된 높은 성능을 보인 반면, 베이스라인들은 특정 파트너에 과적합되거나 파트너 간 성능 편차가 컸습니다.
행동 분석:
- 베이스라인 에이전트들은 파트너의 적응에 반응하여 요리 선택에서 지속적인 진동 (Oscillation) 을 보이며 협력을 실패했습니다.
- 제안된 방법은 초기 짧은 진동 후 빠르게 단일 요리 전략으로 수렴하여, 파트너의 적응을 예측하고 안정적인 조율을 이루었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 인간 - AI 팀워크에서 상호 적응 (Mutual Adaptation) 의 핵심 과제를 해결하기 위한 새로운 패러다임을 제시합니다.

이론적 통찰: 단순한 반응적 적응을 넘어, 파트너가 어떻게 적응할지 추론하는 '레벨 2 추론'이 안정적인 협력을 위한 필수 요소임을 입증했습니다.
실용적 가치: 실제 인간 파트너와 협력하는 AI 에이전트가 훈련되지 않은 다양한 인간 스타일에도 유연하게 대응하고, 불확실성 하에서도 안정적인 조율을 이룰 수 있음을 보여줍니다.
미래 전망: 이 프레임워크는 실제 인간 참가자를 대상으로 한 실험으로 확장 가능하며, 보상 함수가 일치하지 않는 혼합 동기 (Mixed-motive) 환경으로도 확장될 수 있습니다.

결론적으로, 이 논문은 중첩 훈련을 통한 명시적 상호작용 모델링이 인간 - AI 팀의 신뢰성과 효율성을 극대화하는 핵심 열쇠임을 증명했습니다.