SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

1. 문제 정의 (Problem Definition)

기존의 언어 기반 인간 - 로봇 상호작용 (HRI) 은 대부분 '지시자 - 수행자 (Master-Apprentice)' 모델에 기반하고 있습니다. 이 모델에서는 인간이 명령을 내리면 로봇은 이를 일방적으로 해석하고 실행할 뿐, 상호작용 과정에서 로봇이 인간에게 피드백을 주거나 인간의 의도를 역으로 학습하는 '상호 적응 (Co-adaptation)'이 발생하지 않습니다.

• 주요 한계점:
  • 일방적 적응: 로봇은 인간의 명령에만 적응할 뿐, 인간의 믿음 (Belief) 이나 의도 변화를 추적하거나 반영하지 못함.
  • 모호성 처리의 취약성: 명령이 모호할 경우 로봇이 스스로 질문하거나 맥락을 추론하지 못해 작업 실패로 이어짐.
  • 지속성 부재: 장기적인 상호작용에서 사용자의 선호도나 과거 경험을 기억하지 못해 매번 동일한 오류를 반복함.
  • 추론 부하: 모든 모호성과 맥락 추론을 인간이 담당해야 하므로 효율적인 협업이 어려움.

2. 제안 방법론: SIL (Symbiotic Interactive Learning)

저자들은 위 문제를 해결하기 위해 상호 적응적 (Co-adaptive) 인 '공생적 상호 학습 (SIL)' 프레임워크를 제안합니다. 이는 인간과 에이전트가 공유된 잠재 작업 공간 (Shared Latent Task Space) 내에서 상호작용하며 공동의 믿음 상태를 유지하고 진화시키는 구조입니다.

핵심 구성 요소 및 기술적 세부 사항:

가. 공유된 믿음 표현 및 상호 적응 (Shared Belief Representation & Co-Adaptation)

• 신념 상태 (Belief State): 인간 ($H$) 과 에이전트 ($A$) 는 각각 잠재 임베딩 ($z_t$), 신뢰도 ($k_t$), 불확실성 ($u_t$), 상호작용 역사 ($H_t$) 를 포함하는 구조화된 신념 상태를 유지합니다.
• 상호 영향 메커니즘: 양측의 신념은 서로의 잠재 임베딩을 통해 영향을 받습니다.
  • 실패 ($s_t \approx 0$) 시 인간은 명령을 수정해야 한다는 강한 신호를 받고, 성공 ($s_t \approx 1$) 시에는 인간이 적응할 필요가 적음을 의미합니다.
  • 이 과정은 상호 재귀적 추론 (Mutual Recursive Inference) 을 통해 이루어지며, 이를 통해 모호성이 해소됩니다.
• 정렬 지표: 인간과 에이전트의 신념 유사도를 신뢰도 가중치 belief alignment ($\rho$) 로 측정합니다. $\rho$가 임계값 이하로 떨어지면 명확화 (Clarification) 프로토콜이 자동 발동됩니다.

나. 구조화된 메모리 및 지속적 학습 (Memory & Continual Learning)

• 이중 메모리 아키텍처:
  • 에피소드 메모리 (Episodic Memory): 과거 상호작용의 원본 데이터 (입력, 응답, 실행 결과, 신념 상태 등) 를 저장하여 구체적인 맥락을 회상합니다.
  • 시맨틱 메모리 (Semantic Memory): 에피소드를 일반화하여 성공/실패 패턴, 공통적인 명확화 트리거 등을 추상화된 지식으로 저장합니다.
• EWC (Elastic Weight Consolidation): 새로운 작업을 학습할 때 기존 지식이 망각되는 '재앙적 망각 (Catastrophic Forgetting)'을 방지하기 위해 EWC 정규화 항을 손실 함수에 추가합니다.

다. 불확실성 인식 언어 이해 (Uncertainty-Aware Language Understanding)

• 앙상블 추론: LLM 에서 다양한 온도 (Temperature) 로 샘플링하여 여러 해석을 생성하고, 그 간격 (Dispersion) 을 계산하여 모호성을 정량화합니다.
• 명확화 프로토콜: 불확실성이 높으면 에이전트는 과거 경험 (메모리) 과 현재 맥락을 기반으로 인간에게 대안적인 해석을 제시하거나 질문을 던집니다.

라. 멀티모달 지각 및 실행

• 시각 - 언어 결합: SAM(Segment Anything Model) 과 CLIP 을 사용하여 객체를 분할하고 분류하며, 3D 좌표로 매핑합니다.
• 실행: ROS 기반의 경로 계획 및 장애물 회피를 통해 물리적 작업을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 일방적 학습 문제의 규명 및 SIL 프레임워크 제안: 기존 HRI 의 한계를 분석하고, 인간과 에이전트가 공유된 잠재 공간에서 상호 적응하는 최초의 프레임워크 중 하나를 제시했습니다.
2. 공유 신념 표현 및 정렬 메커니즘: 인간과 에이전트의 신념을 명시적으로 표현하고, 정량화하여 목표 지향적 명확화와 능동적 제안을 가능하게 했습니다.
3. 구조화된 메모리를 통한 지속적 학습: 에피소드/시맨틱 메모리와 EWC 를 결합하여 장기적인 상호작용에서도 지식과 선호도를 유지하도록 설계했습니다.
4. 광범위한 실증 평가: 실제 로봇과 시뮬레이션 환경에서 다양한 작업 (명령 수행, 정보 검색, 추론, 대화 등) 을 통해 기존 모델 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Unitree Go1 과 Segway 로봇을 포함한 실제 환경과 Gazebo 시뮬레이션에서 350 개의 상호작용 에피소드를 통해 SIL 을 평가했습니다.

• 작업 완료율 (Task Completion Rate, TCR): SIL 은 **90.4%**의 높은 완료율을 기록했습니다. 이는 최선의 절단 모델 (Ablation) 보다 약 20%p 높은 수치이며, 정적 LLM 베이스라인 (60.1%) 보다 압도적으로 우수합니다.
• 신념 정렬 (Belief Alignment, $\rho$): SIL 은 상호작용이 진행됨에 따라 $\rho \approx 0.83$의 높은 정렬 수준으로 빠르게 수렴하여 안정화되었습니다. 반면, 코 - 적응 (Co-adaptation) 이 없는 모델은 $\rho \approx 0.52 \sim 0.65$ 수준에 머물렀습니다.
• 명확화 효율성 (Clarification Efficiency): SIL 은 성공적인 작업당 평균 0.46 회의 명확화 요청만 발생시켰으며, 이는 모호성을 사전에 해결하는 능동적 능력을 보여줍니다.
• 절단 실험 (Ablation Study):
  • 코 - 적응 제거: 성능이 급격히 저하되어 정적 LLM 수준 (61.7%) 으로 떨어졌습니다.
  • EWC 제거: 장기 기억 (MIIR 작업) 에서 재앙적 망각이 발생하여 성능이 감소했습니다.
  • 기타 구성 요소: 메모리, 인간 선호도 모델, 불확실성 정량화 모두 성능 향상에 유의미한 기여를 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 인간 - 로봇 상호작용의 패러다임을 '일방적 명령 수행'에서 '상호 적응적 협업'으로 전환하는 중요한 이정표입니다.

• 기술적 의의: 언어 기반 에이전트가 단순히 명령을 따르는 것을 넘어, 인간의 의도를 추론하고, 과거 경험을 학습하며, 모호한 상황에서 능동적으로 소통할 수 있는 체계를 정립했습니다.
• 실용적 가치: 장기적인 상호작용이 필요한 개인화된 로봇 서비스, 복잡한 환경에서의 협업 로봇 등에 SIL 프레임워크를 적용함으로써 인간과 로봇 간의 신뢰와 효율성을 크게 향상시킬 수 있습니다.
• 미래 전망: 계산 복잡도와 확장성 문제를 해결한다면, SIL 은 차세대 자율 에이전트의 핵심 아키텍처로 자리 잡을 것으로 기대됩니다.

요약하자면, SIL 은 공유된 잠재 공간에서의 양방향 적응, 지속적인 기억, 그리고 불확실성 관리를 통해 인간과 로봇이 진정한 파트너십을 형성할 수 있도록 하는 혁신적인 프레임워크입니다.