Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

기술 요약: GLOBE – 개인화되고 견고한 선제적 로봇 보조

문제 정의
가정 환경에서의 선제적 로봇 보조는 동적이고 노이즈가 많은 조건에서도 인간의 활동과 그에 따른 물체 사용을 정확하게 예측하는 것을 필요로 한다. STOT, SLaTe-PRO와 같은 기존의 시공간 모델(spatio-temporal models)은 계산 비용이 많이 들고 환경 변화에 민감한 복잡한 아키텍처에 의존하는 경우가 많다. 이러한 방법들은 반려동물, 유아 또는 부수적인 인간의 행동으로 인해 발생하는 물체의 위치 변화와 같이, 표준 데이터셋에는 명시적으로 모델링되지 않은 실제 세계의 노이즈를 처리하는 데 어려움을 겪는 경우가 빈번하다. 또한, 예측 정확도와 계산 효율성, 그리고 장기적 배포를 위한 견고함 사이의 균형을 맞추는 프레임워크가 필요하다.

방법론: GLOBE 프레임워크
저자들은 선제적 보조를 위해 물체 사용을 예측하도록 설계된 경량 하이브리드 프레임워크인 GLOBE(uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling)를 제안한다. 이 시스템은 관찰(학습) 단계와 보조(추론) 단계의 2단계 과정을 통해 작동한다.

1. n-gram 마르코프 모델을 통한 순차적 예측:

   • 활동 예측: 시스템은 순차적인 사용자 활동 데이터에 대해 n-gram 마르코프 모델을 학습시킨다. 최근 활동 이력($c_{act}$)을 기반으로 전이 확률을 계산한다. 제한된 컨텍스트를 처리하기 위해, 모델은 관찰된 가장 긴 시퀀스가 학습 중에 발견되지 않은 경우 점진적으로 더 짧은 이력 시퀀스를 사용하는 "백오프(back-off)" 전략을 채택한다.
   • 물체 예측: 물체 사용은 예측된 활동($\hat{a}_t$)과 해당 특정 활동 컨텍스트 내에서의 최근 물체 이력($c_{obj}$)을 조건으로 하여 예측된다. 모델은 예측 범위를 해당 활동과 공존하는 물체 집합으로 제한하여 컨텍스트의 일관성을 보장한다.

2. 불확실성 기반 LLM 추론:

   • 희소성, 모호성 또는 마르코프 모델의 신뢰도가 낮은 미학습 패턴 문제를 해결하기 위해, 프레임워크는 선택적으로 사전 학습된 대규모 언어 모델(LLM)을 호출한다.
   • 신뢰도 임계값($d$)은 LLM을 트리거할 시점을 결정한다. 순차 모델의 확률이 이 임계값보다 낮아지면, 최근 활동, 물체 시퀀스 및 n-gram 모델에서 필터링된 상위-$k$ 후보군을 LLM에 질의한다.
   • LLM은 자신의 의미론적 추론 능력을 활용하여 예측을 정교화하며, 이때 LLM은 유일한 의사결정자가 아니라 더 넓은 컨텍스트 지식을 고려하는 역할을 수행한다.

3. HOMER-Noise 데이터셋:

   • 견고성을 평가하기 위해 저자들은 기존의 HOMER+ 데이터셋을 확장한 HOMER-Noise를 도입한다.
   • 이 데이터셋은 세 가지 뚜렷한 출처인 사람(정리 정돈), 반려동물(부수적 위치 이동), 유아(예측 불가능한 무작위 움직임)에 의한 구조화된 물체 움직임을 주입함으로써 현실적인 환경적 교란을 시뮬레이션한다.
   • 이러한 교란은 가사 환경과의 의미론적 일관성을 보장하기 위해 LLM을 사용하여 생성되며, 이를 통해 활동 유발 변화와 외부 노이즈를 구분하는 벤치마크를 구축한다.

주요 기여

• GLOBE 프레임워크: 일상적인 패턴을 위한 효율적인 n-gram 마르코프 모델링과 엣지 케이스를 위한 선택적 불확실성 기반 LLM 추론을 결합한 하이브리드 아키텍처이다. 이 설계는 모든 예측에 LLM을 사용하는 데 따르는 계산 오버헤드를 방지한다.
• HOMER-Noise 데이터셋: 실제 가정 내 변동성(인간, 반려동물, 유아의 상호작용)을 더 잘 시뮬레이션하기 위해 구조화된 환경 노이즈를 명시적으로 모델링한 새로운 데이터셋 확장본이다.
• 견고성 및 효율성: 본 접근 방식은 필요한 경우에만 LLM을 보강하여 경량 순차 모델을 사용하는 것이 SOTA(최신 기술) 방법들과 경쟁력 있는 성능을 달면서도 훈련 시간을 크게 단축하고 노이즈에 대한 탄력성을 높일 수 있음을 입증한다.

실험 결과
프레임워크는 깨끗한 HOMER+ 데이터셋과 노이즈가 포함된 HOMER-Noise 데이터셋 모두에서 SLaTe-PRO, 단독 n-gram 모델, 제로샷 LLM 베이스라인과 비교 평가되었다.

• 예측 성능: 깨끗한 HOMER+ 데이터셋에서 GLOBE는 0.73의 평균 F1-score를 달성하여, SLaTe-PRO(0.74)와 유사한 수준을 보였으며, 단독 n-gram 모델(0.72) 및 제로샷 LLM(0.29)보다 우수한 성능을 보였다. 특히 GLOBE는 활동 예측 F1-score에서 0.80이라는 가장 높은 수치를 기록했다.
• 계산 효율성: GLOBE는 SLaTe-PRO의 11,415초에 비해 단 8.33초만을 필요로 하며 탁월한 훈련 효율성을 입증했다. 선택적 API 호출로 인해 추론 지연 시간은 SLaTe-PRO(93초)보다 높은 192.49초를 기록했으나, 이 비용은 신뢰도가 낮은 시나리오에서만 발생한다.
• 노이즈에 대한 견고성: 구조화된 노이즈 조건(HOMER-Noise) 하에서 GLOBE는 사람, 반려동물, 유아 노이즈 유형 전반에 걸쳐 SLaTe-PRO보다 일관되게 높은 평균 F1-score를 기록했다. 특히 GLOBE는 모든 노이즈 수준에서도 안정적인 활동 예측 성능(0.80)을 유지한 반면, SLaTe-PRO의 성능은 크게 저하되었다.
• 절제 연구(Ablation Studies): 결과에 따르면 본 프레임워크는 훈련 시 다양한 노이즈 수준(0.25 ~ 0.75)에 대해 견고하며, 신뢰도 임계값을 0.5로 설정했을 때 순차 모델링과 LLM 개입 사이의 최적의 균형을 제공한다.

의의 및 주장
본 논문은 GLOBE가 계산 효율적이면서 환경적 변동성에 견고한 솔루션을 제공함으로써 선제적 로봇 보조의 핵심적인 격차를 해결한다고 주장한다. 일상적인 행동을 위한 경량 통계 모델의 강점과 불확실한 상황을 위한 LLM 추론의 강점을 활용함으로써, 프레임워크는 속도와 적응성 사이의 균형을 달성한다. HOMER-Noise의 도입은 주요 사용자 활동과 무관하게 물체 상태가 빈번하게 변경되는 실제 배포 환경을 평가하기 위한 더 현실적인 벤치마크를 제공한다. 저자들은 Stretch 3 모바일 매니퓰레이터와의 개념 증명 통합을 통해 시스템의 적용 가능성을 검증하며, 이를 통해 인간-로봇 상호작용 시나리오에서의 활용성을 입증하였다.