StretchBot: A Neuro-Symbolic Framework for Adaptive Guidance with Assistive Robots

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 보조 로봇 (Assistive Robots) 은 가정 및 의료 환경에서 사용자의 신체적 웰빙 (스트레칭, 재활 등) 을 지원할 잠재력이 크지만, 기존 시스템은 대부분 스크립트 기반 (Scripted) 으로 고정되어 있습니다.
• 문제점:
  • 기존 시스템은 사용자의 상태 (피로, 감정), 환경적 맥락, 상호작용 역동성에 적응하지 못합니다.
  • 순수 스크립트 방식: 예측 가능성은 높지만 개인화 및 상황 대응 능력이 부족합니다.
  • 순수 반응형 (Fully Reactive) 방식: 적응력은 높지만 일관성 부족, 반복 운동, 비논리적 행동의 위험이 있습니다.
• 핵심 과제: 보조 로봇이 구조화된 예측 가능성 (Structured Predictability) 과 맥락 기반 반응성 (Contextual Responsiveness) 을 동시에 만족시키는 적응형 시스템을 구축하는 것.

2. 제안 방법론: StretchBot 아키텍처 (Methodology)

저자들은 뉴로-심볼릭 (Neuro-Symbolic) 접근법을 기반으로 한 StretchBot을 제안합니다. 이는 다중 모달 인식 (Multimodal Perception) 과 지식 그래프 (KG) 기반의 대규모 언어 모델 (LLM) 추론을 결합한 하이브리드 구조입니다.

시스템 아키텍처 (4 단계 파이프라인)

1. 지각 (Perception):

   • 객체 감지: YOLOv8n 을 사용하여 환경 내 객체 (물, 의자, 바나나 등) 를 실시간으로 탐지합니다.
   • 자세 모니터링: MediaPipe Pose 를 활용하여 사용자의 관절 랜드마크를 추적하고, 기하학적 규칙 (예: 손목과 발목의 거리, 어깨와 골반의 각도) 을 통해 스트레칭 동작의 정확도와 지속 시간을 검증합니다.
   • 감정 인식: 음성, 얼굴 표정, 텍스트 (전사된 대화) 를 분석하여 사용자의 감정 상태를 융합 (Late-fusion) 합니다.
   • 음성 인식: 사용자의 발화를 텍스트로 변환합니다.

2. 추론 (Reasoning) - 뉴로-심볼릭 코어:

   • 지식 그래프 (KG) 통합: 도메인 특화 KG(사용자 상태, 객체 기능, 운동 정보 등) 와 ConceptNet(일반 상식) 을 활용하여 LLM 에 맥락적 배경 지식을 제공합니다.
     • 예: '피로 (Fatigue)' 상태 + '물 (Water Bottle)' 감지 $\rightarrow$ '물 마시기 (DrinkWater)' 제안.
   • LLM 기반 의사결정: 통합된 맥락 (지각 데이터 + KG 지식) 을 기반으로 LLM 이 다음 행동을 결정합니다.
   • 제약된 출력 형식: LLM 은 자연어뿐만 아니라 로봇 실행을 위한 구조화된 접두사 (NEXT EXERCISE, POINT <OBJECT>, STOP ROUTINE) 를 포함하여 출력합니다.
   • 검증기 (Verifier): 실행 전 응답 형식, 어조, 맥락 일관성을 확인하는 추가 단계로 안전성과 일관성을 보장합니다.

3. 행동 실행 (Action Execution):

   • 로봇 팔 제어: POINT <OBJECT> 명령을 받아 로봇 팔의 좌표 공간 궤적을 계산하고 충돌을 피하며 이동합니다.
   • 음성 합성 (TTS): 자연어 지시를 사용자에게 전달하며, 동작과 대화가 조화되도록 타이밍을 조절합니다.

4. 계획 및 적응 (Planning & Adaptation):

   • 기본 운동 스크립트 (전체 흐름) 를 유지하면서, 사용자의 상태와 환경에 따라 국소적인 분기점 (휴식 제안, 운동 대체, 객체 추천 등) 을 동적으로 조정합니다.

기술 스택

• OS: ROS2 (Robot Operating System 2)
• 모델: YOLOv8n, MediaPipe, DeepFace, OpenRouter 기반 LLM (deepseek-r1-0528-qwen3-8b)
• 하드웨어: 저비용 PC 및 표준 로봇 팔 (ArUco 마커 기반 공간 정렬 지원)

3. 주요 기여 (Key Contributions)

1. 적응형 스트레칭 로봇 프레임워크: 다중 모달 인식과 뉴로-심볼릭 계획 아키텍처를 결합하여, 사용자의 명시적 확인을 통해 적응과 인간 감독 사이의 균형을 맞춘 상호작용 프로토콜을 제시했습니다.
2. 지식 그래프 - LLM 통합 방법론: LLM 프롬프트 설계에 KG 추론을 통합하여, 로봇의 결정이 지각된 사용자 상태, 환경 제약, 상호작용 이력에 기반하도록 'Grounding' 하는 방법론을 개발했습니다.
3. 탐색적 파일럿 평가: 스크립트 기반 vs 적응형 로봇 가이드의 비교 평가를 통해 초기 사용성 트레이드오프를 식별하고, 하이브리드 LLM-KG 계획의 강점과 한계를 분석했습니다.

4. 실험 결과 (Results)

3 명의 참가자를 대상으로 한 파일럿 연구 (스크립트 조건 vs 적응형 조건) 결과는 다음과 같습니다.

• 정량적 결과:

  • 적응성 (Adaptability): 적응형 조건이 스크립트 조건보다 훨씬 높은 점수를 받았습니다 (적응형: 3.67, 스크립트: 1.67).
  • 객체 관련성 (Object Relevance): 적응형 로봇이 환경 내 객체 (물, 휴지 등) 를 제안할 때 관련성이 매우 높게 평가되었습니다.
  • 편안함 (Comfort) 및 예측 가능성: 스크립트 조건이 적응형보다 약간 더 편안하고 예측 가능하다고 평가되었습니다.
  • 자연스러움 (Naturalness): 두 조건 간 큰 차이가 없었으나, 스크립트가 약간 더 자연스러운 흐름을 보였습니다.
  • 명확성 (Clarity): 두 조건 모두 명확한 지시를 제공했습니다.

• 정성적 결과:

  • 대부분의 참가자는 스크립트 방식이 더 편안하고 예측 가능하며 정신적 부담 (Cognitive Load) 이 적다고 느꼈습니다.
  • 일부 참가자는 적응형 방식이 사용자의 상태에 더 세심하고 개인화된 느낌을 주었다고 평가했습니다.
  • 트레이드오프: 적응형 시스템은 맥락 인식 능력이 뛰어나지만, 추가적인 검증 단계와 응답 지연 (3~10 초) 으로 인해 상호작용의 흐름이 끊기거나 자연스러움이 떨어질 수 있음이 드러났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조화된 지식의 중요성: LLM 기반의 적응형 시스템이 보조 로봇에 적용될 때, 지식 그래프 (KG) 를 통해 도메인 지식을 'Grounding' 하는 것이 안전성과 실행 가능성 (Actionability) 을 확보하는 데 필수적입니다.
• 사용자 중심 설계: 적응형 시스템이 무조건 우월한 것은 아니며, 사용자의 선호도 (예측 가능성 vs 개인화) 에 따라 최적의 설계가 달라질 수 있습니다.
• 향후 과제:
  • 더 크고 다양한 참가자를 대상으로 한 장기적 연구 필요.
  • 응답 지연 (Latency) 감소를 위한 모델 최적화 및 검증 단계 효율화.
  • 생체 신호 (심박수 등) 를 포함한 더 정교한 사용자 상태 인식.
  • 안전성 보장을 위한 결정론적 제약과 적응적 상호작용의 분리.

요약: StretchBot 은 뉴로-심볼릭 아키텍처를 통해 보조 로봇의 '예측 가능성'과 '적응성' 사이의 균형을 모색한 초기 사례입니다. 파일럿 연구는 지식 기반 LLM 이 맥락 인식 능력을 향상시킬 수 있음을 보여주었으나, 실시간 응답성과 자연스러운 상호작용 흐름을 유지하기 위한 기술적, 설계적 과제가 남아 있음을 시사합니다.