MEMOR-E: In-Context and Fine-Tuned LLM Personalization for Alzheimer's Assistive Robotics

기술 요약: MEMOR-E – 알츠하이머 보조 로봇을 위한 문맥 기반 및 파인튜닝 LLM 개인화

문제 제기
알츠하이머병 (AD) 은 기억력, 언어, 실행 기능의 점진적인 저하를 유발하여 간병인에 대한 의존도를 높이고 가족 및 의료 시스템에 상당한 부담을 안겨줍니다. 사회적 보조 로봇 (SAR) 은 스트레스 감소와 참여도 향상에 유망한 결과를 보여주고 있지만, 기존 시스템들은 종종 이동성, 개인화, 또는 현대적인 언어 기반 추론과의 통합이 부족합니다. 또한, 현재 시스템들은 의학적 진단을 시도하지 않으면서도 간병인의 감독을 지원하기 위해 인지 성능에 대한 투명하고 해석 가능한 통찰력을 제공하는 경우는 드뭅니다.

방법론
본 논문은 헤드 마운트형 태블릿 인터페이스를 갖춘 이동식 4 발 로봇인 MEMOR-E를 제시합니다. 이 시스템은 원시 환자 데이터를 전송하지 않고 인지 중증도를 감지하고 보조 상호작용을 계획하도록 설계된 2 단계 프라이버시 보호 프레임워크에서 작동합니다.

1. 하드웨어 및 아키텍처:

   • 플랫폼: 안정적인 실내 이동성과 사회적 구현을 위해 Unitree Go2 4 발 로봇을 기반으로 구축되었습니다.
   • 인터페이스: 터치스크린 태블릿이 알림, 인지 게임, 시각적 프롬프트를 제공합니다.
   • 처리: 모든 계산은 ROS 2 를 사용한 내비게이션과 장애물 회피를 위한 Intel RealSense 카메라를 사용하여 로컬에서 수행됩니다. 시스템은 환자 데이터가 기기를 떠나지 않도록 보장하는 로컬 Qwen 2.5(7B) 대규모 언어 모델 (LLM) 과 Longformer 분류기를 실행합니다.

2. 단계 1: 설명 가능성 기반 인지 신호 추출:

   • 데이터: 시스템은 TalkBank DementiaBank Pitt 코퍼스의 전사본을 활용하며, 이는 4 가지 신경심리학적 작업 (쿠키 도난 그림 설명, 이야기 회상, 언어 유창성, 문장 구성) 을 다룹니다. 회상, 유창성, 문장 작업을 위한 합성 건강한 대조군은 데이터셋 균형을 맞추기 위해 LLM 을 통해 생성되었습니다.
   • 분류: 각 작업에 대해 독립적인 이진 분류기 (allenai/longformer-base-4096 사용) 가 전사본에서 AD 확률 ($P(AD)$) 을 추정하도록 훈련되었습니다.
   • 설명 가능한 AI(XAI): 프라이버시와 해석 가능성을 보장하기 위해 원시 전사본은 LLM 에 전달되지 않습니다. 대신 **통합 기울기 (Integrated Gradients)**가 토큰 수준의 귀속치를 추출하는 데 사용됩니다. 이러한 귀속치는 언어적으로 동기화된 '버킷'(예: 유창하지 않음, 어휘 내용, 구두점) 으로 집계되어 프라이버시를 보호하는 통계 (예: 유창하지 않음 대 내용 비율, 엔트로피) 를 생성합니다.
   • 중증도 지수: LLM 기반의 위험 평가 변이를 피하기 위해 평균 예측 확률, 교차 폴드 투표율, 확률 분산을 기반으로 결정론적 중증도 지수가 계산됩니다.

3. 단계 2: LLM 기반 보조 기능 계획:

   • 입력: 구조화된 수치 요약 (XAI 통계 및 중증도 지표) 만 로컬 Qwen 2.5(7B) LLM 에 전달됩니다.
   • 메커니즘: LLM 은 의료 데이터로 파인튜닝되지 않습니다. 대신 **문맥 학습 (In-Context Learning, ICL)**을 프롬프트 기반 조건부로 활용하여 중증도 신호를 비진단적 보조 권장 사항 (예: 특정 알림, 인지 게임, 기억 단서) 에 매핑합니다.
   • 페르소나 시뮬레이션: 타당성 연구는 단계 일관성 인지 오류를 시뮬레이션하고 다양한 손상 단계에 대한 도메인 수준 요약 (일화, 의미, 작업 기억) 을 생성하기 위해 '환자 LLM'과 '분류자 LLM'을 활용했습니다.

주요 기여

• XAI 를 포함한 시스템 설계: 이동식 4 발 로봇과 폐쇄 루프 인간 감독 아키텍처를 통합하여 인지 작업 결과에 대한 투명하고 인간이 읽을 수 있는 해석을 생성하는 통합 하드웨어/소프트웨어 플랫폼.
• 단계 적응형 상호작용: AD 단계 전반에 걸친 인지적 도전에 맞춰 조정된 단순화된 그래픽 인터페이스 및 상호작용 논리이며, 간병인 감독을 위한 해석 가능한 피드백을 지원합니다.
• LLM 기반 인지 분석: 진단 예측보다는 해석 가능한 도메인 수준 요약에 초점을 맞춰, 단계 일관성 환자 응답을 모방하고 인지 오류를 분류하는 LLM 의 사용을 보여주는 타당성 연구.

결과

• 분류 성능: '쿠키 도난' 작업 (실제 AD 및 실제 건강한 대조군 사용) 에서 모델은 균형 잡힌 민감도 (0.741) 와 특이도 (0.856) 를 가진 0.878의 AUC 를 달성했습니다. 모델은 위양성을 줄이는 보수적인 접근 방식을 취했습니다.
• 합성 데이터 아티팩트: 합성으로 생성된 건강한 대조군 (회상, 유창성, 문장) 을 사용한 작업은 완벽한 분리 (1.000 AUC/정확도) 를 달성했습니다. 저자들은 이러한 결과를 실제 세계 일반화의 증거가 아닌 타당성 검증으로 명시적으로 해석하며, 잠재적인 분포 아티팩트를 지적했습니다.
• 귀속 분석: XAI 는 어휘 내용 토큰이 주요 차별화 신호 (귀속 질량의 약 70%) 였지만, AD 예측은 유창하지 않음 마커 (fillers like "uh/um" 및 휴지) 에 대해 Elevated 귀속 질량을 보였으며 명사 - 동사 관계에서 특이성이 감소했음을 밝혔습니다. 이는 AD 의 확립된 언어적 마커와 일치합니다.
• 페르소나 시뮬레이션의 타당성: '환자 LLM'은 1 단계에서 5 단계로 갈수록 오류가 단조 증가하는 것을 보여주었으며, '분류자 LLM'은 시뮬레이션된 손상 수준과 일치하는 해석 가능한 도메인 요약을 성공적으로 생성했습니다.

의의 및 주장
본 논문은 MEMOR-E 가 인지 적응형 보조 로봇을 위한 프라이버시 보호 및 설명 가능한 프레임워크를 성공적으로 입증했다고 주장합니다. 이 시스템의 중요성은 다음 능력에 있습니다:

1. 임상 평가를 대체하지 않으면서 개인화된 보조 상호작용을 지원하는 단계 인식적 비진단적 인지 요약을 생성합니다.
2. XAI 를 통해 모델 출력을 투명하고 인간이 읽을 수 있는 증거로 변환하여 간병인 감독을 가능하게 하고 인간 - 로봇 상호작용에 대한 신뢰를 조성합니다.
3. 모든 행동이 비침습적이고 가역적이며 태블릿을 통해 중재되는 보수적 자율성으로 작동하여 인지적으로 취약한 사용자의 안전을 보장합니다.

저자들은 이 시스템이 의료 진단을 제공하는 것이 아니라 일상적 지원과 간병인의 인식을 보강하도록 설계되었다고 강조합니다. 향후 연구는 실제 세계 종단 연구, 실제 대조군 데이터, 그리고 간병인의 신뢰와 업무 부하에 대한 정성적 평가를 통해 이러한 발견을 검증하는 데 필요하다고 식별되었습니다.