Structured Exploration vs. Generative Flexibility: A Field Study Comparing Bandit and LLM Architectures for Personalised Health Behaviour Interventions

본 연구는 4 주간의 신체 활동 개입 실험을 통해, LLM 기반 메시지가 템플릿보다 유용하게 평가되었으나 구조화된 탐색을 위한 컨텍스트 밴딧 최적화는 LLM 단독 방식보다 추가적인 유용성을 제공하지 못했으며, 오히려 사용자의 입력에 대한 맥락적 인정이 지각된 유용성을 결정하는 핵심 요소임을 규명했습니다.

핵심

🍽️ 비유: 건강 메시지는 '요리'와 같습니다

이 연구는 4 주 동안 54 명의 참가자에게 매일 운동 동기를 부여하는 메시지를 보냈습니다. 이때 메시지를 만드는 방식 (요리법) 을 5 가지로 나누어 비교했습니다.

1. 무작위 레시피 (RCT): 요리사가 아무 생각 없이 메뉴판에서 랜덤으로 고른 요리.
2. 데이터 기반 요리사 (cMAB): "어제 이 사람이 A 요리를 좋아했으니 오늘도 A 를 줘야지"라고 통계로 계산한 요리사.
3. 창의적인 AI 요리사 (LLM_only): 사용자의 이야기를 듣고 즉석에서 창의적으로 요리를 만들어내는 AI.
4. 창의성 + 데이터 요리사 (Hybrid): 통계로 메뉴를 정하고, AI 가 그 메뉴를 창의적으로 요리하는 방식.
5. 창의성 + 기억력 요리사 (LLM_tracing): 과거 대화 내용까지 기억하며 요리를 만들어내는 AI.

🔍 실험 결과: 무엇이 가장 맛있었을까?

놀라운 결과가 나왔습니다.

1. "요리사"보다 "재료에 대한 반응"이 중요했다.
사람들은 **창의적인 AI 요리사 (LLM)**가 만든 요리를 가장 맛있다고 평가했습니다. 반면, 통계로 계산한 요리사나 무작위 요리사가 만든 요리는 "또 같은 거야?"라며 별로라고 했습니다.

• 핵심: 중요한 건 '어떤 메뉴 (운동 방법)'를 선택하느냐가 아니라, 사용자가 건넨 이야기 (재료) 를 얼마나 잘 반영해서 요리하느냐였습니다.
• 예시: 사용자가 "오늘 친구랑 싸워서 기분이 안 좋아"라고 썼는데, AI 가 "오늘은 30 분 걷기 좋은 날이에요!"라고 기계적으로 답하면, 아무리 좋은 운동법이라도 무시당했다고 느낍니다. 하지만 "기분이 안 좋으시군요. 그런 날엔 가볍게 산책하며 마음을 정리해 보는 건 어떨까요?"라고 답하면, 그야말로 '내 마음을 알아주는 요리'가 됩니다.

2. "통계적 최적화"는 별 도움이 안 됐다.
연구진은 "AI 가 통계를 통해 가장 좋은 운동법을 골라주면 더 좋겠지?"라고 생각했습니다. 하지만 실제로는 통계를 쓴 AI 와 그냥 AI 만 쓴 결과가 똑같이 좋았습니다.

• 이유: 사용자는 "어떤 운동법이 가장 과학적으로 좋은지"를 원한 게 아니라, **"내 이야기를 들어주고 내 상황에 맞춰주는 느낌"**을 원했기 때문입니다.

3. AI 는 '비밀 친구'가 될 수 있다.
재미있는 점은, 사람들은 AI 에게 인간에게 말하기 힘든 사적인 고민 (가족의 죽음, 심한 스트레스 등) 을 더 많이 털어놓았다는 것입니다.

• 이유: AI 는 인간처럼 심판하지 않고, 판단하지 않기 때문입니다. 마치 일기장에 쓰는 것처럼 편안하게 자신의 마음을 털어놓을 수 있었던 거죠.

4. "다양한 맛"을 경험하는 것도 중요했다.
AI 가 통계를 써서 다양한 운동법을 골라주면 (예: 오늘엔 경쟁 심리, 내일은 자기 성찰), 사람들은 "아, 이런 방법도 있구나"라며 새로운 것을 발견하는 즐거움을 느꼈습니다. 하지만 AI 가 스스로 결정하면, 대부분 "성공을 강조하는 메시지"만 반복해서 보냈습니다.

• 교훈: AI 가 통계를 써서 의도적으로 다양한 방법을 시도하게 하는 것은, 사용자가 스스로 선택하지 못했을 새로운 방법을 발견하게 해줍니다.

💡 우리가 배운 교훈 (디자인 제안)

이 연구를 통해 건강 앱이나 AI 비서를 만들 때 중요한 세 가지 점을 알 수 있습니다.

1. 무조건 '최고의 방법'을 찾기보다 '내 이야기를 들어주는 것'이 먼저다.
   • 사용자의 감정을 무시하고 기계적으로 조언하면, 아무리 좋은 조언도 소용없습니다. "네 이야기를 들었어"라는 인정이 가장 중요합니다.
2. AI 는 '비밀 일기장'처럼, '인간 친구'처럼 만들어라.
   • 인간처럼 연기해서 친구인 척하면 오히려 불편할 수 있습니다. 대신 "나는 너의 이야기를 들어주는 도구일 뿐이야"라고 솔직하게 위치를 잡으면, 사람들은 더 솔직하게 마음을 엽니다.
3. 알고리즘은 '다양한 경험'을 선물하라.
   • 사용자가 "이건 싫어"라고 해서 계속 같은 것만 주면 지루해집니다. AI 는 가끔 사용자가 생각지 못한 새로운 방법 (예: 경쟁심 자극, 손실 경고 등) 을 제안하며 다양한 경험을 하게 해주는 것이 좋습니다.

📝 한 줄 요약

"가장 좋은 건강 조언은 '가장 과학적인 방법'이 아니라, '내 이야기를 가장 잘 들어주고 내 상황에 맞춰주는 메시지'입니다. 그리고 AI 는 인간 친구처럼 연기하기보다, 편하게 털어놓을 수 있는 '비밀 일기장'처럼 설계하는 것이 가장 효과적입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

디지털 건강 개입 (Digital Health Interventions) 에서 행동 변화 기법 (Behavior Change Techniques, BCTs) 은 핵심 요소이나, 효과적인 기법을 선택하고 사용자에게 전달하는 것은 여전히 난제입니다.

• 기존의 한계: 현재 대부분의 시스템은 표준화된 템플릿 메시지를 사용하거나, 사용자의 맥락 정보를 공유하지 못해 '개입 피로 (Intervention Fatigue)'가 빠르게 발생합니다.
• LLM 의 잠재력과 한계: 대규모 언어 모델 (LLM) 은 맥락에 민감한 메시지를 생성할 수 있지만, '블랙박스' 특성으로 인해 의사결정 과정이 불투명하며, 규제된 의료 환경에서 적용하기 어렵습니다.
• 컨텍스트 밴딧 (cMAB) 의 역할: cMAB 는 통계적으로 최적화된 BCT 선택을 가능하게 하지만, 메시지 생성의 유연성이 부족할 수 있습니다.
• 연구 가설: cMAB 를 통해 BCT 를 체계적으로 선택하고, LLM 을 통해 맥락에 맞는 메시지를 생성하는 하이브리드 접근법이 사용자의 인식된 유용성 (Perceived Helpfulness) 을 극대화할 것이라는 가설을 세웠습니다.

2. 연구 방법론 (Methodology)

이 연구는 4 주간의 현장 실험 (Field Study) 을 통해 5 가지 다른 메시지 생성 아키텍처를 비교했습니다.

• 참가자 및 설계:

  • 총 54 명의 참가자 (N=54) 가 참여했으며, 9 명은 사후 심층 인터뷰를 진행했습니다.
  • Within-subjects 설계: 모든 참가자가 28 일 동안 무작위 순서로 5 가지 조건을 모두 경험했습니다.
  • 일일 프로세스: 참가자는 매일 자발적인 시간에 심리 측정 (기분, 스트레스, 자기효능감 등) 과 자유 형식의 텍스트 반성 (Reflection) 을 입력하고, 시스템으로부터 맞춤형 동기 부여 메시지를 받았습니다.

• 비교된 5 가지 아키텍처 (Conditions):

  1. RCT (Baseline): 무작위 BCT 선택 + 고정된 심리학자 작성 템플릿 메시지.
  2. cMAB_only: 컨텍스트 밴딧 (Thompson Sampling) 으로 BCT 선택 + 고정 템플릿 메시지.
  3. LLM_only: LLM 이 BCT 를 선택하고 메시지를 생성 (입력 기반 개인화).
  4. LLM_tracing: LLM 이 BCT 선택 및 메시지 생성 + 이전 대화 기록 (Interaction History) 을 포함하여 생성.
  5. cMAB+LLM (Hybrid): cMAB 가 BCT 를 선택 (최적화) 하고, LLM 이 선택된 BCT 내에서만 메시지를 개인화하여 생성.

• 측정 지표:

  • 양적: 매일 5 점 척도 (1~5) 로 '유용성 (Helpfulness)' 평가.
  • 질적: 사후 심층 인터뷰 (반구조화), 메시지 순위 매기기 (전/후 공개), 주제 분석 (Thematic Analysis).

3. 주요 결과 (Key Results)

A. 양적 결과 (Quantitative Findings)

• LLM 기반 접근법의 우위: LLM 기반 조건 (LLM_only, LLM_tracing, cMAB+LLM) 은 템플릿 기반 조건 (RCT, cMAB_only) 보다 통계적으로 유의미하게 높은 유용성 점수를 받았습니다. (평균 3.8 대 2.7 수준).
• 하이브리드 모델의 부재 효과: 가설과 달리, cMAB+LLM(하이브리드) 은 LLM_only 보다 추가적인 유용성 향상을 보이지 않았습니다. (통계적 유의미 차이 없음).
• BCT 선택 패턴의 차이:
  • LLM 기반: '이득 프레이밍 (Gain-framing)' 기법에 60~70% 집중.
  • cMAB 기반: 4 가지 BCT 를 고르게 분산하여 탐색 (Exploration) 을 수행.

B. 질적 결과 (Qualitative Findings)

• 상호작용의 본질: 사용자는 시스템을 '대화형 에이전트'가 아닌 **'개인화된 일기 (Interactive Diary)'**로 인식했습니다.
• 정보 공유의 개방성: AI 가 인간이 아니라는 인식 때문에 오히려 인간에게 털어놓기 힘든 민감한 정보 (스트레스, 슬픔 등) 를 더 많이 공유했습니다.
• 입력 - 출력 비례성 (I/O Proportionality) 기대: 사용자가 상세한 텍스트를 입력했을 때, 시스템이 그 깊이에 상응하는 구체적인 피드백을 주지 않으면 (예: 템플릿 메시지), 사용자는 "무시당했다"고 느꼈습니다. **맥락에 대한 인정 (Contextual Acknowledgement)**이 유용성 판단의 핵심 임계값이었습니다.
• 알고리즘 공개 효과 (Expectation Disconfirmation): 연구 후 생성 방식을 공개하자, 사용자의 선호도가 변화했습니다. 특히 "학습 시스템 (cMAB)"이 더 정교할 것이라는 기대 때문에 오히려 메시지가 기대에 미치지 못한다고 판단하여 평가가 하락하거나, 반대로 단순한 시스템에 대한 기대가 낮아 평가가 상승하는 등 방법론에 대한 인식이 실제 경험과 별개로 선호도를 재조정했습니다.

4. 주요 기여 (Key Contributions)

1. 실증적 통찰 (Empirical Insight):

   • BCT 선택의 알고리즘적 최적화 (cMAB) 만으로는 사용자의 인식된 유용성을 높일 수 없음을 증명했습니다. 메시지 생성의 반응성 (Responsiveness) 과 맥락 인정이 더 중요한 요소임을 발견했습니다.
   • 하이브리드 시스템이 LLM 단독 시스템보다 우월하다는 보편적 가정을 반박했습니다.

2. 개념적 기여 (Conceptual Contribution):

   • 구조적 탐색 vs. 생성적 자율성 (Structured Exploration vs. Generative Autonomy) 의 트레이드오프를 제안했습니다. cMAB 는 체계적인 BCT 탐색을 보장하지만, LLM 은 생성의 유연성과 맥락 적응력을 제공합니다.
   • 건강 행동 변화 시스템에서 **사용자 입력에 대한 맥락적 인정 (Contextual Acknowledgement)**이 유용성의 핵심 메커니즘임을 규명했습니다.

3. 디자인 및 설계 시사점:

   • AI 기반 건강 개입 시스템은 '대화형 에이전트'를 모방하기보다 **'반성적 도구 (Reflective Tool)'**로 포지셔닝하는 것이 사용자의 자발적 정보 공유를 유도할 수 있음을 제시했습니다.
   • 알고리즘 투명성 (Transparency) 은 사용자 기대를 형성하여 실제 성능과 무관하게 선호도에 영향을 미칠 수 있으므로, 공개 시기와 방식에 대한 신중한 설계가 필요함을 강조했습니다.

5. 의의 및 결론 (Significance)

이 연구는 디지털 건강 분야에서 알고리즘적 최적화 (Optimization) 와 생성적 유연성 (Generative Flexibility) 사이의 균형에 대한 중요한 통찰을 제공합니다.

• 기술적 함의: 단순히 BCT 선택을 최적화하는 것보다, LLM 을 활용하여 사용자의 입력을 정교하게 반영하고 맥락을 인정하는 메시징 전략이 사용자 경험 (UX) 에 더 큰 영향을 미칩니다.
• 미래 방향: BCT 선택의 체계적인 탐색 (cMAB) 과 생성적 자유도 (LLM) 를 모두 살리면서도, 사용자의 기대를 관리하고 '입력 - 출력 비례성'을 충족시키는 새로운 하이브리드 아키텍처 설계가 필요합니다.
• 결론: 사용자의 행동 변화를 유도하는 AI 시스템은 복잡한 알고리즘의 정교함보다는 사용자의 이야기를 경청하고 반응하는 능력에 더 의존해야 합니다.