Optimising supervised machine learning algorithms predicting cigarette cravings and lapses for a smoking cessation just-in-time adaptive intervention (JITAI)

이 연구는 금연 중재용 JITAI 의 고위험 시점 예측을 위해 EMA 빈도, 예측 변수 수, 학습 데이터 소스를 최적화한 결과, 전반적인 성능은 modest 하였고 개인별 편차가 크며 기계학습 단독 적용보다는 규칙 기반 접근법과 병행하는 것이 현실적임을 시사합니다.

핵심

🌧️ 비유: 금연을 위한 '날씨 예보' 앱 만들기

상상해 보세요. 금연을 시도하는 사람은 비행기를 조종하는 조종사입니다. 그리고 이 조종사는 갑자기 찾아오는 **'폭풍 (흡연 욕구)'**이나 '난기류 (실수/흡연)'를 피해야 합니다.

이 연구팀은 **"조종사가 폭풍을 미리 감지해서 피할 수 있도록 도와주는 최고의 예보 시스템 (앱)"**을 만들고 싶었습니다. 하지만 여기서 두 가지 큰 고민이 있었습니다.

1. 데이터를 너무 많이 모으면? 조종사가 매시간, 매분마다 "지금 기분이 어때요?", "주변은 어때요?"라고 물어보면, 조종사는 너무 바빠서 비행기 조종 자체를 잊어버리고 지쳐버립니다 (사용자 피로도).
2. 데이터를 너무 적게 모으면? 예보 시스템이 "아, 폭풍이 올 것 같네요"라고 말해줄 수 있는 정보가 부족해서, 엉뚱한 곳에 폭풍이 오거나 아예 폭풍을 못 감지할 수 있습니다 (예측 실패).

연구팀은 이 **적정선 (골든 스포트)**을 찾기 위해 다양한 실험을 했습니다.

---

🔍 실험 내용: 무엇을 바꿔보았을까?

연구팀은 37 명의 금연 참여자들에게 10 일 동안 하루 16 번이나 (매 시간마다) 질문을 던졌습니다. 그리고 이 데이터를 바탕으로 인공지능 (AI) 을 훈련시켰습니다. 그다음, 세 가지 변수를 바꿔가며 AI 의 성능을 테스트했습니다.

1. 질문 횟수 줄이기: 하루 16 번 질문을 하던 것을 3 번, 4 번, 6 번 등으로 줄여봤습니다. (사용자 부담 줄이기)
2. 질문 내용 줄이기: "기분", "장소", "음식" 등 모든 것을 물어보던 것을, 가장 중요한 것들만 골라 물어봤습니다. (간소화)
3. 개인 맞춤 데이터: AI 가 "모든 사람의 일반적인 패턴"만 배운 경우와, "이 사람의 지난 1~3 일 데이터"도 함께 배운 경우를 비교했습니다. (개인화)

---

💡 주요 발견 (결과)

이 실험에서 나온 놀라운 결론들은 다음과 같습니다.

1. "질문을 줄여도, 오히려 더 잘 맞히는 경우가 있다!" (흡연 실수 예측)

• 상황: 사람이 담배를 피우려 할 때 (실수, Lapse) 를 예측하는 경우입니다.
• 결과: 하루에 16 번이나 질문을 했을 때보다, 하루 3~4 번만 질문해도 AI 가 실수를 더 잘 예측했습니다.
• 이유: 너무 자주 물어보면 오히려 중요한 신호가 묻히고, 간격이 넓어질 때 오히려 '위험한 순간'이 더 뚜렷하게 잡혔기 때문입니다. 마치 날씨 예보에서 "지금 비가 오나요?"라고 1 분마다 묻는 것보다, "아침, 점심, 저녁"에 물어보는 것이 폭풍의 흐름을 더 잘 파악하는 것과 비슷합니다.

2. "욕구 (Craving) 는 예측하기 정말 어렵다"

• 상황: 사람이 담배를 피우고 싶은 '강한 욕구'를 예측하는 경우입니다.
• 결과: 질문 횟수를 줄이면 예측 정확도가 확 떨어졌습니다.
• 이유: 욕구는 매우 빠르게 변하는 '감정'이기 때문에, 자주 체크하지 않으면 그 순간을 놓치기 쉽습니다. 실수는 '행동'이라서 비교적 뚜렷하지만, 욕구는 '기분'이라서 더 섬세한 관찰이 필요합니다.

3. "개인별 데이터를 섞어주면 무조건 좋은 건 아니다"

• 결과: AI 에게 "이 사람의 지난 데이터"를 조금만 섞어주면, 실수 예측은 조금 좋아졌지만, 욕구 예측은 오히려 나빠지기도 했습니다.
• 비유: 모든 사람에게 똑같은 **보편적인 지도 (Group-level)**를 주는 것이, 아직 그 사람의 성향을 잘 모르는 상태에서 **개인별 지도 (Hybrid-level)**를 급하게 그리려는 것보다 더 안전하고 효율적일 수 있다는 뜻입니다.

4. "질문 내용을 줄여도 큰 문제없다"

• 결과: 20 가지 질문을 다 하는 것보다, AI 가 가장 중요하게 생각한 10 가지만 물어봐도 예측 능력은 거의 비슷했습니다.
• 의미: 사용자에게 불필요한 질문을 줄여도 AI 는 핵심만 잘 파악할 수 있습니다.

---

🚀 결론: 앞으로 어떻게 할까?

이 연구는 **"완벽한 AI 예보 시스템"**은 아직 어렵다는 것을 보여줍니다. 하지만 **"현실적인 해결책"**을 제시했습니다.

• 완벽한 예측은 불가능하지만, '위험 신호'는 잡을 수 있다: AI 가 100% 정확하게 "지금 담배를 피우겠다"라고 말해주진 못하지만, "지금 위험할 수 있으니 조심해"라고 알려줄 수는 있습니다.
• 가장 좋은 전략: 하루에 3~4 번 정도만 질문하고, 개인별 데이터를 무리하게 섞지 않으며, 핵심 질문만 하는 간단한 시스템이 가장 현실적입니다.
• 마지막 조언: AI 가 예측한 결과만 믿지 말고, 사람이 만든 규칙이나 전문가의 조언과 함께 섞어서 사용하는 것이 가장 안전합니다. (예: AI 가 "위험"이라고 하면, 앱이 "지금 심호흡을 해보세요"라고 알려주는 식)

한 줄 요약:

"금연 앱을 만들 때, 사용자를 지치게 하지 않기 위해 질문을 줄여도 괜찮습니다. 오히려 간격이 넓어질 때 중요한 '위험 신호'를 더 잘 포착할 수 있기 때문입니다. 하지만 AI 만 믿지 말고, 인간의 판단과 함께 섞어 쓰는 것이 가장 현명합니다."

기술 요약

논문 요약: 금연 JITAI 를 위한 기계학습 알고리즘 최적화

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 흡연은 주요 사망 원인이며, 기존 행동 중재는 위기 순간 (고위험 상황) 에 적시에 개입하는 데 한계가 있습니다. 'Just-in-Time Adaptive Interventions (JITAI)'는 고위험 순간을 감지하여 즉각적인 지원을 제공하는 것을 목표로 합니다.
• 문제: JITAI 의 성공은 두 가지 상충되는 요구사항 사이의 균형에 달려 있습니다.
  1. 데이터 수집: 고위험 순간을 정확히 예측하기 위해 충분한 빈도와 정밀도의 데이터 (생태적 순간 평가, EMA) 가 필요합니다.
  2. 사용자 부담: 과도한 설문 조사 (빈번한 EMA) 는 사용자의 피로도를 높여 참여도를 떨어뜨리고 중재 이탈을 유발할 수 있습니다.
• 연구 목적: 기계학습 알고리즘의 성능을 유지하면서 사용자 부담을 최소화하기 위해, EMA 프롬프트 빈도, 예측 변수 (피처) 의 수, 그리고 **훈련 데이터의 구성 (개별 데이터 포함 여부)**이 알고리즘 성능에 미치는 영향을 체계적으로 분석하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터 소스: 런던 및 인근 지역 금연 시도자 37 명을 대상으로 한 기존 EMA 데이터 (10 일간, 하루 16 회) 를 2 차 분석했습니다.
  • 참여자: 평균 연령 42.97 세, 여성 62.2%, 하루 평균 흡연량 13.08 개비.
  • 데이터: 기분, 맥락, 행동, 갈망 (Craving), 흡연 실수 (Lapse) 등을 기록.
• 알고리즘: 랜덤 포레스트 (Random Forest, RF) 분류 알고리즘 사용.
  • 예측 대상:
    1. 실수 (Lapse): 다음 EMA 시점까지 흡연 여부.
    2. 강한 갈망 (High Craving): 다음 EMA 시점의 갈망 점수가 7 점 이상 (11 점 척도) 인지 여부.
  • 입력 변수: 12 개의 개인 간 변수 (기초 설문) 와 22 개의 개인 내 변수 (EMA 시점별). 총 34 개 변수.
• 실험 설계 (변수 조작):
  1. 프롬프트 빈도: 하루 16 회 (원본) vs 6, 5, 4, 3 회 (무작위 간격 추출).
  2. 피처 선택: 전체 변수 사용 vs **RFE-CV (교차검증 포함 순차적 피처 제거)**를 통해 최적화된 변수 집합 사용.
  3. 훈련 데이터 구성:
     • 그룹 레벨 (Group-level): 타인의 데이터만 사용.
     • 하이브리드 레벨 (Hybrid-level): 테스트 대상자의 초기 데이터 (10%, 20%, 30%) 를 훈련 세트에 포함 (Warm-start).
• 성능 평가 지표:
  • F1-Score: 정밀도 (Precision) 와 재현율 (Recall) 의 조화평균 (불균형 데이터에 적합).
  • ROC-AUC: 클래스 구분 능력.
  • 통계 분석: 혼합 효과 모형 (Mixed effects models) 을 사용하여 개인 내 군집 효과를 보정.

3. 주요 결과 (Key Results)

• 전체 성능: 알고리즘 성능은 개인 간 편차가 매우 컸으며, 평균적으로는 **보통 수준 (Modest)**이었습니다. 많은 설정에서 F1-Score 가 0.5 미만의 최소 임계값을 하회했습니다.

  • 실수 (Lapse) 예측: 갈망 예측보다 ROC-AUC 에서 더 우수한 성능을 보였습니다.
  • 갈망 (Craving) 예측: 예측이 더 어려웠으며, 성능이 전반적으로 낮았습니다.

• 프롬프트 빈도의 영향 (가장 중요한 발견):

  • 실수 (Lapse): 예상과 달리 프롬프트 빈도가 낮아질수록 F1-Score 가 향상되었습니다 (16 회: 0.254 → 3 회: 0.588). ROC-AUC 는 큰 변화가 없거나 약간 감소했습니다. 이는 데이터 양이 줄어들어도 중요한 신호만 포착하여 노이즈가 감소했음을 시사합니다.
  • 갈망 (Craving): 프롬프트 빈도가 낮아질수록 F1-Score 와 ROC-AUC 모두 일관되게 감소했습니다. 갈망은 변동성이 크고 실시간 예측이 필요하여 더 높은 데이터 밀도가 필요함을 보여줍니다.

• 피처 선택 (Feature Selection) 의 영향:

  • 실수: 피처 수를 줄여도 성능에 거의 영향을 미치지 않았습니다 (전체 vs 선택: F1 0.435 vs 0.441).
  • 갈망: 피처를 줄이면 성능이 약간 감소했습니다.
  • 의미: 실수 예측을 위해선 심리적/맥락적 변수의 소수 집합으로도 충분한 예측력이 가능함을 시사합니다.

• 개인별 데이터 포함 (Warm-start) 의 영향:

  • 실수: 훈련 세트에 개인 데이터를 20~30% 포함할 때 F1-Score 가 향상되었으나, ROC-AUC 는 유의미한 차이가 없었습니다.
  • 갈망: 개인 데이터를 포함하면 오히려 ROC-AUC 와 F1-Score 모두 감소하는 경향을 보였습니다. 즉, 초기 데이터로 개인화하는 것이 오히려 성능을 저하시킬 수 있습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 실용적 가이드라인 제시: JITAI 구현 시 사용자 부담 (설문 빈도) 과 알고리즘 성능 간의 최적 균형을 제시했습니다. 특히 실수 (Lapse) 예측의 경우, 하루 3~6 회 정도의 빈도로도 높은 F1-Score 를 달성할 수 있어 사용자 참여도를 높일 수 있음을 증명했습니다.
• 예측 대상의 차이 강조: '실수'와 '갈망'은 예측 메커니즘이 다릅니다. 갈망은 고빈도 데이터가 필요하지만, 실수는 더 간결한 데이터로도 예측 가능할 수 있음을 밝혔습니다.
• 개인화 (Personalization) 의 한계: 초기 데이터로 개인화하는 'Warm-start' 방식이 항상 성능을 향상시키는 것은 아니며, 오히려 그룹 기반 모델이 더 안정적일 수 있음을 보여주었습니다. 이는 JITAI 구현 시 초기 개인화 비용과 복잡성을 줄일 수 있는 근거가 됩니다.
• 하이브리드 접근법 제안: 기계학습 예측만으로는 충분하지 않으므로, 규칙 기반 (rules-based) 접근법이나 임상적 판단과 결합한 하이브리드 전략이 실제 임상 적용에 필수적임을 강조했습니다.

5. 결론

이 연구는 금연 JITAI 를 위한 기계학습 모델 개발 시, 높은 빈도의 데이터 수집이 항상 좋은 것은 아니며, 예측 목표 (실수 vs 갈망) 에 따라 데이터 수집 전략을 다르게 해야 함을 시사합니다. 실수 예측의 경우 **낮은 빈도의 프롬프트 (하루 3~6 회)**와 간결한 변수 집합을 사용하는 그룹 기반 모델이 사용자 부담과 성능 간의 가장 실용적인 균형을 제공할 수 있습니다. 그러나 개인 간 편차가 크므로, 알고리즘 예측을 절대적인 판단 기준으로 삼기보다는 위험 신호로 활용하고 인간 중심의 의사결정과 결합하는 것이 바람직합니다.