Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

본 연구는 대규모 언어 모델이 생성한 운동 처방이 의미적 일관성은 높으나 강도 등 핵심 정량적 요소에서 변동성이 크고 안전 문구의 분포도 상황에 따라 달라지므로, 임상 적용 전 프롬프트 구조 개선과 전문가 검수가 필요함을 밝혔습니다.

핵심

🏥 제목: "AI 운동 처방전, 똑같은 주문에 똑같은 요리가 나올까?"

1. 배경: 왜 이 연구를 했나요?

최근 AI(거대 언어 모델) 가 의사의 도움을 받아 환자나 일반인에게 맞춤형 운동 계획을 짜주는 시대가 왔습니다. 하지만 여기서 큰 문제가 하나 생깁니다.

비유: 만약 당신이 똑같은 재료와 똑같은 레시피를 들고 **다른 요리사 (AI)**에게 "이걸로 요리를 해줘"라고 20 번이나 주문했다고 상상해 보세요.

• 1 번째 요리사는 "소금 1 큰술"을 넣었을 텐데,
• 2 번째 요리사는 "소금 2 큰술"을 넣거나,
• 3 번째 요리사는 "소금 대신 간장"을 넣을 수도 있죠.

운동 처방전도 마찬가지입니다. 같은 환자 정보를 AI 에게 20 번 입력했을 때, 매번 똑같은 운동 강도와 횟수를 제안해 준다면 신뢰할 수 있지만, 매번 다른 내용을 말해준다면 위험할 수 있습니다. 이 연구는 바로 이 **'일관성 (Consistency)'**을 확인한 것입니다.

2. 실험 방법: 20 번의 주문

연구진은 6 가지 다른 상황 (당뇨병 환자, 무릎 통증 노인, 암 수술 회복자, 건강한 젊은이 등) 을 만들어 AI(Gemini 2.5 Flash) 에게 20 번씩 운동 처방전을 요청했습니다. 총 120 개의 처방전이 만들어졌고, 이를 세 가지 기준으로 비교했습니다.

1. 말의 일관성 (Semantic): 문장 전체의 의미와 톤이 비슷한가?
2. 구조의 일관성 (FITT): 운동의 '빈도, 강도, 시간, 종류'가 매번 똑같은 숫자로 나왔는가?
3. 안전성 일관성: 위험한 운동을 하지 않도록 경고하는 문구가 들어갔는가?

3. 주요 결과: "말은 비슷하지만, 숫자는 제각각"

① 말은 거의 똑같았어요 (높은 일관성)
AI 가 쓴 문장 전체를 비교했을 때, 의미는 매우 비슷했습니다. 마치 같은 이야기를 20 번 반복해서 하는 것처럼, "당신은 천천히 걷는 것이 좋습니다"라는 핵심 메시지는 매번 유지되었습니다. 특히 **병이 있는 환자 (임상 케이스)**일수록 AI 가 더 단단하게 같은 말을 반복했습니다.

② 하지만 숫자는 제각각이었어요 (낮은 일관성)
여기가 가장 중요한 부분입니다. "얼마나 힘껏 운동할까?"라는 강도 (Intensity) 부분에서 AI 는 꽤 혼란스러웠습니다.

• 비유: "소금 1 큰술"을 넣으라고 했더니, 어떤 때는 "소금 1 큰술", 어떤 때는 "소금 1.5 큰술", 또 어떤 때는 "소금 양은 대략 적당히"라고 답했습니다.
• 특히 근력 운동에서 "무게를 얼마로 할까?"를 묻자, 10~25% 의 경우 AI 가 "정확한 숫자를 못 말해"라고 하거나, 매번 다른 숫자를 제시했습니다.

③ 안전 경고는 100% 넣었어요
AI 는 "이 운동 중 어지러우면 멈추세요" 같은 안전 수칙을 100% 포함했습니다. 다만, 병이 심한 환자일수록 안전 경고 문장이 훨씬 길고 많았습니다. (건강한 젊은이에게는 짧게, 아픈 환자에게는 길게 설명하는 식입니다.)

4. 결론 및 시사점: "AI 는 훌륭한 조수지만, 아직은 '주장 (Chef)'이 될 수 없습니다"

이 연구는 AI 가 운동 처방전을 짤 때 두 가지 특징을 발견했습니다.

1. 좋은 점: AI 는 말로 설명하는 부분 (의미, 안전 수칙) 에서 매우 안정적입니다. 특히 환자가 복잡한 병을 가진 경우, AI 는 더 신중하고 일관된 조언을 합니다.
2. 아쉬운 점: 하지만 **구체적인 숫자 (운동 강도, 횟수)**를 매번 똑같이 정하는 데는 한계가 있습니다. AI 는 확률적으로 단어를 고르기 때문에, 같은 질문에도 미세한 숫자 차이가 발생할 수 있습니다.

💡 최종 메시지:

"AI 는 훌륭한 **'운동 가이드북 작성 보조'**입니다. 하지만 AI 가 혼자서 "오늘은 50% 강도로 30 분 운동하세요"라고 숫자를 딱 정해서 내주면, 우리는 **의사나 전문가가 그 숫자를 다시 한번 확인 (검수)**해야 합니다.

마치 자동 조리 기계가 요리를 해줄 때, 레시피는 완벽하지만 '소금 양'이 매번 조금씩 다를 수 있으니, 요리사가 마지막에 맛을 보고 간을 맞추는 것처럼 말이죠."

이 연구는 앞으로 AI 를 병원에 도입할 때, **"숫자 부분은 반드시 사람이 다시 확인해야 한다"**는 중요한 규칙을 세우게 해줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대형 언어 모델 (LLM) 은 개인의 건강 상태, 질환 특성, 금기 사항을 고려한 맞춤형 운동 처방 생성 도구로 주목받고 있습니다. 기존 연구들은 LLM 의 생성 가능성과 안전성을 검증했으나, **동일한 조건 하에서 모델이 생성하는 출력의 일관성 (Consistency) 과 재현성 (Reproducibility)**은 충분히 연구되지 않았습니다.
• 문제: LLM 은 확률적 토큰 생성 메커니즘으로 인해 동일한 프롬프트를 입력하더라도 매번 다른 출력을 생성할 수 있습니다. 운동 처방은 단순한 정보 제공이 아니라 임상적 판단이 필요한 영역이므로, 동일한 환자 프로필에 대해 구조적으로 다른 처방이 반복적으로 생성된다면 실제 임상 배포 시 의사결정의 일관성과 환자 안전에 심각한 위협이 될 수 있습니다.
• 연구 목적: LLM 이 동일한 조건에서 생성한 운동 처방의 **반복 생성 일관성 (Repeated Generation Consistency)**을 정량적으로 평가하여, 임상적 신뢰성을 확보하기 위한 기초 데이터를 마련하는 것입니다.

2. 연구 방법론 (Methodology)

• 연구 설계: 반복 생성 설계 (Repeated Generation Design) 를 적용했습니다.
• 모델 및 환경:
  • 모델: Google 의 Gemini 2.5 Flash 사용.
  • 인터페이스: Vertex AI API 를 통해 자동화하여 프롬프트 입력의 일관성을 확보 (이전 연구의 수동 웹 인터페이스 방식 대비 개선).
  • 파라미터: Temperature 를 1.0으로 설정하여 모델의 확률적 변이 (Stochastic nature) 를 최대한 관찰하도록 함.
• 시나리오: 6 가지 임상 시나리오 (3 가지 고위험 임상 환자군 + 3 가지 건강한 성인군) 를 구성.
  • 임상군: 제 2 형 당뇨병 + 비만, 무릎 골관절염 + 낙상 위험, 대장암 수술 후 회복, 고혈압 + 당뇨병 + 비만 (다중 질환).
  • 건강군: 체지방 감소 및 유산소 능력 향상, 근비대 및 근력 강화.
• 데이터 생성: 각 시나리오당 20 회의 동일한 프롬프트로 운동 처방을 생성 (총 120 개 출력).
• 평가 지표 (3 차원):
  1. 의미적 일관성 (Semantic Consistency): SBERT(all-MiniLM-L6-v2) 기반의 코사인 유사도 (Cosine Similarity) 를 계산하여 텍스트의 의미적 유사성을 측정.
  2. 구조적 일관성 (Structural Consistency): 운동 처방의 핵심 요소인 FITT(Frequency, Intensity, Time, Type) 원칙에 기반하여 분류.
     • AI-as-a-Judge: 생성 모델 (Gemini) 과 평가 모델 (Claude Sonnet 4.6) 을 분리하여 자기 편향 (Self-preference bias) 을 최소화.
     • 강도 (Intensity) 는 유산소 (RPE, %HRmax, MET) 및 저항 운동 (%1RM) 기준으로 저/중/고 및 '분류 불가 (Unclassifiable)'로 분류.
  3. 안전성 표현 일관성 (Safety Expression Consistency): 금기 사항, 주의 사항, 증상 모니터링, 위험 경고 등 4 가지 안전 관련 요소의 포함 여부와 문장 수를 정량화.

3. 주요 결과 (Key Results)

• 의미적 일관성:
  • 전반적으로 높은 의미적 유사도를 보임 (평균 코사인 유사도: 0.879 ~ 0.939).
  • **임상적 제약이 명확한 경우 (S2, S3)**가 건강한 성인이나 다중 질환이 있는 경우 (S1, S4, S5, S6) 보다 일관성이 더 높게 나타남.
  • 시나리오 간 유의미한 차이 존재 (Kruskal-Wallis test, p < 0.001).
• 구조적 일관성 (FITT):
  • 빈도 (Frequency): 임상군에서는 주 3-4 회 유산소 + 주 2 회 저항 운동 패턴이 일관되게 나타남.
  • 강도 (Intensity):
    • 유산소 운동 강도는 임상군 (저강도 90~100%) 과 건강군 (중/고강도 100%) 에서 명확히 구분됨.
    • 저항 운동 강도에서 큰 변동성 발생: 임상군의 경우 **10~25%**의 출력에서 %1RM 수치가 명시되지 않거나 '분류 불가 (Unclassifiable)'로 판정됨.
    • 건강한 성인군 (S6) 에서도 빈도와 강도 분류의 변동성이 가장 컸음.
  • 시간 (Time): 임상군은 1030 분, 건강군은 6090 분 등 시나리오에 따라 차이는 있었으나, 구체적인 수치 제시의 일관성은 부족함.
• 안전성 표현:
  • 모든 120 개 출력에서 4 가지 안전 요소가 100% 포함됨 (프롬프트의 명시적 지시 효과).
  • 하지만 안전 관련 문장의 수는 시나리오 간에 큰 차이를 보임 (H=86.18, p<0.001).
  • 다중 질환 환자 (S4) 가 가장 많은 안전 문장을 생성했고, 건강한 성인은 상대적으로 적었음.

4. 주요 기여 및 의의 (Key Contributions & Significance)

• 새로운 평가 프레임워크 제안: 운동 처방 분야에서 LLM 의 반복 생성 일관성을 평가하기 위해 의미적 유사도 (SBERT) 와 구조적 분류 (AI-as-a-Judge) 를 결합한 체계적인 평가 파이프라인을 제시했습니다.
• 임상적 함의:
  • LLM 은 전반적인 의미는 일관되지만, **핵심 정량적 수치 (특히 운동 강도)**에서는 불안정성이 존재함을 규명했습니다. 이는 동일한 환자에게도 치료 효과가 다른 운동 자극이 부여될 수 있음을 의미합니다.
  • 프롬프트 구조와 임상적 제약이 출력 일관성에 결정적인 영향을 미친다는 것을 증명했습니다.
• 실용적 제언: LLM 기반 운동 처방 시스템의 임상 배포 전에는 **구조적 제약 (Structured Constraints)**을 강화하고, **전문가의 검증 (Expert Validation)**이 필수적임을 강조했습니다.

5. 결론 (Conclusion)

이 연구는 LLM 이 생성하는 운동 처방이 의미적으로는 안정적이지만, 수치적 정밀도와 구조적 일관성 측면에서는 한계가 있음을 보여줍니다. 특히 저항 운동 강도와 같은 정량적 요소에서의 변동성은 임상 적용에 있어 리스크 요인입니다. 따라서 LLM 을 임상 도구로 활용하기 위해서는 프롬프트 엔지니어링을 통한 제약 조건 강화와 인간 전문가의 최종 검증 프로세스가 반드시 동반되어야 합니다.