HEARTS: Benchmarking LLM Reasoning on Health Time Series

이 논문은 다양한 건강 시계열 데이터와 110 가지의 과제를 포함하는 통합 벤치마크 'HEARTS'를 제안하여, 현재 대규모 언어 모델 (LLM) 이 전문 모델에 비해 건강 시계열 추론에서 심각한 한계를 보이며 단순한 휴리스틱에 의존하고 시간적 복잡도가 증가할수록 성능이 저하된다는 사실을 규명했습니다.

핵심

🩺 건강 데이터의 '의사'를 꿈꾸는 AI: HeaRTS 프로젝트 설명

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇) 이 정말로 인간의 건강 데이터를 이해하고 추론할 수 있을까?"**라는 질문에 대한 치열한 실험 결과입니다.

저희가 만든 **'HeaRTS(Health Reasoning over Time Series)'**라는 새로운 시험지를 소개하며, 현재 AI 들이 건강 분야에서 얼마나 미숙한지, 그리고 왜 그런지 알려드립니다.

---

1. 배경: 왜 이 연구가 필요한가요?

지금까지 AI 는 텍스트나 코드를 잘 다루지만, **심박수, 뇌파, 혈당 같은 '시간에 따라 변하는 건강 데이터'**를 분석하는 데는 한계가 있었습니다.

기존 시험지들은 너무 단순하거나, 실제 병원에서 쓰는 복잡한 데이터 (수년 간의 기록, 다양한 센서 신호 등) 를 다루지 못했습니다. 마치 유아용 그림책으로 의대생을 시험하는 것과 같았죠. 그래서 우리는 **실제 병원 데이터로 만든 '최고난도 의대생 시험 (HeaRTS)'**을 만들었습니다.

2. HeaRTS 란 무엇인가요? (시험지 구성)

이 시험지는 12 가지 건강 분야 (수술, 수면, 당뇨, 운동 등) 와 20 가지 센서 신호 (심전도, 뇌파, 음성 등) 를 포함하고 있습니다. 총 110 가지 문제로 구성되어 있으며, 크게 4 단계로 나뉩니다.

• 👀 지각 (Perception): "이 심전도 그래프에서 평균 심박수는 몇 회야?" (단순 계산)
• 🧠 추론 (Inference): "이 환자가 언제 수면 무호흡증이 발생했어?" (이벤트 찾기)
• 📝 생성 (Generation): "이 혈당 데이터의 끊어진 부분을 채워줘." (데이터 복원)
• 🔍 추론 (Deduction): "이 환자가 10 년 후 뇌졸중 위험이 있을까?" (장기적 예측)

3. 실험 결과: AI 들은 어떻게 했을까?

우리는 최신 AI 14 개 (GPT-4, Claude, Gemini 등) 를 이 시험지에 풀어보게 했습니다. 결과는 충격적이었습니다.

📉 결론 1: 전문의 vs 일반인

• 전문 모델 (Specialized Models): 특정 건강 데이터만 보는 전용 AI 는 90% 이상의 정답률을 보였습니다. 마치 수십 년 경력의 전문의처럼 정확합니다.
• 범용 AI (LLMs): 범용 AI 들은 50~60% 수준에 그쳤습니다. 이는 의대 1 학년생도 아닌, 건강에 관심 있는 일반인 수준입니다.
• 비유: 범용 AI 는 "모든 것을 아는 천재"처럼 보이지만, 건강 데이터라는 특수한 언어를 구사할 때는 아기처럼 행동합니다.

📉 결론 2: 지능 지수 (IQ) 와는 무관

• "AI 가 수학이나 논리 문제를 잘 풀면 건강 데이터도 잘 풀겠지?"라고 생각할 수 있습니다. 하지만 전혀 그렇지 않았습니다.
• 범용 추론 능력 (IQ) 이 높은 AI 일수록 건강 데이터에서는 별로였습니다. 이는 건강 데이터 분석이 단순한 논리가 아니라, 생리학적 맥락과 데이터의 미세한 뉘앙스를 이해하는 특수한 능력이 필요하다는 뜻입니다.

📉 결론 3: 데이터가 길어지면 AI 는 멍해집니다

• 데이터가 짧을 때는 그럭저럭 했지만, 시간이 길어지거나 (수년), 데이터가 촘촘해질수록 (초당 48,000 회) 성능이 급격히 떨어졌습니다.
• 비유: AI 는 짧은 문장은 잘 읽지만, 수백 페이지에 달하는 복잡한 의학 기록을 읽으면 중간에 길을 잃고 "아무거나"라고 대답하는 경향이 있습니다.

📉 결론 4: AI 는 '요령'만 부립니다

• AI 는 진짜로 데이터를 분석하기보다 **간단한 규칙 (Heuristics)**만 따릅니다.
  • 예시: 혈당 데이터를 예측할 때, AI 는 복잡한 생리학적 변화를 계산하는 대신, "이전 데이터를 복사해서 붙여넣거나 (Copy-Paste)", "직선으로 그어보거나 (Linear Interpolation)" 하는 식으로 답을 냅니다.
  • 마치 수학 문제를 풀지 않고, 답안지의 패턴만 보고 찍는 학생과 같습니다.

4. 왜 이런 일이 일어날까요?

• 데이터의 복잡성: 건강 데이터는 숫자만 있는 게 아니라, 시간의 흐름, 센서의 잡음, 환자의 상태가 섞인 '생명의 언어'입니다. AI 는 이 언어의 **문법 (생리학적 원리)**을 아직 제대로 배우지 못했습니다.
• 입력 방식의 한계: AI 가 데이터를 이미지나 텍스트로 변환해서 볼 때, 세부적인 떨림이나 미세한 변화가 사라져버립니다. 마치 고해상도 MRI 영상을 흑백 스케치로만 보고 진단하는 것과 같습니다.

5. 결론 및 미래

이 논문은 **"AI 가 건강 분야에 바로 적용되기엔 아직 멀었다"**는 경고를 보냅니다.

하지만 HeaRTS 는 단순히 AI 를 비판하는 것이 아니라, 어디가 부족하고 어떻게 발전해야 하는지를 보여주는 나침반 역할을 합니다. 우리는 이 시험지를 '살아있는 생태계'로 만들어, 새로운 AI 가 나올 때마다 계속 시험을 치르고, 더 똑똑한 건강 AI 에이전트를 키우려 합니다.

한 줄 요약:

"지금의 AI 는 건강 데이터를 볼 때 '요령'만 부리는 초보생입니다. 진짜 의사가 되려면, 단순한 지능이 아니라 데이터의 생명을 이해하는 특수 훈련이 필요합니다."

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 등장으로 시계열 분석이 단순한 예측을 넘어 일반적인 추론 (Reasoning) 으로 확장되고 있습니다. 그러나 기존 벤치마크들은 다음과 같은 한계로 인해 실제 의료 환경에서의 LLM 능력을 평가하기에 부족했습니다.

• 모달리티 및 도메인의 제한: 기존 벤치마크는 건강 시계열 데이터의 다양한 형태 (생체 신호, 음성, 행동 데이터 등) 와 영역 (심장, 수면, 대사 등) 을 충분히 포괄하지 못함.
• 실제성 부재: 많은 벤치마크가 합성 데이터를 사용하거나 단일 도메인 (예: ECG 만) 에 국한되어 있어, 실제 임상에서 발생하는 노이즈, 장기적 의존성, 그리고 복잡한 생리학적 맥락을 반영하지 못함.
• 추론 능력 평가의 부재: 기존 평가는 단순한 분류나 예측에 치중하여, LLM 이 생체 신호 간의 인과관계, 장기적 추이, 그리고 다단계 추론을 수행할 수 있는지 여부를 체계적으로 측정하지 못함.

이러한 격차를 해소하기 위해 HeaRTS(Health Reasoning over Time Series) 가 제안되었습니다.

2. 방법론 (Methodology)

가. 데이터 구성 (Data Curation)

HeaRTS 는 실제 세계의 건강 시계열 데이터를 포괄하는 최초의 통합 벤치마크입니다.

• 범위: 12 개의 건강 도메인 (운동, 대사, 수술, 수면, 호흡, 감정, 안과, 안구 운동, 행동, 음성, 제스처, COVID 기침 등) 에 걸쳐 16 개의 실제 데이터셋을 통합했습니다.
• 신호 모달리티: EEG, ECG, PPG, 혈압, 심박수, EMG, IMU, 안구 추적, 오디오 등 20 가지 이상의 신호 모달리티를 포함합니다.
• 시간적 스케일: 샘플링 주파수는 일 단위 메트릭에서 48kHz 까지, 시계열 길이는 60 개에서 100 만 개 (1M+) 이상, 시간 범위는 초에서 수년까지 다양하게 구성되었습니다.

나. 작업 분류 체계 (Task Taxonomy)

단순한 객관식 질문을 넘어, 4 가지 핵심 추론 능력을 평가하는 110 개의 작업으로 구성된 계층적 분류 체계를 정의했습니다.

1. 지각 (Perception): 생리학적 마커 식별 (통계 계산, 특징 추출).
2. 추론 (Inference): 다양한 세분화 수준의 분석 (이벤트 위치 파악, 생리학적 분류, 환자 프로파일링).
3. 생성 (Generation): 시퀀스 전체의 점별 합성 (미래 예측, 신호 보간, 크로스-모달 변환).
4. 연역 (Deduction): 시간의 화살과 장기적 의존성을 통한 통찰 도출 (시간적 순서 결정, 궤적 분석).

다. 평가 프레임워크

• CodeAct 프레임워크: 긴 시계열 데이터를 처리하기 위해 LLM 이 직접 Python 코드를 작성하여 데이터를 읽고 분석하도록 유도하는 방식을 채택했습니다. 이는 모델이 raw 데이터를 프롬프트에 모두 넣을 필요가 없게 하여 컨텍스트 윈도우 제한을 우회합니다.
• 평가 지표: 작업 유형에 따라 정확도 (Accuracy), IoU, sMAPE 등을 사용하며, 단순한 추측 (Naive Baseline) 과 비교하여 성능을 측정합니다.

3. 주요 기여 (Key Contributions)

1. HeaRTS 벤치마크 출시: 건강 시계열 추론을 위한 최초의 다양하고 포괄적인 벤치마크를 제시했습니다. (12 도메인, 20 모달리티, 110 작업, 20,000 개 이상의 테스트 샘플).
2. 계층적 평가 설정 제안: 단순한 다중 선택지 (MCQ) 를 넘어, 기본 계산부터 장기적 통합 및 반사실적 추론까지 4 단계 인지 수준을 평가하는 통일된 프레임워크를 도입했습니다.
3. LLM 성능에 대한 실증적 발견: 14 개의 최첨단 (SOTA) LLM 을 대상으로 한 광범위한 실험을 통해 현재 LLM 의 건강 시계열 추론 능력에 대한 한계를 규명했습니다.
4. 살아있는 생태계 (Living Ecosystem): 커뮤니티가 새로운 데이터셋, 작업, 에이전트 아키텍처를 지속적으로 기여할 수 있도록 설계된 확장 가능한 프레임워크를 제공합니다.

4. 실험 결과 및 발견 (Results & Findings)

14 개의 LLM (GPT-4.1, GPT-5, Claude, Gemini, Qwen, DeepSeek 등) 을 20,000 개 이상의 테스트 샘플로 평가한 결과는 다음과 같습니다.

• 전문 모델 대비 낮은 성능: LLM 은 건강 시계열 추론에서 전문적인 머신러닝 모델 (SOTA ML) 에 비해 현저히 낮은 성능을 보였습니다. 특히 복잡한 생리학적 추론 작업에서 격차가 두드러졌습니다.
• 일반 추론 능력과의 낮은 상관관계: LLM 의 일반적 추론 능력 (Intelligence Index) 이 높다고 해서 건강 시계열 추론 성능이 높은 것은 아닙니다. 도메인 특화 지식과 데이터 처리 능력이 별도로 필요함을 시사합니다.
• 저복잡도 휴리스틱 의존: LLM 은 심층적인 시간적 추론보다는 단순한 휴리스틱 (예: 선형 보간, 복사 - 붙여넣기, 평균화) 에 의존하는 경향이 강했습니다. 생성 작업에서 실제 데이터의 동역학을 모델링하기보다 수학적 함수로 단순화하는 경향이 관찰되었습니다.
• 시간적 복잡도에 따른 성능 저하: 입력 시퀀스가 길어지거나 샘플링 주파수가 높아질수록 성능이 급격히 감소했습니다. 이는 LLM 이 고해상도 데이터의 장기적 의존성을 처리하는 데 어려움을 겪음을 의미합니다.
• 모델 패밀리 내의 일관성: 같은 아키텍처 계열의 모델들은 작업 난이도 순서와 성능 패턴에서 높은 일관성을 보였습니다. 즉, 모델 크기를 키우는 것만 (Scaling) 으로 건강 시계열 추론 능력이 비례하여 향상되지 않았습니다.
• 입력 형식의 영향: 텍스트 기반 입력과 파일 접근 방식은 유사한 성능을 보였으나, 시각적 (이미지) 입력은 성능이 저하되었습니다.

5. 의의 및 결론 (Significance)

• 현실적인 평가 기준 마련: HeaRTS 는 실제 의료 환경의 복잡성 (다양한 신호, 장기적 의존성, 노이즈) 을 반영하여 차세대 의료 AI 에이전트 개발을 위한 표준 테스트베드를 제공합니다.
• LLM 의 한계 명확화: 현재 LLM 이 건강 시계열 데이터에 대해 '진짜' 추론을 수행하지 못하고 표면적인 패턴이나 도메인 사전 지식에 의존하고 있음을 드러냈습니다. 이는 향후 연구가 단순한 모델 크기 확대가 아닌, 도메인 특화 도구 통합 및 시간적 추론 구조 개선에 집중해야 함을 시사합니다.
• 커뮤니티 주도 발전: '살아있는 벤치마크'로서 지속적인 업데이트를 통해 의료 AI 의 빠른 발전 속도에 맞춰 평가 기준을 진화시킬 수 있는 기반을 마련했습니다.

결론적으로, HeaRTS 는 LLM 이 의료 분야에서 신뢰할 수 있는 의사결정 지원 도구로 자리 잡기 위해서는 단순한 언어 능력을 넘어 정교한 시간적 추론과 도메인 특화 능력을 갖추어야 함을 강력하게 주장하는 중요한 이정표입니다.