💻 computer science

How Do Electrocardiogram Models Scale?

본 논문은 다양한 크기와 패러다임에 걸쳐 120 개의 모델을 학습시켜 심전도 (ECG) 모델의 스케일링 법칙을 체계적으로 조사하였으며, 자기지도 학습이 우수한 데이터 효율성과 전이 효율성을 제공하지만 효과적인 ECG 기반 모델에 이르는 최적의 경로는 무작위적인 확장에만 의존하는 것이 아니라 아키텍처 (ResNet 대 Transformer) 와 사전 학습 패러다임을 전략적으로 정렬하는 데 달려 있음을 밝혀냈습니다.

원저자: Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "심전도 모델은 어떻게 확장되는가?"라는 논문을 쉬운 언어와 창의적인 비유로 설명한 내용입니다.

핵심 질문: 무조건 크면 좋은 것일까?

로봇이 심전도 (ECG)—심장의 리듬을 보여주는 물결 모양의 선—를 읽도록 가르치려 한다고 상상해 보세요. 인공지능 세계에는 "확장 법칙 (scaling laws)"이라는 인기 있는 신념이 있습니다. 이는 로봇의 뇌 (모델) 를 키우고 더 많은 교과서 (데이터) 를 공급하면 자동으로 더 똑똑해진다는 아이디어입니다.

하지만 심장 신호의 경우 이 규칙은 혼란스러웠습니다. 때로는 작은 로봇이 거대한 로봇보다 더 잘 작동하기도 합니다. 때로는 100 만 개의 심장 박동으로 훈련된 로봇은 실패하는 반면, 1 만 개로 훈련된 로봇은 성공하기도 합니다. 이 논문의 저자들은 왜 이런 일이 발생하는지 파악하고 최고의 심장-AI 를 구축하기 위한 완벽한 레시피를 찾고자 했습니다.

실험: 거대한 주방 테스트

이를 해결하기 위해 연구자들은 한 끼 식사만 준비한 것이 아니라, 120 개 이상의 다양한 버전의 AI 모델을 요리했습니다.

재료: 160 만 명의 환자로부터 수집된 230 만 개의 심장 기록이 포함된 CODE라는 거대한 공개 데이터셋을 사용했습니다.
도구: 두 가지 주요 유형의 "뇌"를 테스트했습니다.
1. ResNets: 이들은 전문 셰프와 같습니다. 심장 선의 특정 돌기나 함몰과 같은 국소 패턴을 포착하는 데 뛰어납니다. 효율적이며 형태 인식을 잘합니다.
2. Transformers: 이들은 이야기꾼과 같습니다. 장기적인 연결과 맥락을 이해하는 데 뛰어나지만, 종종 "탐욕스러워" 학습을 위해 막대한 양의 식량이 필요합니다.
요리 스타일: 이 셰프들을 가르치는 두 가지 방법을 시도했습니다.
1. 지도 학습 (Supervised Learning, SL): 교사가 학생에게 정답이 이미 적힌 교과서를 줍니다 (레이블이 지정된 데이터). "이 선은 심장마비를 의미합니다."
2. 자기 지도 학습 (Self-Supervised Learning, SSL): 교사가 학생에게 조각이 빠진 퍼즐을 주고 "나머지 부분을 바탕으로 빠진 부분을 찾아내라"고 말합니다. 학생은 특정 진단을 알려주는 대신 심장 리듬의 구조를 학습합니다.

발견: 실제로 작동하는 것은 무엇인가?

1. "병목 현상" 문제

모델을 이전에 본 데이터 (In-Distribution) 로 테스트했을 때:

지도 학습 셰프 (SL) 는 벽에 부딪혔습니다. 셰프의 뇌를 아무리 키워도 교과서가 떨어지면 성능이 더 이상 향상되지 않았습니다. 그들은 데이터 병목 현상에 직면했습니다. 천재 학생에게 교과서 한 권만 주는 것과 같습니다. 더 많은 책이 없으면 더 똑똑해질 수 없습니다.
자기 지도 학습 학생 (SSL) 은 계속 성장했습니다. 이 모델들은 벽에 부딪히지 않았습니다. 크기가 커지거나 데이터가 늘어나든 관계없이 계속 향상되었습니다. 그들은 크기와 데이터 모두를 갈구했습니다.

2. "외부 분포 (Out-of-Distribution)" 도전 (실제 테스트)

실제 테스트는 이 모델들이 새롭고 보지 못한 심장 상태 (외부 분포) 를 얼마나 잘 처리하는지 확인하는 것이었습니다. 이는 이탈리아 음식만 요리한 셰프에게 갑자기 초밥을 만들라고 하는 것과 같습니다.

ResNet 의 장점: 전문 셰프 (ResNet) 는 훨씬 효율적이었습니다. 동일한 성능 향상을 얻으려면 Transformer 가 ResNet 보다 1.3 배에서 2.5 배 더 커야 했습니다. ResNet 은 작고 고성능인 스포츠카 같았고, Transformer 는 같은 거리를 이동하는 데 더 많은 연료가 필요한 무거운 트럭 같았습니다.
SSL 의 장점: 자기 지도 학습 학생들은 지도 학습 학생들보다 새로운 데이터에서 학습하는 데 16 배 더 효율적이었습니다. 그들은 특정 답변뿐만 아니라 심장의 언어를 학습했기 때문에 더 잘 일반화할 수 있었습니다.
전이 효율성: 환자 성별 예측이나 구조적 심장 질환 감지 등 완전히 새로운 작업으로 전환할 때, SSL 모델은 SL 모델보다 지식을 전이하는 데 최대 7.6 배 더 뛰어났습니다.

3. "최적 지점"

이 논문은 최상의 결과가 단순히 "무작정" 크기를 키우는 것에서 나오지 않았다고 발견했습니다.

소형에서 중형 크기: 자기 지도 학습 (SSL) 으로 훈련된 ResNets 가 명백한 승자였습니다. 이들은 가장 효율적이고 정확했습니다.
거대 크기: 만약 극도로 거대한 크기 (수억 개의 매개변수) 로 가면, Transformer (SSL) 가 마침내 ResNet 을 따라잡고 추월합니다. 하지만 대부분의 실용적인 목적에서는 ResNet-SSL 조합이 가장 효율적인 경로입니다.

성공을 위한 "레시피"

저자들은 훌륭한 심전도 기초 모델을 구축하는 것이 단순히 모델을 키우거나 더 많은 데이터를 구매하는 것이 아니라고 결론지었습니다. 그것은 올바른 도구를 올바른 교수법과 맞추는 것입니다.

지도 학습 모델에 단순히 데이터를 추가하지 마세요: 표준 "교과서" 방식을 사용하면 데이터를 더 추가해도 결국 도움이 되지 않습니다.
자기 지도 학습을 사용하세요: AI 가 먼저 스스로 심장 패턴을 학습하게 하세요. 이렇게 하면 새로운 보지 못한 의학적 문제를 훨씬 더 잘 처리할 수 있습니다.
올바른 아키텍처를 선택하세요: 대부분의 크기에서 ResNet (전문 셰프) 은 Transformer (이야기꾼) 보다 더 효율적입니다. 막대한 자원이 있을 때만 Transformer 로 전환해야 합니다.

요약 비유

심장 범죄를 해결하는 탐정을 훈련한다고 상상해 보세요.

지도 학습은 탐정에게 1 만 건의 해결된 사건 목록을 주는 것입니다. 그들은 목록을 잘 외우지만, 새로운 유형의 범죄가 나타나면 막힙니다.
자기 지도 학습은 탐정에게 모든 범죄 현장 사진의 도서관을 주고 빠진 조각을 찾도록 하는 것입니다. 그들은 범죄가 어떻게 발생하는지 학습합니다.
ResNets는 확대경을 가진 탐정들입니다 (세부 사항에 뛰어남).
Transformers는 광각 렌즈를 가진 탐정들입니다 (큰 그림에 뛰어남).

이 논문은 말합니다: 확대경을 가진 탐정 (ResNet) 에게 "빠진 조각 찾기" 훈련 (SSL) 을 주십시오. 이 조합은 방에 들어설 수 없을 정도로 거대한 탐정을 만들지 않고도 심장 신호를 위한 가장 효율적이고 적응력이 있으며 강력한 탐정을 만들어냅니다.

기술 요약: 심전도 (ECG) 모델의 확장성은 어떻게 이루어지는가?

문제 제기

확장 법칙 (scaling laws) 은 자연어 처리 (NLP) 분야의 기반 모델 (foundation models) 에 대한 프레임워크를 성공적으로 정립해 왔으나, 심전도 (ECG) 모델에 대한 적용 가능성은 여전히 poorly characterized(잘 규명되지 않은) 상태입니다. ECG 분야에서의 최근 경험적 관찰은 일관성이 없습니다: 일부 연구는 모델 또는 데이터셋 크기를 증가시켜도 체감하거나 비단조적인 (non-monotonic) 수익을 가져온다고 주장하는 반면, 다른 연구들은 소형 모델이 훨씬 더 큰 사전 훈련된 모델보다 성능이 뛰어날 수 있음을 보여줍니다. 기존 문헌은 종종 구조적 귀납적 편향 (architectural inductive biases)(예: CNN 대 Transformer) 과 사전 훈련 패러다임 (pre-training paradigms)(지도 학습 [SL] 대 자기 지도 학습 [SSL]) 의 결합된 효과를 분리하지 못합니다. 결과적으로, 아키텍처, 패러다임, 그리고 규모에 따른 기대 개선분의 역할은 모호한 채 남아 있으며, 이로 인해 실무자들은 효과적인 ECG 기반 모델을 구축하기 위해 컴퓨팅 자원을 어떻게 배분해야 하는지에 대한 명확한 지침을 받지 못하고 있습니다.

방법론

이러한 격차를 해소하기 위해 저자들은 2 만 개에서 2 억 개 사이의 파라미터를 가진 120 개 이상의 모델을 사전 훈련시키는 체계적인 조사를 수행했습니다. 본 연구는 주요 사전 훈련 소스로 CODE 데이터셋(230 만 건, 160 만 명의 환자) 을 활용했고, 라벨 확장성을 연구하기 위해 MIMIC-IV 데이터셋을 사용했습니다.

실험 설계는 두 가지 주요 변수를 분리했습니다:

아키텍처: 두 가지 대표적인 계열을 비교했습니다:
- ResNet: ECG 신호에 맞게 조정된 1 차원 합성곱 아키텍처로, 신호 형태와 일치하는 국소적 귀납적 편향을 가진 것으로 알려져 있습니다.
- Transformer: ECG 에 맞게 조정된 바닐라 Transformer 백본 (특히 HeartLang) 으로, 장기적인 시간적 의존성을 포착할 수 있습니다.
사전 훈련 패러다임:
- 지도 학습 (SL): 전문가가 주석한 라벨 (예: 부정맥 장애) 로 훈련되었습니다.
- 자기 지도 학습 (SSL): ResNet 의 경우 **대조적 다중 세그먼트 코딩 (CMSC)**으로, Transformer 의 경우 **마스크된 자동 인코딩 (Masked Autoencoding)**으로 구현되었습니다.

저자들은 다음에서 이러한 구성들을 평가했습니다:

분포 내 (In-Distribution, ID): CODE 데이터셋의 홀드아웃 (held-out) 10% 하위 집합.
분포 외 (Out-of-Distribution, OOD): 부정맥 감지 (CPSC2018, CSN), 구조적 심장 질환 감지 (EchoNext), 급성 치료 예측 (MIMIC-ICU, Mortality), 환자 특성 (성별) 을 포함한 11 가지 다양한 임상 작업.

분석은 신경 확장 법칙(모델 크기 $N$ 과 데이터 크기 $D$ 의 멱함수로 손실을 모델링) 과 손실 - 대 - 손실 확장 법칙(ID 손실로부터 OOD 손실을 예측) 에 의존했습니다.

주요 기여

체계적 분리: 본 연구는 다양한 규모에 걸쳐 아키텍처 (ResNet 대 Transformer) 와 패러다임 (SL 대 SSL) 의 효과를 분리하여 ECG 모델의 확장 행동을 공동으로 분석한 최초의 연구입니다.
병목 현상 식별: 저자들은 다양한 구성에 대한 특정 병목 현상을 규명했는데, SL 모델은 주로 분포 내에서 데이터에 의해 병목이 걸리는 반면, SSL 모델은 두 차원 모두에서 견고하게 확장됨을 보여주었습니다.
효율성 지표: 논문은 다양한 구성의 효율성 향상을 정량화하여 파라미터 효율성 (ResNet 대 Transformer) 과 데이터 효율성 (SSL 대 SL) 에 대한 구체적인 승수를 제공했습니다.
컴퓨팅 최적 배분: 본 연구는 각 아키텍처 - 패러다임 조합에 대해 고정된 컴퓨팅 예산을 모델 크기와 데이터셋 크기 사이에 배분하기 위한 최적 전략을 도출했습니다.

주요 결과

1. 확장 행동과 병목 현상

분포 내 (ID): SL 모델은 파라미터 확장에서 급격한 포화를 보이며 (데이터셋 크기에 의해 병목이 걸림), SSL 모델은 즉시 포화 증거가 없으며 불가손실 없는 멱함수를 따릅니다.
분포 외 (OOD):
- 아키텍처 편향: ResNet 은 Transformer 보다 파라미터 효율성이 1.3 배에서 2.5 배 더 높습니다. ResNet 파라미터를 10 배 증가시켜 얻는 손실 감소를 Transformer 이 달성하려면 훨씬 더 큰 확장 (SL 의 경우 19 배, SSL 의 경우 288 배) 이 필요합니다.
- 패러다임 편향: SSL 은 SL 보다 최대 16 배 더 데이터 효율적입니다. SSL 은 두 아키텍처 모두에서 OOD 데이터 확장 효율성을 일관되게 향상시킵니다.

2. 전이 효율성 (손실 - 대 - 손실)

SSL 모델은 SL 에 비해 우수한 전이 효율성을 보여줍니다. ID 개선이 OOD 이득으로 어떻게 전환되는지를 지배하는 전이 지수 ( $\kappa$ ) 는 SSL 에서 훨씬 더 높습니다.
보이지 않는 임상 작업 (예: 구조적 심장 질환 감지, 성별 예측) 의 경우, SSL 은 SL 보다 최대 7.6 배 더 높은 전이 효율성을 달성합니다.
SL 모델은 종종 ID 손실 바닥 근처에서 작동하므로, 추가적인 ID 개선은 OOD 일반화에 대해 체감하는 수익을 가져옵니다.

3. 절대 성능과 규모

ResNet 우세: 관찰된 규모 전반에 걸쳐 ResNet 기반 모델은 일반적으로 가장 낮은 절대 OOD 손실을 달성하여, ECG 신호에 대한 강력한 구조적 귀납적 편향을 강조합니다.
규모에서의 Transformer-SSL: ResNet 이 중소 규모에서 우세하지만, Transformer-SSL 모델은 매우 큰 모델 크기 (2 억 파라미터에 근접) 에서 결국 ResNet-SSL 을 추월합니다. 이는 Transformer 가 초기 파라미터 비효율성을 극복하기 위해 상당한 규모가 필요함을 시사합니다.
라벨 확장: 지도 라벨의 수를 늘리는 것은 ID 성능을 향상시키지만, 라벨 구성에 따라 OOD 이득이 매우 다양하게 나타납니다. 단순히 지도 라벨을 확장하는 것은 SSL 의 이점에 비해 최적이지 않습니다.

4. 컴퓨팅 최적 배분

SL 모델: 최적 배분 하에서 ResNet-SL 과 Transformer-SL 모두 한계 컴퓨팅의 70% 이상을 모델 크기보다 데이터에 할당합니다.
SSL 모델: Transformer-SSL 은 이 패턴을 반전시켜 한계 컴퓨팅의 약 73% 를 모델 크기에 할당하여, 더 큰 데이터셋보다 더 큰 모델을 선호합니다.

중요성과 주장

본 논문은 효과적인 ECG 기반 모델로 가는 길은 단일 구성의 "무차별 대입 (brute-force)" 확장에 있는 것이 아니라, 아키텍처와 패러다임의 전략적 정렬에 있다고 주장합니다.

상충되는 문헌의 해결: 본 연구는 아키텍처와 패러다임의 특정 결합에서 비롯된 비단조적 확장 행동이 기존 문헌의 불일치를 해소함을 보여줍니다. 예를 들어, 일부 연구에서 소형 모델이 확장되지 못한 실패는 데이터 병목에 걸린 아키텍처로 SL 을 사용한 것에 기인할 수 있으며, 다른 연구에서 소형 모델의 성공은 저데이터 환경에서 ResNet 의 고유한 효율성에서 비롯될 수 있습니다.
실무 지침: 연구 결과는 제한된 라벨 데이터가 있거나 보이지 않는 임상 상태로 일반화가 필요한 작업의 경우 **자기 지도 학습 (Self-Supervised Learning)**이 우월한 패러다임임을 시사합니다. 또한, Transformer 은 대규모에서 강력하지만, ResNet은 대부분의 실무 규모에서 더 우수한 파라미터 효율성을 제공합니다.
광범위한 함의: 저자들은 비단조적 확장 및 구조적 및 패러다임적 편향을 분리하는 것의 중요성에 대한 이러한 통찰력이 EEG 및 PPG 와 같은 다른 생체 신호 모달리티에도 확장될 가능성이 있다고 지적합니다.

본 연구는 ECG 분야에서의 효과적인 확장은 "한 가지 크기가 모두에게 맞지 않는다"는 것을 인식하는 것을 요구하며, 최적의 전략은 사용 가능한 컴퓨팅 예산, 특정 임상 작업 (ID 대 OOD), 그리고 사전 훈련 목표의 선택에 크게 의존한다고 결론 내립니다.