Learning Robust and Task-Invariant Functional Representation from fMRI through Siamese Self-Supervised Learning

기술 요약: 시아미스 자기지도 학습을 통한 fMRI 에서의 강건하고 작업 불변 기능적 표현 학습

문제 제기

기능적 자기공명영상 (fMRI) 은 뇌 기능을 연구하는 데 필수적인 도구이지만, 고비용의 데이터 획득, 작은 샘플 크기, 정신과 평가 척도의 고유한 노이즈로 인해 기계 학습 적용이 제한됩니다. 이러한 요소들은 fMRI 데이터의 고차원성과 결합되어 지도 학습 환경에서 모델 과적합의 심각한 위험을 초래합니다. 또한, 기존 지도 학습 프레임워크는 종종 다양한 질병 하위 유형을 축소하는 이진 분류 레이블에 의존하여 의미 있는 차이를 흐리게 하고 해석 가능성을 저하시킵니다. 대규모 기반 모델은 잠재적 해결책을 제시하지만, 사전 학습과 미세 조정에 필요한 계산 요구 사항은 종종 prohibitive(금지적) 입니다. 또한, fMRI 에서 일반화 가능한 '부정 (negative)' 예시를 정의하는 것은 어렵습니다. 서로 다른 피험자를 부정 예시로 취급하면 공유된 기능적 패턴이 손실될 수 있고, 작업 레이블을 사용하여 부정 예시를 구성하면 특정 작업 공간과 특징이 얽혀 작업 간 일반화가 제한될 수 있기 때문입니다.

방법론: BrainSimSiam

저자들은 작업 기반 fMRI 로부터 강건하고 작업 불변 기능적 표현을 학습하기 위해 경량이고 데이터 효율적인 자기지도 표현 학습 프레임워크인 BrainSimSiam을 소개합니다. 이 프레임워크는 부정 샘플 쌍이 필요 없도록 스톱-그래디언트 (stop-gradient) 메커니즘을 갖춘 시아미스 아키텍처를 활용합니다.

주요 아키텍처 구성 요소:

1. 이중 뷰 입력: 모델은 각 인스턴스에 대해 fMRI 데이터의 두 가지 보완적 뷰를 처리합니다.
   • 기능적 뇌 그래프 뷰: fMRI 시계열은 표준 어틀라스 (HCP 의 경우 Shen, Biopoint 의 경우 Desikan–Killiany) 를 사용하여 관심 영역 (ROI) 으로 분할됩니다. 노드 특징은 피어슨 상관 행렬에서 유도되며, 에지는 가장 강한 부분 상관 계수를 나타냅니다.
   • 공간 활성화 이미지 뷰: fMRI 시계열의 볼록별 시간 평균을 통해 절대 신호 강도를 보존하는 3D 평균 활성화 맵이 생성됩니다.
2. 인코더 아키텍처: 인코더는 두 개의 병렬 브랜치로 구성됩니다.
   • 전역 평균 풀링 및 최대 풀링을 사용하는 그래프 어텐션 네트워크 (GAT) 레이어를 활용한 GNN 브랜치.
   • 3D 합성곱 레이어를 활용한 CNN 브랜치.
   • 두 브랜치의 출력은 연결되어 프로젝션 MLP 를 거쳐 최종 임베딩을 생성합니다.
3. 증강 및 마스킹:
   • ROI 정렬 그래프 - 이미지 마스킹: 그래프에서 제거된 노드에 대응하는 3D 이미지 내의 볼록을 공동으로 가리는 새로운 연산자입니다. 이는 두 뷰 전반에 걸쳐 일관된 교란을 보장합니다.
   • 작업 불변 손실: 다양한 작업에 걸쳐 일반화되는 표현을 학습하기 위해, 프레임워크는 모델이 자발적이고 작업 불변인 기능적 패턴을 보존하도록 장려하는 손실 항을 도입합니다. 이는 동일한 피험자의 다른 작업 하에서 스캔을 샘플링하고 원본 뷰와 이 교차 작업 뷰 간의 코사인 유사도 손실을 최소화함으로써 달성됩니다.
4. 학습 목적: 모델은 부정 샘플 없이 모델 붕괴를 방지하기 위해 한 브랜치에 스톱-그래디언트 연산을 적용하여 인코더 출력과 예측기 헤드 간의 대칭 코사인 유사도 손실을 최소화합니다.

주요 기여

1. 프레임워크 개발: 저자들은 작업 기반 fMRI 를 위한 자기지도 프레임워크인 BrainSimSiam 을 개발하여 여러 데이터셋에서 지도 학습 및 기존 자기지도 베이스라인을 능가했습니다.
2. 통합 멀티모달 뷰: 이 연구는 공동 ROI 마스킹 방식을 통해 볼록별 fMRI 와 그래프 기반 기능적 뷰를 통합합니다. 이 메커니즘은 그래프 구조 네트워크를 등록된 구조적 (T1 가중) 또는 확산 MRI 와 정렬함으로써 잠재적 멀티모달 융합을 지원합니다.
3. 작업 불변 학습: 다양한 작업 자극 간의 대비를 자연스러운 증강으로 활용함으로써, 프레임워크는 유발된 반응을 자발적인 뇌 역동성에서 분리해 내어 작업 불변 표현을 학습합니다.

실험 결과

이 프레임워크는 Human Connectome Project (HCP) (1,005 명의 피험자, 7 가지 작업 패러다임) 와 Biopoint 데이터셋 (75 명의 ASD 피험자, 43 명의 건강한 대조군) 두 가지 데이터셋에서 평가되었습니다.

• 성능: BrainSimSiam 은 분류 (생물학적 성별, ASD) 및 회귀 (인지 점수, 연령) 작업 전반에 걸쳐 지도 학습 베이스라인 (GCN, GAT, CNN 을 갖춘 GraphSAGE) 과 자기지도 베이스라인 (CGL, CGL-CNN) 일관적으로 능가했습니다.
  • HCP 데이터셋에서 엔드 - 투 - 엔드 미세 조정된 BrainSimSiam 모델은 생물학적 성별 분류에서 91.9% 정확도와 0.980 AUC를 달성하여, NeuroSTORM 과 같은 더 큰 기반 모델과 경쟁 가능한 성능을 보였으며, 파라미터 수는 5200 만 개로 현저히 적었습니다.
  • 더 작은 Biopoint 데이터셋에서는 자기지도 학습의 이점이 증폭되었습니다. 특히, MLP 프로빙(사전 학습된 인코더를 고정) 이 엔드 - 투 - 엔드 미세 조정보다 우월하여, 학습된 표현이 강건하며 데이터가 제한된 시나리오에서 과적합을 완화함을 나타냈습니다.
• 절차 연구: 프로젝션 MLP, 작업 불변 손실, 또는 GNN/CNN 브랜치 중 하나를 제거하면 성능이 크게 저하되어, 그래프 및 이미지 특징의 비선형 통합의 필요성과 작업 불변 제약의 가치를 확인했습니다.
• 정성적 분석: 제로샷 상관 분석은 학습된 임베딩의 특징이 전통적인 기능적 연결 (FC) 지표보다 생물학적 및 행동적 표현형 (예: 연령, 성별, 인지 점수) 과 더 높은 상관관계를 보임을 보여주었습니다.
• 해석 가능성: GNNExplainer 를 사용하여 저자들은 사전 학습이 분산된 전뇌 신호에서 학습되지만, 하류 작업별 중요도 맵은 성별 분류의 경우 우측 시상, ASD 의 경우 상측 전두이랑과 같은 중요한 영역에 국한됨을 입증하여 기존 신경과학 문헌과 일치함을 보였습니다.

중요성 및 주장

이 논문은 데이터셋별 자기지도 사전 학습이 fMRI 를 위한 강건하고 일반화 가능한 표현을 산출하여, 제한된 데이터로도 이질적인 표현형의 정확한 예측을 가능하게 한다고 주장합니다. 대규모 공개 데이터셋 간의 조화와 막대한 계산 자원을 필요로 하는 대규모 기반 모델과 달리, BrainSimSiam 은 경량이고 데이터 효율적인 접근 방식이 대규모 모델의 성능에 근접하면서도 순수 지도 학습 베이스라인을 능가할 수 있음을 보여줍니다. 저자들은 그들의 방법이 신경영상에서의 레이블 노이즈, 작은 샘플 크기, 작업 불변 특징의 필요성이라는 과제를 효과적으로 해결하여 데이터가 제한된 응용을 위한 실용적인 경로를 제공한다고 강조합니다.