NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

기술 요약: NeuroMambaLLM

문제 제기
현재 자폐 스펙트럼 장애 (ASD) 에 대한 신경영상 분석은 두 가지 주요 한계에 직면해 있습니다. 첫째, 대부분의 방법은 단일 상관 행렬로 fMRI 데이터를 집계하는 **정적 기능적 연결성 (sFC)**에 의존합니다. 이 접근법은 신경발달 장애를 이해하는 데 필수적인 일시적인 신경 역동성과 시간 변화 상호작용을 흐리게 만듭니다. 둘째, 대규모 언어 모델 (LLM) 은 강력한 의미 추론을 제공하지만, 뇌 연결성 모델과의 통합은 초기 단계에 머물러 있습니다. 기존 "뇌 - 텍스트 (Brain-to-Text)"프레임워크 (예: FCN-LLM, BrainLLM) 는 일반적으로 정적 연결성 행렬을 LLM 에 매핑하여 추론을 평균 생체 표지자로 제한하고, 특정 시간적 사건을 포착하지 못합니다. 또한, 긴 fMRI 시퀀스를 위한 딥러닝 모델은 종종 Transformer 의 2 차 계산 비용이나 순환 신경망의 망각 문제로 인해 긴 노이즈가 섞인 시계열의 엔드 - 투 - 엔드 모델링을 비실용적으로 만듭니다.

방법론
본 논문은 정적 그래프 - 텍스트 모델링에서 **동적 잠재 신호 - 텍스트 (Dynamic Latent Signal-to-Text)**모델링으로 패러다임을 전환하는 엔드 - 투 - 엔드 프레임워크인 NeuroMambaLLM을 제안합니다. 이 아키텍처는 세 가지 결합된 단계로 구성됩니다:

1. 동적 잠재 그래프 추론 (LGI):
   사전 계산된 상관 행렬이나 고정된 구조적 사전 지식을 사용하는 대신, 이 모델은 원시 혈중 산소 농도 의존성 (BOLD) 시계열에서 직접 시간 분해 기능적 연결성을 학습합니다. 미분 가능 모듈은 1 차원 합성곱과 자기 주의를 사용하여 순간 BOLD 신호를 잠재 특징 공간으로 매핑합니다. 이러한 잠재 노드 임베딩 간의 쌍별 유사성은 휴리스틱 슬라이딩 윈도우 없이 순간 기능적 결합과 비선형 종속성을 포착하는 시간 변화 인접 행렬 ($G_t$) 을 생성합니다.

2. 선택적 상태 공간 시간 모델링 (Mamba):
   그래프 필터링된 뇌 상태는 Mamba아키텍처인 선택적 상태 공간 모델 (SSM) 에 의해 처리됩니다. Transformer 와 달리 Mamba 는 시퀀스 길이에 대해 선형 시간으로 신호를 처리하여 2 차 메모리 증가를 방지합니다. 이는 상태 전이 및 입력 투영 행렬이 현재 입력의 결정론적 함수로 생성되는 하드웨어 인식 선택적 스캔 메커니즘을 사용합니다. 이를 통해 모델은 fMRI 데이터의 장거리 종속성을 포착하면서 운동 관련 아티팩트와 생리학적 노이즈를 효과적으로 억제하도록 관련 시간 정보를 적응적으로 선택할 수 있습니다.

3. LLM 과의 교차 모드 정렬:
   결과적으로 생성된 잠재 시간 상태 시퀀스는 고정된 "뇌 요약 토큰"세트로 압축됩니다. 이러한 토큰은 동결된 LLaMA-3-8B언어 모델의 임베딩 공간으로 투영됩니다. 정렬은 LLM 의 주의 레이어에 삽입된 **저랭크 적응 (LoRA)**모듈을 통해 이루어지며, 파라미터 효율성을 위해 기본 모델을 동결 상태로 유지합니다. LLM 은 진단 프롬프트와 연결된 이러한 뇌 토큰을 수신하여 진단 분류를 수행하고 입력의 특정 시간 패턴에 기반한 임상적으로 의미 있는 텍스트 보고서를 생성할 수 있게 됩니다.

주요 기여

• 동적 기능적 그래프 학습: 원시 BOLD 신호에서 직접 적응적, 시간 분해 기능적 연결성을 추론하는 엔드 - 투 - 엔드 인코더 도입으로, 정적 분석이 놓친 일시적 신경 상호작용을 포착합니다.
• 효율적인 시간 모델링: Transformer 의 비용 없이 노이즈를 적응적으로 억제하면서 장거리 fMRI 종속성을 모델링하기 위해 Mamba 선택적 상태 공간 아키텍처를 적용하여 선형 계산 복잡도를 달성했습니다.
• LLM 추론 프레임워크: 동적 뇌 그래프를 동결된 LLM 의 임베딩 공간으로 투영하기 위해 LoRA 를 사용하는 새로운 정렬 전략입니다. 이는 블랙박스 예측이 아닌 해석 가능한 텍스트 설명을 생성하는 결합된 진단 분류 및 언어 기반 추론을 가능하게 합니다.

실험 결과
실험은 39 개 관심 영역 (ROI) 의 휴식 상태 fMRI 데이터를 100 개 시간 포인트로 잘라낸 **자폐증 뇌 영상 데이터 교환 (ABIDE I)**데이터셋에서 수행되었습니다.

• 성능: NeuroMambaLLM 은 테스트 정확도 **72.12%**를 달성하여 BoLT(71.28%), SwinT(68.59%), BrainGNN(69.31) 과 같은 정적 그래프 기반 접근법을 포함한 최근 최첨단 방법들을 능가했습니다.
• 지표: 이 모델은 0.8022 의 정밀도와 0.6931 의 F1 점수를 보여주었습니다.
• 절대 실험 (Ablation Studies):
  • 동적 그래프를 정적 공식 ("Static MambaLLM") 으로 대체하면 정확도가 66.50% 로 감소하여 적응적 그래프 추론의 필요성을 확인했습니다.
  • LoRA 적응 없이 LLM 파라미터를 동결 ("Frozen MambaLLM") 하면 LoRA 튜닝 버전 (68.20%) 에 비해 성능이 저하되어 경량 미세 조정의 가치를 입증했습니다.
  • 시간 백본 (GRU, TCN, Transformer, S4) 비교에서 Mamba 가 가장 강력한 성능을 제공했습니다.

의의 및 주장
본 논문은 NeuroMambaLLM 이 동적 신경생물학적 과정과 계산적 실현 가능성 사이의 간극을 메운다고 주장합니다. 그 주요 의의는 "블랙박스"예측을 넘어 임상적으로 의미 있는 설명으로 나아가는 데 있습니다. 인과적으로 관련 있고 시간적으로 구체적인 신경 패턴에 LLM 출력을 근거로 함으로써, 이 프레임워크는 알려진 ASD 신경생물학과 일치하는 비정상적인 상호작용 (예: 좌측 상측 두정회 및 전측 측두 영역) 을 식별하는 해석 가능한 보고서를 제공합니다.

저자들은 언어 모델이 단순히 분류 정확도를 극대화하기 위해 도입된 것이 아니라, 도메인 전문가를 위한 동적 뇌 패턴의 구조화된 해석을 지원하기 위해 도입되었다고 강조합니다. 이 모델은 동적 잠재 그래프 학습과 효율적인 상태 공간 모델링 및 LLM 추론을 결합하면 경쟁력 있는 진단 성능을 유지하면서도 정적 모델이 lacking 하는 해석 가능성 (생성된 텍스트 요약 및 중요도 맵을 통해) 을 제공할 수 있음을 성공적으로 입증했습니다. 향후 작업은 추가 데이터셋에 대한 일반화와 잠재적 환각을 완화하기 위한 프롬프트 제약 정제에 초점을 맞출 것으로 명시되어 있습니다.