HAVIR: HierArchical Vision to Image Reconstruction using CLIP-Guided Versatile Diffusion

HAVIR: CLIP 유도형 다재다능한 확산 모델을 이용한 계층적 시각-이미지 재구성의 기술적 요약

문제 정의
뇌 활동(fMRI)으로부터 시각 자극을 재구성하는 것은 신경과학과 컴퓨터 비전 사이의 가교를 놓는 것을 목표로 한다. 그러나 기존 방법들은 매우 복잡한 시각적 장면을 정확하게 복원하는 데 어려움을 겪고 있다. 저자들은 이러한 한계가 자연 장면의 본질적인 특성에서 기인한다고 지적한다. 즉, 저수준 특징(low-level features)은 높은 이질성(예: 구조화되지 않은 질감, 가려진 가장자리)을 보이는 반면, 고수준 특징(high-level features)은 의미론적 얽힘(예: 다면적인 의미 정보와 모호한 맥락적 관계)을 나타낸다는 점이다. 현재의 접근 방식들은 구조적 특징을 충실히 보존하면서 동시에 핵심적인 의미 정보를 표현하기 위해 필요한 시너지 효과적 최적화를 달성하지 못하는 경우가 많으며, 이는 재구성된 이미지가 지각적 세부 사항이나 의미적 정확성을 결여하게 만드는 결과로 이어진다.

방법론
초기 시각 영역이 저수준 특징(형태, 위치)을 처리하고 전방 영역이 고수준 의미 콘텐츠를 처리한다는 시각 피질의 계층적 표상 이론에서 영감을 받아, 저자들은 HAVIR(HierArchical Vision to Image Reconstruction)을 제안한다. 이 프레임워크는 구조적-의미론적 디커플링(decoupling) 문제를 해결하기 위해 fMRI 신호를 두 개의 별도 경로로 분해한다:

1. 구조 생성기(Structural Generator): 이 구성 요소는 공간 처리 복셀(저수준 시각 피질 영역)로부터 특징을 추출한다. 이는 해당 신호를 잠재 확산 사전(latent diffusion priors, $z'_{img}$)으로 변환한다. 생성기는 예측된 잠재 변수와 실제 값(ground truth) 사이의 구조적 정렬 및 에지 인식 일관성을 보장하기 위해 평균 제곱 오차(MSE)와 소벨 손실(Sobel Loss)로 구성된 복합 손실 함수를 사용하여 학습된다.
2. 의미 추출기(Semantic Extractor): 이 구성 요소는 의미 처리 복셀(고수준 시각 피질 영역)을 처리한다. 이는 해당 신호를 CLIP 이미지 및 텍스트 임베딩($e'_{img}$ 및 $e'_{cap}$)으로 변환하며, 이는 조건부 제약 조건 역할을 한다. 추출기는 참조 CLIP 임베딩(이미지 캡션에서 유도됨)과의 직접적인 일관성을 보장하기 위해 SoftCLIP 손실(대조적 정렬을 위함)과 MSE 손실의 조합을 사용하여 최적화된다.
3. 다재다능한 확산(Versatile Diffusion, VD) 통합: 사전 학습된 Versatile Diffusion 모델은 구조적 사전과 의미론적 제약을 통합하여 최종 이미지를 합성한다. 과정은 구조적 강도 계수에 따라 제어된 노이즈를 추가하며 구조적 잠재 변수 $z'_{img}$로부터 시작된다. 디노이징 단계 동안, 크로스 어텐션 메커니즘은 듀얼 모달 CLIP 임베딩을 사용하여 UNet을 가이드하며, 이를 통해 모델은 공간적 위상(topology)과 고수준 의미를 모두 보존하도록 잠재 벡터를 반복적으로 정제한다.

핵-중요한 방법론적 차별점은 피험자 간의 신경 해부학적 가변성을 고려하여 표준화된 템플릿 대신 수동으로 구획된 관심 영역(ROI) 경계를 가진 개별화된 뇌 영역 마스크를 사용하는 것이다.

주요 기여
본 논문은 세 가지 주요 기여를 기술한다:

1. 계층적 분해: 저자들은 시각 시스템의 계층적 처리를 반영하여 fMRI 신호를 구조적 복셀과 의미적 복셀으로 분해할 것을 제안한다. 이러한 "분할 정복(divide and conquer)" 전략은 구조와 의미를 분리함으로써 디코딩 성능을 향상시킨다.
2. 특화된 모듈: 저수준 및 고수준 피질 영역으로부터 각각 공간 및 의미 정보를 디코딩하여 잠재 확산 변수와 CLIP 임베딩으로 변환하는 구조 생성기와 의미 추출기를 설계하였다.
3. 피험자별 정밀도: 특정 피험자에 대한 정밀한 뇌 디코딩을 가능하게 하기 위해 수동으로 정의된 ROI 경계를 가진 개별화된 뇌 마스크를 채택함으로써, 표준 템플릿이 가진 피험자 간 가변성 처리의 한계를 해결하였다.

실험 결과
모델은 4명의 피험자가 COCO 이미지를 관찰하는 동안 수집된 NSD(Natural Scenes Dataset)를 사용하여 평가되었다.

• 정성적 성능: HAVIR은 기존 방법들(BrainGuard, NeuroPictor, Psychometry, MindBridge, MindEye)이 실패하거나 아티팩트를 생성한 것과 달리, 복잡한 장면을 재구성하고 공간적 배치(예: 객체 위치, 배경 질감)와 의미적 세부 사항(예: 특정 색상, 조명 조건)을 정확하게 보존하는 탁월한 능력을 보여주었다.
• 정량적 성능: HAVIR은 여러 지표에 걸쳐 최신 기술(state-of-the-art) 모델들을 능가했다. 픽셀 상관관계(Pixel Correlation)에서 0.327을 기록하였고, 구조적 유사도 지수(SSIM)에서도 0.332라는 최상위 수준을 달성했다. 고수준 의미론적 평가에서는 가장 높은 인셉션 점수(Inception Score, 96.4%)와 강력한 CLIP 일관성을 확보하여 견고한 의미론적 충실도를 입증했다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 구조적 사전(structural prior)을 제거하면 공간적 위상이 붕려되고, 의미론적 가이드(semantic guidance)를 제거하면 고수준 개념이 상실됨을 확인했다. 전체 모델의 성공은 두 경로의 시너지 최적화에 달려 있다.
• 해석 가능성: 가중치 행렬 분석을 통해 모델이 교차 피험자 기능적 뇌 패턴에 적응하며, 균일한 템플릿을 적용하는 대신 개인의 해부학적 및 기능적 차이에 맞춤화된 디코딩 경로를 동적으로 구축함을 밝혔다.

의의 및 주장
본 논문은 HAVIR이 현재 시각 재구성의 핵심 병목 구간인 '복잡한 장면에서의 저수준 특징의 이질성과 고수준 의미론의 얽힘을 동시에 처리하지 못하는 문제'를 해결한다고 주장한다. 뇌의 계층적 처리 메커니즘을 모방하고 Versatile Diffusion의 멀티모달 융합 능력을 활용함으로써, 모델은 구조적 충실도와 의미론적 정확도 사이의 균형을 달성한다. 저자들은 이 접근 방식이 기존 모델보다 재구성 품질 면에서 뛰어날 뿐만 아니라, 시각 정보를 디코딩하기 위한 더 생물학적으로 타당한 프레임워크를 제공하여 더욱 발전된 인간-컴퓨터 상호작용 시스템의 길을 열어준다고 단언한다.