💻 computer science

Seeing Through the Brain: New Insights from Decoding Visual Stimuli with fMRI

본 논문은 fMRI 신호를 구조화된 텍스트 공간으로 투영하고 속성 - 관계 검색을 활용한 객체 중심 확산을 적용하여 신경 활동의 구성적 특성과 더 잘 정렬함으로써 최첨단 시각 자극 재구성을 달성하는 새로운 프레임워크인 PRISM 을 제안합니다.

원저자: Zheng Huang, Enpei Zhang, Weikang Qiu, Yinghao Cai, Carl Yang, Elynn Chen, Xiang Zhang, Rex Ying, Dawei Zhou, Yujun Yan

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zheng Huang, Enpei Zhang, Weikang Qiu, Yinghao Cai, Carl Yang, Elynn Chen, Xiang Zhang, Rex Ying, Dawei Zhou, Yujun Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 뇌가 바쁜 도서관이라고 상상해 보세요. 이미지를 볼 때마다 단순히 그 그림을 "저장"하는 것이 아니라, 자신이 보는 것에 대해 매우 구체적이고 복잡한 이야기를 작성합니다. 과학자들은 수년 동안 이러한 이야기들 (fMRI 뇌 스캔에서 얻은) 을 읽어 원래 본 그림으로 되돌리는 방법을 연구해 왔습니다.

여러분이 질문하신 논문인 PRISM은 이를 더 잘 수행하는 방법을 마침내 해독한 새롭고 더 똑똑한 번역기처럼 작용합니다. 그들이 발견하고 구축한 내용을 간단히 요약하면 다음과 같습니다:

1. 큰 놀라움: 뇌는 "그림"이 아닌 "텍스트"로 말합니다

뇌 스캔에서 이미지를 재구성하려는 대부분의 이전 시도들은 뇌의 신호를 직접 "그림 언어" (디지털 사진 파일과 같은) 로 번역하려 했습니다. 여러분이 그림을 봤기 때문에 뇌도 그것을 그림으로 저장할 것이라고 가정했습니다.

PRISM 팀은 이것이 잘못되었음을 발견했습니다.
그들은 뇌의 활동이 사진이나 비디오보다는 텍스트 (책의 문장과 같은) 와 훨씬 더 닮아 있음을 발견했습니다.

유추: 외국어를 번역하려고 노력한다고 상상해 보세요. 이전 방법들은 뇌의 "언어"를 다른 시각 언어로 번역하려 했습니다 (프랑스어 영화를 독일어 영화로 직접 번역하는 것과 같이). PRISM 은 뇌가 실제로 영어 (텍스트) 를 말하고 있음을 깨달았습니다. 따라서 이를 이해하는 최선의 방법은 먼저 영어로 번역한 다음, 그 영어를 이용해 그림을 묘사하는 것입니다.

2. "흐릿한" 묘사의 문제

과학자들이 텍스트를 사용했을 때조차도 자주 실수를 저질렀습니다. 전체 이미지를 설명하는 단일한 긴 문장을 작성하는 것이었습니다. 예를 들어: "회색 호랑이 줄무늬 고양이가 벤치에 앉아 있다."
컴퓨터가 이를 그리려고 하면 종종 혼란을 겪습니다. "회색 호랑이" 대신 "고양이"를 그리거나, 색상을 혼동할 수 있습니다. 이를 "속성 결합 오류"라고 합니다. 컴퓨터는 단어를 알지만 어떤 단어가 어떤 객체에 속하는지 잊어버리는 것입니다.

인간의 뇌는 이를 하지 않습니다.
당신이 장면을 볼 때, 뇌는 하나의 거대한 덩어리로 보지 않습니다. 그것은 구별된 항목들을 봅니다: "고양이가 있다. 그것은 회색이다. 줄무늬가 있다. 벤치 위에 있다." 뇌는 장면을 조각조각 쌓아 올립니다.

3. 해결책: PRISM (레고 조립자)

저자들은 PRISM (Projects fMRI sIgnals into a Structured text space, fMRI 신호를 구조화된 텍스트 공간으로 투영) 이라는 새로운 시스템을 구축했습니다. 이를 단일한 거대한 주형 대신 레고 블록을 사용하는 마스터 빌더라고 생각하세요.

PRISM 의 작동 방식은 다음과 같습니다:

1 단계: 번역기 (fMRI 에서 텍스트로)
시스템은 뇌 스캔을 받아 구조화된 텍스트 목록으로 번역합니다. 하나의 긴 단락 대신 이미지를 특정 부분으로 나눕니다:
- 객체 1: 자동차.
- 객체 2: 코끼리.
- 관계: 자동차가 코끼리를 뒤따르고 있다.
- 속성: 자동차는 하얗다; 코끼리는 회색이다.
2 단계: 스마트 검색 (올바른 단어 찾기)
시스템은 어떤 단어가 가장 중요한지 파악하기 위해 "검색 엔진"을 사용합니다. 수천 가지의 서로 다른 설명 방식을 테스트한 결과, 공간적 단어 ("왼쪽", "오른쪽", "위", "옆" 등) 가 뇌의 활동과 일치하는 데 가장 중요하다는 것을 발견했습니다. 이는 눈가리개를 한 사람에게 방을 설명할 때 커튼의 색깔을 말해주는 것보다 사물이 어디에 있는지를 알려주는 것이 더 중요하다는 것을 깨닫는 것과 같습니다.
3 단계: 레고 조립자 (객체 중심 생성)
PRISM 은 AI 에게 한 번에 전체 그림을 그리게 하는 대신, 먼저 자동차를 그리고 그 다음 코끼리를 그리게 한 다음, 텍스트 설명에 기반하여 올바른 위치에把它们 배치합니다.
- 왜 이것이 작동하는가: 이는 컴퓨터가 혼란을 겪는 것을 막아줍니다. 자동차는 자동차로, 코끼리는 코끼리로 유지되도록 보장하며, 실수로 "자동차 - 코끼리"가 되는 것을 방지합니다.

4. 결과

실제 사람들이 이미지를 볼 때 이를 테스트한 결과, PRISM 은 이전 방법들보다 훨씬 더 나은 성과를 거두었습니다.

점수: "지각적 손실" (새로운 이미지가 원본과 얼마나 다른지) 을 약 6% 줄였습니다.
증거: 재구성된 이미지를 똑똑한 AI 에게 보여주고 "이 그림에 무엇이 있는가?"라고 물었을 때, PRISM 의 이미지로 답변한 경우가 이전 방법들보다 훨씬 더 자주 정확하게 답변했습니다.

요약

이 논문은 뇌의 시각적 사고를 읽기 위해서는 뇌를 "픽셀"로 말하게 강요해서는 안 된다고 주장합니다. 대신, 객체와 그 위치에 대한 구조화된 이야기를 쓰는 것처럼 뇌에 귀 기울여야 합니다. 뇌 스캔을 이러한 특정 유형의 "객체 기반 텍스트"로 번역한 다음 이미지를 조각조각 쌓아 올리면, 사람이 무엇을 보고 있었는지 훨씬 더 선명하게 볼 수 있습니다.

참고: 이 논문은 뇌 스캔에서 정적 이미지를 재구성하는 기술적 방법에 집중합니다. 현재 단계에서는 임상적 적용, 의학적 용도, 또는 의사소통을 위한 실시간 사고 읽기 능력을 주장하지 않습니다.

기술 요약: PRISM – 구조화된 텍스트를 통한 뇌 시각화

문제 제기

기능성 자기공명영상 (fMRI) 신호로부터 시각 자극을 재구성하는 것은 신경과학과 기계학습의 핵심 과제입니다. 기존 접근법은 일반적으로 두 단계로 이루어집니다: fMRI 신호를 잠재 공간 (latent space) 으로 매핑한 후, 사전 훈련된 생성 모델 (주로 확산 모델) 을 사용하여 이미지를 재구성합니다. 그러나 두 가지 중요한 한계가 존재합니다:

잠재 공간 불일치: 기존 연구는 대부분 잠재 공간이 자극의 모달리티 (즉, 시각 기반 표현) 와 일치해야 한다고 가정합니다. 시각 기반 공간이 최적인지, 아니면 텍스트와 같은 다른 공간이 신경 활동과 더 잘 정렬되는지는 여전히 불분명합니다.
구성적 불일치: 기존 방법들은 종종 객체와 그 속성을 혼동하는 통합된 숨은 표현에 의존합니다. 이로 인해 "속성 바인딩" 오류 (예: "회색 고양이" 대신 "회색 호랑이" 생성) 가 발생하며, 인간의 시각 처리가 갖는 객체 중심적이고 구성적인 특성을 포착하지 못합니다.

방법론: PRISM

저자들은 이러한 한계를 해결하기 위해 PRISM(Projects fMRI sIgnals into a Structured text space as an interMediate representation, fMRI 신호를 중간 표현으로서 구조화된 텍스트 공간으로 투사) 을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 통해 작동합니다:

1. 최적의 잠재 공간으로서의 텍스트

저자들은 먼저 fMRI 신호와 다양한 표현 공간 (언어 모델 (LM) 텍스트 공간, 시각 - 언어 모델 (VLM) 결합 공간, 시각 전용 공간) 간의 정렬 관계를 조사합니다.

결과: Centered Kernel Alignment (CKA), Canonical Correlation Analysis (CCA), 그리고 일반화 간격 (Generalization Gap) 지표를 사용하여 분석한 결과, fMRI 신호는 시각 기반 또는 텍스트 - 이미지 결합 공간보다 언어 모델의 텍스트 공간과 더 밀접하게 정렬되는 것으로 나타났습니다.
함의: 이는 시각 기반 표현이 필수적이라는 가정을 도전하며, 재구성을 위한 중간 잠재 공간으로 순수한 텍스트 임베딩을 사용하도록 동기부여를 제공합니다.

2. 속성/관계 검색 모듈

시각 자극의 구성적 특성을 해결하기 위해 PRISM 은 일반적인 이미지 캡션을 사용하지 않습니다. 대신 신경 활동과 가장 잘 정렬되는 구체적인 속성과 관계를 자동으로 발견하는 모듈을 사용합니다.

과정: 이 모듈은 키워드 선택을 프롬프트 최적화 문제로 설정합니다. 대규모 언어 모델 (LLM) 을 사용하여 $\epsilon$ -greedy 검색 전략을 적용하여 후보 키워드 (예: "공간 배치", "상대적 위치") 를 반복적으로 생성하고 평가합니다.
목적: 이 검색은 VLM 설명 (후보 키워드 사용) 에서 생성된 이미지와 실제 이미지 (ground truth) 간의 유사성을 최대화하는 것을 목표로 하되, fMRI 데이터와 결과 텍스트 임베딩 간의 CKA 유사성이 임계값을 초과한다는 제약 조건을 따릅니다.
결과: 검색은 "공간 배치"와 같은 공간 지향적 키워드로 수렴하며, 이는 훈련을 위한 구조화된 객체 중심 설명을 생성하는 데 사용됩니다.

3. 객체 중심 확산 및 인코더 훈련

이 프레임워크는 인코더와 특수화된 생성 과정으로 구성됩니다:

인코더 훈련: 인코더는 fMRI 신호를 LM 텍스트 공간으로 매핑합니다. 다층 퍼셉트론 (MLP) 을 사용하여 각 객체의 특징을 독립적으로 인코딩한 후 이를 연결하고, 미세 조정된 언어 모델 (T5) 에 전달하여 구조화된 설명을 예측합니다.
객체 중심 생성: 추론 단계에서 예측된 구조화된 설명은 사전 훈련된 확산 모델을 안내합니다. 표준 텍스트 - 이미지 생성과 달리 PRISM 은 확산 과정을 개별 객체를 구성하여 이미지를 생성하도록 적응시킵니다.
- 각 객체의 설명은 조건부 행렬에 임베딩됩니다.
- 모델은 각 객체에 대한 잠재 표현을 독립적으로 생성합니다.
- 이러한 표현들은 예측된 위치를 기반으로 공간적으로 크기 조절되어 연결됩니다.
- 가중 합을 통해 객체 잠재와 전역 컨텍스트 잠재가 혼합되어 매끄러운 경계를 보장합니다.

주요 기여

새로운 실증적 발견: 본 논문은 이미지 기반 잠재 표현 없이도 정확한 시각 재구성이 가능함을 최초로 입증했으며, LM 텍스트 공간이 시각 또는 VLM 공간보다 fMRI 신호와 더 우수한 정렬을 보임을 보여주었습니다.
구조화된 표현: 저자들은 시각 자극의 구성적 및 관계적 특성 (객체, 속성, 관계) 을 포착하도록 텍스트 공간과 생성 모델을 모두 적응시킴으로써 재구성 품질이 크게 향상됨을 입증했습니다.
PRISM 프레임워크: 자동 프롬프트 최적화를 위한 속성/관계 검색 모듈과 속성 바인딩 오류를 완화하기 위한 객체 중심 확산 모듈을 통합한 새로운 아키텍처입니다.

실험 결과

이 프레임워크는 NSD, BOLD5000, GOD라는 세 가지 실제 fMRI 데이터셋에서 평가되었습니다.

성능: PRISM 은 모든 지표 (PixCorr, SSIM, LPIPS, CLIP, Inception V3) 에서 MindEye2, MindBridge, Takagi & Nishimoto 를 포함한 최첨단 베이스라인을 능가했습니다.
주요 지표: 기존 방법 대비 지각 손실 (LPIPS) 이 최대 6% 감소하여 원본 이미지와의 지각적 유사성이 더 높음을 나타냈습니다.
의미론적 일관성: 재구성된 이미지를 사용한 질문 응답 (QA) 작업에서 PRISM 은 60.54% 의 정확도를 기록하여 다른 방법들을 크게 능가했으며, 재구성이 의미론적으로 유의미함을 확인했습니다.
어블레이션 연구: 객체 중심 확산 모듈이나 속성/관계 검색 모듈을 제거하면 일관되게 성능이 저하되어 두 구성 요소의 필요성을 입증했습니다.

중요성과 주장

본 논문은 뇌 해독을 위한 중간 표현을 재정의하는 데 그 주요한 의의가 있다고 주장합니다. 텍스트 공간이 시각 공간보다 뇌와 더 잘 정렬된다는 것을 입증하고, 시각 지각의 구성적 구조를 명시적으로 모델링함으로써 PRISM 은 이전의 전체론적 접근법보다 신경 활동과 이미지 생성 간의 간극을 더 효과적으로 연결합니다. 결과는 구조화된 텍스트가 강력한 연결고리 역할을 하여 생성 모델이 더 높은 충실도와 더 적은 의미론적 오류로 시각 자극을 재구성할 수 있음을 강조합니다.

저자들은 발견된 최적의 키워드 (예: "공간 배치") 가 공간 기억 영역 (예: 전위핵, Presubiculum) 에 관한 신경과학적 발견과 일치한다고 언급하지만, 신경과학 커뮤니티의 추가적인 검증이 필요하다고 덧붙였습니다. 이 연구는 인간의 시각 표현을 더 잘 이해하고 뇌 - 컴퓨터 인터페이스를 개선하기 위한 한 걸음으로 제시됩니다.