🧠 neuroscience

Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex

7T fMRI 데이터와 언어 정렬 모델을 사용한 이 연구는 고차 시각 피질이 단순히 객체의 공존이 아니라 자연 장면의 구성적 구조에 민감하다는 것을 입증하며, 이는 언어적 감독이 인공 시각 모델이 이와 유사한 구조적 표현을 발달시키는 데 도움을 줄 수 있음을 시사한다.

원저자: Rajaei, K., Afshar, A., Cichy, R. M., Soltanian-Zadeh, H.

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rajaei, K., Afshar, A., Cichy, R. M., Soltanian-Zadeh, H.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신의 뇌가 거대하고 북적이는 도서관이라고 상상해 보세요. 오랫동안 과학자들은 이 도서관의 '시각 섹션'이 단순히 개별 사물들을 담아두는 거대한 서류 보관함일 뿐이라고 생각했습니다. 만약 당신이 개, 자동차, 또는 나무를 본다면, 특정 선반이 불을 밝히며 "헤이, 여기에 개가 있어!"라고 외치는 식이었죠. 하지만 개가 자동차를 뒤쫓고 있거나, 나무가 자동차를 가로막고 있다면 어떤 일이 벌어질까요? 뇌는 단순히 항목 목록을 체크하고 있는 것일까요, 아니면 그것들이 어떻게 서로 어우러지는지에 대한 이야기를 읽고 있는 것일까요? 이 질문은 연구자들이 우리의 생각과 감각의 비밀 언어를 해독하려는 노력의 중심인 인지 신경과학이라는 분야의 핵심에 자리 잡고 있습니다. 그들은 fMRI(기능적 자기공명영상)와 같은 강력한 도구를 사용하는데, 이는 당신이 무언가를 볼 때 뇌의 어느 부분이 "말하고 있는지"를 볼 수 있는 첨단 카메라 역할을 합니다. 커다란 미스터리는 우리 뇌의 시각 중심부가 사물 사이의 '관계'를 이해할 만큼 똑똑한지, 아니면 단지 어떤 물체가 존재하는지에만 관심을 두는 목록 작성자인지 하는 점입니다.

한 연구팀은 뇌를 탐정으로, 언어를 돋보기로 취급하여 이 암호를 풀기로 했습니다. 그들은 10,000개의 서로 다른 자연 경관을 보는 동안 뇌 스캔을 진행한 8명의 데이터를 사용했습니다. '목록'이 아닌 '이야기'를 이해하는 뇌의 능력을 테스트하기 위해, 그들은 영리한 실험을 설계했습니다. 모든 사진에 대해, 그들은 AI를 사용하여 정확히 무엇이 일어나고 있는지를 설명하는 완전하고 문법적인 문장(예: "사람이 공원에서 개를 쫓고 있다")을 작성했습니다. 그런 다음, 그 동일한 문장을 무작위 단어 더미(예: "공원, 개, 사람, 쫓는, 에, 한")로 뒤섞었습니다. 두 버전 모두 정확히 같은 단어들을 가지고 있었지만, 오직 첫 번째 버전만이 명확한 구조를 가진 일관된 이야기를 들려주었습니다.

결과는 매우 흥換한 폭로였습니다. 연구진이 이 설명들을 바탕으로 뇌가 무엇을 하고 있는지 예측하려고 했을 때, 뒤섞인 '단어 주머니' 역시 뇌 활동을 예측할 수는 있었지만, 완전하고 구조적인 문장보다는 정확도가 현저히 떨어졌습니다. 구조적인 문장은 특히 얼굴, 장소, 신체를 인식하는 데 책임이 있는 고차원 영역에서 뇌 활동과 훨씬 더 잘 맞아떨어졌습니다. 알고 보니 뇌는 단순한 목록 작성자가 아니라 스토리텔러였습니다. 뇌는 조각들이 어떻게 맞물리는지에 깊은 관심을 가집니다. 연구진은 또한 이를 컴퓨터 모델로도 테스트했습니다. 그들은 이미지와 언어를 모두 이해하도록 훈련된 AI 모델이 이미지만을 보는 모델보다 뇌 활동을 더 잘 추측한다는 것을 발견했습니다. 이는 언어가 뇌(그리고 아마도 AI)가 시각적 세계를 단순한 물체의 뒤섞임이 아닌 의미 있는 연결 관계로 조직하도록 돕는다는 것을 시사합니다.

이것이 단순히 문장이 "유창"하거나 문법적으로 올 형태 때문이 아니라는 것을 확인하기 위해, 팀은 두 번째 기술을 시도했습니다. 그들은 원래 이야기의 핵심 단어들을 가져와서, 오직 그 단어들만을 사용하여 새로운 문법적 문장을 쓰도록 AI에게 요청했습니다. 이 새로운 문장은 문법적으로 완벽했음에도 불구하고, 원래의 이미지 특화된 이야기를 예측하는 것만큼 뇌의 반응을 잘 예측하지 못했습니다. 이는 뇌가 단순히 잘 만들어진 어떤 문장이든 만족하는 것이 아니라, 실제 장면 속에 존재하는 독특하고 구조적인 관계를 구체적으로 갈망한다는 것을 증명했습니다. 이 연구는 고차원 시각 피질이 장면의 '구성적 구조', 즉 행위자, 행동, 공간이 조직되는 특정한 방식에 민감하다는 것을 시사합니다. 개와 사람이 거기에 있다는 것을 아는 것만으로는 부족합니다. 장면을 진정으로 '보기' 위해서는 누가 누구를 쫓고 있는지를 알아야 합니다.

기술적 요약

문제 제기 및 동기
자연 경관은 단순히 포함된 객체들에 의해서만 정의되는 것이 아니라, 공간적 배치, 의미론적 연관성, 사회적 상호작용, 행동을 포함하여 엔티티 간의 구조적 관계에 의해 정의된다. 시각 체계는 장면의 의미를 해석하기 위해 이러한 구조적 정보를 빠르게 추출하지만, 고수준 시각 피질 표현이 이러한 구성적 구조를 인코딩하는지, 아니면 주로 개별 엔티티의 공존(co-occurrence)을 반영하는지는 여전히 불분명하다. 선행 연구들은 언어 정렬 비전 모델이 비전 전용 모델보다 뇌 반응을 더 잘 예측한다는 것을 입증했으나, 이러한 이점의 근거에 대해서는 논쟁이 있다. 즉, 이 이점이 더 풍부한 의미론적 레이블에서 기인하는 것인지, 아니면 구조화된 관계적 조직을 포착하는 능력에서 기한 것인지에 대한 문제이다. 본 연구는 단순한 장면 요소의 존재에 대한 민감도와 구조화된 장면 조직에 대한 민감도를 분리하는 것을 목표로 한다.

방법론
저자들은 8명의 참가자가 10,000개의 고유한 자연 이미지를 관찰할 때의 반응을 포함하는 Natural Scenes Dataset (NSD)의 7T fMRI 데이터를 활용하였다. 연구는 인코딩 프레임워크 내에서 두 가지 상호 보완적인 접근 방식을 채택하였다:

언어적 조작: 각 이미지에 대해 생성형 비전-언어 모델(Qwen 2.5-VL)이 서사적 묘사를 생성하였다. 저자들은 어휘적 내용을 통제하면서 구조를 체계적으로 조작하기 위해 여러 언어적 특징 공간을 구축하였다:
- 전체 서사 (Full Narrative): 온전하고 일관된 묘사.
- 단어 가방 (Bag-of-Words): 서사와 동일한 단어들을 사용하되 순서를 무작위로 섞어 구문론적 및 관계적 구조를 파괴함.
- 내용어 (Content Words): 기능어를 제외하고 명사, 동사, 형용사를 무작위 순서로 배치함.
- 고립된 범주 (Isolated Categories): 명사, 동사 또는 형용사만을 대상으로 학습된 모델.
- 재생성된 묘사 (Regenerated Descriptions): 원래의 서사에서 기능어를 제거하고, 언어 모델이 오직 원래의 내용어만을 사용하여 문법적인 문장을 재구성한 대조군. 이는 서사의 이점이 일반적인 문법성 때문인지, 아니면 이미지 특유의 관계적 조직 때문인지를 테스트하였다.
- 텍스트 임베딩은 CLIP (ViT-L/14) 및 RoBERTa 인코더를 사용하여 도출되었다.
컴퓨터 모델 비교: 저자들은 언어 정렬 비전 모델(SigLIP2)과 자기 지도 학습 기반 비전 전용 모델(DINOv3) 간의 신경 예측력을 비교하였다. 두 모델은 유사한 아키텍처(Vision Transformer Large)와 학습 규모를 공유하지만, 학습 목표(이미지-텍스트 대조 손실 vs. 자기 지도 학습 기반 비전 학습)에서 차이가 있었다.

인코딩 및 분석
특징 공간으로부터 fMRI 반응을 예측하기 위해 복셀 단위(voxelwise) 리지 회귀(ridge regression) 모델을 적합시켰다. 연구는 **고유 설명 분산( $R^2_{unique}$ )**을 계산하기 위해 분산 분할(variance partitioning)을 활용하였다. 이 지표는 타겟 세트와 베이스라인(예: bag-of-words)을 모두 포함하는 결합 모델에서 특정 특징 세트(예: narrative structure)를 제거했을 때 발생하는 예측 성능의 하락을 측정함으로써 특정 특징 세트의 기여도를 격리하였다. 통계적 유의성은 비모수적 부트스트랩 리샘플링과 FDR 교정을 통해 평가되었다.

주요 결과

서사 구조가 어휘적 대조군보다 우수한 성능을 보임: 전체 서사 묘사는 카테고리 선택적 영역(EBA, FFA, PPA, OPA, RSC)을 포함한 고수준 시각 피질에서 bag-of-words 및 내용어 대조군보다 유의미하게 높은 예측력을 보였다. 이러한 이점은 초기 시각 피질에서는 미미했다.
구성적 구조에 대한 특이성: bag-of-words 대비 서사가 설명하는 고유 분산은 기능어 혹은 일반적인 유창성에 의해 유도된 것이 아니었다. 재생성된 묘사 대조군 실험을 통해, 내용어로부터 재구성된 문법적 문장이 일부 분산을 포착하기는 하지만, 원래의 이미지 특유의 서사가 가진 예측력에는 미치지 못함을 보여주었다. 이는 뇌가 단순히 유창한 문장 형태가 아니라, 장면의 구체적인 관계적 조직을 인코딩함을 나타낸다.
어휘적 기여도: 명사가 가장 많은 분산을 설명하였고, 동사와 형용사가 그 뒤를 이었다. 그러나 여러 어휘 범주의 무순서 조합은 단일 범주 하나만 사용할 때보다 더 많은 정보를 포착하였다.
언어 정렬 모델과의 수렴: SigLIP2(언어 정렬 모델)는 고수준 카테고리 선택적 영역에서 DINOv3(비전 전용 모델)보다 우수한 성능을 보였다. 이러한 이점의 공간적 분포는 bag-of-words 대비 서사의 이점이 나타나는 분포와 밀접하게 일치하였다. 서사 구조가 설명하는 고유 분산과 언어 정렬 모델이 설명하는 고유 분산 사이에는 복셀 전반에 걸쳐 강한 양의 상관관계( $r = 0.66$ )가 발견되었다.
자극 동인 (Stimulus Drivers): 서사 구조 및 언어 정렬 모델의 고유 분산을 주도하는 이미지들은 구성적 구조(compositional structure), 의미론적 관계(semantic relations), 그리고 사회적 상호작용(social interaction) 점수가 높은 이미지들이었다. 이들은 단순히 "시각적으로 풍부한" 이미지가 아니라, 행위자, 객체, 행동 간의 복잡하고 조직된 관계를 가진 이미지들이었다.

의의 및 주장
본 논문은 고수준 시각 피질이 단순한 엔티티의 공존이나 어휘적 내용 그 이상인 구조화된 장면 정보를 표현한다고 주장한다. 연구 결과는 시각 체계가 장면 요소들의 관계적 조직(행위자, 행동, 공간적 배치)을 하나의 일관된 전체로 인코딩한다는 점을 시사한다.

나아가, 본 연구는 언어 정렬 비전 모델이 인간의 시각 피질이 보여주는 구조화된 관계적 정보와 유사한 정보를 포착하는 능력을 갖추고 있기 때문에, 이 모델들이 뇌 반응을 더 잘 예측하는 것이 단순히 더 넓은 어휘 범위를 갖는 것에 의한 결과가 아님을 상정한다. "서사적 이점"과 "언어 정렬 모델의 이점" 사이의 수렴은 언어 감독(language supervision)이 인공 모델이 생물학적 시각 체계의 구조화된 관계적 코딩과 일치하는 표현을 유도하는 데 도움을 준다는 견해를 뒷받침한다. 저자들은 자연 언어가 시각을 대체하는 도구가 아니라, 시각 피질에 인코딩된 관계적 정보를 분리해내는 유용한 프로브(probe)로서 기능한다고 결론짓는다.

기술적 요약

유사한 논문