🧬 biology

Toward a mechanistic understanding of inference in visual cortex and diffusion models

본 논문은 V1 수평 연결을 모방하여 고성능 이미지 노이즈 제거를 달성하는 동시에 생물학적 지각 추론과 블랙박스 확산 아키텍처의 내부 작동 방식 모두에 대한 기계론적 통찰을 제공하는, 쌍별 상호작용을 포함한 희소 코딩 기반의 최소한의 해석 가능한 확산 모델을 제시한다.

원저자: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

게시일 2026-07-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

뇌의 탐정 놀이와 AI의 꿈 생성기

당신이 미스터리를 풀려고 노력 중인데, 단서들이 여기저기 흩어져 있고, 흐릿하며, 그중 절반은 사라진 상태라고 상상해 보십시오. 이것은 당신이 세상을 볼 때마다 일어나는 바로 그 현상입니다. 당신의 눈은 단순히 완벽한 사진을 찍는 것이 아니라, 빛과 그림자가 뒤섞인 혼란스러운 덩어리를 받아들입니다. 이를 이해하기 위해 뇌는 탐정처럼 행동하여, 빈틈을 채우고 전체 그림이 어떤 모습일지 추측해야 합니다. 이 과정을 "지각적 추론(perceptual inference)"이라고 부릅니다. 수십 년 동안 과학자들은 뇌가 어떻게 이 일을 이토록 손쉽게 해내는지 궁금해해 왔습니다. 그들은 시각 피질(시각 정보를 처리하는 뇌의 부분)의 뉴런들이 마치 무엇을 보고 있는지 합의하기 위해 서로 대화하는 친구들의 네트워크처럼 특정한 방식으로 연결되어 있다는 것을 알고 있습니다.

동시에, "확산 모델(diffusion model)"이라 불리는 새로운 종류의 인공지능이 멋진 이미지를 만들어내는 것으로 유명해졌습니다. 이 AI 시스템들은 오래된 TV 화면의 노이즈 같은 순수한 정적 노이즈에서 시작하여, 선명한 이미지가 나타날 때까지 천천히 깨끗하게 다듬는 방식으로 작동합니다. 이들은 매우 뛰어나지만, 동시에 "블랙박스"이기도 합니다. 우리는 그것들이 작동한다는 것은 알지만, 그 안의 수백만 개의 작은 디지털 뉴런들이 어떻게 개나 얼굴의 형태를 결정하는지는 실제로 알지 못합니다. 여기서 큰 질문이 생깁니다. 인간의 뇌와 이 AI 모델들은 퍼즐을 풀기 위해 동일한 비밀스러운 기술을 사용하고 있는 것일까요? 만약 우리가 AI가 따르고 있는 규칙을 파악할 수 있다면, 어쩌면 우리 자신의 뇌가 어떻게 작동하는지도 마침내 이해할 수 있을지 모릅니다.

논문의 핵심 아이디어: 거대한 뇌를 가진 단순한 모델

이 논문은 인간의 뇌가 보는 방식과 AI가 이미지를 생성하는 방식 사이의 간극을 메우려는 새로운, 단순화된 모델을 소개합니다. 저자들(UC 버클리 및 기타 기관의 연구진)은 뇌에서 시각 정보가 처음 도착하는 지점인 일차 시각 피질(V1)을 모방한 컴퓨터 프로그램을 구축했습니다. 읽어내기 불가능할 정도로 거대하고 복잡한 딥러닝 네트워크를 사용하는 대신, 그들은 **희소 코딩(sparse coding)**이라는 개념에 기반한 "최소한의" 모델을 만들었습니다.

희소 코딩을 그림을 만들기 위해 몇 가지 특정 조각만을 사용하는 퍼즐이라고 생각해 보십시오. 뇌에서 이것은 이미지를 표현하기 위해 특정 시점에 오직 소수의 뉴런만이 활성화된다는 것을 의미합니다. 저자들은 이 아이디어에 한 가지 변형을 가했습니다. 그들은 뉴런들이 특정한 방식으로 서로 영향을 주고받을 수 있도록 허용했습니다. 표준 모델에서 뉴런들은 종종 독립적인 작업자처럼 취급됩니다. 하지만 이 새로운 모델에서 저자들은 뉴런들에게 "사회적 네트워크(상호작용 행렬)"를 부여하여, 서로에게 영향을 미칠 수 있게 했습니다. 이를 통해 모델은 이미지의 한 부분이 위로 향하는 선을 가지고 있다면, 다음 부분도 그 선을 이어갈 가능성이 높다는 것을 학습할 수 있습니다. 설령 이미지가 노이즈가 많거나 끊겨 있더라도 말입니다.

그들이 발견한 것: 뇌의 "사회적 네트워크"

연구진이 자연스러운 이미지(풍경이나 사물 사진 등)로 이 모델을 훈련시켰을 때, 놀라운 일이 일어났습니다. 모델이 학습한 "사회적 네트워크"는 실제 인간의 뇌에서 발견되는 물리적 연결과 똑같이 보였습니다. 구체적으로, 모델은 유사한 각도에 맞춰져 있고 한 줄로 늘어선 뉴로들 사이에 강한 연결을 발달시켰습니다. 이것은 **공선성 촉진(collinear facilitation)**이라고 알려져 있습니다.

현실 세계에서 이것은 왜 당신이 풀숲 사이로 기어가는 뱀의 일부가 가려져 있더라도 쉽게 알아볼 수 있는지를 설명해 줍니다. 당신의 뇌는 점들을 연결합니다. 논문은 이 모델 역시 동일한 일을 할 수 있음을 보여줍니다. 연구진이 끊어지거나 숨겨진 윤곽선(예를 들어 구름 뒤로 사라지는 선)이 있는 사진을 보여주었을 때, 모델은 단순히 무작위로 추측하지 않았습니다. 모델은 학습된 연결을 사용하여 빈 공간을 "채워 넣었고", 매끄럽고 연속적인 곡선을 만들어냈습니다. 이 성능은 거대하고 복잡한 AI 모델들과 거의 맞먹을 정도로 뛰어났지만, 엄청난 장점이 있었습니다. 모델이 단순하기 때문에 연구자들이 내부를 들여다보고 그것이 어떻게 작동하는지 실제로 볼 수 있었다는 점입니다.

비밀 레시피: AI가 "생각하는" 방식

이 논문에서 가장 흥고한 발견 중 하나는 모델이 "채우기" 과정을 어떻게 처리하는가 하는 점입니다. 저자들은 수학적 분석을 통해 모델이 단순히 추측하는 것이 아니라, 연못에 퍼지는 파동처럼 활동을 퍼뜨린다는 것을 보여주었습니다. 어떤 뉴런이 선의 일부를 감지하면, 그것은 이웃 뉴런들에게 신호를 보냅니다. 만약 그 이웃들도 활성화되어 있고 정렬되어 있다면, 신호는 더 강해지며 그곳에 선이 존재한다는 생각을 강화합니다. 만약 이웃들이 정렬되지 않았거나 비활성 상태라면, 신호는 차단됩니다.

논문은 이 과정이 모델이 단 하나의 층(layer)만을 가지고 있음에도 불구하고 "계층 구조"를 만든다고 제안합니다. 모델의 뉴런 중 약 30%는 직접적인 시각 입력으로부터 완전히 단절되는 법을 배웠습니다. 이 "분리된 뉴런들"은 모델이 전체적인 그림을 이해하도록 돕는 두 번째의 숨겨진 층처럼 작동합니다. 이들은 픽셀을 보는 것이 아니라, 얼굴의 양쪽 눈이 서로의 상대적 위치에 적절히 배치되도록 하는 것과 같은 전역적인 규칙을 집행하는 데 도움을 줍니다. 이는 모델이 이전에 본 적 없는 정확한 얼굴이라 할지라도, 어떻게 실감 나는 전체 얼굴을 생성할 수 있는지를 설명해 줍니다. 그것은 암기하는 것이 아니라, 얼굴의 기하학적 구조를 이해하는 것입니다.

이것이 중요한 이유: AI에서 생물학으로

이 논문은 현대의 복잡하고 신비로운 AI 확산 모델의 행동이 사실 우리의 시각 피질에서 발견되는 동일하고 단순한 생물학적 원리에 의해 구동될 수 있음을 시사합니다. 딥러닝의 "블랙박스"는 어쩌면 저자들이 구축한 단순한 재귀 회로의 매우 복잡한 버전일 뿐일지도 모릅니다.

단순하고 해석 가능한 모델이 거대한 AI 시스템의 성능과 일치할 수 있음을 증명함으로써, 저자들은 뇌를 연구하는 새로운 방법을 제시합니다. 그들은 시각 체계가 이러한 특정한 연결을 사용하여 모호함을 해결하고, 노이즈가 많고 혼란스러운 세상을 명확하고 일관된 그림으로 바꾼다고 제안합니다. 이것은 단순한 이론이 아닙니다. 다양한 유형의 노이즈에 대해 뉴런이 어떻게 반응해야 하는지에 대한 모델의 예측은 실제 생물학적 뇌에서의 최근 실험 결과들과 일치합니다.

요약하자면, 이 논문은 보는 것과 예술을 창조하는 것 모두의 비밀이 동일할 수 있음을 시사합니다. 즉, 국소적인 단서들이 서로 연결되어 전역적인 이야기를 형성할 수 있게 해주는 단순한 규칙의 집합입니다. 당신의 뇌 속 뉴런이든 AI의 디지털 가중치든, 목표는 혼돈 속에서 패턴을 찾아내는 것입니다. 그리고 이제, 이 모델 덕분에 우리는 그 패턴이 어떻게 출현하는지에 대한 훨씬 더 명확한 지도를 갖게 되었습니다.

기술 요약: 시각 피질과 확산 모델의 추론에 대한 기계론적 이해를 향하여

문제 제기
현재의 확산 모델(diffusion models)은 최첨단의 생성 성능을 달iyeti 하지만, 특정 신경 계산 메커니즘이 어떻게 자연 이미지에 높은 확률을 할당하거나 유한한 데이터셋으로부터 일반화하는지를 이해하기 어려운 "블랙박스"로 작동한다. 반대로, 신경과학은 일차 시각 피질(V1)의 해부학적 구조, 구체적으로는 유사한 방향성 튜닝을 가진 뉴런 사이의 수평 연결이 지각적 그룹화와 윤곽 완성(contour completion)의 기초가 될 가능성이 높다는 점을 밝혀냈으나, 이러한 연결성이 자연 이미지에 대해 학습된 확률적 생성 모델으로부터 어떻게 발현되는지는 여전히 불분서하다. 핵심 과제는 해석 가능한 파라미터를 가진 최소한의 확산 모델이자, 재귀적 역동성(recurrent dynamics)이 시각적 모호성을 어떻게 해결하는지 설명할 수 있는 생물학적으로 타당한 V1 추론 모델을 구축함으로써 이 두 영역을 연결하는 것이다.

방법론
저자들은 **비요인적 희소 코딩 모델(non-factorial sparse coding model)**을 V1의 모델로 제안하며, 이것이 최소한의 확산 모델과 수학적으로 동등함을 입증한다.

모델 아키텍처:
- 이 모델은 제약 없는 쌍방향 상호작용 행렬 $M$ 형태의 비요인적 사전 확률(non-factorial prior)을 도입함으로써 표준 희소 코딩을 확장한다.
- 에너지 함수는 $E_{\theta,\sigma}(x, z) = \frac{1}{2\sigma^2} \|x - \Phi z\|_2^2 + \gamma(\sigma)(\|\lambda \circ z\|_1 + \frac{1}{2}z^\top M z)$ 로 정의된다. 여기서 $\Phi$ 는 이미지 특징의 디렉토리(dictionary)이며, $\lambda$ 는 희소성 파라미터를 나타내고, $\gamma(\sigma)$ 는 노이즈 수준 $\sigma$ 에 따라 데이터 가능도(likelihood)와 사전 확률 사이의 균형을 동적으로 조절한다.
- 추론은 최대 사후 확률(MAP) 추정에서 유도된 **재귀적 역동적 시스템(recurrent dynamical system)**을 통해 수행된다. 업데이트 규칙(식 5)은 피드포워드 구동(feedforward drive), 재귀적 구동(Gram 행렬 $\Phi^\top\Phi$ 및 상호작용 행렬 $M$ 포함), 그리고 희소성 편향(sparsity bias)으로 분해된다.
학습 전략:
- 표준 최대 가능도 추정(MLE) 대신, 고차원 적분이 불가능하므로 이 모델은 **디노이징 스코어 매칭(Denoising Score Matching, DSM)**을 사용하여 학습된다.
- 스코어 함수는 MAP 추정치 $z^*$ 를 통해 근사되며, 가중 재구성 목적 함수로 이어진다.
- 암시적 미분(Implicit Differentiation): 모델을 효율적으로 학습하고 분석하기 위해 저자들은 **암시적 함수 정리(Implicit Function Theorem, IFT)**를 채택한다. 이를 통해 전체 궤적을 펼치지 않고도(Backpropagation Through Time의 메모리 비용을 피하면서) 수렴된 고정점(fixed-point)을 통과하는 정확한 해석적 그래디언트를 계산할 수 있다.
기계론적 분석:
- 저자들은 디노이징 함수의 Jacobian 분해를 수행한다. 암시적 그래디언트를 확장함으로써, 픽셀 공간의 Jacobian $J(x)$ 를 디렉토리 $\Phi$ 를 통해 투영된 잠재 공간의 Jacobian $J_z$ 로 분해한다.
- $J_z$ 는 다시 Neumann 급수로 확장되어, 맥락 의존적 활동 확산(context-dependent activity spreading) 메커니즘을 드러낸다. 즉, 신호는 $M$ 을 통해 측면으로 전파되지만, 현재 활성화된 희소 코드( $\Sigma$ )에 의해 엄격하게 게이팅(gating)되어, 맥락적으로 관련 있는(예: 공선적인) 신호만이 생존하고 증폭된다.

주요 결과

V1 유사 연결성의 발현: 자연 이미지를 학습할 때, 학습된 상호작용 행렬 $M$ 은 강력한 **공선적 촉진(collinear facilitation)**을 발달시킨다. 이는 공간적으로 오프셋된 뉴런들 사이에 정렬된 선호 방향을 가진 연결을 생성하며, 이는 표층 V1에서 관찰되는 "연상 필드(association field)" 및 수평 연결을 모사한다.
우수한 디노이징 성능: 비요인적 모델은 표준 요인적 희소 코딩 모델보다 디노이징 작업에서 성능이 현저히 뛰어나다. 요인적 모델은 노이즈가 많은 영역에서 가짜 에지를 만들어내는 반면, 비요인적 모델은 $M$ 을 활용하여 실제 구조적 에지의 연속성을 강제하고 조율되지 않은 노이즈를 억제한다.
확산 사전 확률의 기계론적 설명: 분석 결과, 디노이징 Jacobian의 주요 고유벡터(모델의 고확률 방향을 정의함)가 **이미지 윤곽과 결합된 진동 기저(oscillatory bases)**에 대응함을 보여준다. 모델은 이러한 고유벡터가 활성화된 희소 코드에 의해 제약된 재귀적 측면 확산의 무한한 축적으로부터 발생함을 입증한다. 이 메커니즘을 통해 모델은 연속적인 자연 구조적 변형의 가족(family)에 높은 확률을 할당할 수 있다.
발현된 계층 구조 및 "분리된 뉴런(Detached Neurons)": 구조화된 데이터셋(예: 얼굴)에서 모델은 약 30%의 잠재 변수가 거의 0에 가까운 노름(norm)을 갖게 되어, 사실상 직접적인 시각 입력으로부터 분리됨을 학습한다. 이 "분리된 뉴런"들은 발현된 두 번째 층으로서 작용하여, 장거리 의미론적 의존성을 매개하고 단일 층 모델이 달성할 수 없는 전역적 일관성(예: 얼굴 특징의 동기화된 이동)을 강제한다.
생성적 동등성(Generative Parity): 건축적 단순성과 심층 합성곱 층(deep convolutional layers)의 부재에도 불구하고, 이 모델은 파라미터가 매칭된 U-Net 아키텍처와 생성적 동등성을 달성한다. 모델은 시각적으로 구별 불가능한 역방향 확산 샘플과 대등한 디노이징 PSNR을 생성하며, 이는 복잡한 분포의 핵심 구조적 통계가 이처럼 해석 가능하고 생물학적 근거를 가진 아키텍처에 의해 포착될 수 있음을 확인시켜 준다.
V1 역동성에 대한 가설: 모델은 V1의 주변 흥분(surround excitation)의 영향이 **상태 의존적(state-dependent)**이라고 예측한다. 시각적 모호성(낮은 대비/노이즈)이 높은 상황에서 네트워크는 상호작용 행렬 $M$ 의 가중치를 높여, 가능도 기반의 억제에서 사전 확률 기반의 촉진으로 전환한다. 이는 맥락적 증거가 윤곽 통합을 뒷받침할 때만 흥분 신호가 공선 경로를 따라 라우팅되는 메커로니즘을 시사한다.

의의 및 주장
본 논문은 신경과학과 머신러닝 사이의 구체적이고 테스트 가능한 기계론적 연결을 제공한다고 주장한다:

신경과학 측에 대하여: 재귀적 회로의 기능적 연결성에 관한 구체적인 가설을 생성한다. 즉, V1의 수평 연결이 윤곽 통합을 위한 공존 통계를 학습하기 위해 자연스럽게 발생하며, "분리된" 뉴런 집단이 전역적 일관성을 강제하는 계층적 역할을 수행할 수 있음을 시사한다.
머신러닝 측에 대하여: 확산 모델의 내부 메커니즘을 규명하며, 새로운 이미지를 생성하고 일반화하는 능력이 맥락 의존적 윤곽 완성 및 구조적 변형을 수행하는 재귀적 역동성으로부터 발생함을 보여준다.
통합: 본 연구는 시각 피질, 심층 신경망, 그리고 이 최소한의 희소 코딩 모델이 모두 자연 이미지의 동일한 내재적 통계를 포착하고 있다고 상정한다. 이는 자연 이미지가 연속적인 다양체(manifold) 상의 희소 신호이며, 딥러닝의 "블랙박스" 특성이 학습된 반복적/재귀적 계산이라는 보편적 원리를 가리고 있을 수 있음을 시사한다.

저자들은 이 프레임워크가 딥러닝에 대한 기계론적 해석 가능성의 새로운 방향을 제시하며, 복잡한 생성 행동이 더 단순하고 생물학적 근거를 가진 회로 분석을 통해 이해될 수 있음을 보여준다고 결론짓는다.