Parametric neural control differentiates top neural network models of primate visual cortex

인간의 뇌는 세상을 이해하기 위한 거대하고 복잡한 기계이며, 이 기계의 전면에는 우리가 보는 것을 처리하는 데 온전히 전념하는 영역인 시각 피질이 자리 잡고 있습니다. 수십 년 동안 과학자들은 이 생물학적 기계를 모방하는 컴퓨터 프로그램을 구축하기 위해 노력해 왔습니다. 딥 뉴럴 네트워크라고 알려진 이 프로그램들은 수백만 장의 사진을 통해 훈련되어, 사물, 얼굴, 장면을 우리와 맞먹는 수준의 기술로 인식하는 법을 배웁니다. 연구자들이 이 프로그램들을 테스트할 때, 가장 진보된 모델들이 자연스러운 이미지를 보여주었을 때 원숭이 뇌의 뉴런이 어떻게 반응할지를 놀라울 정도로 정확하게 예측한다는 사실을 자주 발견합니다. 이러한 성공은 위안이 되는 가정을 낳았습니다. 즉, 서로 다른 컴퓨터 모델들이 모두 뇌 활동을 그토록 잘 예측할 수 있다면, 그들은 시각적 세계를 이해하기 위해 모두 동일한 내부 논리를 사용하고 있을 것이라는 점입니다. 마치 뇌를 이해하는 길을 마침내 찾았으며, 성공적인 이 모든 모델이 시각을 이해하는 단 하나의 올바른 방식에 수렴했다는 것처럼 보였습니다.

하지만 새로운 한 연구는 이러한 위안이 되는 결론에 이의를 제기하며, 높은 예측 정확도가 반드시 모델이 뇌의 논리를 진정으로 파악했음을 의미하는 것은 아니라고 시사합니다. 다섯 마리의 마카크 원숭이를 대상으로 작업한 연구진은 이 컴퓨터 모델들이 단순히 정답을 맞히고 있는 것인지, 아니면 뉴런이 반응하는 방식을 지배하는 구체적인 규칙을 실제로 이해하고 있는 것인지를 테스트하고자 했습니다. 연구진은 단순한 이미지 인식을 넘어 더 직접적인 형태의 상호작용을 통해 모델을 조사하는 새로운 방법을 고안했습니다. 단순히 모델에 이미지를 보여주고 올바른 뇌 반응을 맞히는지 확인하는 대신, 과학자들은 모델을 사용하여 이미지에 특정한 통제된 변화를 생성했습니다. 그들은 각 모델의 내부 설정을 가져와 뉴런이 더 많이 혹은 더 적게 반응하도록 이미지를 미세하게 조정하는 일련의 지침으로 변환했습니다. 연구진이 '축 정렬 특징 강조(axis-aligned feature accentuation)'라고 부르는 이 과정은, 특정 방향으로 신경 반응을 유도하도록 설계된 수천 개의 독특한 테스트 이미지를 생성할 수 있게 해주었습니다.

연구팀은 10개의 선도적인 비전 모델로부터 27,500개 이상의 이러한 맞춤형 자극을 생성하여 폐쇄 루프 실험(closed-loop experiment)을 통해 원숭이들에게 제시했습니다. 이 설정 덕분에 연구진은 단순한 형태가 처리되는 초기 단계부터 복잡한 사물이 인식되는 고차원 단계에 이르기까지 시각 피질의 특정 영역을 표적으로 삼을 수 있었습니다. 결과는 놀라웠습니다. 10개의 모델 모두 표준적인 자연 사진에 대한 반응을 예측할 때는 똑같이 우수한 성능을 보였지만, 맞춤 제작된 자극을 통해 뉴런을 제어하라는 요청을 받았을 때는 무너졌습니다. 대부분의 모델은 예측된 신경 발화의 변화를 만들어내는 데 실패했습니다. 그들의 내부 시각 지도는 예측하기에는 충분할지 몰라도, 실제 뇌 세포의 튜닝과는 근본적으로 어긋나 있었습니다. 모델들은 세상에 어떻게 반응하는지에 대한 정밀한 세부 사항을 포착하는 것이 아니라, 자연스러운 이미지에서 작동하는 통계적 지름길을 찾고 있었을 뿐이며, 이는 더 면밀한 검토 아래에서는 무너지고 말았습니다.

이러한 실패 속에서도 주목할 만한 예외가 하나 있었습니다. '적대적 훈련(adversarial training)'이라는 특정 기법을 사용하여 훈련된 두 모델은 일관된 우위를 보였습니다. 이 모델들은 신경 발화를 더 잘 제어했는데, 이는 그들의 내부 파라미터가 뇌의 것과 더 가깝다는 것을 시사합니다. 그러나 연구는 이러한 적대적 트릭에 대한 강건함이 전부는 아니라는 점을 발견했습니다. 뉴런을 제어하는 능력은 모델이 인공적인 공격에 저항하는 능력과 강하게 연결되어 있지 않았습니다. 대신, 핵심 요인은 더 근본적인 것이었습니다: 바로 입력 그래디언트(input gradient)의 공간 주파수 구조였습니다. 쉽게 말해, 이는 모델의 결정에 영향을 미치는 픽クセル 패턴의 특정 형상을 의미합니다. 가장 잘 작동한 모델들은 인코딩 축에 영향을 미치는 픽셀의 분포가 실제 뇌가 시각 정보를 처리하는 방식과 일치하는 모델들이었습니다.

이 연구는 컴퓨터 모델이 뇌와 얼마나 잘 일치하는지를 테스트하는 더 엄격한 새로운 방법을 확립했습니다. 수동적인 예측에서 능동적인 제어로 이동함으로써, 과학자들은 높은 정확도가 표준 테스트에서는 숨겨져 있는 깊은 결함을 은폐할 수 있다는 것을 입증했습니다. 이 결과는 현재의 모델들이 인상적이기는 하지만, 대부분은 자연 이미지 공간의 진정한 생물학적 파라미터화에 아직 수렴하지 못했음을 시사합니다. 모델이 정밀하게 강조된 특징을 통해 신경 활동을 인과적으로 유도할 수 있는지 테스트할 때만이, 우리는 그 모델이 영장류의 뇌처럼 시각 세계를 진정으로 이해하고 있는지 알 수 있습니다.