Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

당신이 로봇에게 인간처럼 세상을 보는 법을 가르치려 한다고 상상해 보십시오. NeuroAI라고 불리는 분야의 과학자들은 이 질문에 집착하고 있습니다: "컴퓨터가 고양이나 자동차를 인식하도록 가르치는 데 가장 좋은 규칙 세트는 무엇인가?" 그들에게는 선택할 수 있는 몇 가지 다른 규칙책이 있습니다. 하나는 거의 모든 현대적 AI에서 사용되는 표준적이고 매우 효율적인 방법(백프로파게이션, backpropagation이라 불림)입니다. 다른 것들은 생물학적으로 타당한(biologically plausible) 규칙들로, 뉴런이 타이밍에 반응하여 발화하거나 뇌가 다음에 무엇을 볼지 예측하는 방식처럼 실제 뇌가 실제로 학습하는 방식을 모방하려고 노력합니다.

어떤 규칙책이 가장 잘 작동하는지 확인하기 위해, 연구자들은 '표상 유사도 분석(Representational Similarity Analysis, RSA)'이라는 영리한 기술을 사용합니다. 이것은 마치 "연결 고리 추측하기" 게임과 같습니다. 그들은 이미지에 대한 로봇의 내부적 "생각"(그것의 디지털 표상)을 가져와서, 동일한 이미지를 볼 때 발생하는 인간의 뇌 속 실제 전기적 활동과 비교합니다. 만약 로봇의 생각이 뇌의 활동과 밀접하게 일치한다면, 우리는 그 로봇이 "뇌와 유사한" 이해력을 갖추었다고 말합니다. 이 연구의 큰 희망은, 어떤 규칙이 로봇을 가장 뇌와 비슷하게 만드는지 찾아냄으로써 우리가 마침 finally 인간 시각의 암호를 풀 수 있을지도 모른다는 것입니다. 하지만 함정이 있습니다: 실제 뇌는 믿을 수 없을 정도로 복잡하며, 우리가 현재 이러한 정교한 생물학적 규칙들로 훈련할 수 있는 로봇들은 여전히 매우 작고 단순하다는 점입니다.

이 논문은 이러한 비교 속에 숨겨진 함정을 드러냅니다. 연구자는 "어떤 규칙이 가장 좋은가?"라는 질문에 대한 답이 테스트하는 이미지의 크기에 따라 완전히 달라진다는 사실을 발견했습니다. 결과적으로, 과학자들이 이 정교한 생ما 생물학적 규칙들을 사용하는 작은 로봇들을 뇌 데이터와 비교할 때, 그 로봇들이 32픽셀의 아주 작고 흐릿한 이미지로 훈련되었음에도 불구하고, 종종 고해상도의 상세한 사진(가로 224픽셀 정도)을 사용하여 테스트한다는 것을 발견했습니다. 연구는 이 불일치가 마법 같은 환상을 만들어낸다는 것을 보여줍니다. 훈련되지 않은 무작위 로봇이 고해상도의 상세한 사진으로 테스트될 때, 그것은 학습을 거친 스마트한 로봇만큼이나, 혹은 심지어 그보다 더 잘 이해하는 것처럼 갑자기 보이게 됩니다. 저자는 이것이 무작위 로봇이 비밀리에 천재적이기 때문이 아니라, 우리가 측정하는 방식이 이미지의 크기에 의해 편향되었기 때문이라고 설명합니다.

해상도 함정 (The Resolution Trap)

여기서 핵심적인 발견은 "뇌와의 매칭 대결"의 승자가 테스트 이미지의 해상도에 전적으로 달려 있다는 것입니다. 요리 경연 대회를 심사한다고 상상해 보십시오. 당신에게는 아주 작은 3인치 팬으로 요리 연습을 한 셰프가 있고, 다른 한편에는 요리를 하지 않고 그냥 재료를 그릇에 던져 넣은 일반인이 있습니다. 만약 당신이 그들에게 거대한 2피트짜리 쟁반에 음식을 담아 내놓으라고 한다면, 무작위 인물은 음식이 익지 않았다는 사실을 거대한 접시가 가려주기 때문에 우연히 더 나아 보일 수도 있습니다. 하지만 그들이 연습했던 것과 똑같은 작은 3인치 팬에 음식을 담는다면, 훈련된 셰프는 빛을 발할 것이고 무작위 인물은 형편없어 보일 것입니다.

이 연구에서 "작은 팬"은 로봇이 훈련받은 32픽셀 해상도이며, "거대한 쟁반"은 뇌 데이터와 테스트하기 위해 흔히 사용되는 224픽셀 해상도입니다. 연구자가 로봇을 학습했던 것과 동일한 32픽셀 크기로 테스트했을 때는, 훈련된 로봇들(백프로파게이션을 사용하는)이 무작위 로봇보다 약간 더 나은 성능을 보였으며, 이는 당연한 결과였습니다. 하지만 224픽셀의 더 큰 이미지로 전환했을 때 결과는 뒤집혔습니다. 훈련되지 않은 무작위 네트워크가 갑자기 훈련된 네트워크보다 인간의 초기 시각 피질(V1)과 훨씬 더 유사해졌습니다. 그들 사이의 격차는 이미지가 커짐에 따라 32 픽셀에서의 -0.001이라는 미세한 차이에서 224 픽셀에서의 +0.044라는 큰 차이로 꾸준히 벌어졌습니다.

용의자들을 제외하기 (Ruling Out the Suspects)

저자는 단순히 문제를 발견하는 데 그치지 않았습니다. 그들은 왜 이런 일이 일어나는지 알아내기 위해 탐정 역할을 수행했습니다. 그들에게는 네 명의 주요 용의자가 있었고, 그들은 하나씩 모두 용의 선상에서 제외했습니다.

첫째, 그들은 이것이 단순히 "불일치" 문제라고 의심했습니다. 즉, 훈련된 로봇들이 훈련받지 않은 이미지를 보여줄 때 성능이 떨어지는 것일 수도 있다는 것입니다. 이를 테스트하기 위해, 그들은 실제로 224픽셀의 큰 이미지로 훈련된 로봇들(ResNet-50 및 Swin-Tiny 트랜스포머와 같은)을 실험했습니다. 만약 불일치 이론이 사실이라면, 이 큰 이미지로 훈련된 로봇들이 224 픽셀에서 가장 좋은 성과를 내야 했습니다. 하지만 그렇지 않았습니다. 그들은 낮은 해상도에서 가장 좋은 성과를 냈으며 이미지가 커질수록 성과가 나빠졌습니다. 따라서 이것은 단순히 훈련된 크기와 맞지 않는 문제만은 아니었습니다.

둘째, 그들은 "훈련되지 않은" 로봇의 설정에 주목했습니다. 훈련되지 않은 로봇은 종종 데이터의 균형을 맞추는 데 도움을 주는 "정규화(normalization)" 설정이 기본값으로 되어 있는 반면, 훈련된 로봇은 학습된 설정을 가지고 있습니다. 저자는 이 기본 설정이 비밀 소스일지도 모른다고 생각했습니다. 그들은 훈련되지 않은 로봇의 설정을 훈련 데이터와 완벽하게 일치하도록 수동으로 조정했습니다. 이러한 완벽한 설정에도 불구하고, 훈련되지 않은 로봇은 고해상도에서 여전히 훈련된 로봇을 이겼습니다. 따라서 이것은 설정 오류가 아니었습니다.

셋째, 그들은 로봇들이 단순히 빛과 어둠의 패턴(Gabor 필터)이나 가공되지 않은 픽셀과 같은 단순한 시각적 패턴을 모방하고 있는 것인지 확인했습니다. 그들은 단순한 패턴과 가장 유사한 로봇들이 반드시 뇌와 가장 유사한 것은 아니라는 것을 발견했습니다. 사실, 훈련된 로봇 중 하나는 매우 "Gabor와 유사한" 모습을 보였음에도 불구하고 여전히 뇌와 잘 일치하지 않았습니다. 따라서 단순한 패턴이 전체 이야기는 아니었습니다.

넷째, 그들은 이미지가 커짐에 따라 로봇이 점점 더 많은 픽셀을 평균화하게 되고, 이로 인해 로봇의 최종 답변이 단순히 이미지의 전체 밝기를 나타내는 척치가 될 수도 있다고 고려했습니다. 그들은 이미지의 평균 밝기를 나타내는 단일 숫자가 훈련되지 않은 로봇만큼이나 뇌 데이터와 잘 일치한다는 것을 발견했습니다. 이것은 매우 중요한 단서였습니다: 훈련되지 않은 로봇은 밝기를 추측함으로써 많은 "매칭"을 수행하고 있었던 것입니다. 그러나 밝기를 고려한 후에도 해상도 효과는 완전히 사라지지 않았습니다.

진짜 범인: 이미지의 디테일 (The Real Culprit: Image Detail)

진짜 원인을 찾기 위해, 저자는 마지막으로 영리한 실험을 수행했습니다. 그들은 큰 이미지를 가져와서 아주 작은 32픽셀 크기로 줄여서(디테일을 제한함) 다시 큰 사이즈로 불렸습니다. 이는 로봇이 여전히 큰 이미지를 보고 많은 픽셀을 평균화하고 있지만, 실제 정보는 낮은 해상도에 머물러 있게 만들었습니다.

결과는 극적이었습니다. 디테일이 훈련 해상도로 제한되었을 때, 훈련된 로봇들은 이미지가 커짐에 따라 성능이 나빠지는 현상이 멈췄습니다. 훈련된 로봇과 훈련되지 않은 로봇 사이의 거대한 격차는 거의 사라졌습니다. 이는 이 효과가 로봇이 더 많은 픽셀을 보기 때문(pooling)이 아니라, 로봇이 학습하지 못한 더 많은 디테일을 보기 때문임을 입증했습니다. 고해상도 이미지의 추가적인 디테일은 훈련된 로봇에게는 해가 되었고 무작위 로봇에게는 도움이 되었지만, 저자는 왜 무작위 필터가 이 추가적인 디테일로부터 이득을 얻는 반면 훈련된 필터는 손해를 보는지에 대해서는 완전히 이해하지 못했다고 인정합니다.

실제로 중요한 것 (What Actually Matters)

논문은 안심할 만한 반전과 함께 끝납니다. 초기 시각 시스템(V1)은 이미지 크기에 의해 혼란을 겪었지만, 더 높은 수준의 뇌 부위(LOC라고 불림)는 다른 이야기를 들려주었습니다. 이 높은 수준에서는 훈련된 로봇들이 이미지 크기에 관계없이 일관되 없이 훈련되지 않은 로봇을 앞섰습니다. 이는 학습이 네트워크의 뇌 유사성을 변화시킨다는 것을 의미하지만, 초기 단계에서는 이미지 해상도의 "노이즈"가 그 신호를 덮어버렸던 것입니다.

이 논문의 주요 교훈은 과학자들을 향한 경고입니다: 만약 어떤 학습 규칙이 가장 좋은지 알고 싶다면, 테스트에 사용하는 사진의 크기에 매우 주의해야 합니다. "승자"는 규칙의 고정된 속성이 아니라, 어떻게 측정하느냐에 따른 결과입니다. 과학자들이 연구 중인 뇌 영역과 이미지 해상도를 일치시키는 표준화된 방법을 합의하기 전까지는, 초기 시각 피질에 대한 비교는 오해의 소지가 있을 수 있습니다. 이 논문은 우리가 해상도 함정에 속지 않도록, 모델이 훈련된 해상도에서 테스트하고 그 해상도를 명확하게 보고할 것을 제안합니다.