Neural prediction decorrelation reveals that adversarial robustness substantially improves DNN prediction accuracy across the entire human auditory cortex
본 연구는 신경 예측 디코렐레이션(NPD)을 소개하는데, 이는 자극을 합성하여 적대적 강건성을 가진 딥 뉴럴 네트워크가 모든 영역에 걸쳐 인간 청각 피질의 반응을 예측하는 데 있어 표준 모델보다 현저히 우수함을 밝혀내는 방법으로, 이러한 우월성은 자연음을 사용할 때만은 감지되지 않는 특징이다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
완벽하게 곧고 텅 빈 고속도로를 달리는 자동차 엔진 소리만 듣고 그 엔진이 어떻게 작동하는지 알아내려고 노력하는 상황을 상상해 보십시오. 당신은 엔진의 웅웅거림, 타이어가 구르는 소리, 그리고 바람이 휘파람 부는 소리는 들을 수 있겠지만, 도로가 너무 매끄럽고 예측 가능하기 때문에 복잡한 기어의 변속, 연료의 혼합, 그리고 브레이크의 작동 과정은 놓치게 될 것입니다. 이는 과학자들이 인간의 뇌를 이해하려고 노력할 때 직면하는 상황과 매우 비슷합니다. 수십 년 동안 연구자들은 우리의 뇌가 언어나 음악 같은 소리를 어떻게 처리하는지 추측하기 위해 컴퓨터 모델을 구축해 왔습니다. 그들은 자연스러운 소리를 재생하고 컴퓨터의 '추측'이 실제 뇌의 전기적 활동과 일치하는지 확인하며 이 모델들을 테스트합니다. 문제는 서로 매우 다르게 설계된 모델들조차 자연스러운 소리를 들을 때는 똑같은 답을 내놓는 것처럼 보인다는 점입니다. 이는 마치 서로 다른 두 개의 GPS 앱이 모두 "메인 스트리트로 좌회전하세요"라고 알려주는 것과 같습니다. 두 앱 모두 특정 경로에 대해서는 옳기 때문에, 당신은 어떤 앱이 실제로 더 똑똑한지 구분할 수 없습니다.
이를 해결하기 위해, 과학자들은 모델들이 서로 의견이 갈리게 만드는 방법을 찾아야 합니다. 그들은 한 모델은 "저건 개가 짖는 소리다"라고 말하고, 다른 모델은 "저건 자동차 경적 소리다"라고 말하게 만드는 소리를 들려주어야 하며, 그동안 인간의 뇌는 그 소리를 듣고 있어야 합니다. 만약 그렇게 할 수 있다면, 우리는 어떤 모델이 실제로 인간의 뇌와 더 유사하게 작동하는지 알 수 있을 것입니다. 이것이 감각 신경과학의 핵심 과제입니다. 즉, 이미 알고 있는 것들을 테스트할 때는 동일해 보이는 두 모델 사이에서 어떻게 차이점을 찾아낼 것인가 하는 문제입니다. 만약 우리가 그들을 구별할 수 없다면, 어떤 모델이 진정으로 뇌의 비밀을 포착하고 있는지 확신할 수 없으며, 더 나은 모델을 사용하여 새로운 소리를 설계하거나 청각 장애를 이해할 수도 없습니다.
이 논문은 상황을 반전시키기 위한 영리한 기술인 '신경 예측 디코렐레이션(Neural Prediction Decorrelation, NPD)'을 소개합니다. 연구진은 두 종류의 심층 신경망(DNN)—하나는 표준형이고, 다른 하나는 '적대적 강건성(adversarially robust)'을 갖도록 훈련된 모델(즉, 이상한 소음에도 잘 속지 않는 모델)—을 가져와, 이들에게 인간의 청각 피질이 다양한 소리에 어떻게 반응할지를 예측하도록 요청했습니다. 자연스러운 소리를 사용했을 때, 두 모델은 마치 직선 고속도로 위의 두 GPS 앱처럼 거의 동일하게 수행되었습니다. 모델들의 예측이 너무나 유사해서 뇌조차도 두 모델을 구별할 수 없었습니다.
하지만 과학자들은 특수한 알고리즘을 사용하여 60개의 완전히 새로운 소리를 만들어냈습니다. 이 소리들은 단순한 무작위 소음이 아니었습니다. 두 모델이 완전히 다른 예측을 하도록 정교하게 설계된 것이었습니다. 이는 마치 과학자가 모델들에게 서로 논쟁하게 만드는 비밀 코드를 속삭이는 마술과 같습니다. 이 새로운 'NPD 소리'를 MRI 기계 안의 사람들에게 들려주었을 때, 결과는 극적이었습니다. 자연스러운 소리에는 뛰어났던 표준 모델은 갑자기 거의 모든 것을 틀리기 시작했습니다. 그 모델의 예측력은 거의 제로에 가깝게 떨어졌습니다. 그러나 '적대적 강건성'을 가진 모델은 단순히 살아남은 것에 그치지 않고, 이 기괴한 새로운 소리들을 들어본 적이 없음에도 불구하고 뇌의 반응을 높은 정확도로 계속 예측해 냈습니다.
이 논문은 이러한 차이점이 자연스러운 소리만을 사용할 때는 완전히 숨겨져 있었다고 시사합니다. 강건한 모델은 표준 모델이 놓쳤던, 소리에 대한 더 깊고 유연한 이해 방식을 학습했던 것입니다. 이는 마치 표준 모델은 고속도로만을 암기한 반면, 강건한 모델은 운전의 규칙을 실제로 배웠던 것과 같습니다. 연구진은 또한 이 새로운 소리들이 뇌를 이상한 방식으로 혼란스럽게 만드는 것은 아닌지 확인했습니다. 그들은 뇌의 반응이 여전히 자연스러운 소리와 마찬가지로 언어나 흐르는 물소리와 같은 범주 내에서 군집을 이루며, 동일한 '지도' 안에 들어맞는다는 것을 발견했습니다. 이는 강건한 모델이 단순히 운이 좋았던 것이 아니라, 소리가 이상하고 예측 불가능할 때조차 우리 뇌가 소리를 처리하는 방식을 더 잘 설명할 수 있는 더 나은 방법을 찾아냈음을 의미합니다.
이 연구는 자연스러운 소리만으로는 어떤 컴퓨터 모델이 최선인지 판단하기에 충분하다는 생각에 명시적으로 반대합니다. 연구진은 자연스러운 자극에만 의존하는 것이 모델이 작동하는 방식의 거대한 차이를 은폐할 수 있음을 보여줍니다. 또한, 강건한 모델이 훈련 데이터에 과적합(overfitting)된 것이 아니라는 점도 입증했습니다. 왜냐하면 그 모델은 본 적 없는 완전히 새로운 합성 소리들에 대해서도 완벽하게 일반화되었기 때문입니다. 저자들은 이 효과를 이 소리들을 들어본 적이 없는 새로운 집단의 사람들을 대상으로 여러 청각 피질 영역에서 측정함으로써 자신들의 결과에 대해 확신하고 있습니다. 그들은 이러한 '강건성'이 우리 뇌가 소리에 어떻게 반응하는지를 진정으로 제어하거나 예측할 수 있는 모델을 구축하기 위한 핵심 요소라고 제안하며, 이는 향후 특정 뇌 부위를 겨냥한 소리를 설계할 수 있는 길을 열어줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.