🧠 신경과학

Surprisal contributes little beyond contextual embeddings in high-gamma ECoG encoding

본 연구는 GPT-2 XL로부터 도출된 단어 놀람도(surprisal)가 문맥 임베딩을 넘어 고감마 ECoG 반응에 대해 미미한 추가적 예측력을 제공한다는 점을 입증하며, 이는 해당 놀람도가 임베딩에 의해 포착된 것과 동일한 기저의 예측 상태를 압축하여 보여주는 출력값에 불과하다는 것을 시사한다.

원저자: Sakuma, T.

게시일 2026-11-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sakuma, T.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

우리가 이야기를 듣거나 문장을 읽을 때, 우리의 뇌는 단순히 소리나 기호를 수동적으로 받아들이는 것이 아니라 다음에 무엇이 올지 능동적으로 추측합니다. 이러한 끊임없는 예측 행위는 인간이 언어를 이해하는 방식의 근본적인 부분입니다. 과학자들은 오랫동안 이 추측 게임을 측정하려고 노력해 왔으며, 종종 '서프라이절(surprisal, 놀람도)'이라고 불리는 개념을 사용해 왔습니다. 간단히 말해, 서프라이절은 이전에 나온 단어들을 고려했을 때 특정 단어가 얼마나 예상 밖인지를 알려주는 숫자입니다. 만약 당신이 "고양이가 ... 위에 앉았다"라는 말을 듣는다면, 당신의 뇌는 "매트"나 "러그"를 예상할 것입니다. 만약 다음 단어가 "매트"라면, 이는 놀랍지 않습니다. 하지만 다음 단어가 "바나나"라면, 이는 매우 놀라운 일입니다. 수년 동안 연구자들은 이 단일한 숫자를 사용하여 왜 우리가 예상치 못한 단어를 들을 때 뇌의 특정 부분이 활성화되는지를 설명하려고 노력해 왔습니다.

하지만 뇌를 연구하는 데 사용하는 도구들 또한 훨씬 더 강력해졌습니다. 대규모 언어 모델로 알려진 현대의 컴퓨터 프로그램들은 이제 전체 문장을 처리하고 모든 단어에 대해 복잡하고 다차원적인 의미 지도를 생성할 수 있습니다. '컨텍스추얼 임베딩(contextual embeddings)'이라 불리는 이 지도들은 단어의 정의뿐만 아니라, 특정 문장 내에서의 역할, 이전 단어들과의 관계, 그리고 주변 맥락의 미묘한 뉘세스까지 포착합니다. 오랫동안 해결되지 않은 핵심 질문은, 이 풍부하고 상세한 지도가 존재할 때 단순한 '서프라이절' 숫자가 여전히 유효한가 하는 점입니다. 뇌는 단순한 예측 오류에 관심을 가질까요, 아니면 컴퓨터 모델이 이미 구축한 훨씬 더 풍부하고 복잡한 이해 상태에 반응하는 것일까요?

소카 대학교의 타카유키 사쿠마(Takayuki Sakuma)가 진행한 최근 연구는 사람들이 자연스러운 발화를 들을 때의 뇌 내부를 들여다봄으로써 이 질문을 직접적으로 다룹니다. 연구진은 뇌 표면에 전극을 직접 배치하여 전기적 활동을 정밀하게 기록하는 피질전도계(ECoG)라는 기술을 사용했습니다. 그들은 특히 '하이-감마(high-gamma)' 활동이라고 불리는 특정 유형의 신호에 집중했는데, 이는 인근 뉴런 집단의 발화를 반영하는 빠른 전기적 리듬입니다. 이 활동은 뇌의 특정 부분이 정보 처리에 관여하고 있다는 신뢰할 만한 징후로 널리 간주됩니다. 연구에는 9명의 참가자가 포함되었으며, 이들은 팟캐스트와 유사한 30분 분량의 구술 내러티브를 들으면서 뇌 활동이 기록되었습니다.

연구진은 참가자들이 들은 단어를 바탕으로 이러한 뇌 신호를 예측하는 컴퓨터 모델을 구축했습니다. 먼저, 단어의 소리나 문법 구조와 같은 기본적인 특징만을 사용하는 모델을 테스트했습니다. 그다음, GPT-2 XL이라는 대규모 언어 모델의 복잡하고 다차원적인 지도들을 추가했습니다. 예상대로, 이 풍부한 지도들을 추가하자 모델의 뇌 활동 예측 능력이 현저히 향상되었습니다. 결정적인 단계는 그다음이었습니다. 연구진은 이미 복잡한 지도를 포함하고 있는 모델에 단순한 '서프라이절' 숫자를 추가했습니다. 그들은 이 단일한 숫자가 복잡한 지도가 놓친 새로운 정보를 제공하는지 확인하고자 했습니다.

결과는 명확했고, 놀라울 정도로 조용했습니다. 모델에 서프라이절 숫자를 추가해도 예측 정확도에는 거의 차이가 없었습니다. 그 개선 정도는 통계적으로 0과 구별할 수 없을 만큼 미미했습니다. 사실, 연구진은 복잡한 지도가 이미 서프라이절 숫자가 제공할 수 있는 거의 모든 정보를 포함하고 있다는 것을 발견했습니다. 그것은 마치 복잡한 지도가 이미 그 단어가 얼마나 놀라운지를 정확히 알고 있는 것과 같았으며, 여기에 단순한 숫자를 더하는 것은 가득 찬 양동이에 물 한 방울을 더하는 것과 같았습니다. 연구진은 다양한 시간 지연, 서로 다른 뇌 영역, 그리고 서로 다른 유형의 뇌파를 체크하며 이 발견을 여러 방식으로 테스트했지만, 결과는 동일했습니다. 일단 뇌의 반응이 문장의 풍부한 맥락에 의해 예측되고 나면, 단순한 놀람 점수는 아무것도 새로 더해주지 못했습니다.

이것이 뇌가 놀람을 무시한다는 뜻은 아닙니다. 대신, 이는 뇌의 단어에 대한 반응이 단순히 얼마나 예상 밖인가 하는 단순한 계산에 의해 드라이브되는 것이 아니라, 그 단어가 나타나는 전체적이고 복합적인 맥락에 의해 결정된다는 것을 시사합니다. 서프라이절 숫자는 틀린 것이 아닙니다. 다만 뇌가 이미 추적하고 있는 훨씬 더 큰 이해 상태를 압축하여 요약한 것일 뿐입니다. 연구진은 또한 한 단어에서 다음 단어로 넘어갈 때 뇌의 이해가 어떻게 변하는지(예를 들어, 의미가 얼마나 변하는지 또는 예측이 얼마나 불확실해지는지 등)를 측정하는 다른 단순한 방법들이 차이를 만드는지도 확인했습니다. 그러나 이러한 단순한 요약 방식들 역시 예측력을 향상시키지 못했습니다.

연구진은 만약 효과가 존재한다면 이를 감지할 수 있을 만큼 자신들의 방법이 충분히 민감한지 확인하기 위해 주의를 기울였습니다. 그들은 서프라이절의 형태를 띤 신호를 뇌 데이터에 인위적으로 주입하는 테스트를 수행했습니다. 모델은 이 인공적인 신호를 성공적으로 포착해 냈으며, 이는 연구진의 방법이 만약 서프라이절 효과가 존재한다면 그것을 찾아낼 능력이 있음을 증명했습니다. 실제 뇌 데이터에서 그러한 효과를 발견하지 못했다는 사실은, 뇌가 연구진이 기대했던 것처럼 단순하고 고립된 놀람 신호를 사용하는 방식이 아님을 시사합니다. 대신, 뇌는 복잡한 언어 모델이 잘 포착해 내는 것과 같은 풍부하고 연속적인 의미의 흐름에 반응하는 것으로 보입니다.

이 발견은 뇌가 언어를 처리하는 방식에 대한 우리의 이해를 정교화하는 데 도움을 줍니다. 이는 뇌가 단순히 예측의 빈틈에 반응하는 것이 아니라, 전체 맥락에 대한 상세하고 고차원적인 표현을 유지하고 있음을 시사합니다. 서프라이절 숫자는 행동을 요약하는 데는 유용할지 모르지만, 자연스러운 발화 중의 복잡한 전기적 활동을 설명하기에는 너무 압축되어 있을 수 있습니다. 연구는 특정 유형의 뇌 활동에 대해, 풍부한 맥락적 지도가 뇌의 반응을 이해하는 핵심이며 단순한 놀람 점수는 대체로 불필요하다는 결론을 내립니다. 이 통찰은 언어 이해가 개별적인 놀람의 합보다 훨씬 더 큰 전체적인 과정이라는 점을 이해하는 데 한 걸음 더 다가서게 합니다.

기술 요약: 고감마(high-gamma) ECoG 인코딩에서 서프라이절(Surprisal)은 문맥 임베딩 이상의 기여를 거의 하지 못함

문제 제 논의
서프라이절(관찰된 단어가 주어진 문맥으로부터 나타날 음의 로그 확률)과 문맥 임베딩(시퀀스 내 단어의 은닉 상태 표현)은 모두 대규모 언어 모델(LLM)로부터 도출되며, 언어 이해 과정 중의 신경 반응을 예측하는 데 널리 사용된다. 두 지표 모두 행동 및 신경 데이터와 상관관계가 있지만, 고차원 문맥 임베딩이 이미 존재할 때 서프라이절이 독립적인 예측 정보를 제공하는지는 여전히 불분명하다. 기존 연구들은 종종 이러한 특징들을 고립된 상태로 테스트하거나 저차원 베이스라인과 비교하며, 인코딩 모델에 풍부한 문맥적 표현이 이미 존재할 때 서프라이절의 점증적 타당성(incremental validity)을 분리해내는 데 실패해 왔다. 본 논문은 다음과 같은 구체적인 질문을 다룬다: GPT-2 XL 문맥 임베딩을 포함하는 모델에 GPT-2 XL 단어 수준 서프라이절을 추가했을 때, 고감마 전기피질도(ECoographic, ECoG) 반응의 표본 외(out-of-sample) 예측 성능이 향상되는가?

방법론
본 연구는 9명의 참가자가 30분간의 자연스러운 구어 내러티브를 듣는 동안 기록된 두개내 기록을 포함하는 공개 "Podcast" ECoG 데이터셋(OpenNeuro ds005574)을 활용한다. 분석은 국소적인 피질 참여의 지표로서 고감마 활동(70–200 Hz)에 집중한다.

데이터 처리: 분석 단위는 단어 이벤트(word event)이다. 신경 반응은 단어 온셋(onset)에 정렬된다. 주요 반응 창은 단어 온셋에 대한 $[-100, 100)$ ms 구간의 평균 고감마 전력으로 정의되며, 부가적인 분석은 고정된 창과 전체 지연 그리드($-2000$ to $+2000$ ms)를 다룬다.
특징 공학(Feature Engineering):
- 베이스라인 ( $M_{base}$ ): 멜-스펙트럴 전력(mel-spectral power), 음성적 특징, 통사적 특징 및 정적 단어 임베딩을 포함한다.
- 문맥 임베딩 ( $M_{emb}$ ): 각 단어에 대해 서브워드 토큰들을 평균 낸 1,600차원의 최종 레이어 GPT-2 XL 문맥 벡터를 추가한다.
- 서프라이절 ( $M_{emb+surp}$ ): GPT-2 XL 토큰 트랜스크립트로부터 계산된 스칼라 단어 수준 서프라이절 점수( $S_t$ )를 추가한다. 서프라이절은 각 단어 내의 토큰 수준 음의 로그 확률을 합산하여 집계된다.
- 대안적 요약: 문맥 상태 변화의 스칼라 요약인 임베딩 단계 크기(step size), 회전(rotation), 엔트로피 감소(entropy drop)를 함께 테스트한다.
모델링: 선형 릿지 회귀(linear ridge regression) 인코딩 모델을 각 전극 및 반응 창에 대해 별도로 적합시킨다. 모델은 데이터 누수를 방지하기 위한 시간적 가드(temporal guards)를 포함한 연속적인 5-폴드 블록 교차 검증(contiguous five-fold blocked cross-validation)을 통해 평가된다.
통계적 추론: 주요 지표는 임베딩 모델에 서프라이절을 추가할 때 발생하는 홀드아웃 피어슨 상관계수의 변화량( $\Delta r$ )이다. 본 연구는 서프라이절의 증가가 미미한지 판단하기 위해 실질적 동등성 한계(practical equivalence margin) $\pm 0.001$ 을 가진 양측 일방 검정(Two One-Sided Tests, TOST)을 채택한 동등성 검정을 사용한다. 추론은 전극이 아닌 참가자 단위로 집계된다.

주요 결과

점증적 예측 가치: 이미 GPT-2 XL 문맥 임베딩을 포함하고 있는 모델에 GPT-2 XL 서프라이절을 추가했을 때, 예측 정확도의 증가가 미미했다. 참가자 평균 홀드아웃 상관계수 변화량은 $\Delta r = 0.000286$ (90% CI: $[0.000019, 0.000553]$ )였다. 이 구간은 $\pm 0.001$ 의 동등성 한계 내에 완전히 포함되어 있으며, 이는 이 설정에서 서프라이절이 임베딩 이상의 실질적인 정보를 추가하지 못한다는 결론을 뒷받침한다.
조건 간 견고성: 서프라이절에 대한 무효 결과(null finding)는 다음 조건에서도 유지되었다:
- 시간적 지연(Temporal Lags): 전체 지연 분석($-2000$ to $+2000$ ms)에서도 일관된 개선이 나타나지 않았다.
- 특징 잔차화(Feature Residualization): 서프라이절을 현재 단어 임베딩에 대해 잔차화하더라도, 그 증가는 동등성 한계 내에 머물렀다.
- 주파수 대역: 세타(4–8 Hz) 및 베타(13–30 Hz) 힐베르트 진폭 포락선(Hilbert-amplitude envelopes)에서도 유사하게 미미한 증가가 관찰되었다.
- 대안적 요약: 임베딩 업데이트의 스칼라 요약(회전, 단계 크기, 엔트로피 감소) 또한 긍정적인 평균 증분을 보여주지 못했다.
정보의 비대칭성: 특징 블록 중첩 분석 결과 비대칭성이 드러났다: 베이스라인-플러스-서프라이절 모델에 임베딩을 추가하면 예측력이 유의미하게 향상되었으나( $\Delta r = 0.0075$ ), 베이스라인-플러스-임베딩 모델에 서프라이절을 추가하는 것은 그러하지 못했다. 이는 임베딩이 스칼라 서프라이절 점수가 포착하지 못하는 예측 정보를 포함하고 있음을 시사한다.
민감도 및 지역적 가변성:
- 밴디드 릿지(Banded Ridge): 특징 블록별 규제(banded ridge)를 사용할 때, 서프라이절 증분의 점 추정치는 증가하였고( $\Delta r = 0.000861$ ), 90% 신뢰 구간이 동등성 한계를 벗어났다. 이는 긍정적 효과가 아니라 불확실성이 커졌음을 의미한다.
- 지역적 하위 집합: 상측 측두회(mSTG) 및 하측 전두회(IFG) 하위 집합에서는 증분이 약간 더 컸으나(mSTG에서 최대 $\Delta r \approx 0.003$ ), 동등성 기준을 일관되게 충족하지는 못했다. 이는 본 샘플에서 통계적으로 확정적이지 않은 잠재적 지역적 이질성을 시사한다.
- 스파이크-인 제어(Spike-in Control): 긍정적 대조군 분석으로서, 인공적인 서프라이절 형태의 신호를 신경 반응 행렬에 주입하였다. 이 절차는 주입 강도가 높아짐에 따라 해당 신호를 성공적으로 복구하였으며, 이는 파이프라인이 스칼라 형태의 효과가 존재할 때 이를 탐지할 수 있는 민감도를 갖추었음을 확인시켜 준다.

의의 및 주장
본 논문은 GPT-2 XL을 이용한 단어 정렬 고감마 ECoG 인코딩의 맥락에서, 스칼라 단어 서프라이절이 더 넓은 예측 상태를 포착하는 광범위한 문맥 임베딩의 "압축된 판독값(compressed readout)" 역할을 한다고 주장한다. 즉, 서프라이절은 문맥 임베딩이 이미 포착하고 있는 더 넓은 예측 상태를 넘어 독립적인 예측자로 기능하지 않는다.

저자는 이러한 발견이 응용 환경에서의 서프라이절 해석을 정교화한다고 주장한다. 즉, 서프라이절은 압축된 축약 통계량으로서 유용할 수는 있지만, 이를 신경 활동을 구동하는 풍부하고 고차원적인 믿음 상태(belief state)나 예측 오차(prediction error)와 기계적으로 동일시해서는 안 된다는 것이다. 이 연구는 예측 오차 계산이 뇌에 존재하지 않는다고 주장하는 것이 아니라, 그것이 다차원적이고 분포되어 있거나 단어 수준의 정렬보다 시간적으로 더 미세할 수 있으며, 따라서 단일 스칼라 서프라이절 값으로는 완전히 포착되지 않을 수 있음을 시사한다.

결론적으로, 본 연구는 단어 수준의 예측 범위 내에서 문맥 임베딩이 예측 지형을 지배한다는 것을 보여준다. 또한, 여기서 사용된 점증적 타당성 논리가 향리의 구조적 수준(예: 캐릭터 상태 업데이트, 이벤트 경계)으로 확장될 수 있음을 언급한다.

유사한 논문