💬 NLP

Riding Brainwaves in LLM Space: Understanding Activation Patterns Using Individual Neural Signatures

이 논문은 고정된 대규모 언어 모델의 깊은 층에 각 개인의 뇌파 (EEG) 신호를 예측하는 안정적인 개인별 신경 방향이 존재하며, 이를 통해 뇌파 기반의 개인화된 모델 적응이 가능함을 입증합니다.

원저자: Ajan Subramanian, Sumukh Bettadapura, Rohan Sathish

게시일 2026-03-24

📖 4 분 읽기☕ 가벼운 읽기

원저자: Ajan Subramanian, Sumukh Bettadapura, Rohan Sathish

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 뇌파를 타고 떠나는 AI 여행: "나만의 언어 모델" 발견하기

이 논문은 "우리가 같은 글을 읽을 때, 뇌가 어떻게 다르게 반응하는지" 그리고 **"인공지능 (AI) 이 그 차이를 알고 있을까?"**에 대한 흥미로운 실험 결과를 담고 있습니다.

마치 **"모두가 같은 책을 읽지만, 각자의 뇌는 고유한 악보로 음악을 연주한다"**는 이야기라고 생각해보세요. 이 연구는 그 고유한 악보를 AI 가 찾아낼 수 있는지 증명했습니다.

1. 핵심 아이디어: "한 사이즈가 모두에게 맞을까?" (기존 방식 vs 새로운 발견)

기존의 뇌와 AI 연구는 보통 **"대중적인 평균"**을 보았습니다.

기존 방식: 30 명의 사람이 같은 단어를 읽을 때, 뇌파를 모두 섞어서 "평균적인 뇌파"를 만들고 AI 가 이를 예측하게 했습니다.
- 비유: 모든 사람의 발 크기를 평균내서 "평균 사이즈 신발"을 만들어 모두에게 신겨주는 것과 같습니다. 누군가는 너무 크고, 누군가는 너무 작을 수 있죠.
이 연구의 발견: 하지만 AI(특히 최신 언어 모델) 의 내부에는 **"나만의 뇌파를 예측하는 특별한 방향"**이 숨어 있었습니다.
- 비유: 이제 30 명 각자에게 맞춤형 신발을 만들어주니, 모두에게 딱 맞는 신발이 생긴 것입니다!

2. 실험 방법: "얼어붙은 AI"와 "개인 맞춤형 지도"

연구진은 다음과 같은 실험을 했습니다:

얼어붙은 AI (Frozen LLM): 이미 학습이 끝난 거대한 AI 모델 (Qwen 2.5, LLaMA 등) 을 사용했습니다. 이 AI 는 학습을 더 이상 하지 않고, 그냥 글을 읽을 때 내부에서 일어나는 생각 (활성화 패턴) 만 관찰했습니다.
개인별 지도 그리기 (Linear Probe): 30 명의 참가자가 자연스러운 문장을 읽으며 뇌파 (EEG) 를 기록했습니다.
- AI 가 단어를 처리할 때의 내부 상태를 보고, 각 참가자마다 따로 "이 사람의 뇌파는 이렇게 변할 거야"라고 예측하는 작은 지도 (프로브) 를 그렸습니다.
결과:
- 평균 지도: 30 명을 한 번에 예측하려 했을 때, 정확도는 매우 낮았습니다 (상관관계 0.02).
- 맞춤형 지도: 사람마다 따로 지도를 그렸을 때, 정확도가 9 배나 뛰었습니다 (상관관계 0.18).
- 결론: AI 는 "평균적인 사람"은 잘 모르지만, "너"라는 개인의 뇌가 어떻게 반응하는지 알고 있었습니다.

3. 왜 이것이 놀라운가요? (3 가지 특징)

이 연구는 단순히 "맞춤형이 더 잘 맞는다"는 것을 넘어, 그 이유를 세 가지로 증명했습니다.

① 남에게 통하지 않는 "나만의 비밀 코드" (비이전성)

상황: A 씨의 뇌파를 예측하는 AI 지도를 B 씨에게 적용해봤습니다.
결과: 완전히 실패했습니다. A 씨의 지도는 B 씨에게는 쓸모없었습니다.
비유: A 씨의 지문으로 B 씨의 지문 잠금장치를 열 수 없는 것처럼, 각자의 뇌파 패턴은 AI 공간에서 완전히 다른 방향을 가리키고 있습니다.

② 시간이 지나도 변하지 않는 "불변의 나" (시간적 안정성)

상황: 같은 사람이 며칠 뒤 다시 글을 읽어도, AI 가 찾은 그 '나만의 방향'은 거의 변하지 않았습니다.
비유: 내 목소리 톤이나 손글씨처럼, 뇌파 패턴도 시간이 지나도 일관된 내 고유한 특징을 유지한다는 뜻입니다.

③ AI 의 깊은 곳 (Deep Layers) 에 숨어있음

발견: 이 개인별 신호는 AI 의 얕은 층 (단순한 단어 뜻) 이 아니라, **가장 깊은 층 (Layer 24 등)**에 집중되어 있었습니다.
비유: AI 가 글을 읽을 때, 표면적인 뜻만 이해하는 게 아니라, **가장 깊은 곳에서 "누가 이 글을 읽고 있는가?"**에 대한 정보를 처리하고 있다는 뜻입니다.

4. 헷갈릴 수 있는 것들 (통제 실험)

연구진은 "혹시 단어의 길이 때문이 아니야?"라고 의심하며 여러 검증을 했습니다.

단어 길이/빈도: 단어의 길이나 빈도수는 사람마다 비슷하게 반응하므로, 이를 제거해도 개인별 차이는 남았습니다.
눈동자 움직임: 단어에 시선이 머무는 횟수 (Fixation count) 는 사람마다 비슷하게 반응하므로, 이 경우에는 개인별 지도가 도움이 되지 않았습니다. (이는 개인별 차이가 '뇌의 고유한 사고'에서 온다는 것을 반증합니다.)

5. 미래는 어떻게 바뀔까? (실생활 적용)

이 연구는 개인화된 AI의 새로운 길을 열었습니다.

현재: AI 는 사용자의 검색 기록이나 프로필을 보고 "아, 이 사람은 이런 걸 좋아하겠다"라고 추측합니다.
미래 (이 연구를 바탕으로):
1. 사용자가 헤드셋을 쓰고 짧은 시간 동안 글을 읽습니다.
2. AI 는 사용자의 **뇌파 패턴을 분석하여 "나만의 방향"**을 찾아냅니다.
3. 이후 AI 는 그 사람의 뇌가 가장 편안하게 반응하거나, 가장 잘 이해하는 방식으로 답변을 생성합니다.
- 예시: "이 사람의 뇌는 이 단어를 들을 때 스트레스를 받네. 다른 단어로 바꿔서 설명해줘."

요약

이 논문은 **"AI 모델 안에는 각 개인을 구별할 수 있는 고유한 공간이 숨어있다"**는 것을 증명했습니다. 마치 AI 가 우리 각자의 뇌파를 읽을 수 있는 보이지 않는 나침반을 가지고 있는 것처럼 말이죠.

이 기술이 발전하면, 앞으로 AI 는 단순히 "스마트한 기계"를 넘어 **"내 뇌를 가장 잘 이해해주는 동반자"**가 될지도 모릅니다. 🚀🧠✨

1. 연구 배경 및 문제 제기 (Problem)

배경: 소비자용 EEG(뇌파) 장치가 이어폰, 헤드밴드 등 일상 기기로 확대되고 있으며, 이는 개인별 뇌 신호를 기반으로 한 시스템 적응의 가능성을 시사합니다.
기존 접근법의 한계: 기존 언어 모델 (LLM) 과 뇌의 정렬 연구는 주로 집단 평균 (Population-level) 데이터를 기반으로 합니다. 이는 개인 간의 공통된 신호는 포착하지만, 개인마다 고유한 신경적 변이 (Individual Neural Variation) 는 '노이즈'로 간주하여 배제해 왔습니다.
핵심 질문: 대규모 언어 모델 (LLM) 의 표현 공간 (Activation Space) 에 개인별 뇌 신호를 예측할 수 있는 고유한 방향성 (Person-specific Directions) 이 존재하는가? 즉, 같은 단어를 읽을 때 사람마다 다른 뇌 반응을 일으키는 이 차이가 LLM 의 내부 표현에 구조적으로 인코딩되어 있는가?

2. 방법론 (Methodology)

데이터셋: 자연스러운 문장 읽기 동안의 단어 단위 EEG 및 안구 추적 데이터를 제공하는 ZuCo 코퍼스 (30 명의 참가자, 594 문장, 196,162 단어 관측치) 를 사용했습니다.
모델: Qwen 2.5 7B(28 층) 와 LLaMA 3.1 8B(32 층) 의 고정된 (Frozen) 언어 모델을 사용했습니다.
실험 설계:
1. 잠재 표현 추출: 각 문장을 모델에 통과시켜 각 층 (Layer) 의 숨겨진 상태 (Hidden States) 를 추출하고, PCA 를 통해 차원을 축소 (50 차원) 했습니다.
2. 프로빙 (Probing) 전략:
  - 개인별 프로브 (Person-specific Probe): 각 참가자 (30 명) 마다 별도의 선형 리지 회귀 (Ridge Regression) 모델을 훈련시켜, 해당 개인의 EEG 신호 (또는 동공 크기) 를 예측하도록 합니다.
  - 집단 프로브 (Population Probe): 모든 참가자의 데이터를 합쳐 하나의 단일 선형 모델을 훈련시킵니다.
3. 평가 지표: 예측된 값과 실제 EEG 신호 간의 스피어만 상관관계 (Spearman $\rho$ ) 를 단어 수준에서 계산하고 교차 검증을 수행했습니다.
4. 제어 변수: 단어 빈도, 길이, 문장 위치, GPT-2 서프라이설 (Surprisal) 등의 어휘적 혼란 변수를 제거한 후에도 효과가 유지되는지 확인했습니다. 또한, 고정점 수 (Fixation Count) 와 같은 텍스트 구조적 특징은 개인별 차이가 없으므로 '부정적 대조군 (Negative Control)'으로 사용했습니다.

3. 주요 기여 (Key Contributions)

개인별 신경 구조의 발견: 고정된 LLM 의 표현 공간 내에 개인별 고유한 신경 방향성이 존재함을 최초로 증명했습니다.
개인별 프로브의 우월성: 단일 집단 모델보다 개인별 모델이 모든 EEG 특징에서 유의미하게 높은 예측 성능을 보임을 입증했습니다.
신호의 특성 규명: 이 개인별 신호는 시간적으로 안정적이며, 다른 사람에게 전이되지 않고, 집단 신호와 분리된 독립적인 차원임을 확인했습니다.
심층층 (Deep Layers) 집중: 개인별 신호가 모델의 깊은 층 (Layer 24 등) 에서 가장 강하게 나타남을 발견했습니다.

4. 주요 결과 (Key Results)

성능 향상:
- 고감마 (High-gamma) 대역: 개인별 프로브는 $\rho = 0.183$ 의 상관관계를 보인 반면, 집단 프로브는 $\rho = 0.020$ 에 불과했습니다. 이는 9 배 이상의 개선 ( $p < 10^{-4}$ ) 입니다.
- 동공 크기 (Mean Pupil Size): 개인별 프로브가 $\rho = 0.261$ 로 가장 높은 성능을 보였습니다.
- 부정적 대조군: 단어 고정점 수 (nFixations) 에 대해서는 개인별 프로브와 집단 프로브 간 성능 차이가 통계적으로 유의미하지 않았습니다 ( $p = 0.360$ ). 이는 개인별 이점이 단순한 노이즈 피팅이 아님을 시사합니다.
신호의 특성:
- 비전이성 (Non-transferability): 참가자 A 의 프로브를 참가자 B 에게 적용하면 성능이 급격히 떨어집니다 (자기 예측 $\rho=0.369$ vs 타인 예측 $\rho=0.143$ ).
- 시간적 안정성: 세션 내 반으로 나눈 데이터 간 가중치 벡터의 코사인 유사도가 0.824 로 매우 높게 유지되었습니다.
- 독립성: 집단 신호 성분을 제거한 잔차 (Residuals) 에 대해서도 개인별 프로브는 유의미한 예측력을 유지했습니다.
모델 및 아키텍처 일반화:
- Qwen 2.5 7B와 LLaMA 3.1 8B 두 가지 다른 아키텍처에서 동일한 패턴 (Layer 24 에서 피크, 유사한 성능 향상) 이 관찰되었습니다.
- 단어 수준 혼란 변수 제거: 단어 빈도, 길이 등을 회귀 제거한 후에도 개인별 이점이 유지되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이론적 의의: LLM 의 표현 공간이 단순히 텍스트 의미만 인코딩하는 것이 아니라, 개인이 텍스트를 처리하는 신경적 방식에 대한 구조적 정보를 포함하고 있음을 보여줍니다. 이는 '선형 표현 가설 (Linear Representation Hypothesis)'이 개인별 신경 신호에도 적용됨을 의미합니다.
실용적 함의:
- 정밀 신경 이미징: 기존 집단 평균 기반의 뇌 - 언어 정렬 벤치마크는 중요한 개인별 정보를 누락하고 있음을 지적합니다.
- 개인화 (Personalization): 소비자용 EEG 장치를 통해 짧은 교정 세션으로 사용자의 '신경 방향성'을 추출하고, 이를 LLM 의 추론 과정에 적용하여 (Steering) 사용자의 인지 특성에 맞는 텍스트 생성을 가능하게 하는 신경 기반 개인화의 기초를 마련했습니다.
향후 과제: 개인별 방향성을 모델의 잔류 스트림 (Residual Stream) 에 주입하여 생성 행동에 실제로 영향을 미치는지 확인하는 인과적 개입 (Causal Intervention) 연구가 다음 단계로 필요합니다.

이 논문은 LLM 과 뇌 과학의 교차점에서, 개인별 신경 서명 (Neural Signatures) 이 모델의 깊은 층에 기하학적으로 존재한다는 강력한 증거를 제시하며, 향후 뇌 - 컴퓨터 인터페이스 (BCI) 기반의 맞춤형 AI 개발에 중요한 통찰을 제공합니다.