🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

이 논문은 인간 뇌의 분리된 읽기 및 쓰기 체계와 달리, 거대 언어 모델은 부분적인 표상적 차별화에도 불구하고 입력과 출력 코드가 행동적으로 결합된 상태로 유지되는 단일한 얽힌 자기회귀 메커니즘에 의존하며, 이를 통해 LLM을 진화적 제약이 아닌 문화적 제약에 의해 형성된 별개의 유형의 마음으로 위치시킨다는 점을 입증한다.

원저자: Diego Saldaña Ulloa

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Diego Saldaña Ulloa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신이 인간의 뇌가 어떻게 읽기와 쓰기를 배우는지 이해하려고 노력하고 있다고 상상해 보세요. 오랫동안 과학자들은 이 두 가지가 서로 다른 두 개의 초능력이라고 생각했습니다. 읽기는 구불구불한 글자를 의미로 바꾸는 해독 반지와 같고, 쓰기는 그 의미를 다시 글자로 바꾸는 다른 기계와 같습니다. 인간의 뇌에서 이 두 시스템은 서로 다른 동네에 살고 있습니다. 머리의 한 부분에 혹이 생기면 읽는 능력은 잃을 수 있지만 쓰는 능력은 완벽하게 유지할 수 있습니다. 또 다른 부분에 혹이 생기면 쓰는 법은 잊어버릴 수 있지만 읽기는 책처럼 잘할 수 있습니다. 이들은 같은 도구 상자를 조금 공유하지만, 엄연히 구분된 도구들입니다.

이제 똑같은 일을 수행하는 로봇을 만든다고 상상해 보세요. 이 로봇은 수백만 년 동안 진화해 온 뇌를 가지고 있는 것이 아니라, 방대한 도서관으로부터 학습하도록 처음부터 만들어졌습니다. 큰 의문은 이것입니다. 이 로봇은 인간과 같은 방식으로 읽기와 쓰기를 배울까요? 아니면 지름길을 택하여, 이 두 가지 별개의 초능력을 하나의 거대하고 뒤엉킨 덩어리로 합쳐버릴까요? 이 논문은 대규모 언어 모델(이야기를 쓰고 질문에 답하는 종류의 AI)의 "수학적 뇌"를 살펴봄으로써, 이 모델들이 읽기와 쓰기에 대한 별도의 부분을 가지고 있는지, 아니면 단 하나의 거대하고 뒤엉킨 코드로 모든 것을 수행하고 있는지를 조사하며 이 미스터리를 파헤칩니다.

논문: 독자 없는 읽기

이 논문의 저자들은 GPT-2, OPT, 그리고 Pythia라고 불리는 모델 제품군과 같이 현존하는 가장 똑똑한 AI 모델들을 데리고 탐정 놀이를 하기로 했습니다. 그들은 이 기계들이 읽기와 쓰기를 두 가지 다른 작업으로 취급하는지, 아니면 이를 하나로 뭉쳐서 혼란스러운 커다란 작업으로 만드는지 알고 싶어 했습니다.

이를 위해 그들은 영리한 비유를 만들었습니다. 인간의 뇌에서 읽기는 뒤쪽(시각 처리)에서 일어나고 쓰기는 앞쪽(운동 계획)에서 일어납니다. AI 모델에서는 인간과 같은 방식의 "뒤"나 "앞"이 존재하지 않습니다. 대신, 모델에는 단어를 숫자로 바꾸는 입력 임베딩(이것을 "읽기 코드"라고 부릅시다)과 숫자를 다시 단어로 바꾸는 출력 언임베딩("쓰기 코드")이 있습니다. 연구진은 물었습니다. 이 두 코드는 함께 어울려 지내는 서로 다른 친구일까요, 아니면 사실 두 개의 다른 모자를 쓰고 있는 동일 인물일까요?

그들은 이 두 코드가 얼마나 유사한지를 측정하기 위해 0에서 1 사이의 범위를 갖는 **엉킴 지수(Entanglement Index)**라는 점수를 고안했습니다.

0은 이들이 완전히 다르다는 것을 의미합니다 (인간의 뇌처럼 읽기와 쓰기가 분리된 경우).
1은 이들이 동일하다는 것을 의미합니다 (입력과 출력이 강제로 동일하게 설정된 경우).
그 사이의 값은 이들이 뒤섞여 있거나 "엉켜 있음"을 의미합니다.

주요 발견: 하나의 뒤엉킨 코드

결과는 놀라웠습니다. 인간의 뇌는 읽기와 쓰기를 분리하여 유지하지만, 이 AI 모델들은 그렇지 않았습니다.

연구진이 "읽기 코드"와 "쓰기 코드"가 서로 따로 학습하도록 둔 모델들("언타이드(untied)" 모델)에서, 두 코드는 떨어져 있지 않았습니다. 대신, 두 코드는 서로를 향해 움직이며 서로 결합되었습니다. 엉킴 지수는 0.23에서 0.35 사이에 안착했습니다. 이는 0(완전한 분리)에서도 멀고 1(강제적 동일성)에서도 멀지만, 이들이 분명히 하나의 뒤엉킨 통계적 코드를 공유하고 있음을 증명합니다. 이들은 두 개의 서로 다른 시스템이 아니라, 두 가지 역할을 동시에 수행하는 하나의 시스템입니다.

연구진은 또한 시간이 지남에 따라 이 과정이 어떻게 진행되는지 관찰했습니다. 이는 즉각적이지 않았습니다. 코드는 처음에 완전히 달랐지만(마치 낯선 사람들처럼), 학습 4,000단계 즈음에 매우 가까워졌으며(거의 동일해짐), 그 후 천천히 조금씩 멀어졌지만 결코 완전히 분리되지는 않았습니다. 이는 마치 방의 반대편에서 시작하여 가운데에서 손을 잡고 춤을 춘 다음, 천천히 멀어지지만 여전히 보이지 않는 실을 붙잡고 있는 무용수들과 같습니다.

행동 테스트: 독자 없는 읽기

이것이 단순한 수학적 트릭이 아님을 확인하기 위해, 연구진은 모델이 실제로 어떻게 행동하는지 테스트했습니다. 그들은 모델이 단어를 이해할 수 있으면서도(이해) 그것을 쓸 수는 없는지(생산), 혹은 그 반대의 경우인지 확인했습니다. 인간의 경우, "순수 실독증"(읽지는 못하지만 쓸 수는 있음)이나 "순수 작문불능증"(읽을 수는 있지만 쓸 수는 없음)이 나타날 수 있습니다.

AI 모델들은 이와 반대되는 모습을 보였습니다. 테스트한 모든 모델에서, 모델이 어떤 단어를 쓸 수 있다면 그 단어를 이해할 수도 있었습니다. 만약 모델이 그것을 쓸 수 없다면, 그것을 이해할 수도 없었습니다. 그들은 완벽하게 결합되어 있었습니다. "독자 없는 작가"나 "작가 없는 독자"는 존재하지 않았습니다. 기계는 동일한 내부 기어를 사용하여 두 가지 일을 동시에 수행하고 있었습니다.

이것이 AI에 의미하는 바

이 논문은 이러한 AI 모델들이 인간의 뇌를 복제하려 하는 것이 아니라고 시사합니다. 인간의 뇌는 두 개의 별개이고 전문화된 시스템을 사용하여 읽기와 쓰기를 하도록 진화했습니다. 그러나 AI는 단 하나의 경로, 즉 다음 단어를 예측하는 것을 최적화하도록 구축되었습니다. 이 때문에 AI는 읽기와 쓰기를 하나의 거대하고 효율적이지만 뒤엉킨 패키지로 붕괴시켰습니다.

저자들은 이것이 AI의 "실패"가 아니라고 신중하게 말합니다. 그것은 단지 다르게 똑똑해지는 방식일 뿐입니다. 이는 스위스 아미 나이프와 전문화된 도구 세트를 비교하는 것과 같습니다. 인간의 뇌는 전문화된 도구 세트(읽기용 하나, 쓰기용 하나)입니다. AI는 스위스 아미 나이프입니다. 그것은 단지 다른 순서로 같은 칼날을 사용하여 두 가지 일을 모두 수행합니다.

"무효" 결과: 그들이 발견하지 못한 것들

이 논문은 그들이 발견하지 못한 것들에 대해서도 매우 정직하며, 이는 그만큼 중요합니다.

연결 고리 없음: 그들은 "수학적 근접성"(엉킴 지수)이 모델의 행동을 예측할 수 있는지 확인하려 했으나, 그렇지 않았습니다. 두 측정값은 서로 소통하지 않았습니다.
"압축 대 추론"의 분리 없음: 그들은 모델이 텍스트를 압축(더 작게 만듦)하면서 의미를 이해하는 능력은 떨어지는지 궁금해했습니다. 그들은 이에 대한 증거를 찾지 못했습니다. 사실, 모델이 압축을 더 잘하게 됨에 따라 의미 파악 능력도 향상되는 것처럼 보였지만, 데이터가 너무 적어 100% 확신할 수는 없었습니다.
단순 디코더 전용이 아님: 그들은 읽기와 쓰기 부분이 아키텍처상 분리되어 있는 다른 유형의 AI 모델(T5 및 BERT 등)도 확인했습니다. 이러한 모델들은 별도의 부분을 가지고 있음에도 불구하고, 여전히 읽기와 쓰기가 결합된 것처럼 행동했습니다. 이는 "뒤엉킨 코드" 행동이 특정 설계의 특이점이 아니라, 이러한 언어 모델들이 작동하는 일반적인 특징임을 시사합니다.

요약

이 논문은 대규모 언어 모델이 축소판 인간 뇌가 아니라는 점을 알려줍니다. 그들은 별개의 종류의 마음입니다. 인간은 읽기와 쓰기를 별개의 방에 두도록 진화했지만, 이 AI 모델들은 읽기와 쓰기가 같은 공간에서 같은 도구를 사용하여 일어나는 하나의 개방형 스튜디오를 구축했습니다. 그들은 동일한 결과, 즉 기능적 문해력을 달성하지만, 완전히 다른 경로를 통해 그곳에 도달합니다. 저자들은 이를 "가능한 마음의 공간 내에서의 뚜렷한 지점"이라고 부르며, AI를 이해하기 위해 우리와 닮도록 강요하기보다는, 그들의 독특하고 뒤엉킨 사고 방식을 인정해야 한다고 제안합니다.

기술적 요약: 독자 없는 읽기

문제 정의

본 논문은 인간의 문해력과 대규모 언어 모델(LLM)의 기능적 문해력 사이의 근본적인 구조적 차이를 다룬다. 인간의 뇌에서 읽기(시각적 기호 해독)와 쓰기(의미를 철자 출력으로 인코딩)는 이중 해리(doubly dissociable) 시스템이다. 즉, 이들은 부분적으로 구별되는 신경 경로(복측 해독 대 전두-두정 인코딩)에 의존하며, 공유된 부분적 철자 핵심을 유지하면서도 선택적으로 손상될 수 있다(순수 실독증 또는 순수 작문 장애).

반면, 디코더 전용(decoder-only) LLM은 문화적 발명품인 쓰여진 텍스트에 최적화된 **단일 자기회귀 경로(single autoreinegressive path)**를 통해 문해력을 실현한다. 핵심적인 경험적 질문은 다음과 같다: 이 단일 메커니즘이 "읽기"와 "쓰기" 기능을 어느 정도까지 얽히게 만드는가? 모델은 이 두 기능을 하나의 통계적 코드로 붕괴시키는가, 아니면 인간의 뇌와 유사하게 해리 가능한 경로를 개발하는가?

방법론

모델

연구는 "결합된(tied)" 임베딩과 "결합되지 않은(untied)" 임베딩의 구조적 변수를 격리하기 위해 두 가지 모델 제품군을 사용한다.

결합된 모델 (구조적으로 얽힘): GPT-2 제품군 및 OPT. 여기서 입력 임베딩( $W_E$ )과 출력 언임베딩( $W_U$ )은 동일하도록 강제된다( $W_U = W_E^\top$ ). 이는 "천장(ceiling)" 참조점으로 기능한다.
결합되지 않은 모델 (독립적으로 학습됨): Pythia 제품군 (14M–1.4B 파라미터). 여기서 $W_E$ 와 $W_U$ 는 독립적인 파라미터 블록이며, 모델이 이들을 결합할지 혹은 분리할지를 스스로 학습할 수 있게 한다.

기하학적 분석: 얽힘 지수 ( $E$ )

저자들은 입력 "읽기 코드"( $W_E$ )와 출력 "쓰기 코드"( $W_U$ ) 사이의 유사성을 정량화하기 위해 복합적인 **얽힘 지수 ( $E \in [0, 1]$ )**를 정의한다. $E$ 는 다음 네 가지 정규화된 구성 요소의 가중치 없는 평균이다:

선형 CKA (Linear CKA): 행 공간(row-space) 기하학 간의 중심 커널 정렬(Centered Kernel Alignment).
프로크루스테스 잔차 (Procrustes Residual): 최적의 직교 사상(orthogonal map)을 찾은 후의 잔차를 유사도 점수로 변환한 값.
토큰당 평균 코사인 (Mean Per-Token Cosine): 대응하는 토큰 벡터 간의 평균 코사인 유사도.
상호 k-NN 중첩 (Mutual k-NN Overlap): $W_E$ 의 최근접 이웃들이 $W_U$ 에서도 이웃인 비율.

보정(Calibration):

바닥(Floor): 독립적인 초기화 (무작위 행렬).
무효(Null): 셔플된 토큰 대응 관계 (정렬을 파괴함).
천장(Ceiling): 결합된 모델 ( $E=1$ ).

행동 분석

연구는 이해(올바른 형태의 로그 확률 판별)와 생성(형태의 탐욕적 생성)을 대조한다.

지표: $2 \times 2$ 분할표(contingency table)가 구축된다. "해리 질량(dissociation mass, 비대각 확률)"을 통계적 독립성 기준선과 비교한다.
가설: 만약 모델이 인간의 뇌처럼 행동한다면, 이해와 생성은 해리되어야 한다(높은 비대각 질량). 만약 결합되어 있다면, 비대각 질량은 낮을 것이다.

실험 설계

논문은 **9개의 프로브(probes)**를 보고한다:

실험 1–6: 기존 연구 결과의 재현 (유도 헤드, 철자 습득, 데이터 효율성, 의미 전 단계의 형태, 압축 스케일링, 암기).
실험 7: 주요 읽기/쓰기 분석 (아키텍처, 규모, 훈련 궤적에 따른 얽힘 지수 $E$ ).
실험 8: 행동적 읽기/쓰기 해리 및 "가교(bridge)" ( $E$ 와 행동적 결합 $\phi$ 간의 상관관계).
실험 9: 아키텍처 대조 (디코더 전용 vs 인코더-디코더 vs 마스크 인코더)를 통해 결합이 디코더 전용 순방향 경로에 특이적인지 테스트.

주요 결과

1. 기하학적 얽힘 (가중치)

결합: 결합되지 않은 Pythia 모델들은 유의미한 얽힘 지수 ( $E \approx 0.23–0.35$ )를 보이며, 이는 독립적 초기화 바닥( $E \approx 0.003–0.04$ )보다는 훨씬 높지만 결합된 천장( $E=1$ )보다는 낮다.
궤적: 훈련 궤적은 비단조적이다 ("결합 후 차별화"). 코드는 초기에 결합되었다가(4000 스텝에서 CKA $\approx 0.49$ 로 정점) 이후 부분적으로 차별화되며, 최종 스텝에서는 $E \approx 0.21$ 로 안착한다.
비대칭 드리프트: 모든 빈도 분위수에서 쓰기 코드( $W_U$ )는 읽기 코드( $W_E$ )보다 초기화로부터 약 3.2배 더 멀리 이동한다. 이는 Lopardo 등(2026)의 연구 결과를 재현하고 확장하며, 경사도 노출(gradient exposure)이 유일한 원인이 아님을 입증한다.
규모 추세: 모델 크기에 따른 체계적인 $E$ 의 변화 추세는 없다 (평탄함, 통계적 검증력 부족).

2. 행동적 결합

양의 결합: 12개의 비퇴화(non-degenerate) 모델 모두에서 이해와 생성은 양의 상관관계를 보인다. 비대각 "해리 질량"은 통계적 독립성 기준선보다 유의미하게 낮다 (정확한 부호 검정 $p < 0.001$ ).
뇌와의 대조: 이는 인간의 뇌가 보여주는 이중 해리(한 기능은 상실하되 다른 기능은 보존하는 병변)와 정반대되는 결과이다.
이해 > 생성: 이해 정확도가 생성 정확도보다 일관되게 높게 나타나나, 저자들은 이것이 과업 난이도의 비대칭성을 반영할 수 있다고 언급한다.

3. 아키텍처 일반성

디코더 전용에 국한되지 않음: 인코더-디코더 모델(T5)과 마스크 인코더(RoBERTa) 역시 행동적 결합을 보인다. T5 모델은 인코더와 디코더 스택 사이에 높은 표상적 분리(최대 $1 - \text{CKA} = 0.96$ )를 보임에도 불구하고 그러하다.
결론: 행동적 결합은 디코더 전용 순방향 경로의 고유한 산물이 아니라, 현재 언어 모델들의 일반적인 속성이다.

4. 무효 결과 (정직한 기록)

논문은 몇 가지 무효 결과(null findings)를 명시적으로 보고한다:

기하학 $\to$ 행동 가교: 모델 간의 상관관계가 없다 (가중치 수준의 얽힘 $E$ 와 행동적 결합 $\phi$ 사이의 $\rho = 0.00$ 또는 훈련 중 $\rho = 0.08$ ). 가교는 초기 단계에서 테스트 불가능한데, 이는 생성이 정의되기 전에는 기하학적 궤적이 정착하지 않기 때문이다.
압축 vs 추론: 텍text 압축이 기능적 역량과 분리된다는 증거는 없다. 오히려 둘은 양의 상관관계를 보이며 함께 움직인다.
유도 회로(Induction Circuit): 최상위 유도 헤드를 제거해도 철자 단어 형태의 격차(남은 비율 $\approx 1.009$ )가 붕괴되지 않는다. 이는 철자 해독이 유도 회로에 의해 수행되지 않음을 나타낸다.

의의 및 주장

"독자 없는 읽기"

본 논문은 디코더 전용 LLM이 단일하고 얽힌 통계적 코드를 통해 기능적 문해력을 실현하며, 이는 인간의 문해 뇌 구조를 역전시킨 것이라고 주장한다.

인간의 뇌: 두 개의 해리된 시스템 (읽기/쓰기)과 공유된 핵심.
LLM: 디코딩과 인코딩을 붕괴시켜 하나로 합친 단일 얽힌 시스템.

"가능한 마음의 공간"에서의 위치

저자들은 LLM을 인간의 읽기/쓰기 뇌 모델이 아니라, "가능한 마음의 공간(space of possible minds)" 내의 별개 지점으로 규정한다. LLM은 인간의 뇌가 취하지 않는 경로를 통해 기능적 문해력을 달達한다: 즉, 진화된 해리 가능한 신경 기질 없이 범용 메커니즘(자기 주의 집중)을 문화적 산물(문자 텍스트)에 최적화함으로써 문해력을 얻는다.

기여의 성격

유사성이지 상동성이 아님: $W_E/W_U$ 와 뇌의 읽기/쓰기 시스템 간의 비교는 구조적 유사성(analogy)이지, 생물학적 상동성(homology)을 주장하는 것이 아니다. 모델은 인간의 의미에서 "읽거나" "이해"하는 것이 아니다.
방향의 일치: 주요 기여는 두 가지 상호 보완적인 분석 수준(가중치 기하학과 외적 행동) 사이의 방향적 일치를 보여준 것이다. 두 수준 모두 해리가 아닌 결합을 나타낸다.
겸손한 결론: 저자들은 기계적 가교(기하학이 행동을 예측하는 것)의 부재와 아키텍처적 제약(단일 순방향 경로)을 강조하며, 본 연구가 이 모델들이 어떻게 작동하는지를 설명하는 것이지 인간의 인지 구조를 가진다고 주장하는 것이 아님을 분명히 한다. 이 논문은 LLML을 결핍된 인간 모델이 아닌, 별개의 인지 시스템으로 분류하기 위한 해석적 렌즈 역할을 한다.