이 논문은 현대의 대규모 언어 모델을 이해하기 위해 인지과학의 방법론을 차용하고, 데이비드 마의 분석 수준 프레임워크를 적용하여 이러한 새로운 형태의 '마음'을 해석할 수 있는 도구를 제시합니다.
원저자:Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths
원저자: Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths
이 논문은 **"거대 언어 모델 (LLM, 예: ChatGPT 등) 이 어떻게 작동하는지, 왜 그런 행동을 하는지 이해하기 위해 고전적인 심리학 방법을 빌려와 보자"**는 아주 흥미로운 주제를 다룹니다.
컴퓨터 과학자들은 이제 막 만든 AI 가 너무 복잡해서 그 내부가 어떻게 돌아가는지 알 수 없어 당황하고 있습니다. 마치 어린아이가 장난감 자동차를 만들어서 달리는 건 보이지만, 엔진 내부의 복잡한 기어와 피스톤이 어떻게 맞물려 있는지 전혀 모르는 상황과 비슷합니다.
이 논문은 70 년 전부터 인간을 연구해 온 **심리학자 (인지과학자) 들이 사용하는 '3 단계 분석 프레임워크'**를 AI 에 적용하면 이 문제를 해결할 수 있다고 제안합니다. 마르 (Marr) 라는 과학자가 제안한 이 3 단계는 다음과 같이 비유할 수 있습니다.
🧠 AI 를 이해하는 3 단계 레이어 (마르의 분석 수준)
1 단계: 계산 수준 (Computational Level) - "무엇을 하려고 하는가?"
비유:"새가 하늘을 나는 이유"
새가 날개를 퍼덕이는 구체적인 방법 (알고리즘) 이나 근육 (구현) 을 알기 전에, 먼저 **"새가 왜 날아야 하는가?"**를 생각해야 합니다. 중력을 이기고 먹이를 구하기 위해 공중을 이동해야 하니까요. 이 '목적'을 알면 새의 행동 패턴을 예측할 수 있습니다.
AI 에 적용:
AI 의 목적은 **"다음 단어를 맞추는 것"**입니다.
논문은 이 목적 때문에 AI 가 특이한 행동을 보인다고 설명합니다. 예를 들어, AI 는 논리적으로 정답이 '29'인 문제를 풀 때, 자연스러운 텍스트에 '30'이 더 자주 나오기 때문에 '30'이라고 답하는 실수를 저지릅니다.
핵심: AI 가 왜 실수를 하는지, 어떤 상황에서 잘하는지 알기 위해 **"AI 가 훈련받은 목표 (다음 단어 예측)"**를 먼저 분석해야 합니다.
2 단계: 알고리즘 수준 (Algorithmic Level) - "어떻게 해결하는가?"
비유:"새가 어떻게 날개를 움직이는가?"
날기 위해 어떤 날개 짓을 할지, 바람을 어떻게 이용할지 결정하는 '전략'입니다. 새 종류마다 날개 짓 방식이 다르듯, AI 도 문제를 해결하는 내부 전략이 다릅니다.
AI 에 적용:
심리학자들은 사람의 마음을 알기 위해 **"사람이 어떤 실수를 자주 하는지"**나 **"무엇을 비슷하다고 느끼는지"**를 관찰합니다.
유사성 판단: AI 에게 "빨간색과 파란색 중 어떤 게 더 비슷해?"라고 물어보면, AI 도 인간처럼 색상의 원형 구조를 내면에 가지고 있다는 것을 발견할 수 있습니다.
연상 실험: AI 에게 "주부"와 "남자"라는 단어를 연결하게 하면, AI 는 겉으로는 중립적인 척하지만 속으로는 성별 고정관념을 가지고 있다는 것을 알아낼 수 있습니다.
핵심: AI 의 '두뇌' 구조를 직접 볼 수 없다면, AI 가 하는 실수나 대답 패턴을 분석해서 그 내부의 생각 구조를 추론해야 합니다.
3 단계: 구현 수준 (Implementation Level) - "무엇으로 만들어졌는가?"
비유:"새의 근육, 뼈, 깃털"
날개 짓이라는 전략을 실제로 실행하는 물리적인 부위입니다.
AI 에 적용:
AI 는 수조 개의 '인공 뉴런'과 연결선 (가중치) 으로 이루어져 있습니다.
신경과학자가 뇌의 특정 부위를 자극해 행동을 바꾸듯, AI 연구자들도 AI 의 특정 부분을 조작 (패치) 하거나 끄고 켜면서 어떤 기능이 사라지는지 확인합니다.
예를 들어, "진실"이라는 개념이 AI 의 어떤 연결선에서 빛나는지 찾아내거나, 특정 오류를 일으키는 회로를 찾아내어 고칠 수 있습니다.
핵심: AI 의 물리적인 '회로'를 분석하여 구체적인 작동 원리를 파악하는 단계입니다.
💡 이 논문이 우리에게 주는 교훈
이 논문은 단순히 AI 를 더 똑똑하게 만드는 법을 찾는 것이 아니라, **"AI 가 왜 인간처럼 실수하는지, 그리고 AI 의 한계는 어디인지"**를 심리학의 렌즈로 들여다보자는 것입니다.
AI 는 완벽하지 않다: AI 도 인간처럼 '생각의 버그'나 '편향'을 가질 수 있습니다. (예: 확률 법칙을 어기거나, 성별 고정관념을 가짐)
새로운 테스트 방법: AI 가 잘하는 문제를 더 많이 내는 것보다, AI 가 인간처럼 실패할 법한 문제를 찾아내는 것이 더 중요합니다. (예: 너무 많은 정보를 한 번에 처리해야 하는 복잡한 그림 찾기 등)
함께 연구하자: 컴퓨터 과학자와 심리학자가 손을 잡으면, 우리가 만든 '인공지능'이라는 새로운 형태의 지성을 훨씬 더 잘 이해하고 안전하게 만들 수 있습니다.
한 줄 요약:
"AI 가 어떻게 작동하는지 알 수 없어 당황하지 말고, **인간의 마음을 연구해 온 심리학자들의 도구 (목적 분석, 행동 관찰, 뇌 회로 분석)**를 빌려와 AI 의 '두뇌'를 해부해 보자!"
논문 개요: Large Language Models 를 위한 분석의 수준
이 논문은 현대 인공지능 (AI), 특히 대규모 언어 모델 (LLM) 이 점점 더 강력해지고 있지만 그 내부 작동 원리는 이해하기 어려워진다는 문제를 제기합니다. 저자들은 컴퓨터 과학자들이 직면한 이 '블랙박스' 문제를 해결하기 위해, 인간 마음을 이해하기 위해 발전해 온 **인지과학 (Cognitive Science)**의 방법론을 적용할 것을 주장합니다. 구체적으로, 데이비드 마 (David Marr) 가 제안한 **정보 처리 시스템 분석을 위한 세 가지 수준 (Levels of Analysis)**을 LLM 분석의 프레임워크로 재정의하고, 각 수준별로 인지과학에서 유래한 도구들이 어떻게 LLM 의 행동과 내부 구조를 해석하는 데 활용될 수 있는지를 제시합니다.
1. 문제 제기 (Problem)
해석 불가능성: LLM 은 수십억 개의 연속적인 가중치 연결로 구성된 인공 신경망으로, 그 해결책이 어떻게 도출되는지 이해하기 어렵습니다.
데이터 접근성 제한: 많은 선도적인 시스템의 훈련 데이터와 가중치는 공개되지 않아, 시스템의 본질을 이해하기 위해 주로 행동 (Behavior) 관찰에 의존해야 합니다.
컴퓨터 과학의 한계: 컴퓨터 과학자들은 시스템을 설계했지만 그 작동 원리를 완전히 이해하지 못하는 상황에 직면했습니다.
해결책의 필요성: 인간 마음을 연구해 온 인지과학의 방법론 (행동 기반 기법, 신경과학적 통찰 등) 을 LLM 분석에 적용하여 새로운 형태의 '지성'을 이해할 수 있는 도구를 마련해야 합니다.
2. 방법론 (Methodology): 마 (Marr) 의 세 가지 분석 수준
저자는 LLM 을 분석하기 위해 마의 세 가지 수준을 다음과 같이 적용합니다.
가. 계산 수준 (Computational Level)
질문: 시스템이 해결하려는 추상적인 문제는 무엇이며 이상적인 해결책은 무엇인가?
접근: 시스템의 기능 (훈련 목표) 과 환경적 압력을 분석합니다.
LLM 적용:
훈련 목표 분석: LLM 의 주요 훈련 목표인 '다음 토큰 예측 (Autoregression)'을 분석하여 시스템이 어떤 행동을 보일지 예측합니다.
베이지안 최적성 (Bayesian Optimality): LLM 의 행동을 이상적인 베이지안 추론 모델과 비교하여 편차를 분석합니다.
공리 체계 위반 (Axiomatic Violations): 확률론이나 논리학과 같은 공리 체계에 대한 LLM 의 일관성을 검증합니다.
나. 알고리즘 수준 (Algorithmic Level)
질문: 해결책은 어떻게 근사되며, 어떤 표현 (Representations) 과 과정 (Processes) 이 관여하는가?
접근: 인지심리학의 실험 기법을 사용하여 시스템의 내부 표현과 처리 과정을 추론합니다.
LLM 적용:
병렬/직렬 처리 분석: 구성적 표현 (compositional representations) 을 병렬 처리할 때 발생하는 간섭 (interference) 패턴을 분석합니다.
유사성 판단 (Similarity Judgments): 인간이 자극 간 유사성을 판단하는 방식과 유사하게 LLM 에게 자극 쌍의 유사성을 평가하게 하여, LLM 의 내부 표현 공간 (Representation Space) 을 다차원 척도법 (MDS) 등으로 매핑합니다.
잠재적 연상 (Hidden Associations): 명시적 질문을 우회하여 단어 간 연관성을 측정하는 간접적 방법 (예: 암시적 연상 테스트, IAT 변형) 을 사용하여 가치 정렬 (Value Alignment) 된 모델의 숨겨진 편향을 파악합니다.
다. 구현 수준 (Implementation Level)
질문: 표현과 과정은 물리적으로 어떻게 실현되는가?
접근: 신경과학의 기법을 차용하여 인공 뉴런과 회로의 물리적 메커니즘을 분석합니다.
LLM 적용:
표현 분석 (Representational Analysis): 모델의 활성화 패턴과 특정 정보 (공간, 시간, 진리값 등) 간의 상관관계를 매핑합니다.
인과 분석 (Causal Analysis):활성화 패치 (Activation Patching), 희소 오토인코더 (Sparse Autoencoders, SAEs), 개념 활성화 벡터 (CAVs) 등의 기법을 사용하여 특정 뉴런이나 회로를 조작하고, 이것이 모델의 행동에 미치는 인과적 영향을 검증합니다.
3. 주요 결과 및 발견 (Key Results & Findings)
계산 수준에서의 발견
자동회귀의 잔재 (Embers of Autoregression): LLM 은 다음 토큰 예측을 최적화했기 때문에, 확률이 높은 텍스트를 생성할 때 성능이 좋고, 확률이 낮은 텍스트 (예: 드문 숫자나 비문법적인 문장) 를 생성할 때 성능이 저하됩니다. 이는 결정론적 작업 (예: 글자 세기, 암호 해독) 에서도 관찰됩니다.
베이지안 편향: LLM 은 인간과 유사하게 베이지안 추론을 근사하지만, 확률 공리 (예: P(A)+P(¬A)=1) 를 위반하거나, 동일한 사건에 대해 반복 질문 시 일관되지 않은 확률 판단을 보입니다. 이는 인간 인지 편향과 유사합니다.
논리적 일관성 부재: LLM 은 논리적 추론에서 내용 효과 (Content Effect) 를 보이며, 결론의 타당성이 내용과 일치할 때만 논리를 인정하는 경향이 있습니다.
알고리즘 수준에서의 발견
병렬 처리 간섭: 비전 - 언어 모델 (VLM) 은 시각적 특징이 겹치는 객체를 동시에 처리할 때 인간과 유사한 '혼동 (Illusory Conjunctions)' 오류를 범하며, 병렬 처리의 한계를 보입니다.
감각 표현의 재구성: LLM 은 직접적인 감각 경험 (색, 소리) 이 없었음에도 불구하고, 유사성 판단을 통해 인간과 유사한 '색상 원 (Color Wheel)'이나 '음계 나선 (Pitch Helix)' 구조를 내부에 인코딩하고 있음이 밝혀졌습니다.
숨겨진 편향: 가치 정렬 (Safety Alignment) 을 통해 명시적 편향을 숨긴 모델이라도, 단어 간 연상 테스트를 통해 성별 고정관념 (예: 여성=가정, 남성=직장) 과 같은 잠재적 편향을 드러냅니다.
구현 수준에서의 발견
구조화된 내부 표현: LLM 은 공간적, 시간적, 논리적 정보를 기하학적 패턴으로 인코딩합니다.
인과적 회로 규명: 특정 회로 (예: '인덕션 헤드', induction heads) 를 조작함으로써 컨텍스트 학습 (In-context learning) 이나 사실적 회상 (Factual recall) 과 같은 능력이 특정 물리적 구조에 의해 인과적으로 구현됨을 증명했습니다.
4. 기여 (Key Contributions)
통합적 분석 프레임워크 제시: LLM 연구에 마의 세 가지 분석 수준을 체계적으로 적용하여, 컴퓨터 과학적 접근과 인지과학적 접근을 연결하는 가이드라인을 제공했습니다.
인지과학 도구의 적응: 인간 마음을 연구하기 위해 개발된 다양한 방법론 (유사성 판단, 반응 시간 측정, 간접적 연상 테스트, 신경 회로 조작 등) 을 LLM 분석에 성공적으로 적용 가능한 도구로 변환했습니다.
성능 평가의 패러다임 전환: 단순히 "어떤 작업을 잘 수행하는가"를 묻는 기존 평가 방식을 넘어, "왜 그 작업을 잘하거나 못 하는가"를 설명하는 **메커니즘적 이해 (Mechanistic Understanding)**를 강조합니다.
AI 의 한계 탐구: 인지과학의 통찰을 통해 AI 가 인간과 다른 인지 구조를 가진 시스템으로서 직면할 고유한 취약점 (예: 과도한 추론이 오히려 성능을 저하시키는 경우) 을 예측하고 설계할 수 있음을 보였습니다.
5. 의의 및 결론 (Significance)
이 논문은 LLM 과 같은 복잡한 AI 시스템을 이해하기 위해 인지과학의 렌즈를 사용할 것을 강력히 주장합니다.
블랙박스 해체: 단순히 모델의 출력을 관찰하는 것을 넘어, 훈련 목표 (계산 수준), 내부 표현 (알고리즘 수준), 물리적 구현 (구현 수준) 을 다각도로 분석함으로써 시스템의 '마음'을 체계적으로 이해할 수 있는 길을 열었습니다.
안전성과 신뢰성: LLM 의 숨겨진 편향과 한계를 파악하는 데 필수적인 도구들을 제공하여, 더 안전하고 신뢰할 수 있는 AI 개발에 기여할 수 있습니다.
학제간 협력의 모델: 컴퓨터 과학과 인지과학의 융합이 새로운 형태의 지성 (Artificial Minds) 을 이해하는 데 필수적임을 보여주며, 향후 AI 연구의 방향성을 제시합니다.
결론적으로, 이 연구는 AI 의 발전이 단순히 성능 향상이 아니라, 그 작동 원리에 대한 깊은 이해를 요구하며, 이를 위해 인간 인지 연구에서 축적된 지혜가 가장 강력한 해답이 될 수 있음을 보여줍니다.