💬 NLP

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

본 논문은 대규모 언어 모델이 저차원 구조화된 '개념적 신념 공간'을 탐색함으로써 맥내 학습을 수행하며, 여기서 신념 업데이트는 모델의 행동과 내부 표현 모두에 일관되게 반영되는 기하학적 궤적으로 나타나며 선형 개입을 통해 인과적으로 조작될 수 있음을 제안한다.

원저자: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 단순히 사실을 암기하는 로봇이 아니라, 책을 소리 내어 읽어주는 이야기꾼으로 상상해 보십시오. 이야기꾼이 새로운 문장을 읽을 때마다, 그들은 줄거리, 등장인물의 감정, 장면의 분위기를 이해하는 방식이 변화합니다. 그들은 단순히 이야기를 "아는" 것이 아니라, 일어나고 있는 일에 대한 내부적인 "믿음"을 끊임없이 업데이트합니다.

이 논문은 **"Stories in Space"**라는 제목으로, 바로 그 이야기꾼이 어떻게 믿음을 업데이트하는지 정확히 매핑해 보려고 합니다. 저자들은 흥미로운 아이디어를 제시합니다: 모델의 변화하는 믿음은 "개념적 믿음 공간 (Conceptual Belief Space)"이라는 특정 저차원 지도를 따라 이동합니다.

간단한 비유를 사용하여 그들의 발견 사항을 다음과 같이 정리해 보겠습니다:

1. 믿음의 지도 (개념 공간)

모든 가능한 "감정"이나 "아이디어"가 특정 위치에 있는 거대하고 보이지 않는 3 차원 방을 상상해 보십시오.

행복은 오른쪽 위 구석에 있을 수 있습니다.
슬픔은 왼쪽 아래 구석에 있을 수 있습니다.
분노는 그 어딘가에 있을 수 있습니다.

이 논문은 LLM 이 이야기를 읽을 때, 한 아이디어에서 다른 아이디어로 무작위로 점프하는 것이 아니라, 내부 상태가 이 지도를 가로지르는 **부드러운 경로 (궤적)**를 따라 이동한다고 제안합니다.

비유: 이야기를 하이킹 코스로 생각하십시오. 주인공이 구덩이에 빠지면, 모델의 "믿음 마커"는 지도를 따라 "슬픔" 구역 쪽으로 미끄러져 내려갑니다. 영웅이 생물들을 구출하면, 마커는 다시 "행복" 쪽으로 미끄러져 올라갑니다. 이 논문은 이러한 경로가 혼란스럽지 않으며, 계곡을 흐르는 강처럼 구조화되고 예측 가능한 기하학을 따른다는 것을 발견했습니다.

2. 동전의 양면 (행동 vs 뇌)

연구자들은 모델을 두 가지 방식으로 살펴보았습니다:

행동: "지금 이 이야기가 얼마나 행복한가?"라고 물었을 때 모델이 말하는 것 (예: 10 점 만점에 7 점 부여).
내부 표현: 텍스트를 처리하는 동안 모델의 "뇌"(신경 활성화) 내부에서 실제로 일어나는 수학.

발견: 모델이 "행동 지도"(그것이 말하는 것) 에서 취하는 경로와 "뇌 지도"(그것이 생각하는 것) 에서 취하는 경로는 거의 동일합니다.

비유: 그것은 인형을 보는 것과 같습니다. 이 논문은 인형을 당기는 실 (내부 수학) 과 인형의 실제 움직임 (출력) 이 완벽하게 동기화되어 있음을 발견했습니다. 만약 당신이 실을 볼 수 있다면, 인형이 다음에 어디로 움직일지 정확히 예측할 수 있고, 그 반대도 마찬가지입니다.

3. 선형 프로브로 마음 읽기

저자들은 "선형 프로브 (linear probe)"라는 도구를 사용했습니다. 이것은 간단한 번역기라고 생각하십시오.

그들은 모델의 "뇌" 내부의 복잡하고 messy 한 수학을 임의의 순간에 살펴보고, 간단한 선형 방정식 (직선) 을 사용하여 이를 모델이 이야기의 감정에 대해 무엇을 믿는지 예측하는 것으로 번역할 수 있음을 보여주었습니다.
결과: 이 번역기는 놀라울 정도로 잘 작동했습니다. 이는 모델의 "믿음"이 통과할 수 없는 블랙박스에 숨겨져 있는 것이 아니라, 모델의 내부 코드에 명확하게 적혀 있어 읽기를 기다리고 있다는 것을 의미합니다.

4. 이야기 조종하기 (리모컨)

이 논문의 가장 흥미로운 부분은 그들이 모델을 단순히 지켜본 것이 아니라, 조종했다는 것입니다.

비유: 모델의 믿음 경로가 도로를 달리는 차라고 상상해 보십시오. 연구자들은 핸들 (내부 수학 조정) 을 잡아서 차를 "행복"과 같은 특정 목적지 쪽으로 강제로 돌릴 수 있음을 발견했습니다. 이는 이야기 텍스트가 자연스럽게 "슬픔" 쪽으로 향하고 있더라도 마찬가지였습니다.
주의할 점 (조종의 기하학): 그들이 모델을 "슬픔" 쪽으로 조종했을 때, 단순히 더 슬퍼진 것이 아니라 약간 더 분노하고 덜 행복해졌습니다.
이유: 그들의 "믿음 지도"에서 슬픔과 분노는 이웃이기 때문입니다. 모델을 슬픔 쪽으로 밀면 필연적으로 분노 쪽으로도 밀리게 됩니다. 이 논문은 모델이 이러한 조종에 의해 얼마나 "혼란"을 겪는지는 지도상에서 개념들이 얼마나 가까운지에 전적으로 달려있다고 발견했습니다. 두 개념이 지도상에서 멀리 떨어져 있으면, 하나를 조종해도 다른 하나에는 영향을 미치지 않습니다. 하지만 가까우면 서로 얽히게 됩니다.

주요 주장 요약

믿음에는 형태가 있습니다: LLM 이 이야기를 읽을 때, 변화하는 믿음은 저차원 기하학적 공간에서 부드럽고 구조화된 경로를 따라 이동합니다.
생각과 행동은 일치합니다: 모델의 내부 수학과 외부 답변은 이 지도에서 정확히 같은 경로를 따릅니다.
우리는 믿음을 읽고 쓸 수 있습니다: 우리는 모델의 내부 수학을 살펴보기만 해도 모델이 무엇을 믿는지 예측할 수 있으며, 그 수학을 살짝 밀어주어 모델의 믿음을 바꿀 수 있습니다.
기하학이 지배합니다: 모델이 변화 (조종) 에 반응하는 방식은 이 지도상에서 개념들 사이의 거리에 의해 결정됩니다. 지도상에서 "이웃"인 개념들은 서로 영향을 미치지만, 멀리 떨어진 개념들은 그렇지 않습니다.

요약하자면, 이 논문은 LLM 이 단순히 추측하는 것이 아니라, 구조화된 기하학적 개념 지형을 항해하고 있으며, 이제 우리는 그 지도를 보고 좌표를 읽을 뿐만 아니라 차량까지 운전할 수 있다고 주장합니다.

기술 요약: 공간 속의 이야기: 개념적 신념 공간에서의 문맥 학습 궤적

문제 제기

대규모 언어 모델 (LLM) 은 가중치 업데이트 없이 새로운 정보에 맞춰 행동을 적응시키는 놀라운 문맥 학습 (ICL) 능력을 보여줍니다. 이 과정은 종종 베이지안 추론으로 설명되는데, 여기서 모델은 입력 데이터에 기반하여 잠재 개념들을 재가중합니다. 그러나 이러한 추론이 작동하는 잠재 가설 공간의 구조는 여전히 불분명합니다. 구체적으로, LLM 이 복잡한 개념을 어떻게 표현하며, 신념 업데이트가 일정하고 단조로운 것이 아니라 비선형적이고 고유한 방식으로 발생할 수 있는 자유형 텍스트 (예: 이야기) 를 처리함에 따라 이러한 개념들에 대한 신념을 어떻게 동적으로 업데이트하는지는 알려져 있지 않습니다.

방법론

저자들은 LLM 이 개념적 신념 공간이라고 불리는 저차원 기하학적 공간 위에 신념을 할당하며, ICL 이 이 공간을 통과하는 궤적에 해당한다고 제안합니다. 이를 조사하기 위해 저자들은 동적 신념 업데이트를 위한 자연스러운 환경인 이야기 이해를 활용하여 행동 분석과 표현 분석을 결합합니다.

이론적 틀

이 연구는 불확실성과 신념을 설명하기 위해 개념 공간 이론 (Gärdenfors, 2000) 을 확장합니다.

개념 공간 ( $C$ ): 속성들에 대한 거리 공간으로, 개념들은 볼록 부분 공간으로 정의됩니다.
개념적 신념 공간 ( $B$ ): $C$ 에 대한 확률 분포들의 거리 공간으로, 모델의 신념 상태를 나타냅니다.
신념 궤적: 모델이 이야기 $x_{1:T}$ 를 처리함에 따라 형성되는 신념 상태들의 시퀀스 ( $b_{1:T}$ ) 로, 신념 공간을 통과하는 경로를 형성합니다.

실험 설정

데이터셋: 저자들은 다양한 스타일 (모험, 고전, 경쾌함, 우울함, 비극) 의 합성적으로 생성된 짧은 이야기로 구성된 SimpleStories 데이터셋을 사용합니다.
도메인: 세 가지 개념 도메인이 테스트되었습니다.
1. 감정: 행복, 슬픔, 분노, 놀람, 두려움, 혐오.
2. 장르: 경쾌함, 동화, 모험, 긴장감, 비극, 공포.
3. 임의적: 마법, 동물, 호기심, 팀워크, 창의성, 책임감 (예상되는 구조가 없는 반례로 작용).
모델: Llama-3.1-8b-instruct (4 비트 양자화).

핵심 기법

신념 도출: 모델은 이야기의 각 문장 후에 특정 개념의 적용 가능성을 0~10 척도로 평가하도록 프롬프트됩니다. 행동적 신념 상태 $y_{t,c}$ 는 모델의 토큰 확률의 기대값으로 계산됩니다.
차원 축소: 행동 데이터 ( $Y$ ) 와 잔차 활성화 ( $Z$ ) 모두에 균일 매니폴드 근사 및 투영 (UMAP) 과 PCA 를 적용하여 저차원 매니폴드 ( $\mathcal{M}_y$ 및 $\mathcal{M}_z$ ) 를 식별합니다.
선형 프로브: 선형 회귀 모델을 훈련하여 은닉층 활성화 ( $z_{t,\ell}$ ) 로부터 행동적 신념 ( $y_{t,c}$ ) 을 예측함으로써 신념이 선형적으로 인코딩되는지 테스트합니다.
활성화 조향: 저자들은 선형 프로브 가중치 또는 평균 차이에서 유도된 조향 벡터를 추가하여 잠재 활성화에 개입함으로써 신념 궤적에 대한 인과적 통제를 테스트합니다.

주요 기여 및 결과

1. 저차원 구조화된 매니폴드

이 연구는 LLM 의 신념 업데이트가 저차원 구조화된 매니폴드 위의 궤적으로 잘 설명된다는 사실을 발견했습니다.

행동적 및 표현적 정렬: 모델 행동 ( $\mathcal{M}_y$ ) 과 내부 활성화 ( $\mathcal{M}_z$ ) 로부터 유도된 매니폴드는 높은 상관관계를 가지며 구조적 특성을 공유합니다.
도메인 구조: 감정 및 장르 도메인의 경우 매니폴드는 명확한 구조를 보입니다. 감정의 경우, 학습된 매니폴드의 기하학은 인간이 검증한 Valence-Arousal 공간 (Russell & Mehrabian, 1977) 과 밀접하게 일치하며, 인간 평가와 모델의 행동적 매니폴드 간의 상관관계는 $r=0.93$ 입니다.
임의적 도메인과의 대비: 고유한 의미적 구조가 없는 임의적 도메인은 덜 명확한 매니폴드 구조를 보이며 행동과 활성화 매니폴드 간의 상관관계가 낮았습니다 ( $r=0.71$ ). 이는 구조가 의미 있는 개념적 관계에서 비롯된다는 가설을 지지합니다.

2. 신념의 선형 해독 가능성

은닉층 활성화로 훈련된 선형 프로브는 모델의 행동적 신념을 정확하게 예측할 수 있습니다.

$\ell=9$ 층의 프로브는 신념 역학을 예측하는 데 낮은 평균 제곱근 오차 (RMSE) 를 달성했습니다: 감정 0.09, 장르 0.09, 임의적 0.11.
이는 모델이 특정 개념을 명시적으로 고려하도록 지시받지 않았을 때조차 모델의 "신념"에 관한 정보가 잔차 스트림에서 선형적으로 접근 가능함을 시사합니다.

3. 인과적 조향과 기하학

은닉 표현에 대한 개입은 신념 궤적을 인과적으로 조향하며, 이러한 개입의 효과는 개념 공간의 기하학으로부터 예측 가능합니다.

조향 효과: 목표 개념 (예: 슬픔) 에 대한 조향 벡터를 추가하면 모델의 궤적이 해당 개념 방향으로 신념 매니폴드 내에서 이동합니다.
조향 얽힘: 한 개념에 대한 조향은 종종 관련 개념에 영향을 미칩니다 (예: 슬픔에 대한 조향은 분노를 증가시키고 행복을 감소시킴). 이러한 얽힘은 매니폴드 내 개념 중심점들 사이의 기하학적 거리를 반영합니다.
예측 가능성: 개념들 간의 조향 얽힘 정도는 학습된 매니폴드 내 그들의 중심점 사이의 거리와 유의미하게 상관관계가 있습니다 (감정의 경우 $r=0.65$ ).
층 역학: 단일 층에서의 조향은 모델의 자기 수정으로 인해 종종 출력까지 지속되지 않지만, 여러 층 (예: 7~14 층) 에 걸친 조향은 최종 출력 행동을 성공적으로 변경합니다.

중요성 및 주장

이 논문은 LLM 의 신념 역학에 대한 기하학적 설명을 제공하며, 문맥 학습에 대한 베이지안 해석을 구조화된 개념 표현에 기반한다고 주장합니다.

프레임워크의 통합: 이 연구는 학습에 대한 확률론적 이론 (베이지안 추론) 과 인지과학에서의 개념 표현에 대한 기하학적 이론 (개념 공간) 사이의 간극을 연결합니다.
해석 가능성: 자유형 텍스트에서의 복잡하고 동적인 신념 업데이트가 저차원 공간을 통한 매끄러운 궤적으로 이해될 수 있으며, 이는 해독되고 조작될 수 있음을 보여줍니다.
겸손함: 저자들은 연구가 수동으로 선택된 도메인과 개념에 의존하며, 개념을 구성적이지 않고 단일한 것으로 취급하고, 캐릭터별 신념보다는 전역적인 이야기 수준의 신념에 초점을 맞춘다는 한계를 인정합니다. 이를 LLM 해석 가능성에 대한 이론적 기초를 향한 초기 단계로 규정하며, 향후 연구는 개념 도메인을 발견하기 위한 "자동 해석 가능성" 방법을 탐구하고 이러한 공간이 장문 생성에서 불확실성을 어떻게 형성하는지 조사해야 한다고 제안합니다.

요약하자면, 이 논문은 LLM 이 단순히 토큰의 시퀀스로 텍스트를 처리하는 것이 아니라, 구조화된 저차원 개념적 신념 공간을 항해하며, 서사의 의미적 및 정서적 내용을 반영하는 매끄러운 궤적을 따라 내부 상태를 업데이트한다고 주장합니다.