💻 computer science

Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

이 연구는 선형 프로브(linear probes)가 언어 모델의 은닉 상태(hidden states)로부터 미래의 의미론적 정보를 추출할 수 있음을 입증하며, 이러한 직접적인 판독(direct readout)의 효과성이 자기회귀적 롤아웃(autoregressive rollout)에 비해 어떠한지에 대한 상충 관계(trade-off)가 임베딩 공간, 생성 지평(generation horizon), 그리고 프롬프트의 내재적 예측 가능성에 따라 달라짐을 밝혀낸다.

원저자: Jaekeol Choi

게시일 2026-09-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jaekeol Choi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

언어 모델이라고 알려진 현대의 컴퓨터 프로그램들은 한 번에 한 단어씩 텍스트를 생성하며 작동합니다. 이들은 사용자가 입력한 단어들을 살펴보고 다음에 올 단어를 추측한 뒤, 그 새로운 단어를 사용하여 그다음 단어를 추측하는 방식으로 문장을 단계별로 구축해 나갑니다. 오랫동안 과학자들은 이 프로그램들이 다음에 올 추측이 허용하는 범위만큼만 미래를 알고 있다고 가정해 왔습니다. 그러나 새로운 연구는 이 복잡한 수학적 기계 장치 내부에, 컴퓨터가 실제로 단 한 단어를 타이핑하기도 전에 이미 다음에 말할 내용의 일반적인 의미를 포함하고 있는 숨겨진 정보 계층이 존재한다는 점을 시사합니다. 이 연구는 이러한 모델의 내부 상태가 미래 텍스트에 대한 '미리보기'를 보유하고 있는지, 이 미리보기가 단순히 프롬프트를 읽는 것과 비교했을 때 얼마나 명확한지, 그리고 이 미리보기를 아는 것이 컴퓨터가 쓰는 글을 변화시킬 수 있게 하는지를 탐구합니다.

한국외국어대학교의 최재결 연구원은 여러 가지 버전의 대중적인 언어 모델을 사용하여 이 아이디어를 테스트하기 위해 연구를 시작했습니다. 연구진은 컴퓨터가 새로운 문장을 생성하기 직전의 순간에 집중했습니다. 이 정확한 순간에 모델은 사용자의 입력을 처리한 상태이며, 지금까지 이해한 모든 것을 요약하는 복합적인 숫자 패턴인 특정한 내부 표현을 보유하고 있습니다. 연구팀은 간단한 질문을 던졌습니다. 만약 이 내부 패턴을 본다면, 문장이 아직 쓰이지 않았음에도 불구하고 앞으로 나올 문장의 일반적인 주제나 느낌을 알 수 있는가? 이를 알아내기 위해 연구팀은 이러한 내부 패턴을 읽고 이를 미래 텍스트의 요약본으로 번역하는 간단한 도구를 훈련시켰습니다. 연구팀은 이 방법을 컴퓨터가 실제로 몇 단어를 먼저 생성하게 하거나, 내부의 뇌를 들여다보지 않고 오직 원래의 프롬프트만을 바탕으로 미래를 예측하는 방식 등 다른 미래 예측 방식들과 비교했습니다.

연구 결과, 답은 '예'였습니다. 모델의 내부 패턴은 미래 텍스트의 의미를 담고 있는 선형적으로 접근 가능한 지도를 포함하고 있었습니다. 연구진이 문장을 생성하기 전 컴퓨터의 내부 상태를 살펴보았을 때, 그들은 해당 문장의 일반적인 의미적 내용을 성공적으로 예측할 수 있었습니다. 이는 수억 개의 파라미터를 가진 작은 모델부터 수십억 개의 파라미터를 가진 거대 모델에 이르기까지 다양한 모델 크기와 구조에서 공통적으로 나타났습니다. 이 미래의 의미를 읽어내는 능력은 컴퓨터의 처리 네트워크 중 더 깊은 층(layer)에서 가장 강력하게 나타났습니다. 그러나 이 미리보기의 명확성은 연구진이 '의미'를 어떻게 정의하느냐에 따라 크게 달라졌습니다. 연구진이 의미를 측정하는 특정한 방식을 사용했을 때는 내부의 미리보기가 단순히 프롬프트만을 바탕으로 추측하는 것보다 훨씬 뛰어난 성능을 보였습니다. 하지만 다른 방식으로 의미를 측정했을 때는 내부의 뇌를 들여다보는 것의 이점이 훨씬 작아졌으며, 때로는 시작 단어들만을 보고 추측하는 것과 거의 구별되지 않을 정도였습니다.

또한 연구진은 이 '내부 미리보기' 방식과 더 명백한 전략인 컴퓨터가 실제로 몇 단어를 먼저 쓰게 하는 방식을 비교했습니다. 만약 컴퓨터가 세 단어 또는 다섯 단어를 생성하도록 내버려 둔다면, 내부 상태로부터 추측하는 것보다 문장이 어디로 향하고 있는지에 대해 훨씬 더 명확한 그림을 얻게 됩니다. 이는 당연한 결과인데, 컴퓨터가 이미 그 단어들을 쓰는 작업을 마쳤기 때문입니다. 그러나 연구는 흥러운 절충 관계(trade-off)를 드러냈습니다. 대상 문장이 길어지고 미래가 더 멀어질수록, 컴퓨터가 더 많은 단어를 쓰게 함으로써 얻는 이점은 줄어듭니다. 만약 목표가 256단어 뒤에 올 문장의 의미를 이해하는 것이라면, 내부 미리보기는 중간 단계의 단어들을 모두 생성하는 데 드는 계산 비용 없이도 짧은 접두사를 생성하는 것과 맞먹는 경쟁력을 보여줍니다. 즉, 내부 상태는 중간 단어들을 모두 생성하는 데 드는 계산 비용 없이도 먼 미래를 파악할 수 있는 방법을 제공하지만, 긴 시퀀스를 실제로 생성하는 정확도를 완전히 넘어서지는 못합니다.

아마도 이 연구에서 가장 흥미로운 부분은 이러한 지식이 컴퓨터의 행동을 변화시키는 데 사용될 수 있는지 테스트한 것이었습니다. 연구자는 특정 감정(예를 들어 긍정 또는 부정)을 향하는 내부 상태의 방향을 찾아내어, 컴퓨터가 글을 쓰기 시작하기 전에 그 방향으로 유도하려고 시도했습니다. 연구진은 예측된 내용을 바탕으로 내부 상태를 조정함으로써, 무작위로 조정하는 것보다 더 효과적으로 생성된 텍스트의 어조를 바꿀 수 있다는 것을 발견했습니다. 그러나 이러한 성공은 모델의 모든 부분에서 균일하게 나타나지는 않았습니다. 어떤 모델에서는 미래의 의미를 읽어내기 가장 쉬운 층이 결과를 바꾸기 위해 개입하기 가장 좋은 곳이기도 했습니다. 반면, 다른 모델들에서는 이 두 가지가 전혀 일치하지 않았습니다. 미래의 미리보기를 가장 명확하게 보여주는 층이 때로는 결과를 바꾸기 위해 개입하기에는 적절하지 않은 곳이 되기도 했습니다. 실제로 어떤 경우에는 미래의 텍스트를 바꾸기 위해 해당 층에서 시도한 변화가 오히려 의도한 것과 반대 방향으로 컴퓨터를 밀어붙이는 결과가 나타나기도 했습니다.

이러한 발견은 언어 모델이 자신의 내부 상태 안에 자신의 미래 출력에 대한 정보를 가지고 있기는 하지만, 이것이 읽기만을 기다리는 미리 작성된 대본은 아니라는 점을 시사합니다. 대신, 그것은 네트워크의 어떤 부분에서는 접근하기 쉽고 어떤 부분에서는 그렇지 않은, 복잡하고 층이 나뉜 신호입니다. 이 연구는 컴퓨터가 자신의 단어들의 미래 의미를 '볼' 수 있다고 해서, 전체 응답을 완전히 미리 계산하고 있다는 뜻은 아님을 명확히 합니다. 또한 신호를 읽을 수 있는 능력과 그것을 제어할 수 있는 능력은 서로 다르다는 점을 강조합니다. 미래를 예측하는 능력과 미래를 조종하는 능력은 서로 관련되어 있지만 별개의 능력이며, 모델 내의 동일한 장소에서 일어나지 않을 수도 있습니다. 이 연구는 이러한 지능형 시스템이 자신이 곧 말할 내용에 대한 정보를 어떻게 조직하는지에 대한 더 명확한 지도를 제공하며, 그들의 내부 상태가 이전에 이해되었던 것보다 미래를 내다보는 데이터로 더 풍부하게 채워져 있지만, 단순한 판독값처럼 제어하기에는 더 복잡하다는 것을 보여줍니다.

기술 요약: 언어 모델 은닉 상태로부터 미래 의미론 해독하기

문제 정의
자기회귀적 신경망 언어 모델은 토큰 단위로 텍스트를 생성하지만, 내부의 은닉 상태 표현은 해당 토큰들이 생성되기 전에 미래의 연속된 내용에 대한 의미 정보를 인코딩하고 있을 수 있다. 기존 연구들이 미래 토큰의 정체나 전역적인 응답 속성을 예측할 수 있음을 입증했음에도 불구하고, 세 가지 결정적인 공백이 남아 있다:

확장된 미래 연속 내용의 *연속적 의미론(continuous semantics)*이 단순 선형 판독(linear readout)을 통해 접근 가능한지, 그리고 이것이 프롬프트만으로 예측 가능한 것과 구별되는지에 대해 불분명하다.
프로브(probe) 성능이 정적인 대조군을 대상으로 평가되는 경우가 많아, 명시적으로 짧은 접두사를 생성하는 것(자기회귀적 롤아웃)이 이와 대등하거나 더 우수한 의미 정보를 드러내는지에 대한 고려가 부족하다.
수동적 해독 가능성(passive decodability)이 반드시 인과적 유용성(causal utility)을 보장하는 것은 아니다. 즉, 미래의 의미론을 가장 잘 노출하는 층이 인과적 개입(steering)을 위한 가장 효과적인 지점인지 여부는 알려져 있지 않다.

방법론
본 연구는 선형 리지 프로브(linear ridge probe)를 사용하여 마지막 프롬프트 토큰의 은닉 상태( $h_\ell(x)$ )를 모델 자신의 미래 연속 내용( $y_{1:H}$ )의 문장 수준 의미 임베딩( $z_{H,E}$ )에 매핑한다. 의미론적 타겟은 독립적으로 학습된 문장 인코더( $E$ , 구체적으로 MiniLM, BGE-base, E5-base)를 사용하여 정의된다.

실험 프레임워크는 세 가지 핵심 질문을 평가한다:

의미론적 회복 가능성(Semantic Recoverability): 은닉 상태로부터 연속 내용의 임베딩을 예측하도록 선형 프로브를 학습시킨다. 성능은 코사인 유사도와 검색 지표(Recall@K)를 통해 측정된다.
베이스라인 비교: 프로브를 다음 항목들과 비교한다:
- 프롬프트-의미론 대조군(Prompt-semantic controls): 프롬프트 임베딩을 연속 내용 임베딩에 직접 매핑하는 베이스라인(Prompt Ridge)을 사용하여, 은닉 상태가 프롬프트 수준의 예측 가능성보다 갖는 이점을 격리한다.
- 잠재 디코더(Latent decoders): Tuned Lens 및 Future Lens에서 영감을 받은 소규모 데이터 아핀 디코더(small-data affine decoders).
- 행동적 롤아웃(Behavioral Rollout): $m$ 개의 토큰을 명시적으로 자기회귀 생성한 후, 이를 임베딩하여 전체 연속 내용 타겟과 비교한다.
인과적 스티어링(Causal Steering): 긍정 및 부정 앵커 임베딩 간의 차이로부터 감성 축(sentiment axis)을 도출한다. 이 방향을 프로브 가중치를 통해 은닉 상태 공간으로 투영하고, 프롬프트 프리필(pre-fill) 단계 동안 개입( $h'_\ell = h_\ell + \alpha_\ell d_\ell$ )으로 적용한다. 스티어링 효능은 매칭된 무작위 섭동(random perturbations) 대비 생성된 감성의 변화량을 통해 측정된다.

실험은 네 가지 Pythia 모델(410M ~ 2.8B)과 세 가지 Qwen 모델(1.5B ~ 4B)을 대상으로 다양한 길이 및 고정된 호라이즌(최대 256 토큰) 설정에서 수행된다.

주요 결과

선형 회복 가능성: 미래 연속 내용의 의미론은 모델 패밀리와 규모에 관계없이 은닉 상태로부터 일관되게 선형적으로 회복 가능하다. Pythia-1.4B의 경우, 프로브는 코사인 유사도 0.4283(MiniLM)을 달성하며 토큰 정체성 베이스라인(Logit Lens) 및 무작위 대조군을 유의미하게 상회한다.
표현 의존성(Representation Dependence): 학습된 프롬프트-대-연속 내용 베이스라인(Prompt Ridge) 대비 은닉 상태 프로브의 이점은 표현 방식에 따라 달라진다. MiniLM 환경에서는 은닉 상태 프로브가 통계적으로 신뢰할 수 있는 우위( $\Delta \approx 0.028$ )를 보인다. 반면 BGE 및 E5 환경에서는 이 이점이 작으며 통계적으로 zero와 구별되지 않는다.
호라이즌-컴퓨팅 트레이드오프(Horizon–Compute Trade-off):
- 잠재 디코더(Tuned Lens/Future Lens 스타일)와 비교했을 때, 직접적인 의미론적 프로빙이 추가적인 자기회귀 단계 없이도 이러한 방식들보다 우수한 성능을 보인다.
- 행동적 롤아웃과 비교했을 때, 결과는 미묘하다. 짧은 호라이즌(예: $H=16$ )에서는 3-토큰 롤아웃이 프로브와 통계적으로 대등하지만, 5개 이상의 토кен 롤아웃은 더 강력하다. 그러나 예측 호라이즌( $H$ , 최대 256 토큰)이 증가함에 따라, 프로브는 고정된 롤아웃 예산( $m$ ) 대비 점점 더 경쟁력을 갖게 된다. "롤아웃 패리티 예산"(프로브와 일치시키기 위해 필요한 토큰 수)은 호라이즌에 따라 비감소한다.
- 테스트된 범위 내에서 프로브가 충분히 긴 롤아웃( $m=20$ )을 능가하는 교차 지점(crossover)은 관찰되지 않았다. 오히려 타겟이 멀어질수록 명시적 생성의 상대적 이점이 좁혀진다.
인과적 스티어링: 프로브로부터 도출된 감성 방향을 사용한 개입은 테스트된 모든 모델에서 무작위 섭동 대비 의도한 방향으로 생성을 인과적으로 변화시킨다.
해독 가능성 vs 스티어링 가능성(Decodability vs. Steerability): 수동적 해독 가능성과 인과적 스티어링 가능성은 보편적으로 일치하지 않는다. 일부 모델(예: Pythia-1.4B)은 최적의 수동 층과 최적의 스티어링 층 사이의 일치를 보이지만, 다른 모델들(예: Pythia-1.0B, Qwen2.5-1.5B)은 상당한 괴리를 보인다. 어떤 경우에는 높은 수동 회복성을 보이는 층이 음수 또는 0에 가까운 스티어링 마진을 나타내기도 한다.

의의 및 주장
본 논문은 미래 의미론적 접근성을 호라이즌-컴퓨팅-표현 트레이드오프로 특징짓는다고 주장한다. 연구 결과는 다음과 같은 점을 시사한다:

신경 은련 상태는 생성이 일어나기 전, 모델 자신의 미래 행동을 예측하는 선형적으로 접근 가능한 의미 구조를 포함하고 있다.
이러한 접근성은 미리 계산된 미래 응답의 증거가 아니며, 외부에서 정의된 인간 저자의 연속 내용으로 일반화되지도 않는다.
이 정보의 유용성은 사용된 의미 표현(예: MiniLM vs. BGE)과 가용 컴퓨팅 예산(프로빙 vs. 롤아웃)에 크게 의존한다.
결정적으로, 수동적 의미론적 접근성과 인과적 스티어링 가능성은 별개의 속성이다. 미래 의미를 가장 잘 노출하는 층이 반드시 개입에 가장 효과적인 층을 보장하는 것은 아니며, 강한 해독 가능성이 해당 방향으로의 섭동이 예상대로 생성을 인과적으로 변화시킬 것임을 보장하지도 않는다.

본 연구는 스티어링 결과가 개입 규모, 층 선택, 평가 재현성에 민감하다는 점을 언급하며 방법론적 엄밀함을 강조한다. 또한, 수동 프로브의 성능을 개입 효능의 유일한 대리 지표로 사용해서는 안 된다고 경고한다.

유사한 논문