📊 statistics

Task Vector Geometry Underlies Dual Modes of Task Inference in Transformers

본 논문은 트랜스포머가 작업 추론을 위해 서로 다른 기하학적 메커니즘을 활용함을 보여주는데, 여기서 분포 내 인식은 학습된 작업 벡터의 볼록 결합에 의존하는 반면, 분포 외 적응은 거의 직교하는 부분 공간에서의 외삽 학습을 통해 나타난다.

원저자: Hao Yan, Haolin Yang, Yiqiao Zhong

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Yan, Haolin Yang, Yiqiao Zhong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 언어 모델 (지금 대화 중인 AI 와 같은) 을 분주한 주방에서 일하는 고도의 기술을 갖춘 요리사로 상상해 보세요. 이 요리사는 고객이 방금 주문한 내용 (맥락) 을 바탕으로 고객이 원하는 요리를 파악하는 두 가지 뚜렷한 방식을 가지고 있습니다.

이 논문은 요리사의 뇌 (모델의 내부 수학) 가 이러한 두 가지 다른 상황을 어떻게 처리하는지 어떻게 다루는지 조사합니다. 연구원들은 작은 AI 모델인 요리사의 축소된 단순화된 버전을 구축하고 통제된 실험실에서 그 '마음' 내부에서 정확히 어떤 일이 일어나는지 이해하도록 훈련시켰습니다.

간단한 비유를 사용하여 그들의 발견을 다음과 같이 분류해 보겠습니다:

두 가지 사고 모드

이 논문은 AI 가 상황에 따라 완전히 다른 두 가지 '정신 기어'를 사용한다는 것을 발견했습니다:

기억의 길 기어 (분포 내, In-Distribution):
- 상황: 고객이 요리사가 천 번 이상 요리해 본 요리를 주문합니다 (예: "매운 파스타를 만들어 주세요").
- 작동 방식: 요리사는 열심히 생각할 필요가 없습니다. 그들은 단순히 정신 서랍장 속으로 손을 넣어 특정 '매운 파스타' 폴더를 꺼내 레시피를 따르기만 하면 됩니다.
- 수학: 연구원들은 이를 **베이지안 작업 검색 (Bayesian Task Retrieval)**이라고 부릅니다. AI 는 대화의 단서를 살펴보고 이것이 익숙한 작업일 확률을 계산한 후, 올바른 답을 얻기 위해 '기억 벡터' (재료 섞기처럼) 를 혼합합니다. 믹싱 보드의 슬라이더를 미끄러뜨려 올바른 기억들을 섞는 것과 같습니다.
발명가 기어 (분포 외, Out-of-Distribution):
- 상황: 고객이 요리사가 한 번도 본 적 없는 것을 요청합니다 (예: "파란색 색깔처럼 맛나고 종소리처럼 들리는 요리를 만들어 주세요").
- 작동 방식: 요리사는 파일이 존재하지 않기 때문에 파일을 꺼낼 수 없습니다. 대신 요청 자체의 패턴을 살펴봐야 합니다. 그들은 단어의 구조와 요청의 논리를 분석하여 즉석에서 해결책을 발명합니다.
- 수학: 연구원들은 이를 **외삽적 작업 학습 (Extrapolative Task Learning)**이라고 부릅니다. 결정적으로, AI 가 이를 수행할 때 동일한 '서랍장' (기억 벡터) 을 사용하지 않는다는 것을 발견했습니다. 대신 기억 부분과 **거의 수직 (90 도 각도)**인 뇌의 완전히 다른 부분으로 전환합니다.

큰 발견: 두 개의 분리된 방

가장 흥미로운 발견은 이러한 두 기어가 단순히 한 번에 연속적으로 발생하는 것이 아니라, AI 내부의 두 개의 서로 다른 기하학적 공간을 차지한다는 것입니다.

기억의 방: AI 가 작업을 기억할 때, 내부 생각은 알려진 작업 벡터로 가득 찬 특정 '방' (부분 공간) 안에 머뭅니다.
혁신의 방: AI 가 새로운 작업을 파악해야 할 때, 그 생각은 첫 번째 방과 거의 직각을 이루는 다른 방으로 뛰어듭니다.

비유: AI 의 뇌를 거대한 창고라고 상상해 보세요.

작업이 익숙하다면, 로봇은 사전 제작된 상자를 가져오기 위해 **1 번 통로 (작업 부분 공간)**를 따라 걷습니다.
작업이 새롭다면, 로봇은 1 번 통로를 보지 않습니다. 대신 즉시 90 도 회전하여 **2 번 통로 (직교 부분 공간)**를 따라 걷고 원자재로 무언가 새로운 것을 만듭니다.

이 논문은 로봇이 '기억 통로'를 사용하여 새로운 문제를 해결하도록 강요하면 실패한다는 것을 증명합니다. 성공하려면 반드시 '혁신 통로'로 전환해야 합니다.

어떻게 증명했는가

연구원들은 단순히 추측한 것이 아니라, 정확한 규칙을 알고 있는 '가짜' 데이터 (편향된 주사위를 굴리거나 만든 언어의 다음 단어를 예측하는 것 등) 로 실험을 수행했습니다.

'조종' 테스트: 연구원들은 AI 의 내부 생각을 수동으로 '기억 통로' 방향으로 살짝 밀어주자, 입력이 일치하지 않더라도 AI 가 갑자기 특정 작업을 기억하는 것처럼 행동하기 시작한다는 것을 발견했습니다. 이는 '기억 통로'가 검색을 통제한다는 것을 증명했습니다.
'새로운 작업' 테스트: AI 에게 새로운, 보지 못한 작업을 주었을 때, 내부 생각이 자연스럽게 '혁신 통로' (수직 공간) 로 이동한다는 것을 발견했습니다. 그들이 그 통로를 막으면 AI 는 새로운 작업을 학습하지 못했습니다.

'비마르코프' 반전 (예외)

이 논문은 규칙이 까다로운 상황 (처음 열린 괄호를 기억해야 마지막 닫는 괄호를 닫을 수 있는 복잡한 괄호 매칭 게임과 같은) 도 테스트했습니다. 이 경우 AI 는 상황을 단순한 '기억 벡터'로 요약할 수 없었습니다. 대신 전체 역사를 마음속에 유지해야 했습니다. 이는 '기억 통로'가 작업을 단순히 요약할 수 있을 때만 작동한다는 것을 보여주었습니다. 작업을 요약하기에는 너무 복잡하면 AI 의 뇌는 혼란스러워지고 두 개의 깔끔한 방 중 어느 곳에도 깔끔하게 들어맞지 않습니다.

요약

간단히 말해, 이 논문은 AI 가 단순히 일반적인 방식으로 '더 똑똑해지지' 않는다고 설명합니다. AI 는 특정한 기하학적 구조를 가지고 있습니다:

이전에 본 것들을 위해 알려진 개념들을 혼합하는 기억의 길이 있습니다.
본 적 없는 것들을 위해 새로운 논리를 구축하는 수직 혁신 길이 있습니다.
새롭고 보지 못한 작업을 처리하는 능력은 전적으로 AI 가 그 두 번째 수직 길로 전환하는 능력에 달려 있습니다.

이 논문은 AI 내부 수학의 '형태' (기하학) 가 과거의 것을 기억하든 새로운 것을 배우든 하는지에 직접적인 책임이 있다고 결론지었습니다.

기술 요약: 트랜스포머의 작업 추론 이중 모드는 작업 벡터 기하학에 기반함

문제 제기

대형 언어 모델 (LLM) 은 두 가지 구별되는 작업 추론 모드를 보여줍니다: 베이지안 작업 검색(훈련 중에 본 작업을 인식하고 검색함) 과 외삽적 작업 학습(새롭고 분포 밖 (OOD) 작업에 적응함). 최근 해석 가능성 연구는 모델의 행동을 유도하는 은닉 상태 공간의 방향인 "작업 벡터"를 식별해 냈지만, 이러한 내부 표현과 외부 일반화 행동을 연결하는 이론적 기반은 여전히 부족합니다. 구체적으로 기존 연구는 다음을 엄밀하게 설명하지 못합니다:

훈련 데이터 분포가 작업 벡터 기하학을 어떻게 형성하는지.
어떤 구체적인 기하학적 구조가 OOD 일반화를 가능하게 하는지.
휴리스틱이고 모델 특이적인 추출 방법에 의존하지 않고 내부 표현이 통계적 구조와 모델 행동 간의 연결을 어떻게 매개하는지.

방법론

저자들은 신중하게 통제된 합성 잠재 작업 시퀀스 분포에 대해 처음부터 작은 디코더 전용 트랜스포머를 훈련시킴으로써 이러한 격차를 해소합니다. 이 "그레이박스" 접근법은 자연어에 대한 사전 훈련의 교란 요인에서 자유로운 은닉 상태의 원칙적인 수학적 특성을 가능하게 합니다.

실험 설정

세 가지 합성 실험 (E1–E3) 이 사용되며, 여기서 시퀀스는 관찰되지 않은 잠재 변수 $z$ (작업) 로부터 생성됩니다:

E1 (편향된 주사위): 잠재 변수는 디리클레 사전에서 샘플링된 확률 벡터이며, 토큰은 독립 동일 분포 (i.i.d.) 로 샘플링됩니다.
E2 (문맥 내 선형 회귀): 잠재 변수는 가우시안 사전에서 샘플링된 가중치 벡터이며, 시퀀스는 입력 - 출력 쌍으로 구성됩니다.
E3 (마르코프 체인 혼합): 잠재 변수는 디리클레 사전에서 샘플링된 전이 행렬이며, 시퀀스는 마르코프 체인입니다.

네 번째 실험 (E4, 심어진 Dyck 언어) 은 제안된 프레임워크의 한계를 테스트하기 위한 비마르코프적 반례로 작용합니다.

이론적 프레임워크

본 논문은 특정 작업에 대한 은닉 상태와 전역 평균 간의 극한 차이로 작업 벡터 $\theta_k$ 를 정의합니다. 그리고 성공적인 작업 검색을 특징짓는 네 가지 기하학적 속성 (P0–P3) 을 확립합니다:

P0 (안정성): 은닉 상태는 잠재 작업과 현재 토큰의 결정론적 함수가 됩니다.
P1 (분리): 은닉 상태는 작업 벡터와 토큰 인코딩으로 가법적으로 분해됩니다 (선형 표현 가설).
P2 (보간): 유한한 문맥에서 은닉 상태는 작업 벡터의 볼록 결합입니다.
P3 (정렬): 이러한 볼록 결합의 계수는 작업에 대한 베이지안 사후 확률을 근사합니다.

저자들은 이를 **외삽적 작업 학습 (M2)**과 대비시키며, OOD 추론은 작업 벡터 부분 공간 외부에 있는 표현을 필요로 한다고 가정합니다.

주요 기여 및 결과

1. 표현 기하학과 일반화의 통합

본 논문은 베이지안 작업 검색이 내부적으로 학습된 작업 벡터의 볼록 결합을 통해 구현됨을 보여주는 엄밀한 수학적 프레임워크를 제공합니다.

증거: 실험 E1–E3 에서 모델의 은닉 상태는 속성 P0–P3 을 만족합니다. 작업 벡터 혼합의 계수 ( $\beta_{t,k}$ ) 는 문맥이 축적됨에 따라 실제 베이지안 사후 확률 ( $\alpha_{t,k}$ ) 을 밀접하게 추적합니다.
인과적 검증: 작업 벡터 부분 공간에 개입하여 (작업 심플렉스의 특정 지점으로 은닉 상태를 유도하여) 모델의 출력을 해당 혼합 예측과 일치하도록 유도하는 데 성공함으로써, 작업 벡터가 분포 내 (ID) 작업에 대한 추론을 인과적으로 통제함을 확인했습니다.

2. 거의 직교하는 부분 공간을 통한 이중 추론 모드 발견

본 논문은 OOD 작업을 위한 **외삽적 작업 학습 (M2)**이 ID 작업 벡터 부분 공간과 거의 직교하는 부분 공간에서 작동함을 보여줍니다.

메커니즘: 작업 다양성이 증가함에 따라 (몇 개의 "주요" 작업과 많은 "부차적" 작업의 혼합으로 훈련함으로써) 모델은 작업 벡터 검색에만 의존하는 것에서 별도의 계산 경로를 활용하는 것으로 전환됩니다.
기하학적 증거: 작업 다양성이 낮을 때, OOD 은닉 상태는 ID 작업 부분 공간으로 강하게 투영됩니다. 다양성이 증가함에 따라 OOD 표현은 직교성 쪽으로 이동합니다 (투영 $R^2 \to 0$ ).
인과적 검증: 개입 실험은 "이중 분해"를 확인합니다:
- 작업 벡터 부분 공간을 억제하면 ID 성능은 치명타를 입지만 OOD 성능은 대부분 유지됩니다.
- 직교 부분 공간(부차적 작업에 대한 최적화를 통해 식별됨) 을 억제하면 OOD 성능은 파괴되지만 ID 성능은 기준선에 가깝게 유지됩니다.
이론적 기반: 정리 2 는 OOD 표현과 작업 부분 공간 사이의 거리에 대한 하한을 제공하며, OOD 예측 맵의 고유 차원이 작업 벡터 부분 공간의 차원을 초과하면 모델은 정확하게 일반화하기 위해 반드시 해당 부분 공간 외부의 표현을 활용해야 함을 보여줍니다.

3. 프레임워크의 한계 (비마르코프적 경우)

1 차 마르코프 성질이 결여되어 있어 압축적 요약을 요구하는 심어진 Dyck 언어 실험 (E4) 에서, 모델은 속성 P0 을 만족하지 못합니다. 문맥을 저차원 요약으로 압축하는 대신, 모델은 은닉 상태에 전체 접두사 이력을 유지합니다. 이는 제안된 기하학적 프레임워크가 통계적 충분량을 허용하는 데이터 생성 과정에 의존함을 강조합니다.

중요성과 주장

본 논문은 트랜스포머가 이중 추론 모드를 구현하는 방식을 엄밀하고 수학적으로 근거한 특성을 처음으로 제공한다고 주장합니다:

ID 추론: 모델이 기억된 작업 간에 보간하는 작업 벡터 부분 공간 내의 베이지안 작업 검색에 의해 지배됨.
OOD 추론: 특정 작업 정체성이 아닌 문맥 통계 (예: 경험적 유니그램, 릿지 해, 바이그램) 를 인코딩하는 거의 직교하는 부분 공간에서의 외삽적 작업 학습에 의해 지배됨.

저자들은 작업 벡터 기하학, 훈련 분포, 일반화 행동이 밀접하게 관련되어 있다고 주장합니다. 구체적으로, 작업 다양성을 증가시키면 모델이 일반화를 처리하기 위해 직교 부분 공간을 개발하도록 강제하여 검색과 학습 모드의 공존을 설명합니다. 이 연구는 "선형 표현 가설"이 ID 작업에는 적용되지만 OOD 일반화를 설명하기 위해서는 (직교 부분 공간을 통해) 확장되어야 함을 시사합니다.

본 논문은 분석이 특정 마르코프 성질을 가진 합성 데이터에 의존하며 자연어에서의 완전한 OOD 일반화에 대한 기계적 설명은 여전히 열린 과제임을 지적하며 겸손한 입장을 취합니다. 이는 내부 표현 기하학과 외부 일반화 능력 간의 격차를 해소하기 위한 기초적인 단계로 자신을 위치시킵니다.