🧬 biology

Features have life history. And we should care

본 논문은 언어 모델이 학습 초기 1% 이내에 빠르게 조립되는 약 50 개의 희소 특징으로 구성된 지속적인 "운반 비계"를 보유하고 있으며, 이는 모델의 후속 표현 구조와 발전을 결정하는 하중 지지 기반 역할을 한다는 사실을 밝힌다.

원저자: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Philipp Stecher, Sandro Radovanović, Vlasta Sikimić, Reinhard Kahle

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

거대 언어 모델 (에세이를 쓰거나 사용자와 대화하는 모델 등) 을 훈련시키는 것은 처음부터 거대하고 붐비는 도시를 건설하는 것과 같다고 상상해 보세요. 보통 완성된 도시를 바라보면 도로와 건물이 안정적으로 자리 잡은 지도를 보게 됩니다. 우리는 모든 것이 같은 속도로 함께 자라났다고 가정하곤 합니다.

하지만 이 논문은 그 도시가 숨겨진 생애사를 가지고 있다고 주장합니다. 도시의 일부는 첫 시간 동안 건설되어 결코 변하지 않았으며, 흔들리지 않는 기초가 되었습니다. 다른 부분들은 나중에 도착하여 그 기초 위에 세워졌고 훨씬 더 취약합니다.

다음은 논문의 발견을 통해 들려주는 그 기초의 이야기입니다:

1. "운반 발판 (Carrier Scaffold)": 도시의 골격

연구자들은 이러한 AI 모델 내부에 약 **50 개의 특별한 "기능 (features)"**으로 구성된 작은 그룹이 있음을 발견했습니다 (이를 도시의 주요 유틸리티 라인인 수도, 전기, 인터넷으로 생각하세요).

초기에 나타남: 이 50 개의 기능은 훈련 시간의 첫 1% 이내에 거의 즉시 나타납니다.
유지됨: 임시 건설 노동대처럼 나타났다 사라지는 다른 기능들과 달리, 이 50 개는 끝까지 살아남습니다.
모든 것을 지탱함: 저자들은 이 그룹을 **"운반 발판 (Carrier Scaffold)"**이라고 부릅니다. 이는 모델의 골격입니다. 이 특정 50 개의 기능을 제거하면 모델의 성능이 다른 임의의 50 개 기능을 제거할 때보다 훨씬 더 크게 추락합니다.

2. 두 단계 건설 프로젝트

이 논문은 훈련 과정이 엄격한 일정을 가진 건설 프로젝트처럼 두 가지 뚜렷한 단계로 진행된다고 제안합니다:

1 단계: "선택" (첫 1%)
수천 명의 노동자가 벽을 짓기 위해 애쓰는 혼란스러운 건설 현장을 상상해 보세요. 처음 몇 분 안에 "훌륭한" 노동자 (미래의 발판) 가 식별됩니다. 그들은 일찍 나타나 가장 중요한 작업을 수행하고 해고되지 않는 사람들입니다. 작업의 첫 1% 가 완료될 무렵, 골격은 이미 설정됩니다. 모델은 본질적으로 어떤 50 개의 기능이 리더가 될지 "결정"했습니다.
2 단계: "보정" (나머지 99%)
훈련의 나머지 기간 동안 모델은 새로운 골격을 짓지 않습니다. 대신 고정된 골격 주변의 페인트와 배선을 미세 조정할 뿐입니다. 기존 기하학을 다듬고 기존 리더들이 더 잘 작동하도록 만들지만, 누가 리더인지는 바꾸지 않습니다.

3. "수정구" 효과

가장 놀라운 발견 중 하나는 모델이 아직 자신의 일을 잘하지도 못하기 전에 리더가 될 사람들을 예측할 수 있다는 것입니다.

연구자들은 모델의 아주 초기 (1k 단계) 를 살펴보았습니다. 이 시점에서 모델은 텍스트 예측에 매우 서툴렀습니다.
그러나 그들이 가장 광범위하고 일관되게 활성화 (firing) 된 어떤 기능들을 살펴볼 수 있었습니다.
그 초기 데이터만 사용하여 그들은 모델이 유용한 것을 배우기 전에 미래 리더의 **80%**를 정확하게 식별할 수 있는 "수정구" (간단한 예측기) 를 만들었습니다.
교훈: 모델의 "기능" (무엇을 하는지) 이 먼저 결정됩니다. 그 "방향" (최종 답변과 어떻게 연결되는지) 은 나중에 다듬어질 뿐입니다.

4. 기능의 가계도

발판은 그냥 그곳에 앉아 있는 것이 아니라 모델의 나머지 부분에 대해 부모 역할을 합니다.

훈련이 계속됨에 따라 새로운 기능들이 태어납니다.
논문은 최종 모델의 모든 기능 중 약 **64%**가 그 원래 50 명의 리더들의 "후손"임을 발견했습니다. 그들은 초기 리더들이 조부모이고, 더 새롭고 구체적인 기능들이 자녀와 손자처럼 위계질서로 조직된 가계도와 같습니다.
원래 50 개의 기능은 전체 구조를 하나로 묶어주는 "뿌리"입니다.

5. 이것이 중요한 이유 ("우리가 왜 관심을 가져야 하는가?" 부분)

저자들은 우리가 현재 AI 를 연구하는 방식이 완성된 도시의 사진을 찍어 어떻게 건설되었는지 파악하려는 것과 같다고 말합니다.

문제점: 완성된 모델만 보면 하루 종일 리더였던 기능과 늦게 도착한 기능의 차이를 구별할 수 없습니다. 사진 속에서는 똑같이 보입니다.
해결책: "생애사" (누가 언제 태어났고 누가 살아남았는지) 를 추적함으로써 우리는 실제 하중을 지탱하는 구조를 볼 수 있습니다.
놀라운 사실: 가장 큰 무게를 지탱하는 기능 (발판) 은 종종 감정이나 문법 이해와 같은 우리가 기대하는 "지능적인" 기능보다는 바이트 코드나 파일 형식 처리와 같은 지루한 기술적 "인프라"처럼 보이는 것들입니다. "지능적인" 기능들은 실제로는 이 지루하고 흔들리지 않는 기초 위에 세워진 장식에 불과합니다.

요약 비유

AI 를 훈련시키는 것을 거대한 참나무를 키우는 것으로 생각하세요.

발판: 깊은 심근과 주요 줄기입니다. 이들은 묘목의 첫 며칠 안에 확립됩니다. 바꾸기 어렵고 나무 전체의 무게를 지탱합니다.
나머지 나무: 가지, 잎, 작은 가지들입니다. 이들은 나중에 자라나 주요 줄기에서 뻗어 나옵니다. 이들은 수량이 많고 구체적이지만, 지지를 위해 줄기에 전적으로 의존합니다.
논문의 통찰: 나무를 이해하려면 잎 (최종 스냅샷) 만 보면 안 됩니다. 뿌리 (생애사) 를 봐야 합니다. 뿌리는 매우 일찍 선택되었고, 나무의 나머지는 그 주변으로 자라났을 뿐입니다.

요약하자면: AI 의 "두뇌"는 고르게 건설되지 않습니다. 훈련 시작 몇 분 안에 가장 중요한 부분을 선택하고, 나머지 99% 의 시간은 그것들을 더 잘 사용하는 법을 배우는 데 보낼 뿐입니다.

기술적 요약: 언어 모델 학습에서의 특징 수명 이력과 운반자 발판

문제 제기
현재의 기계적 해석 가능성 연구는 주로 학습이 완료된 모델의 정적 "스냅샷"에 의존하며, 특징을 수렴 시점에서 고정된 실체로 취급합니다. 이러한 접근법은 학습 중에 발생하는 특징의 출현, 지속, 소멸이라는 역동적 과정을 가립니다. 본 논문은 특징이 학습 기간 동안의 발화 정체성 (무엇에 반응하는지) 과 디코더 방향 (예측에 어떻게 영향을 미치는지) 을 추적하는 "수명 이력"을 지닌다고 주장하며, 이는 모델의 내부 구조를 이해하는 데 필수적입니다. 구체적으로 저자들은 지속되는 특징의 하위 집합이 모델의 표현 공간을 조직하는 구조적 척추를 형성하는지, 그리고 이 구조가 학습 초기에 결정되는지 아니면 학습 전체에 걸쳐 균일하게 진화하는지 조사합니다.

방법론
본 연구는 두 가지 Pythia 모델 규모 (160M 및 410M 파라미터) 에 걸쳐 잔류 스트림 활성화를 해석 가능한 특징으로 분해하기 위해 희소 오토인코더 (SAE) 를 사용합니다. 방법론은 다음과 같습니다:

종단적 추적: SAE 는 규모별 4 개의 잔류 스트림 레이어에서 7 개의 체크포인트 (0, 1k, 10k, 40k, 80k, 120k, 143k 단계) 에서 학습됩니다.
특징 매칭: 활성화 프로파일 상관관계 ( $r \ge 0.5$ ) 를 기반으로 한 헝가리 할당법을 사용하여 체크포인트 간 특징을 매칭합니다. 이를 통해 출생, 소멸, 안정성을 추적하는 "계보"를 구성할 수 있습니다.
수명 이력 지표: 저자들은 초기화 후 6 개의 스냅샷 중 최소 4 개에서 계보가 안정적으로 유지되는 특징을 "지속적 운반자 (persistent carriers)"로 정의합니다.
구조 분석: 하위 레이어의 특징이 상위 레이어의 특징의 부분집합으로 발화하는 토큰의 비율을 측정하는 포함 지수 (Containment Index, CI) 를 사용하여 레이어 간 방향성 비순환 그래프 (DAG) 를 구성합니다.
부하 측정: 특징별 제거 (ablation) 대신, 저자들은 모든 계측된 레이어에 걸쳐 특징 군집을 동시에 0 으로 설정하는 **결합 레이어 간 제거 (joint cross-layer ablation)**를 사용하여 교차 엔트로피의 총합 증가 ( $\Delta CE$ ) 를 측정합니다.
예측 모델링: 1k 단계의 발화 공간 속성으로 학습된 로지스틱 회귀 모델을 사용하여 143k 단계까지 어떤 특징이 지속적 운반자가 될지 예측합니다.

주요 기여

분석 단위로서의 특징 수명 이력: 본 논문은 학습 체크포인트를 가로질러 특징을 추적하는 것을 구체화하여, 노이즈로 인해 광범위하게 활성화되는 특징과 안정적이고 하중을 지탱하는 역할로 인해 광범위하게 활성화되는 특징을 구분합니다.
운반자 발판의 식별: 저자들은 모델의 대부분 표현 구조를 조직하는 "운반자 발판"을 형성하는 약 50 개의 희소 특징 (Pythia-160M 에서 51 개, Pythia-410M 에서 49 개) 의 작은 군집을 식별합니다. 이러한 특징은 초기에 출현하여 학습 전체에 걸쳐 지속되며, 모델의 대부분 표현 구조를 조직합니다.
발판의 네 가지 속성:
- 초기 조립: 발판은 학습의 첫 1% (1 단계) 에서 빠르게 조립됩니다. 이 단계에서 특징 출생률은 약 40 배 급감하며, 모델이 유능하게 예측할 수 있게 되기 전에 발판은 대부분 고정됩니다.
- 하중 지탱 성질: 지속적 운반자의 결합 제거는 개수 일치 비지속적 루트 또는 잎에 비해 훨씬 높은 교차 엔트로피 비용 (160M 의 경우 약 0.90 nats) 을 초래합니다. 이러한 하중 차이는 표준 단일 특징 발화별 제거 방법으로는 감지되지 않습니다.
- 기능이 방향에 선행함: 미래 운반자의 정체성은 디코더 방향이 안정화되기 전인 1k 단계의 발화 패턴에서 예측 가능합니다 (AUC 0.80–0.83). 이는 선택이 발판의 구성원을 초기에 결정하는 반면, 경사 하강법은 이후 이 고정된 기질 주변으로 기하학을 보정한다는 것을 시사합니다.
- 발달의 씨앗: 수렴 시점에 발판은 토큰 집합 포함에 의해 정의된 계층적 구조 내의 모든 활성 특징의 64% (160M) 와 53% (410M) 를 모집합니다.

결과

학습 역학: 학습은 균일하지 않습니다. 1 단계 (0–1k 단계) 는 높은 혼란과 빠른 특징 교체로 특징집니다. 1k 단계가 되면 160M 모델의 최종 운반자 중 73% 가 이미 존재합니다.
생존 우위: 1k 단계에서 높은 발화 엔트로피를 가진 특징은 낮은 엔트로피 특징 (0.6%) 에 비해 143k 단계까지 생존할 확률이 압도적으로 높습니다 (43%).
제거 비대칭성: 발판의 하중 지탱 능력은 결합 레이어 간 개입을 통해서만 감지 가능합니다. 단일 특징 제거는 루트, 중간, 잎 계층 간의 중요도에서 유의미한 차이를 보이지 않아 발판의 실제 역할을 가립니다.
의미론적 내용: 발판에는 의미론적으로 해석 가능한 특징 (담화 마커, 형태소 어미) 과 "바이트 경계 인프라" 특징 (유니코드 대체 문자, 파일 확장자) 이 모두 포함됩니다. 놀랍게도 인프라 특징은 제거 부하의 대부분을 지지만, 의미론적으로 가독성 있는 특징은 고립 상태에서는 거의 제로 부하를 지며, 둘 다 발판 계층의 일부입니다.
예측 가능성: 1k 단계 발화 속성 (엔트로피, CI, 활성화 강도) 만으로 학습된 예측기는 미래 운반자를 높은 풍부도 (기저율 대비 9.3 배) 로 성공적으로 식별하여, 발판이 후기 기하학적 보정이 아닌 초기 기능적 속성에 의해 결정됨을 확인시켜 줍니다.

의의 및 주장
본 논문은 특징 수명 이력을 이해하는 것이 해석 가능성, 디버깅, 안전성에 필수적이라고 주장합니다. 주요 주장은 모델의 표현 구조가 균일하게 형성되는 것이 아니라 이중 단계 과정을 통해 확립된다는 것입니다:

선택 (1 단계): 학습의 첫 1% 는 하중을 지탱하는 발판을 형성할 특징을 결정하는 선택기 역할을 합니다.
보정 (2/3 단계): 나머지 99% 의 학습은 이 기존 기질 주변의 디코더 방향과 기하학을 보정합니다.

저자들은 수렴 시점부터 시작하는 해석 가능성 방법론은 이 과정의 원인이 아닌 결과를 분석할 수 있다고 주장합니다. 발판을 초기에 식별함으로써 다음이 가능해집니다:

모델이 완전히 학습되기 전에 특징 군집을 분류 (트라이아지) 할 수 있습니다.
하중을 지탱하는 구조적 요소와 일시적이거나 하중을 지탱하지 않는 특징을 구분할 수 있습니다.
임계 학습 기간 및 로또 티켓 가설에 관한 이론을 위한 측정 가능한 기질을 제공할 수 있습니다.

본 논문은 발판이 학습의 첫 1% 에서 선택에 의해 대부분 고정되며, 이후 학습은 주로 이 확립된 기반 주변의 기하학을 정교화한다고 결론 내립니다. 이는 모델 구조가 점진적이고 균일하게 나타난다는 관점에 도전하며, 대신 모델의 "뼈대"가 거의 즉시 결정된다고 시사합니다.