기술적 요약: 기하학적 진화 맵 (GEMs)

문제 제기

트랜스포머 잔여 스트림 (residual streams) 에서 추출된 선형 프로브는 추출된 특정 레이어의 신뢰도에만 의존합니다. 현재 문헌은 레이어 선택을 위해 세 가지 단순한 휴리스틱에 의존합니다: 마지막 레이어를 프로빙하거나, 분리 점수 (separation score) 가 최대인 레이어를 프로빙하거나, 고정된 중간 - 후기 레이어를 프로빙하는 것입니다.

본 논문은 이러한 접근법들이 잔여 스트림 내 개념 표현이 정적이지 않다는 근본적인 구조적 현실을 고려하지 못한다고 주장합니다. 개념 표현은 점진적으로 나타나며, 개념 할당 구역 (Concept Allocation Zone, CAZ) 내의 조립 단계 동안 상당한 방향성 회전을 겪고, 주요 CAZ 이후 특징적인 "핸드오프 레이어 (handoff layer)"에서야 비로소 안정적인 방향으로 정착합니다. CAZ 내부에서 발생하는 분리 피크 (separation peak) 나 CAZ 진입점에서 프로빙하는 것은 아직 안정화되지 않은 방향을 추출하게 되어, 신뢰할 수 없는 개념 프로브로 이어집니다.

방법론: 기하학적 진화 맵 (GEMs)

본 논문은 개념의 전체 방향 궤적을 잔여 스트림 활성화물을 통해 추적하여 개념 방향이 안정화되는 정확한 레이어를 식별하는 방법인 **기하학적 진화 맵 (Geometric Evolution Maps, GEMs)**을 소개합니다.

핵심 정의

1. 개념 방향 ($u^{(l)}$): 각 레이어 $l$에서 지배적인 개념 방향은 양 (+) 과 음 (-) 대비 쌍의 평균 잔여 스트림 활성화물 간의 차이를 $L_2$-정규화한 것으로 정의됩니다 (차이의 평균).
2. 각속도 ($\omega^{(l)}$): 방향 변화율은 $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$로 계산됩니다. 높은 속도는 활발한 회전을, 낮은 속도는 안정성을 나타냅니다.
3. 개념 할당 구역 (CAZ): 피셔 정규화 분리 점수를 통해 감지된 개념이 주요 분리 사건을 겪는 레이어 범위입니다.
4. 핸드오프 레이어 ($L_H$): CAZ 종료 직후 각속도가 임계값 ($\epsilon = 0.05$) 이하로 떨어지는 첫 번째 레이어로 운영상 정의됩니다. 이는 개념 방향이 "고정 (lock in)"되는 레이어입니다.
5. 정착된 프로브 (Settled Probe): 추출된 프로브는 핸드오프 레이어에서의 단위 벡터 $u^{(L_H)}$입니다.

적응형 너비 규칙

제거 (ablation) 를 통한 프로브 평가 시, 본 논문은 적응형 너비 규칙 ($w$) 을 도입합니다. 기본값은 $L_H$에서 시작하여 3 개의 연속된 레이어를 제거하는 것입니다. 그러나 최종 레이어에 가까운 핸드오프 ($L_H/N > 0.85$) 의 경우, 3 개 레이어를 제거하면 언임베딩 준비 구역 (unembedding-preparation zone) 으로 확장되어 신호가 희석될 위험이 있습니다. 이러한 경우를 위해 규칙은 $w=1$로 설정하여 수렴 지점의 방향을 정확히 추출합니다.

주요 기여

1. GEM 의 형식화: 핸드오프 레이어를 계산하고 정착된 개념 방향을 추출하는 실용적인 방법.
2. 회전의 경험적 검증: 개념 방향이 조립 과정에서 상당한 회전을 겪음을 입증했습니다. 23 개 모델, 17 개 개념에 걸친 391 개의 개념 $\times$ 모델 쌍에서 CAZ 내 평균 진입 - 이탈 코사인 (EEC) 은 0.233이며, 93.9% 의 쌍이 EEC < 0.5 를 보였습니다. 이는 CAZ 진입점이나 분리 피크에서 프로빙하는 것이 최종 정착 상태와 직교하는 방향을 포착함을 확인시켜 줍니다.
3. 핸드오프 프로브의 우월성: GEM 추출 프로브는 68.5% (268/391) 의 시도에서 피크 레이어 프로브만큼 정확하며, 66.2% (259/391) 에서 엄격하게 더 우수합니다. 모델별 비율에 대한 윌콕슨 부호 순위 검정은 통계적 유의성을 확인했습니다 ($p=0.010$; gpt2 를 제외하면 $p=0.0036$).
4. 아키텍처별 발견:
   • MHA vs. GQA: MHA 모델은 78.3% 의 시도에서 핸드오프 레이어를 선호하는 반면, GQA 모델은 47.1% 에서만 선호합니다.
   • 규모: GEM 구조는 70M 모델에서도 존재하지만, 프로브 품질은 500M 이상 범위에서 현저히 향상됩니다.
5. 방향 특이성 제어: 특정 개념 방향의 제거는 무작위 방향 제거 (45.6% 대 0.24%) 보다 중앙값 기준으로 377 배 더 높은 분리 억제율을 보이며, 이 효과가 깊이뿐만 아니라 개념 방향 자체에 의해 전달됨을 확인했습니다.
6. 깊이 일치 제어: GEM 을 동일한 상대적 깊이의 비정착 레이어와 비교한 대조 실험은 정착 기준이 추가적으로 +32.5 퍼센트 포인트의 분리 억제를 기여함을 확인하여, 추출 깊이를 유일한 동인으로 배제했습니다.
7. 구조화된 실패 모드:
   • gpt2: 12 레이어 모델에서 언임베딩에 근접하여 핸드오프 레이어에서의 제거가 병리적으로 분리를 증가시키는 진정한 실패 모드로 식별되었습니다.
   • OPT-6.7b: 초기에는 더 작은 말뭉치 (41% 개선) 에서 실패로 보였으나, $N=250$에서 76% 개선을 달성하여 초기 발견이 말뭉치 크기에 의존했음을 나타냈습니다.

결과 및 관찰

• 핸드오프 깊이: 대부분의 개념은 모델 깊이의 마지막 15~30% 에서 정착합니다. 안전 관련 및 인식론적 개념 (예: threat_severity, certainty) 은 가장 깊은 곳 (평균 상대적 깊이 $\ge$ 0.86) 에서 핸드오프하는 반면, 구문론적 개념 (예: specificity, plurality) 은 더 일찍 핸드오프합니다.
• 릴레이 구조: pythia-6.9b에 대한 다중 노드 제거 실험은 개념이 종종 인과적 릴레이로 존재함을 드러냈습니다. 가장 깊은 GEM 노드가 가장 인과적으로 집중된 개입 지점이지만, 얕은 노드는 인과적으로 상류에 위치합니다 (15 개 다중 노드 개념 중 9 개에서 교차 교란 관찰).
• 적응형 너비 효율성: 최종 레이어 근처 규칙 ($w=1$) 은 발동된 경우의 75.9% (60/79) 에서 프로브 품질을 향상시켰으며, 해당 경우의 평균 이득은 +7.44pp 였습니다.

중요성 및 주장

본 논문은 GEM 이 이 연구 프로그램의 CAZ 검증 및 PRH 논문들의 기반이 되는 추출 방법론을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 프로브 추출 교정: 분리 피크에서 발견되는 일시적인 방향보다 핸드오프 레이어의 "정착된" 방향이 개념의 기하학적으로 정확한 표현임을 확립합니다.
2. 조립 역학 매핑: 개념의 "회전"을 시각화하고 정량화하는 방법을 제공하여, 개념이 정적이 아니라 안정화되기 전에 역동적인 조립 과정을 거친다는 것을 드러냅니다.
3. 인과적 특성화: GEM 이 인과적 릴레이에서 개입을 위한 가장 접근 가능한 지점을 식별함을 입증하지만, 개념 인코딩의 전체 (분산된 상태) 를 포착한다고 주장하지는 않습니다.

본 논문은 그 범위에 대해 겸손하게 서술합니다: 개념 인코딩의 전체 메커니즘 (예: 어텐션 대 MLP 하위 계층의 특정 기여) 을 설명한다고 주장하지 않으며, 분리되고 테스트될 만큼 신호가 큰 분포의 "피크"만 포착한다고 주장합니다. 행동적 제거 (하류 출력 변화 측정) 는 설계되었으나 대규모로 아직 실행되지 않았음을 명시적으로 밝힙니다.