🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

본 논문은 Transformer 활성화 패치링을 국소적 소스 삽입으로 모델링하고 그린 함수 응답을 통해 하류 행동 변화를 예측하는 연속 깊이 장 이론 프레임워크를 제안함으로써, 기계적 개입을 조직화하고 추론하기 위한 민감도와 전파된 장의 수학적 언어를 확립한다.

원저자: David N. Olivieri, Antonio F. Pérez Rodríguez

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David N. Olivieri, Antonio F. Pérez Rodríguez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

GPT-2 와 같은 모델 뒤에 있는 AI 인 '트랜스포머 (Transformer)'를 컴퓨터 코드의 쌓임이 아니라 거대한 흐르는 강으로 상상해 보십시오.

이 강에서:

깊이는 물이 상류 (출처) 에서 바다까지 흘러간 거리입니다.
**토큰 (문장의 단어들)**은 강에서 나란히 떠다니는 다양한 배들입니다.
**잔여 스트림 (Residual Stream)**은 모델의 한 층에서 다음 층으로 흐르며 모든 정보를 운반하는 물 그 자체입니다.

이 논문은 AI 모델의 행동을 변경하기 위해 이러한 모델을 어떻게 '조정'하거나 '패치'할 수 있는지에 대한 새로운 이해 방식을 제안합니다. 코드 중 어떤 부분을 수정해야 할지 단순히 추측하는 대신, 저자들은 모델을 **물리장 (physics field)**처럼 취급하여 작은 변화가 시스템 전체에 어떻게 파급될지 정확히 예측할 수 있다고 봅니다.

다음은 일상적인 비유를 사용한 그들의 아이디어에 대한 상세 설명입니다:

1. "연못의 물방울" (패칭을 소스로 간주)

일반적으로 연구자들이 AI 의 특정 부분이 무엇을 하는지 확인하고 싶을 때 '활성화 패칭 (activation patching)'을 수행합니다. 이는 AI 의 뇌를 특정 순간에 스냅샷으로 찍어 다른 시나리오의 스냅샷과 교체한 후 출력 결과가 어떻게 변하는지 관찰하는 것과 같습니다.

저자들은 이를 강에 돌을 던지는 것으로 설명합니다.

돌: '패치' (변경 사항).
파문: 모델의 나머지 부분을 따라 하류로 이동하는 효과.
이론: 그들은 강 모양 (모델 구조) 을 알고 있다면, 돌을 백만 번 던져 확인하지 않아도 그 파문이 어떻게 퍼지고, 얼마나 커지며, 어떤 배들 (토큰) 에 닿을지 정확히 예측할 수 있다고 주장합니다.

2. "민감도 지도" (효과 예측)

파문이 어디로 갈지 예측하려면 지도가 필요합니다. 저자들은 **민감도 필드 (Sensitivity Field)**를 소개합니다.

이를 풍속을 보여주는 기상 지도로 생각하십시오. 강 일부는 매우 민감하여 (작은 돌이 거대한 파도를 만듦), 다른 곳은 잔잔하여 (돌이 거의 물방울도 만들지 않음) 다릅니다.
논문은 이 '바람 지도'를 한 번 계산할 수 있음을 보여줍니다. 일단 이 지도를 가지면 돌을 던질 수 있는 모든 방향을 테스트할 필요가 없습니다. 수학적으로 예측할 수 있습니다: "여기서 이 방향으로 돌을 던지면, 이 정도의 힘으로 파도가 정답에 닿을 것이다."
결과: 그들은 작은 변화의 경우 이 예측이 놀라울 정도로 정확하다는 것을 발견했습니다. 이는 부드러운 바람이 깃털을 움직이지만 허리케인은 나무를 쓰러뜨린다는 것을 아는 것과 같습니다.

3. "그린 함수" (파문 확산기)

이 논문은 **그린 함수 (Green Function)**라는 개념을 사용합니다. 간단히 말해 이는 '파문 규칙서'입니다.

이는 "A 지점에서 물을 교란하면 B 지점에서 물이 어떻게 움직이는가?"라는 질문에 답합니다.
저자들은 이 파문들이 단순히 아래로만 가지 않고 옆으로 퍼져 다른 단어 (토큰) 들에게 도달하며 모델 깊숙이 이동한다는 것을 발견했습니다.
그들은 한 층의 변화가 하류의 먼 층에 어떻게 영향을 미치는지 측정하여 이를 테스트했습니다. 그들은 '파문 규칙서'가 잘 작동하지만, 변화가 너무 크지 않은 경우에만 해당한다는 것을 발견했습니다. 바위 (거대한 변화) 를 던지면 물이 혼란스러워지고 단순한 규칙이 무너집니다. 하지만 작은 밀기 (nudge) 의 경우 규칙은 완벽하게 유지됩니다.

4. "역공학" (올바른 돌 찾기)

일반적으로 연구자들은 무슨 일이 일어날지 보기 위해 무작위 패치를 시도합니다. 이 논문은 이 방식을 뒤집습니다. 그들은 **역문제 (Inverse Problem)**를 제안합니다.

목표: "AI 가 '런던' 대신 '파리'라고 말하게 하고 싶다."
구식 방법: 운이 좋아질 때까지 모든 층과 모든 단어를 패칭해 봅니다.
신규 방법: '파문 규칙서' (그린 함수) 와 '민감도 지도'를 사용하여 그 특정 파문을 만들기 위해 어디에 그리고 어떻게 돌을 던져야 하는지 수학적으로 정확히 계산합니다.
이는 모든 노브를 무작위로 돌리는 대신 노래의 특정 주파수를 수정하기 위해 정확히 어떤 노브를 돌려야 하는지 아는 음향 엔지니어와 같습니다.

5. 모델 간 "번역" (확장)

마지막으로 저자들은 작은 모델에서 큰 모델로 지식을 전달하는 방법을 제안합니다.

작은 연못 (작은 AI 모델) 과 거대한 바다 (큰 AI 모델) 가 있다고 상상해 보십시오.
작은 연못에 돌을 던져 파문을 관찰하면, 그 패턴을 사용하여 바다에서 비슷한 결과를 얻기 위해 어디에 돌을 던져야 할지 추측할 수 있습니다.
그들은 이를 '공유된 잠재 응답 기하학 (shared latent response geometry)'이라고 부릅니다. 본질적으로 정보의 흐름 방식에 대한 '물리법칙'은 크기와 규모만 다를 뿐 작은 모델과 큰 모델에서 동일할 수 있습니다. 이를 통해 우리는 먼저 작은 모델을 연구함으로써 거대한 모델을 수정하는 방법을 파악할 수 있습니다.

연구 결과 요약

저자들은 GPT-2 모델에서 이러한 아이디어를 테스트하여 다음을 발견했습니다:

작은 변화는 예측 가능하게 행동합니다: 모델을 부드럽게 밀면 수학이 결과를 거의 완벽하게 예측합니다.
파문은 퍼집니다: 변화는 국소적으로 머무르지 않으며, 층을 통과하여 구조화된 방식으로 다른 단어들에 영향을 미칩니다.
고민감도 지점이 존재합니다: 최종 답변에 가장 중요한 것은 강에서 몇몇 특정 '떨어뜨림'뿐입니다.
프롬프트 변경은 단지 파문입니다: 입력 문장을 변경하는 것 (예: "스페인의 수도"에서 "프랑스의 수도"로) 은 수학적으로 강에 특정 돌을 던지는 것과 유사합니다. 모델은 이 '변위'에 예측 가능한 방식으로 반응하여 답변을 유도할 수 있습니다.

간단히 말해: 이 논문은 시행착오식 패칭을 예측 가능하고 계산 가능한 과학으로 바꾸는 수학적 'AI 물리학'을 제공합니다. 이는 우리가 원하는 결과를 얻기 위해 필요한 정확한 힘과 위치를 계산할 수 있는 공학적 문제처럼 AI 개입을 다룰 수 있음을 시사합니다.

기술적 요약: 트랜스포머 패칭과 기계적 해석을 위한 연속 깊이 장 이론

문제 제기
기계적 해석은 활성화에 개입함으로써 (예: 활성화 패칭, 인과적 추적, 경로 패칭) 트랜스포머의 행동을 담당하는 내부 회로를 식별하는 것을 목표로 합니다. 이러한 방법들은 행동적으로 의미 있는 위치와 방향을 성공적으로 국소화하지만, 종종 레이어, 토큰, 부분 공간의 포괄적인 열거에 의존합니다. 본 논문은 다음과 같은 보완적인 질문에 답합니다: 이러한 개입들을 깊이와 토큰 위치에 대한 통합된 장 이론적 프레임워크를 사용하여 조직화, 예측, 재구성할 수 있을까요? 저자들은 잔여 스트림을 레이어의 이산적 시퀀스가 아닌 연속 장으로 취급하여, 패칭을 선형 응답 형식주의 내의 국소적 소스 삽입 문제로 공식화할 것을 제안합니다.

방법론
본 논문은 트랜스포머의 잔여 스트림 $R(t, x)$ 을 깊이 - 토큰 격자 위의 장으로 모델링하는 연속 깊이 장 이론을 개발합니다. 여기서 레이어 인덱스 $\ell$ 은 깊이 좌표 $t \in [0, T]$ 로 매핑되고, 토큰 인덱스는 공간 좌표 $x$ 로 매핑됩니다.

장 이론적 공식화:
- 소스 삽입으로서의 패칭: 활성화 패치는 깊이 진화 방정식에 추가되는 국소적 소스 항 $J(t, x)$ 로 모델링됩니다: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- 응답 객체: 이 프레임워크는 두 가지 주요 응답 객체를 정의합니다:
  - 민감도 장 ( $a(t, x)$ ): 관측 가능량 $y$ (예: 로그비 차이) 를 잔여 장에 대한 함수 미분, $a(t, x) = \delta y / \delta R(t, x)$ 입니다. 이는 패치의 효과를 예측합니다.
  - 그린 함수 ( $G(t, x; t', x')$ ): 두 점 응답 함수 $\delta R(t, x) / \delta R(t', x')$ 로, $(t', x')$ 에서의 섭동이 $(t, x)$ 로 어떻게 전파되는지를 기술합니다.
- 선형 응답: 국소 선형 영역에서 관측 가능량의 변화는 $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ 로 근사됩니다.
- 역문제 (패치 추론): 이 프레임워크는 패치 위치 추론을 제약된 변분 문제로 재구성합니다. 원하는 행동적 변화를 주어진다면, 적분 방정식 $\Delta R_{target} \approx \int G J$ 를 만족하는 희소 소스 $J$ 를 찾습니다. 이는 쌍대 장 (공변량) $\lambda(t, x)$ 를 사용하여 작용 원리로 해결되며, 이는 민감도 장에 해당합니다.
실증적 검증:
이 이론은 이산적 잔여 스트림 개입을 사용하는 GPT-2 스타일의 자기회귀 트랜스포머에서 테스트되었습니다. 실험은 다음을 측정합니다:
- 국소 선형성과 중첩: 작은 섭동이 선형 스케일링을 보이며, 결합된 개입의 효과가 선형적으로 합산되는지 검증합니다.
- 민감도 예측: 측정된 패치 효과를 1 차 민감도 (자동 미분 기울기) 에서 유도된 예측과 비교합니다.
- 잔여 전파: 국소적 패치에 의해 유도된 하류 잔여 장 $\delta R$ 을 측정하여 "그린 응답"을 특성화합니다.
- 조합: 중간 레이어를 통한 전파가 그린 연산자의 곱 ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ) 을 근사하는지 테스트합니다.
- 축소 표현: 차원을 줄이기 위해 "슬라이스된" 그린 연산자 (고정된 위치 간의 구성 요소 수준 전파) 와 민감도 위치 점수를 분석합니다.
- 프롬프트 변위: 두 프롬프트 간의 차이를 국소적 소스로 간주하여 이것이 변환 방향으로서 작용하는지 테스트합니다.

주요 기여

장 이론적 프레임워크: 본 논문은 패칭을 국소적 소스 삽입으로, 귀속을 민감도 장 예측으로, 전파를 실증적 그린 함수 응답으로 보는 형식주의를 확립합니다.
쌍대 추론 공식화: 패치 위치 추론을 쌍대 변분 원리를 통해 해결 가능한 역문제로서 제시하여, 단순한 열거를 넘어 제약된 재구성 문제로 확장합니다.
실증적 선형 응답 영역: 저자들은 GPT-2 모델에서 1 차 민감도가 패치 효과를 정확하게 예측하고 중첩이 성립하는 유계된 국소 선형 영역을 식별합니다.
구조화된 전파: 실험은 잔여 섭동이 깊이와 토큰 위치에 걸쳐 구조화되고 이방성적으로 전파되며, 선형화된 이론과 일관된 근사적 조합 속성을 보임을 입증합니다.
축소된 기술: 고민감도 위치와 슬라이스된 그린 연산자가 고차원 잔여 응답 공간의 다루기 쉬운 저차원 기술을 제공함을 보여줍니다.
스케일링 가설: 응답 기하학 (그린 함수 지문) 이 모델 스케일 간에 공유될 수 있다는 이론적 제안을 합니다. 이는 국소적 앵커가 사용된다면 더 작은 모델의 응답 정보가 더 큰 모델의 후보 패치 위치 맵을 정의할 수 있음을 시사합니다.

결과

선형성: 국소 섭동은 중간 진폭에서 비선형성과 중첩 오차가 낮게 (테스트 범위에서 20% 미만) 유지되는 유계된 선형 영역을 보입니다.
예측 정확도: 자동 미분 민감도 ( $a(t, x)$ ) 는 다양한 잔여 위치와 방향에 걸쳐 측정된 스칼라 패치 효과를 성공적으로 예측하여 1 차 근사를 검증합니다.
전파 구조: 국소적 개입은 이방성적으로 퍼지는 구조화된 하류 응답 장을 생성합니다. 조합 테스트는 섭동 영역 내에서 하류 응답을 재현하기에 충분한 정보를 중간 잔여 장이 유지함을 확인합니다.
위치 집중: 민감도 점수 ( $\|a(t, x)\|$ ) 는 매우 불균일하여 소수의 레이어 - 토큰 위치에 집중되며, 이는 개입 검색 공간의 축소를 가능하게 합니다.
프롬프트 변위: 프롬프트 간의 차이는 국소적 변환 방향으로 작용합니다. 그 효과는 인과적 민감도에 의해 예측되며, 후기 레이어에서 가장 효과적이고 어휘 내 목표 답변 순위를 성공적으로 변경할 수 있습니다.

의의 및 주장
본 논문은 개입을 열거하는 패러다임에서 응답 양 (민감도와 커널) 을 추정하는 패러다임으로 전환시키는 패칭 실험을 조직화하는 "실용적인 언어"를 제공한다고 주장합니다. 실증적으로 선형 응답 기반을 확립함으로써, 이 연구는 내부 메커니즘의 재구성을 수학적으로 잘 정의된 문제로 만듭니다: 그린 함수는 패치 위치와 방향을 식별하는 역문제에 대한 순방향 연산자 역할을 합니다.

저자들은 스케일링 가설을 증명된 결과보다는 향후 연구에 대한 동기부여로 겸손하게 제시하며, 이는 "공유 잠재 응답 가설"에 의존하며 실행 가능하려면 가중치, 활성화, 또는 희소 패치와 같은 국소적 앵커가 필요하다고 지적합니다. 주요 기여는 패칭, 추적, 조종과 같은 기계적 해석 도구들을 단일 연속 깊이 장 이론 아래 통합하여 측정에서 추론으로, 그리고 잠재적으로 모델 간 전이로 이어지는 원칙적인 경로를 제시한다는 점입니다.