🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

이 논문은 실제 사전 학습된 모델에서 검증된 폐쇄형 어텐션 자코비안 경계(closed-form attention Jacobian bound)를 유도하고 창발적 간접 목적어 식별 회로에 대한 혼합된 경험적 결과를 입증함으로써, 가중치 공간 절제(weight-space ablation)에서의 교차 계층 상호작용에 대한 이론적 경계를 확장한다.

원저자: Abdallah Khemais

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdallah Khemais

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 똑똑한 로봇의 뇌가 어떻게 작동하는지 이해하려고 한다고 상상해 보십시오. 이 뇌는 단순한 금속 덩어리가 아닙니다. 이는 여러 스테이션(즉, '레이어')이 있는 긴 조립 라인처럼 구축되어 있으며, 정보가 라인을 따라 전달됩니다. 각 스테이션에서 뇌는 두 가지 주요 작업을 수행합니다. 하나는 특정 단서에 주의를 기울이는 것이고(마치 형사가 목격자에게 집중하는 것과 같습니다), 다른 하나는 그 단서를 사고 모듈을 통해 처리하는 것입니다(마치 계산기가 숫자를 계산하는 것과 같습니다). 과학자들은 이 단서들을 운반하는 부분을 '캐리어(carriers)'라고 부릅니다.

각 부분이 무엇을 하는지 알아내기 위해, 연구원들은 "만약에"라는 게임을 합니다. 그들은 두 가지 다른 기술을 시도합니다. 하나는 **활성화 패칭(Activation Patching)**으로, 현재 로봇의 생각 중 일부를 다른 상황에서 온 생각으로 교체하여 로봇이 혼란에 빠지는지 확인하는 것입니다. 다른 하나는 **가중치 절제(Weight Ablation)**로, 로봇 뇌의 배선 중 일부를 사실상 '꺼버려' 로봇이 제대로 작동을 멈추는지 보는 것입니다. 보통 이 두 기술은 같은 이야기를 들려줍니다. 하지만 로봇의 스테이션들이 까다로운 방식으로 연결되어 있을 때, 이 두 기술은 서로 다른 답을 내놓기도 합니다. 큰 질문은 이것입니다: 왜 그들은 의견이 일치하지 않으며, 한 부분의 뇌가 라인 아래 멀리 떨어진 다른 부분에 얼마나 많은 영향을 미치는가? 이들을 이해하는 것은 매우 중요합니다. 왜냐하면 우리가 이 거대한 뇌를 고치거나 제어하고 싶다면, 단순히 표면적으로 어떻게 보이는지가 아니라 내부의 기어들이 정확히 어떻게 상호작용하는지를 알아야 하기 때문입니다.

이 논문은 작은 단순 모델에서 발견된 단서를 가지고, 그것이 거대하고 실제적인 로봇에서도 유효한지 확인하려는 탐정 이야기와 같습니다. 저자는 "동료 논문"(같은 저자의 형제 연구)에서 얻은 발견으로부터 시작합니다. 그 논문은 단일하고 고립된 스테이션 내에서는 특정 유형의 사고 모듈(MLP)을 끄더라도 어텐션(attention) 부분에는 전혀 영향을 주지 않는다는 것을 증명했습니다. 이는 공장 스테이션에서 계산기를 꺼도 형사의 돋보기에는 아무런 영향을 주지 않는 것과 같습니다. 하지만 그 증명은 한 번에 하나의 스테이션에 대해서만 유효했습니다. 실제 로봇은 수십 개의 스테션이 있으며, 과학자들이 끄고자 하는 부분들은 종로 종종 서로 멀리 떨어져 있습니다.

저자의 첫 번째 주요 행보는 다중 스테이션 로봇의 혼돈을 깔끔한 부분들의 합으로 분해하는 것입니다. 그들은 여러 레이어에 걸쳐 부분을 끌 때 발생하는 총 혼란이 두 가지, 즉 "동일 스테이션" 효과(우리가 완벽하게 이해하고 있는 것)와 "교차 레이어" 나머지(스테이션 A가 스테이션 B의 입력을 변화시키는 과정에서 발생하는 복잡한 것들)로 나뉠 수 있음을 보여줍니다. 그들은 이 복잡한 나머지가 단순한 무작위 노이즈가 아니라, 이중 적분(두 가지 변화가 함께 일어나는 누적된 효과를 의미하는 세련된 방식)과 같은 정밀한 수학적 형태를 가지고 있음을 증명합니다.

하지만 여기에 반전이 있습니다. 그들은 혼돈의 형태를 설명할 수는 있지만, 여러 스테이션을 사슬처럼 연결했을 때 그 크기가 얼마나 커지는지에 대한 확정적인 숫자를 아직 제시하지 못했습니다. 이를 위해 그들은 새로운 도구, 즉 뇌의 어텐션 부분에 대한 "자코비안 바운드(Jacobian bound)"가 필요했습니다. 이것을 한 단서의 변화가 어텐션 메커니즘을 통해 얼마나 빠르게 파동처럼 퍼져나가는지를 나타내는 속도 제한 표지판이라고 생각해 보십시오. 저자는 이 속도 제한을 폐쇄형 공식(깔끔하고 정확한 방정식)으로 유도했으며, 이를 실제 사전 학습된 로봇 뇌인 Qwen2.5-1.5B-Instruct에 대해 테스트했습니다. 그들은 이 실제 뇌의 12개 특정 지점을 확인했고, 속도 제한은 매번 예외 없이 유효했습니다. 그러나 그들은 솔직하게 밝힙니다. 그들은 한 개의 스테이션에 대해 속도 제한을 검증했지만, 28개의 스테이션을 연결했을 때 오류가 쓸모없는 수준으로 폭발하지 않을 것이라는 점은 아직 증명하지 못했습니다. 즉, 수학은 정확하지만, 전체 체인에 대한 최종적인 "큰 숫자"는 여전히 미해결 과제로 남아 있습니다.

이론이 실제 작동하는지 확인하기 위해, 저자는 Qwen 로봇 내부에서 "간접 목적어 식별(Indirect Object Identification)"(예: "The ball was given to Mary by John"이라는 문장에서 누가 누구에게 물건을 주었는지 파악하는 것)을 돕는 숨겨진 회로를 찾아 나섰습니다. 그들은 이 회로를 설계한 것이 아니라, 로봇이 언어를 배우면서 자연스럽게 나타난 것을 발견했습니다. 그들은 거의 모든 테스트 케이스에서 나타나는 핵심 기술 역할을 하는 작은 공유 뉴런 그룹과, 각 문장에 특화된 추가적인 "백업" 뉴론들을 찾아냈습니다.

그들이 삼자 패턴(회로를 끄면 로봇의 논리가 붕괴되는가? 두 기술이 서로 다른가? 상호작용이 존재하는가?)을 테스트했을 때, 결과는 진정한 혼합이었습니다.

붕괴(Collapse): 다섯 개의 테스트 문장 중 네 개에서 회로를 껐을 때 예측대로 로봇이 혼란을 겪었습니다. 하지만 한 문장("Anna/Mike")에서는 로봇이 거의 신경 쓰지 않았는데, 이는 이러한 회로가 항상 100% 신뢰할 수 있는 것은 아님을 보여줍니다.
해리(Dissociation): 두 가지 기술(패칭 vs. 끄기)은 항상 의견이 달랐으며, 이는 그들이 실제로 서로 다른 것을 측정하고 있음을 확인시켜 줍니다.
상호작용(Interaction): 다섯 개의 문장 중 세 개에서 "0이 아닌 상호작용"을 측정했습니다. 결정적으로, 이러한 상호작용은 바로 옆의 레이어가 아니라 멀리 떨어진 레이어들 사이에서 발생했습니다. 이는 저자가 식별한 복잡한 "교차 레이어 나머지"가 실제 뇌에서도 실재하며 측정 가능하다는 것을 시사합니다. 비록 그 정확한 수학적 경계값은 여전히 작업 중이지만 말입니다.

요약하자면, 이 논문은 신경망의 먼 부분들 사이의 "복잡한 상호작용"이 수학적으로 정확한 조각들로 분해될 수 있는 실재하며 측정 가능한 현상임을 증명합니다. 그들은 그 혼란의 한 조각을 측정하는 새로운 도구를 찾아냈고 이를 실제 로봇에서 검증했지만, 그 도구를 로봇 전체의 깊이까지 사슬처럼 연결하는 마지막 단계는 여전히 진행 중인 작업입니다. 결론은 문제가 해결되었다는 것이 아니라, 미스터리가 어디에 있는지에 대한 훨씬 더 명확한 지도를 제시했다는 것입니다.

문제 정의
본 논문은 활성화 패칭(activation patching)과 가중치 공간 절제(weight-space ablation)를 통한 신경망의 인과적 분석에 관하여, 동료 연구(동일 저자)에서 제기된 두 가지 구체적인 한계를 다룹니다. 동료 논문은 이상적인 모델 내의 단일 잔차 블록(single residual block) 안에 존재하는 두 캐리어(어텐션 헤드와 해당 레이어의 MLP)에 대한 정확한 1차 상호작용 공식을 확립했습니다. 그러나 해당 논문은 다음과 같은 두 가지 결정적인 공백을 남겼습니다:

다층 범위(Multi-layer Scope): 동료 논문의 정리는 여러 레이어에 걸쳐 분리된 캐리어 간의 상호작용에 대해 침묵하고 있으며, 이는 실제 트랜스포머의 일반적인 경우입니다. 이는 이전 레이어에서의 절제가 이후 레이어의 계산에 영향을 미치도록 전파되는 방식을 설명하지 못합니다.
경험적 범위(Empirical Scope): 동료 논문의 결과는 특정 조건부 태스크를 위해 처음부터 학습된 작은 규모의 합성 트랜스포머에서만 검증되었습니다. 이러한 이론적 예측이 자연어 데이터로 학습된 대규모의 실제 사전 학습된 모델 내에서 발견되는 "발현된(emergent)" 회로에서도 유효한지는 알려지지 않았습니다.

방법론
본 논문은 정확한 수학적 분해와 폐쇄형 경계(closed-form bounds)를 사용하여 동료 연구의 이론적 프레임워크를 확장하고, 이를 실제 사전 학습된 모델을 통해 검증합니다.

이론적 확장 (다층 분해): 저자는 임의의 절제된 캐리어들의 부분 집합이 여러 레이어에 걸쳐 있을 때, 이들의 상호작용 격차(interaction gap)가 "동일 블록" 항들의 합(접촉된 레이어당 하나씩)과 "교차 레이어 나머지(cross-layer remainder, $R_\times$ )"의 합으로 분해됨을 보여주는 정확한 항등식(Proposition 1)을 도출합니다.
정확한 교차 레이어 항등식: 두 개의 접촉된 레이어의 경우, $R_\circ$ 는 미적분학의 기본 정리(fundamental theorem of calculus)를 한 단계 높게 적용하여, 혼합 2차 편도함수의 이중 적분으로 정확하게 격리됩니다(Proposition 2).
폐쇄형 경계:
- 어텐션 자코비안(Attention Jacobian): 교차 레이어 나머지를 제한하기 위해, 저자는 섭동된 키(key) 또는 값(value) 토큰에 대한 단일 어텐션 헤드 출력의 자코비안에 대한 폐쇄형 점별 경계(closed-form, pointwise bound)를 도출합니다(Proposition 3).
- 곡률 상수(Curvature Constant): 저자는 곡률 상수를 가정하는 대신, 학습된 가중치만을 사용하여 동료 논문의 2차 경계에 필요한 곡률 상수 $\Lambda$ 를 폐쇄형으로 계산합니다(Proposition 4).
경험적 검증:
- 합성 모델 체크: 다층 분해를 동료 논문에 등장하는 5개의 합성 트랜스포머 인스턴스에 대해 테스트합니다.
- 실제 모델 체크: 저자는 탐욕적 활성화 패칭 탐색(greedy activation-patching search)을 사용하여 Qwen2.5-1.5B-Instruct에서 간접 목적어 식별(Indirect Object Identification, IOI)을 위한 발현된 회로를 찾습니다. 그런 다음 이 회로에서 세 가지 패턴(붕괴, 해리, 상호작용)을 측정합니다.

주요 기여

정확한 다층 분해: 본 논문은 다층 상호작용 효과를 동일 블록 항과 특정 교차 레이어 나머지로 정확하게 분해하는 식을 제공합니다. 또한, MLP만을 절제할 경우 동일 블록 항이 0이 되며, 레이어가 리드아웃(readout)에 직접 연결되는 경우 동료 논문의 경계값과 같음을 증명합니다.
폐쇄형 어텐션 자코비안 경계: 본 논문은 어텐션 서브 블록 자코비안의 연산자 노름(operator norm)에 대한 폐쇄형 경계를 도출합니다. 이 경계는 Qwen2.5-1.5B-Instruct의 실제 가중치에 대해 점별로 검증되었으며 위반 사례는 없었습니다.
명시적 곡률 상수: 본 논문은 학습된 MLP 가중치의 스펙트럼 노름과 정규화 스케일을 사용하여 계산된, 명시적으로 제시되지 않았던 곡률 상수 $\Lambda$ 를 폐쇄형으로 제공합니다.
사전 학습된 모델에 대한 경험적 증거: 본 논문은 1.5B 파라미터의 사전 학습된 모델에서 발현된 IOI 회로를 식별하고, 붕괴, 해리, 상호작용에 관한 이론적 예측에 대해 혼합된 경험적 결과를 보고합니다.

결과

이론적 결과: 분해 항등식은 정확하게 성립합니다. 도출된 어텐션 자코비안 경계는 실제 가중치에 대해 점별로 검증되었으나(12개 지점, 0건의 위반), 저자는 이 경계를 여러 레이어에 걸쳐 체이닝(chaining)하는 것은 검증되지 않았으며 누적되는 느슨함으로 인해 경계가 느슨해질 가능성이 높다고 언급합니다.
합성 실험: 합성 모델에서 다층 분해 항등식은 부동 소수점 정밀도까지 정확하게 성립합니다. 그러나 교차 레이어 나머지 $R_\times$ 는 종종 동일 블록 합과 같은 차수의 크기를 가지며, 두 항이 서로 부분적으로 상쇄되기도 합니다. 따라서 다층 구성에서는 동일 블록 합만으로는 전체 상호작용의 신뢰할 수 있는 대리물(proxy)이 될 수 없습니다.
실제 모델 (Qwen2.5-1.5B-Instruct):
- 회로 발견: IOI 태스크를 위해 공유된 코어(Layer 25/Head 9)와 인스턴스별 지원 구조가 발견되었습니다.
- 붕괴(Collapse): 5개 인스턴스 중 4개에서 명확히 관찰되었으나, 회로를 절제해도 결정 격차가 거의 좁혀지지 않은 한 인스턴스(Anna/Mike)에서는 나타나지 않았습니다.
- 해리(Dissociation): 패칭 효과와 절제 효과 사이의 유의미한 격차가 5개 인스턴스 모두에서 관찰되었으며, 이는 두 작업이 별개임을 확인시켜 줍니다.
- 상호작용(Interaction): 5개 인스턴스 중 3개에서 측정 가능한 비제로(non-zero) 상호작용이 발견되었습니다. 결정적으로, 이러한 상호작용에 관여한 레이어 쌍은 동료 논문의 정리에서 증명된 단일 블록 구성에 해당하지 않았습니다. 따라서 이 결과는 다층 사례에 대한 시사점을 주지만, 단일 블록 정리를 직접적으로 테스트하는 것은 아닙니다.

의의 및 주장
본 논문은 단일 블록의 이론적 보장과 다층 트랜스포머 아키텍처의 현실 사이의 간극을 메운다고 주장하지만, 남아있는 한계에 대해 명시적인 정직함을 유지합니다.

다층 상호작용이 정확하게 분해될 수 있음을 확립하여, "교차 레이어 나머지"를 경계가 정해지지 않은 특정 양으로 격리합니다.
이 나머지를 잠재적으로 제한할 수 있는 데 필요한 수학적 재료(어텐션 자코비안 경계 및 곡률 상수)를 제공하고, 이를 실제 가중치에 대해 점별로 검증합니다.
합성 모델에서 관찰된 질적인 패턴(붕괴, 해리, 상호작용)이 실제 사전 학습된 모델의 발현된 회로에서도 나타나지만, "진정으로 혼합된 충실도(mixed fidelity)"를 가지고 있음을 보여줍니다.
저자는 임의의 깊이에 걸쳐 교차 레이어 나머지를 제한했다고 주장하지 않으며, Qwen2.5의 상호작용 결과가 단일 블록 정리가 다층 사례에도 적용됨을 증명한다고 주장하지도 않습니다. 대신, 이 혼합된 결과들을 이론이 단순히 합성 학습의 부산물이 아니라는 증거로 제시하는 동시에, 다층 상호작용의 부호와 크기가 여전히 복잡하고 열려 있는 문제임을 강조합니다.

유사한 논문