🤖 machine learning

Distributed Sparse Interventions in Language Models

이 논문은 기존의 선형 스티어링 방식이 놓치는 비선형적 효과와 상호작용을 포착함으로써 언어 모델에서 작업 동작을 효과적으로 활성화하기 위해 여러 계층에 걸쳐 희소한 뉴런 집합을 식별하는 새로운 방법인 분산 희소 개입(Distributed Sparse Interventions, DSI)을 소개한다.

원저자: Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data), Aaron Peikert (Center for Lifespan Psychology Max Planck Institute for Human Development), Oliver Eberle (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(챗봇을 구동하는 것과 같은)을 수백만 명의 작은 노동자(뉴런)들이 서로 다른 건물(레이어)에서 일하고 있는 거대하고 북적이는 도시라고 상상해 보십시오. 여러분이 모델에게 특정 작업(예: 문장을 번역하거나 동사를 과거형으로 바꾸는 일)을 수행하도록 요청할 때, 대부분의 사람은 도시 전체가 함께 움직여야 한다거나, 그 작업을 수행하기 위해 돌려야 하는 하나의 거대한 '스위치'가 존재한다고 생각합니다.

**"Distributed Sparse Interventions"**라는 이 논문은 이러한 가정이 틀렸다고 주장합니다. 저자들은 도시 전체를 움직이거나 거대한 스위치를 올리는 대신, 단 몇 명의 특정 노동자들을 살짝 건드리는 것만으로도 복잡한 작업을 유발할 수 있다는 것을 발견했습니다. 때로는 전체 인구의 **0.01%**만큼의 아주 적은 인원만으로도 가능합니다.

다음은 이들의 발견을 쉬운 비유를 통해 정리한 내용입니다.

1. 과거의 방식: "글로벌 볼륨 조절기"

이전의 연구들은 모델을 스테레오 시스템처럼 취급했습니다. 음악의 '분위기'(작업)를 바꾸고 싶다면, 방 전체의 볼륨을 높이는 글로벌 볼륨 조절기를 돌리거나 페이더를 밀어 올렸습니다. 이는 작업이 단순한 직선 형태라고 가정하는 것입니다. 즉, 조절기를 조금 올리면 음악 소리가 조금 커지는 식입니다.

문제점: 저자들은 모델이 단순한 스테레오가 아니라, 복잡한 오케스트라와 같다는 것을 발견했습니다. 단순히 방 전체의 볼륨을 높이기만 하면 소음만 발생할 뿐입니다. 진짜 마법은 특정 연주자들이 정확한 타이밍에 특정 음을 연주할 때 일어납니다. 이 노동자들 사이의 관계는 단순한 직선이 아니라, 뒤엉킨 그물망과 같습니다.

2. 새로운 방식: "분산 희소 개입" (Distributed Sparse Intervention, DSI)

저자들은 DSI라고 불리는 방법을 개발했습니다. 이것은 오케스트라 전체에 더 크게 연주하라고 명령하지 않는, 매우 숙련된 지휘자를 떠올리게 합니다. 대신 지휘자는 다음과 같이 행동합니다:

경청한다: 오케스트라가 곡을 알고 있을 때(10-shot 예시)와 모를 때(0-shot)의 연주 차이를 비교합니다.
식별한다: 나쁜 공연과 좋은 공연을 가르는 아주 작고 특정한 연주자 그룹을 찾아냅니다.
넛지(Nudge)한다: 그들이 자신의 역할을 다할 수 있도록 그 몇 안 되는 연주자들을 살짝 건드립니다.

결과: 수만 개의 뉴런 중 단 8개에서 64개의 뉴런에만 개입함으로써, 저자들은 모델이 명시적으로 배우지 않은 작업을 수행하게 만들 수 있었으며, 이는 종종 모델에게 10개의 예시를 주어 학습시킨 성능과 일치했습니다.

3. "비선형성"의 놀라움

이 논문은 이 뉴런들이 단순한 스위치처럼 작동하지 않는다는 점을 강조합니다.

비유: 케이크를 굽는 과정을 상상해 보십시오. 만약 선형적이라고 가정한다면, "계란 하나를 더 넣으면 케이크가 두 배로 맛있어질 것"이라고 생각할 수 있습니다. 하지만 실제로는 계란 하나를 더 넣으면 케이크가 눅눅해질 수도 있고, 두 개를 넣으면 완벽해질 수도 있으며, 세 개를 넣으면 망칠 수도 있습니다.
발견: 저자들은 뉴런을 건드리는 효과가 다른 뉴런들이 무엇을 하고 있는지에 따라 크게 달라진다는 것을 발견했습니다. 단순히 "가장 좋은" 뉴런을 골라 건드리는 것이 아니라, 적절한 조합의 뉴런을 찾아내어 적절한 강도로 건드려야 합니다. 저자들의 방법인 DSI는 한 번에 넛지를 주고 운에 맡기는 것이 아니라, 완벽한 레시피를 찾기 위해 이러한 넛지를 반복적으로 조정합니다.

4. "작업"의 해부 (복사 vs 변형의 비유)

이 논문에서 가장 흥고한 부분 중 하나는 그들이 이 방법을 통해 모델이 어떻게 생각하는지를 이해한 방식입니다. 그들은 "run"을 "ran"으로 바꾸는 것(시제 전환)과 같은 작업을 살펴보았습니다.

그들은 모델이 실제로 이 작업을 두 단계로 나눈다는 것을 발견했습니다.

복사(Copying): 모델은 먼저 "run"이라는 단어를 복사합니다.
변형(Transforming): 그 다음 "run"을 "ran"으로 변형합니다.

DSI를 사용하여, 그들은 오직 "복사" 부분만을 담당하는 뉴런과 "변형" 부분을 담당하는 뉴런을 분리해 낼 수 있었습니다.

실험: "복사" 뉴-런들만 활성화했을 때, 모델은 입력된 단어를 끊임없이 반복했습니다(마치 고장 난 레코드판처럼). "변형" 뉴런들을 활성화했을 때는 시제를 바꾸려고 시도했지만, 중간에 막히거나 반복되는 모습을 보였습니다.
통찰: 이는 복잡한 작업이 더 작고 재사용 가능한 "레고 블록" 형태의 뉴런들로 구축되어 있음을 증명합니다. 모델은 하나의 거대한 "과거 시제" 뇌를 가진 것이 아니라, 함께 작동하는 "복사" 뇌와 "변형" 뇌를 가지고 있는 것입니다.

요약

이 논문은 언어 모델이 하나의 거대한 덩어리가 아님을 보여줍니다. 모델은 **희소하고 분산된 회로(sparse, distributed circuits)**로 이루어져 있습니다. 새로운 작업을 수행하게 만들기 위해 모델 전체를 다시 훈련시키거나 방대한 양의 데이터를 사용할 필요는 없습니다. 그저 그 작업의 "열쇠"를 쥐고 있는 아주 작고 특정한 뉴론 그룹을 찾아 살짝 건드려 주기만 하면 됩니다.

요약하자면: 도시 전체에 소리를 지르는 대신, 저자들은 몇몇 특정 사람들에게 속삭이는 방법을 찾아냈고, 그러자 도시 전체가 갑자기 새로운 언어로 말하기 시작했습니다.

기술 요약: 언어 모델에서의 분산 희소 개입 (Distributed Sparse Interventions)

문제 정의

현대 언어 모델(LLM)은 인컨텍스트 러닝(ICL)을 통해 여러 태스크를 적응적으로 결합하고 실행하는 유연한 태스크 해결 능력을 보여준다. 그러나 이러한 모델이 태스크를 어떻게 표현하고 구성하는지에 대한 근저의 메커니즘은 여전히 불분명하다. 모델 스티어링(steering)에 관한 기존 연구는 주로 **활성화 공간 내의 전역적 방향(global directions in activation space)**에 의존해 왔으며, 이는 다음 세 가지 핵심 가정을 전제로 한다:

효과적인 개입을 위해서는 특정 레이어나 어텐션 헤드 내의 모든 뉴런 활성화를 수정해야 한다.
태스크는 활성화 공간 내에서 가산적으로 결 조합될 수 있는 선형 방향으로 표현된다.
국소적 1차 효과 근사(local first-order effect approximations)가 비례적인 행동 변화를 유도하는 개입을 식별하는 데 충분하다.

저자들은 이러한 가정들이 실제 상황에서는 자주 위배된다고 주장한다. 태스크 관련 계산은 모델 구성 요소 전반에 걸쳐 분산되어 있으며, 개입은 뉴런 간의 **비선형 상호작용 효과(nonlinear interaction effects)**를 나타내는 경우가 많아, 균일한 1차 근사로는 이를 포착할 수 없다. 결과적으로, 기존의 스티어링 방법은 최적화되지 않거나 침습적일 수 있으며, 다른 기능을 방해하지 않고 특정 태스크 계산만을 격리할 수 있는 정밀함이 부족하다.

방법론: 분산 희소 개입 (Distributed Sparse Interventions, DSI)

이러한 한계를 해결하기 위해, 본 논문은 레이어와 어텐션 헤드 전반에 걸쳐 분산된 작고 희소한 뉴런 서브셋을 식별하고 적용하도록 설계된 분산 희소 개입(DSI) 방법을 소개한다. DSI는 전역적인 표현 방향이 아닌 뉴런 기저(neuron basis)에서 직접 작동한다.

DSI 절차는 다음의 4단계 과정을 따른다:

활성화 차이 추출 (Activation Difference Extraction): 이 방법은 모든 뉴런에 대해 $k$ -샷(예: 10-shot) 프롬프트와 0-shot 프롬프트 사이의 활성화 차이를 계산한다. 이는 태스크 특유의 모델 응답을 격리하여 개입 강도를 위한 정보가 풍부한 초기값을 제공한다.
강건화된 그래디언트 추정 (Robustified Gradient Estimation): 그래디언트 불안정성(예: 그래디언트 샤터링)을 완화하기 위해, DSI는 **레이어별 관련성 전파(Layer-wise Relevance Propagation, LRP)**를 사용하여 강건화된 그래디언트를 계산한다. 여기에는 비선형 활성화 함수, 게이트형 MLP, 어텐션 모듈에 특정 규칙(Identity, Half, LayerNorm)을 적용하여 개입에 따른 모델 출력의 기대 변화를 더 잘 추정하는 과정이 포함된다.
초기 희소 선택 (Initial Sparse Selection): 강건화된 그래디언트와 평균 활성화 차이의 곱을 기준으로 초기 $n$ 개의 뉴런을 선택하며, 가장 영향력이 큰 뉴런만을 남긴다.
반복적 정교화 (Iterative Refinement): 1차 테일러 근사가 비선형성과 상호작용 효과를 무시한다는 점을 인식하여, DSI는 반복적 최적화 절차를 사용한다. ZeroFPR 알고리즘을 사용하여, 올바른 토큰에 대한 출력 로짓(logit)을 최대화하도록 개입 스케일링 인자를 반복적으로 업데이트한다. 이 단계는 뉴런 간의 상호작용을 고려하며, 균일한 스케일링 인자를 적용하는 대신 각 특정 뉴런에 대한 개입 강도를 정교화한다.

주요 기여

본 논문은 네 가지 주요 기여를 한다:

방법론적 프레임워크: 전역 방향 기반 스티어링을 넘어, 모델에 분산된 특징(뉴런)의 희소한 집합을 식별하고 개입함으로써 태스크 활성화를 가능하게 하는 DSI를 도입하였다.
비선형성 입증: 뉴런 개입 간의 복잡한 비선형 의존성을 보여주는 경험적 증거를 제시한다. 저자들은 1차 근사가 양(+)의 효과를 가진 뉴런을 신뢰성 있게 식별하는 데 실패하며, 최적의 개입 강도가 뉴런마다 크게 다르기 때문에 뉴런 수준의 반복적 기법이 필요함을 입증하였다.
경험적 검증: 세 가지 인스트럭션 튜닝 모델(Qwen 3, Gemma 3, Llama 3.2)에 대해 12가지 태스크(추출적 및 추상적 태스크 모두 포함)를 대상으로 종합적인 연구를 수행하였다. 결과에 따르면, 단 8~64개의 뉴런(전체 뉴런의 0.01%~0.04%)에 개입하는 것만으로도 특정 태스크를 활성화하기에 충분하며, 종종 10-shot ICL 성능과 일치하거나 이를 능가한다.
태스크 구성을 보는 집합 기반 관점: 모델 스티어링을 뉴런 집합에 근거하게 함으로써, 저자들은 개별 뉴런의 역할을 분석할 수 있게 하였다. 시제 전환(tense-switching) 및 언어 전환(language-switching) 태스크에 대한 사례 연구는 태스크 행동이 공유된 구성 요소(예: 입력 복사)와 태스크 특유의 구성 요소(예: 변환)로 분해될 수 있으며, 집합 연산(교집합 및 차집합)을 통해 이를 격리할 수 있음을 보여준다.

실험 결과

성능: DSI는 그래디언트 강건화나 반복적 정교화가 결여된 베이스라인 및 절제 모델(ablated versions)에 비해 0-shot 태스크 정확도를 유의미하게 향상시킨다. 예를 들어, Llama 3.2 (3B)에서 64개 뉴런을 사용한 DSI는 추상적 태스크에서 0.75, 추출적 태스크에서 0.98의 평균 정확도를 달성한 반면, 베이스라인은 0.02~0.28 수준에 머물렀다.
희소성: 매우 희소한 개입으로도 높은 성능을 달성할 수 있다. 8개의 뉴런만으로도 의미 있는 이득을 얻는 경우가 많았으며, 성능은 일반적으로 32~64개의 뉴런 집합에서 정체되거나 정점에 도달했다.
분포: 식별된 뉴런들은 어텐션 헤드와 레이어 전반에 걸쳐 넓게 분포되어 있으며, 특히 중간 및 후기 레이어에 집중되어 있다. 이는 수정을 특정 레이어로 제한하는 접근 방식과 대조적이다.
분해: 사례 연구에서 "복사(copy)" 태스크와 "변환(transformation)" 태스크(예: 현재형에서 과거형으로)의 뉴런 집합의 교집합은 복사 동작을 성공적으로 격리하였다. 반대로, 태스크 특유의 뉴런(교집합 제외)은 공유 구성 요소 없이는 완전한 태스크 활성화에 어려움을 겪기도 했으나, 복사 아티팩트를 줄이면서 변환을 성공적으로 유도하였다.

의의 및 주장

본 논문은 DSI가 딥러닝 모델의 태스크 표현을 발견하고, 제어하고, 이해하기 위한 원칙적인 방법을 제공한다고 주장한다. 밀집된 표현 공간 내의 선형적이고 가산적인 태스크 벡터 가정을 벗어남으로써, DSI는 모델 스티어링에 대한 더 미세한 접근 방식을 제공한다.

저자들은 이러한 발견이 태스크 구성이 고수준의 표현뿐만 아니라 기저의 뉴런 수준 구조에도 반영되어 있음을 시사한다고 강조한다. 태스크를 공유 및 특유의 뉴런 집합으로 분해할 수 있는 능력은 모델이 행동을 결합하는 방식에 대한 새로운 관점을 제공하며, 잠재적으로 더 정밀하고 덜 침습적인 개입을 가능하게 한다.

저자들은 다음과 같은 한계점에 대해 겸허한 입장을 유지한다:

평가는 깨끗한 퓨샷 프롬프트와 단일 토큰 예측에 의존하며, 전체 자기회귀 생성 과정 중 개입의 진화 여부는 여전히 미해결 과제로 남아 있다.
성능은 모델과 태스크에 따라 달라지며, 이는 표현의 차이와 방법론적 한계가 모두 작용함을 시사한다.
프레임워크가 기능적 프리미티브(예: "copy" 뉴런)를 격리할 수는 있지만, 파생된 서브태스크 개입이 항상 관련된 행동을 완벽하게 활성화하는 것은 아니며, 이는 더 발전된 분해 전략이 필요함을 나타낸다.

궁극적으로, 이 연구는 정밀하고 국소적인 행동 제어를 위한 도구를 제공함으로써 언어 모델의 태스크 구성을 이해하고 모델의 안전장치를 개선하는 것을 목표로 한다.