기술 요약: 회로 발견을 통한 LLM의 정밀 암기(Verbatim Memorization) 이해

문제 정의

대규모 언어 모델(LLM)은 놀라운 능력을 보여주었지만, 훈련 데이터의 정확한 재현인 **정밀 암기(verbatim memorization)**의 기저 메커니즘은 여전히 명확히 이해되지 않고 있습니다. 기존의 해석 가능성 연구는 암기가 여러 레이어에 걸쳐 분산되어 있으며(초기 레이어는 토큰을 촉진하고, 상위 레이어는 확신을 증폭함), 특정 어텐션 헤드를 포함한다는 점을 밝혀냈으나, 모델이 어떻게 암기된 시퀀스를 인출할지 아니면 새로운 콘텐츠를 생성할지를 결정하는지에 대한 기계론적 설명은 부족합니다. 또한, 대조 데이터셋(깨끗한 예시와 오염된 예시)에 의존하는 기존의 회로 발견 방법은 암기와 같은 개방형 작업에 대한 데이터셋 구축의 어려움으로 인해, 간접 목적어 식별(Indirect Object Identification)과 같이 작고 잘 정의된 작업에 국한되어 왔습니다.

방법론

저자들은 기계론적 해석 가능성(mechanistic interpretability), 구체적으로는 **회로 프레임워크(circuits framework)**를 사용하여 암기를 담당하는 최소한의 계산 서브그래프를 격리하는 방식을 사용합니다.

1. 데이터셋 구축

• 출처: 본 연구는 The Pile 데이터셋의 Wikipedia 서브셋을 활용하며, GPT-Neo-125M 모델로 처리되었습니다.
• 암기 선택: 샘 smallest 샘플은 정밀도 점수가 정확히 1.0(그라운드 트루스와의 완벽한 토큰 수준 일치)인 것으로 필터링되었으며, 총 4,047개의 샘플이 추출되었습니다.
• 발산 지점(Divergence Points): 저자들은 모델의 생성이 암기된 경로에서 벗어날 때까지(BLEU 점수가 0.3 미만으로 떨어지는 것을 통해 감지) 문맥 길이를 알고리즘적으로 단축했습니다. 이 지점들이 암기에서 새로운 생성으로 전환되는 지점을 정의합니다.
• 대조 데이터셋: 서로 다른 측면의 암기를 격리하기 위해 두 가지 별도의 데이터셋을 생성했습니다.
  • 암기 결정 데이터셋(Memorization Decision Dataset): 암기된 콘텐츠를 인출하기 위한 초기 결정을 트리거하는 구성 요소를 식별하도록 설계되었습니다. 이는 "깨끗한" 문맥(암기를 트리거하기 직전의 토큰 상태)과 "오염된" 문맥(의미적으로 유사하지만 암기된 토큰으로 이어지지 않는 상태)을 대조합니다.
  • 분기 비교 데이터셋(Branch Comparison Dataset): 일단 결정이 내려진 후 암기된 경로를 유지하는 데 책임이 있는 구성 요소를 식별하도록 설계되었습니다. 이는 암기된 경로를 따라 계속 진행되는 문맥과 모델의 가장 확률 높은 비암기 토큰으로 발산하는 문맥을 대조합니다.

2. 회로 발견

• 기법: 본 연구는 **통합 그래디언트를 이용한 엣지 속성 패칭(Edge Attribution Patching with Integrated Gradients, EAP-IG)**을 채택합니다. 이 방법은 그래디언트를 사용하여 활성화 패칭(activation patching)의 효과를 근사함으로써, 수천 번의 순전파 과정 대신 단 두 번의 순전파와 한 번의 역전파만으로 계산 비용을 줄입니다.
• 개입 전략:
  • 노이징(Noising, Corrupt $\to$ Clean): 오염된 입력으로부터의 활성화를 깨끗한 입력으로 패칭하여, 이를 방해했을 때 암기를 깨뜨리는 구성 요소를 식별합니다.
  • 디노이징(Denoising, Clean $\to$ Corrupt): 깨끗한 입력으로부터의 활성화를 오염된 입력으로 패칭하여, 암기를 복구하거나 유도하는 구성 요소를 식별합니다.
• 충실도 지표(Faithfulness Metric): 회로는 정규화된 충실도 점수로 평가되며, 해당 서브그래프가 전체 모델 작업 성능의 85% 이상을 수행함을 보장합니다.

주요 기여

1. 데이터셋 구축: 암기의 개시(결정)와 지속(분기 비교)을 다루는 두 가지 특화된 대조 데이터셋을 구축했습니다.
2. 회로 발견: 암기 작업에 책임이 있는 압축된 회로(모델 엣지의 $\le$ 5%를 포함)를 식별했습니다. 특히, 분기 비교 회로는 매우 미니멀하게(최소 14개 엣지, 즉 모델의 0.04%) 발견되었습니다.
3. 엄격한 검증: 무작위 베이스라인 비교, 교차 작업 일반화, 교차 코퍼스 일반화, 그리고 대안적인 패칭 방법(zero ablation, mean ablation)에 대한 테스트를 포함하는 다각적인 평가 프레임워크를 제공합니다.
4. 기계론적 통찰:
   • 제어의 비대칭성: 암기를 트리거할 수 있는 회로는 암기가 시작된 후 이를 유지할 수도 있습니다. 그러나 암기만을 유지하는 회로는 암기의 개시를 트리거할 수 없습니다.
   • 일반화의 차이: 암기를 방지하는 메커니즘(방해 회로)은 다양한 텍스트 도메인(GitHub, Enron Emails, Common Crawl)에 걸쳐 견고하게 전이됩니다. 반면, 암기를 유도하는 메커니즘은 문맥 의존성이 높아 도메인 간 일반화가 잘 되지 않습니다.

결과

• 회로 크기: 분기 비교 작업은 높은 충실도(1.00)를 가진 매우 작은 회로(14개 엣지, 0.04%)를 생성했습니다. 암기 결정 작업은 유사한 충실도 수준을 위해 더 큰 회로(예: 141개 엣지, 0.43%)를 필요로 했습니다.
• 교차 작업 일반화:
  • 암기 결정 회로는 분기 비교 작업에서 모델이 암기된 경로를 계속 따르도록 제어하는 데 성공했습니다(충실도 1.00).
  • 분기 비교 회로는 암기 결정 작업에 적용했을 때 성능이 저조했으며, 이는 암기된 시퀀스를 지속하는 메커니즘이 암기를 결정하는 메커니즘과 구별됨을 나타냅니다.
• 교차 코퍼스 일반화:
  • 방지: 노이징 회로(암기를 깨뜨리도록 설계됨)는 다양한 도메인에서 암기 정확도를 효과적으로 감소시켰습니다(예: Common Crawl에서 정확도를 90.5%에서 4.5%로 감소).
  • 유도: 디노이징 회로(암기를 유도하도록 설계됨)는 제한적인 전이성을 보였습니다. 충실도 점수는 높게 유지되었으나, 새로운 도메인에서의 실제 암기 유도는 약했습니다(예: Common Crawl에서 정확도를 5.2%에서 23.8%로 증가).
• 강건성: 식별된 회로는 발견에 사용된 특정 clean-corrupt 쌍에 높은 의존성을 보였습니다. 대안적인 패칭 방법(zero 또는 mean ablation)으로 테스트했을 때 충실도가 크게 떨어졌으며, 이는 회로가 일반적인 구조적 특성보다는 특정 카운터팩추얼(counterfactual) 활성화에 의존함을 시사합니다.

의의 및 주장

본 논문은 LLM이 암기와 생성 사이를 어떻게 전환하는지에 대한 기계론적 이해를 제공한다고 주장합니다. 주요 의의는 암기 회로의 비대칭성 발견에 있습니다:

• 트리거 vs 유지: 암기를 시작하는 능력은 이를 유지하는 능력을 포함하지만, 그 역은 성립하지 않습니다. 이는 특정 "트리거" 회로가 저장된 정보에 접근할지를 결정하고, 별도의 메커니즘이 지속을 처리하는 계층적 제어 구조를 시사합니다.
• 방지 vs 유도: 연구는 암기 방지가 암기 유도보다 텍스트 도메인 전반에서 더 일반화 가능한 메커칙임을 시사합니다. 이는 도메인에 관계없이 암기를 유도하거나 억제하려는 시도보다, "트리거" 메커니즘을 겨냥한 안전 개입이 더 효과적이고 견고할 수 있음을 의미합니다.
• 기존 연구와의 모순: 본 연구의 결과는 암기된 구절을 오염시키기 어렵다는 Stoehr et al. (2024)의 연구와 대조됩니다. 저자들은 이러한 차이가 그래디언트가 영향을 미치는 가중치(weights)가 아니라 특정 계산 경로(circ circuits)를 타겟팅했기 때문이라고 가설을 세웁니다. 저자들은 "트리거" 회로는 쉽게 방해될 수 있지만, 기저의 정보 저장 자체는 견고하게 유지되는 모델을 제안합니다.

저자들은 단일 소규모 모델(GPT-Neo-125M)에 대한 의존성, 직접 패칭 대신 사용된 근사 방법(EAP-IG), 그리고 발견된 내용이 The Pile의 Wikipedia 서브셋에 특화되었을 가능성 등 한계점을 언급하며 겸허한 태도를 유지합니다. 결론적으로, 이러한 회로들이 암기에 대한 창을 제공하지만, 다양한 모델 크기와 아키텍처에 걸친 추가적인 검증이 필요하다고 밝히고 있습니다.