CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles

CIRCUS 는 분석적 선택의 불확실성을 정량화하여 다양한 설정에서 도출된 그래프의 안정성 점수를 기반으로 신뢰할 수 있는 기계적 회로 (mechanistic circuit) 의 핵심 구조를 추출하고 불확실성을 명시적으로 드러내는 새로운 프레임워크를 제시합니다.

핵심

🎪 CIRCUS: 기계의 '두뇌'를 해부할 때 생기는 혼란을 정리하는 마법

이 논문은 인공지능 (AI) 이 어떻게 일을 하는지 설명하려는 '기계적 해석 (Mechanistic Interpretability)' 분야에서 아주 중요한 문제를 해결하는 방법을 소개합니다. 제목인 CIRCUS는 "불확실성 하의 회로 합의를 위한 안정성 앙상블"이라는 어려운 말로 되어 있지만, 쉽게 말해 **"AI 의 두뇌 구조를 설명할 때, 전문가들의 의견 차이가 생기는 문제를 해결하는 방법"**입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🧩 1. 문제: "누가 정답을 말해?" (불확실성의 함정)

AI 의 두뇌를 해부할 때 연구자들은 보통 "이 부분이 중요해, 저 부분은 잘라내자"라고 판단합니다. 하지만 여기서 큰 문제가 생깁니다.

• 상황: 한 연구자가 "이 선을 잘라내면 돼"라고 하고, 다른 연구자는 "아니, 그건 너무 많이 잘랐어, 조금 더 남겨야 해"라고 합니다.
• 결과: 같은 AI 를 분석해도, 연구자가 정한 기준 (문턱값) 이 조금만 달라져도 완전히 다른 두뇌 지도가 나옵니다.
• 비유: 마치 동일한 요리를 여러 명의 셰프가 평가할 때와 같습니다.
  • 셰프 A 는 "소금 1 스푼이 핵심이야!"라고 말합니다.
  • 셰프 B 는 "아니, 소금 2 스푼이 핵심이지!"라고 말합니다.
  • 결과적으로 우리는 "도대체 소금 1 스푼이 핵심인지, 2 스푼이 핵심인지, 아니면 소금 자체가 중요하지 않은 건지" 알 수 없게 됩니다. 이것이 바로 불확실성입니다.

기존 방법들은 이 중 하나의 의견만 골라 "이게 정답이다"라고 발표했지만, 이는 매우 취약하고 신뢰하기 어렵습니다.

---

🎪 2. 해결책: CIRCUS (서커스) 의 마법

이 논문이 제안한 CIRCUS는 "하나의 정답"을 찾으려 하지 않습니다. 대신 **모든 의견의 공통점을 찾아내는 '합의 (Consensus)'**를 강조합니다.

🎭 비유: "서커스단의 공연"

CIRCUS 는 마치 서커스단을 상상해 보세요.

1. 다양한 시연 (Bagging): 같은 공연을 3 명, 25 명의 다른 서커스 단원들이 각자 조금씩 다른 방식으로 공연합니다. (연구자가 기준을 조금씩 바꿔가며 여러 번 분석하는 것)
2. 안정성 점수 (Stability Score): "어떤 마술사가 공연할 때마다 반드시 등장하는 마술사"가 누구인지 확인합니다.
   • 10 번 중 10 번 등장한 마술사 = 핵심 (Core)
   • 10 번 중 3 번만 등장한 마술사 = 우연 (Noise)
   • 10 번 중 5~6 번 등장한 마술사 = 대안 (Contingent)
3. 최종 결과: 우리는 10 번 중 10 번 모두 등장한 '진짜 핵심 마술사들'만 모아 최종 서커스단을 만듭니다.

이렇게 하면, 어떤 연구자가 기준을 어떻게 잡든 변하지 않는 진짜 중요한 부분만 남게 됩니다.

---

🚀 3. CIRCUS 가 가져온 놀라운 성과

이 방법을 적용했을 때 어떤 일이 일어났을까요?

• 📉 압도적으로 작아진 지도:
  기존에 모든 가능성을 다 합친 지도 (Union) 는 너무 커서 25,000 개의 선이 있었습니다. 하지만 CIRCUS 가 찾아낸 '핵심 합의 지도'는 단 625 개의 선뿐이었습니다. (약 40 배나 작아졌습니다!)

  • 비유: 거대한 도시의 모든 도로를 다 표시한 지도 대신, 실제로 매일 통행하는 핵심 도로만 표시한 지도를 받은 것과 같습니다. 훨씬 이해하기 쉽죠.

• 🛡️ 더 강력한 신뢰도:
  단순히 크기를 줄인 게 아니라, AI 가 실제로 일을 할 때 이 핵심 부분들을 건드리면 AI 의 성능이 크게 떨어졌습니다. 즉, **"이게 진짜 핵심이다"**라는 것을 실험으로 증명했습니다. (통계적으로 매우 유의미한 결과, p=0.0004)

• 💡 불확실한 부분도 보여줌:
  CIRCUS 는 "이건 확실한 핵심 (Core)", "이건 상황에 따라 달라지는 대안 (Contingent)", "이건 그냥 잡음 (Noise)"으로 구분해 줍니다.

  • 비유: 요리사에게 "소금 1 스푼은 필수야 (Core). 하지만 소금 2 스푼은 상황에 따라 넣어도 돼 (Contingent). 그리고 후추는 아예 필요 없어 (Noise)"라고 명확하게 알려주는 것과 같습니다.

---

🌟 4. 요약: 왜 이것이 중요한가?

기존의 AI 해석 방법은 "내 기준이 맞으니 이게 정답이야"라고 주장하는 일회성 설명에 그쳤습니다. 하지만 CIRCUS 는 다음과 같이 바꿉니다.

1. 신뢰할 수 있는 핵심: 연구자의 선택에 따라 흔들리지 않는 불변의 진리를 찾아냅니다.
2. 투명한 불확실성: "이 부분은 확실하지 않아"라고 솔직하게 인정하고, 그 부분을 따로 표시해 줍니다.
3. 효율성: AI 모델을 다시 훈련시킬 필요 없이, 기존 데이터를 조금만 재분석하면 됩니다. (비용 거의 0)

결론적으로,
CIRCUS 는 AI 의 복잡한 두뇌를 해부할 때, "누구의 말 들어야 하지?"라는 고민을 덜어주고, 어떤 부분이 진짜 중요한지, 어떤 부분은 그냥 우연인지를 명확하게 구분해 주는 신뢰할 수 있는 나침반이 되어줍니다. 이제 우리는 AI 가 왜 그런 결정을 내렸는지, 훨씬 더 확신을 가지고 이해할 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기계적 해석 가능성 (Mechanistic Interpretability) 분야에서 회로 (Circuit) 를 발견하는 것은 모델의 특정 행동을 지지하는 희소 서브그래프를 찾는 과정입니다. 그러나 기존 방법론은 다음과 같은 심각한 한계를 가집니다:

• 분석가의 임의적 선택에 대한 민감성: 회로 도출 과정에서 가지치기 (pruning) 임계값이나 특징 사전 (feature dictionary, 예: 트랜스코더 체크포인트) 의 선택에 따라 결과가 크게 달라집니다.
• 불확실성 부재: 단일 실행 (one-shot) 으로 도출된 회로는 임계값 선택에 따라 다른 에지와 해석을 낳지만, 어떤 구조가 안정적이고 어떤 것이 아티팩트 (artifact) 인지를 구분할 수 있는 원칙적인 불확실성 정량화 방법이 부족합니다.
• 취약한 설명: 임의의 선택에 의존하는 "한 번의 설명"은 신뢰할 수 없으며, 불필요한 노이즈를 포함할 수 있습니다.

이 논문은 이러한 분석가의 선택 (임계값, 사전 등) 에 따른 불확실성을 정량화하여, 안정적인 회로 구조와 노이즈를 구분하는 새로운 프레임워크를 제안합니다.

---

2. 방법론 (Methodology: CIRCUS)

저자들은 회로 발견을 불확실성 정량화 (Uncertainty Quantification) 문제로 재정의하고, CIRCUS라는 방법을 제시합니다. 핵심 아이디어는 단일 원시 attribution(귀속) 실행을 기반으로 여러 가지 가지치기 구성 (configurations) 을 적용하여 앙상블을 구축하는 것입니다.

핵심 단계:

1. 구성 배깅 (Config-Bagging):
   • 단일 원시 attribution 그래프를 생성한 후, 가지치기 임계값과 사전 설정을 다양화하여 $B$개의 서로 다른 뷰 (pruned graphs) 를 생성합니다. (모델 재학습 없이 수행 가능)
2. 안정성 점수 (Stability Score) 할당:
   • 각 에지 $e$에 대해 안정성 점수 $s(e)$ 를 계산합니다. 이는 전체 뷰 중 해당 에지를 유지한 뷰의 비율입니다.
   • $s(e) = \frac{1}{B} \sum_{b=1}^{B} \mathbb{I}[e \in E^{(b)}]$
   • 점수가 1 이면 모든 뷰에서 유지된 에지 (완전 합의), 0 에 가까우면 임의의 선택에 민감한 에지임을 의미합니다.
3. 합의 회로 추출 (Consensus Extraction):
   • 엄격한 합의 (Strict Consensus, $\tau=1$): 모든 뷰에 공통으로 포함된 에지만으로 구성된 회로 ($C_1$) 를 추출합니다. 이는 임계값에 강건한 "핵심 (Core)" 회로입니다.
   • 탐색적 회로: $\tau < 1$ (예: 2/3) 인 경우, 더 넓은 탐색적 회로를 제공할 수 있습니다.
4. 부스팅 (Boosting) 및 계층화:
   • 핵심 회로 ($C_1$) 로 설명되지 않는 잔여 영향 (residual influence) 을 분석하여 $C_2$를 생성하고, 이를 결합하여 전체 회로 ($C_1 \cup C_2$) 를 구성합니다.
   • 이를 통해 회로를 핵심 (Core), 우연적/대안적 (Contingent), 노이즈 (Noise) 로 분류합니다.

---

3. 주요 기여 (Key Contributions)

• 불확실성 인식 프레임워크: 단일 그래프 대신 여러 뷰의 합의를 통해 회로의 안정성을 정량화하는 첫 번째 실용적인 방법론을 제시했습니다.
• 효율적인 알고리즘: 모델 재학습이 필요 없으며, 기존에 계산된 가지치기 그래프들의 구조를 집계하는 데만 초점을 맞춰 거의 오버헤드가 없습니다.
• 명확한 분류 체계:
  • Core: 모든 설정에서 안정적으로 나타나는 에지 (신뢰도 높음).
  • Contingent: 일부 설정에서만 나타나지만 영향력이 큰 에지 (대안적 경로).
  • Noise: 안정성과 영향력이 모두 낮은 에지 (거부 가능).
• 거부 및 대안 인터페이스: 낮은 합의도를 가진 구조를 명시적으로 거부하거나, 사용자의 필요에 따라 대안 경로를 제시할 수 있는 인터페이스를 제공합니다.

---

4. 실험 결과 (Results)

Gemma-2-2B 와 Llama-3.2-1B 모델을 대상으로 실험을 수행했습니다.

• 크기 축소 및 효율성:
  • 엄격한 합의 회로 (Strict Consensus) 는 모든 구성의 합집합 (Union) 보다 약 40 배 더 작습니다 (예: 25,478 개 에지 $\rightarrow$ 625 개 에지).
  • 크기가 줄어든 반면, 설명력 (Influence Retained, IR) 은 동등하거나 더 높게 유지되었습니다.
• 기저선 (Baseline) 대비 성능:
  • 동일한 에지 예산 (edge budget) 을 가진 "합집합 가지치기 (Union pruned)" 기저선보다 합의 회로가 더 높은 IR 을 기록했습니다 (0.78 vs 0.73). 이는 임계값에 강건한 선택이 단순한 영향력 기반 선택보다 우수함을 보여줍니다.
• 인과적 유효성 검증 (Causal Validation):
  • 활성화 패칭 (Activation Patching) 실험을 통해 합의 회로가 식별한 노드들이 매칭된 비합의 제어군 (non-consensus controls) 보다 통계적으로 유의미하게 높은 성능을 보였습니다 ($p = 0.0004$). 이는 합의 회로가 실제 인과적 중요성을 가진다는 강력한 증거입니다.
• 다중 프롬프트 안정성:
  • 20 개의 다양한 프롬프트에 대해 일관된 결과를 보였으며, 최악의 경우에도 높은 설명력을 유지했습니다.
• 불확실성 분석:
  • 에지 안정성 분포를 분석한 결과, 에지의 약 73% 가 0.5 미만의 낮은 안정성을 보였으며, 이는 임계값 선택에 따라 결과가 크게 달라질 수 있음을 시사합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 해석 가능성: CIRCUS 는 임의의 분석가 선택으로 인한 노이즈를 제거하고, 검증 가능하고 감사 가능한 (auditable) 기계적 회로를 제공합니다.
• 실용성: 재학습 없이 기존 도구를 활용할 수 있어 실제 적용 비용이 매우 낮습니다.
• 패러다임 전환: "단 하나의 정답"을 찾는 것이 아니라, 어떤 구조가 불확실성 하에서도 안정적인지를 강조함으로써 기계적 해석 가능성 연구의 신뢰성을 높입니다.
• 향후 과제: 모델 교체 (replacement-model masking) 를 통한 완전한 충실도 (faithfulness) 검증, 여러 트랜스코더 체크포인트를 활용한 앙상블 확장 등이 향후 연구 과제로 제시되었습니다.

요약하자면, CIRCUS는 기계적 해석 가능성 분야에서 발생하는 불확실성을 체계적으로 관리하고, 더 작고 강력하며 신뢰할 수 있는 회로를 발견하기 위한 필수적인 도구로 자리 잡았습니다.