🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

이 논문은 개별 출력에 대해 충실하고, 희소하며, 계산 가능한 설명을 제공하기 위해 언어 모델 내의 입력 특정 정보 흐름을 추적하는 방법인 "쿼리 회로(query circuits)"를 소개하며, 이는 새로운 지표인 정규화된 편차 충실도(Normalized Deviation Faithfulness, NDF)를 통해 검증되었고 여러 벤치마크에 걸쳐 입증되었습니다.

원저자: Tung-Yu Wu, Fazl Barez

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tung-Yu Wu, Fazl Barez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 수백만 개의 도로, 교차로, 신호등이 있는 거대하고 북적이는 도시라고 상상해 보세요. 여러분이 모델에게 질문(프롬프트)을 던지는 것은, 답변을 전달하기 위해 이 도시를 통과하는 배달 트럭을 보내는 것과 같습니다.

오랫동안 연구자들은 이 도시가 어떻게 작동하는지 이해하기 위해 일반적인 교통 패턴을 지도화하려고 노력해 왔습니다. 예를 들어, "경로 A"는 모델이 숨겨진 물체를 찾아야 할 때 항상 사용되며, "경로 B"는 수학 문제를 풀 때 사용된다는 것을 그들은 알고 있습니다. 이것들을 **역량 회로(capability circuits)**라고 부릅니다.

하지만 일반적인 경로를 아는 것만으로는 왜 오늘 여러분의 특정 배달을 위해 트럭이 특정 경로를 택했는지 설명할 수 없습니다. 아마도 공사 구간이 있었거나, 갑작스러운 우회로가 생겼거나, 혹은 이번 여정에만 영향을 미친 독특한 신호등이 있었을 수도 있습니다.

이 논문은 이 도시를 바라보는 새로운 방식인 **쿼리 회로(Query Circuits)**를 소개합니다. 연구자들은 일반적인 지도를 보는 대신, 여러분의 특정 질문을 위해 트래킹된 정확하고 미세한 경로를 추적하고자 합니다.

이들의 발견을 쉬운 비유를 통해 정리하면 다음과 같습니다.

1. 문제점: "대리(Surrogate)" 지도가 틀렸다

이전에는 특정 여정을 이해하기 위해, 도시를 아주 작고 단순화된 모델(대리 모델)로 만들어서 그 경로를 추적하려 했습니다.

비유: 뉴욕시의 복잡한 교통 정체를 이해하기 위해 레고 블록으로 도시의 장난감 모델을 만든다고 상상해 보세요. 여러분은 그 레고 모델 위에서 경로를 추적하며, 그것이 실제 도시와 일치하기를 바랍니다.
문제점: 이 논문은 이러한 레고 모델이 실제 도시와 완벽하게 일치하지 않는 경우가 많다고 주장합니다. 모델은 세부 사항을 놓치기 쉽고, 이를 만드는 과정도 느리고 비용이 많이 듭니다. 저자들은 별도의 장난감 버전 없이 실제 도시(실제 모델)에서 직접 경로를 추적하고 싶어 했습니다.

2. 해결책: "Best-of-N" 로또

저자들은 하나의 특정 질문에 대한 정확한 경로를 찾는 것이 놀라울 정도로 어렵다는 것을 발견했습니다. 단지 하나의 질문에 대해서만 교통 신호를 관찰하면, 데이터가 종종 "노이즈"(라디오의 잡음 같은 현상)를 포함하고 있어 진정한 경로를 파악하기 어렵습니다.

비유: 여러분이 당첨된 로또 티켓을 찾으려고 하는데, 티켓의 숫자가 약간 흐릿하게 보이는 상황을 상상해 보세요. 단 하나의 티켓만 보고 당첨자를 고르려 한다면, 잘못된 것을 고를 수도 있습니다.
해결책: 저자들은 **Best-of-N (BoN)**이라고 불리는 방법을 제안합니다.
1. 원래의 질문을 가져옵니다.
2. 모델에게 동일한 질문을 9가지 다른 방식(패러프레이징)으로 질문합니다. 이는 "하늘은 무슨 색인가요?"라고 묻는 것과 "맑은 날의 하늘색을 묘사해 주세요"라고 묻는 것의 차이와 같습니다.
3. 10가지 버전 모두에 대해 경로를 추적합니다.
4. 승자를 선택합니다: 가장 잘 작동한 경로를 선택합니다.
결과: 원래의 질문은 "흐릿"했을지라도, 재구성된 버전 중 하나는 모델이 어떻게 답했는지를 정확하게 드러낼 만큼 명확했습니다. 여러 버전을 확인함으로써, 그들은 모델이 어떻게 답했는지를 정확하게 설명해 주는 "당첨 티켓"을 찾아냈습니다 именно.

3. 새로운 성적표: NDF

우리가 올바른 경로를 찾았는지 알기 위해서는 성공을 측정할 방법이 필요했습니다. 기존의 성적표(NFS라고 불림)는 복잡한 질문에 대해 제대로 작동하지 않았습니다. 예를 들어, 말도 안 되게 "200%"나 "-50%" 같은 점수를 내놓기도 했습니다.

비유: 이는 마치 여러분이 시속 60마일로 달리고 있는데, 속도계가 가끔은 뒤로 100마일로 가고 있다거나 앞으로 500마일로 가고 있다고 표시하는 것과 같습니다.
해결책: 그들은 **NDF (Normalized Deviation Faithfulness)**라는 새로운 점수를 발명했습니다. 이는 항상 0과 1 사이를 유지하는 신뢰할 수 있는 속도계입니다.
- 1.0은 그들이 찾은 경로가 완벽하다는 것(모델의 답변을 정확히 설명함)을 의미합니다.
- 0.0은 그 경로가 쓸모없음을 의미합니다.
- 이 새로운 성적표 덕분에, 의료 시험이나 천문학 같은 어려운 주제에서도 그들의 발견을 신뢰할 수 있게 되었습니다.

4. 거대한 놀라움: 도시는 대부분 비어 있다

가장 흥ante로운 발견은, 단 하나의 질문에 대해 모델이 도시 전체를 사용하지 않는다는 점입니다. 모델은 오직 매우 작고 특정한 구역만을 사용합니다.

비유: 여러분은 배달 트럭이 A 지점에서 B 지점으로 가기 위해 도시 도로의 50%를 사용해야 한다고 생각할 수도 있습니다. 하지만 저자들은 특정 질문에 대해 트럭이 단 **1.3%**의 도로만을 사용한다는 것을 발견했습니다.
증거: 저자들은 만약 98.7%의 도시를 폐쇄하고 트럭이 오직 그 작은 1.3%의 경로만 사용할 수 있게 제한하더라도, 모델이 여전히 약 60%의 확률로 질문에 올바르게 답할 수 있다는 것을 보여주었습니다. 이는 모델의 "두뇌"가 개별 작업에 대해 믿기 힘들 정도로 희소하고 효율적이라는 것을 증명합니다.

요약

이 논문은 AI가 특정 질문에 정확히 어떻게 답하는지 설명하는 새로운 도구를 소개합니다.

"장난감 모델"을 사용하는 대신 실제 AI 내부를 직접 들여다보았습니다.
같은 질문을 다양한 방식으로 던지는 것이 AI가 생각하는 방식의 숨겨진 "진실"을 밝히는 데 도움이 된다는 것을 깨달았습니다.
자신들의 설명이 맞는지 측정하는 더 나은 방법을 만들었습니다.
어떤 단일 질문에 대해서든, AI가 업무를 수행하기 위해 자신의 거대한 두뇌 중 아주 작은 특정 부분만을 사용한다는 것을 증명했습니다.

이 연구는 "AI가 일반적으로 수학을 어떻게 하는가"를 아는 단계에서 "AI가 이 수학 문제를 정확히 어떻게 풀었는가"를 이해하는 단계로 우리를 이동시킵니다.

기술 요약: 쿼리 회로(Query Circuits): 언어 모델이 사용자 프롬프트에 답변하는 방식의 설명

1. 문제 정의

현재의 기계론적 해석 가능성(mechanistic interpretability) 연구는 주로 **역량 회로 발견(capability circuit discovery)**에 집중해 왔으며, 이는 특정 알고리즘 기술(예: 간접 목적어 식별 또는 크기 비교)을 담당하는 전역적 하위 네트워크를 데이터셋 전체에 걸쳐 식별하는 데 중점을 둡니다. 이러한 방법들은 가치가 높지만, 왜 대규모 언어 모델(LLM)이 특정 단일 사용자 입력 쿼리에 대해 특정 출력을 생성하는지(인스턴스 수준의 설명)는 설명하지 못합니다.

기존의 인스턴스 수준 회로 접근 방식은 희소 활성화(sparse activations)를 통해 회로 발견을 용이하게 해주는 희소 오토인코더(SAE)나 교차 레이어 트랜스코더(CLT)와 같은 **대리 모델(surrogate models)**에 크게 의존합니다. 이러한 대리 모델들은 LLM의 동작을 근사하기 위해 사용되지만, 종종 원래 모델의 활성화를 충실하게 재구성하지 못하며 LLM의 실제 계산 메커니즘을 포착하지 못할 수 있습니다. 또한, 이러한 대리 모델을 학습시키는 것은 계산 비용이 많이 들어 접근성을 제한합니다.

본 논문은 **쿼리 회로 발견(Query Circuit Discovery)**이라는 과제를 도입합니다. 이는 단일 입력 쿼리에 대한 모델의 응답을 구동하는 희소하고 충실한 하위 네트워크를 원래의 LLM 내부에서 직접(in-place) 식별하는 것을 목표로 합니다. 이 접근 방식은 잠재적으로 불충실할 수 있는 대리 모델에 의존하지 않고, 로컬(local) 및 입력 수준의 설명을 제공하는 것을 목표로 합니다.

2. 방법론

저자들은 쿼리 회로 발견의 두 가지 주요 기술적 과제, 즉 기존 평가 지표의 불안정성과 단일 쿼리에 대한 표준 발견 방법의 비효율성을 해결하기 위한 프레임워크를 제안합니다.

2.1. 평가 지표: 정규화된 편차 충실도 (Normalized Deviation Faithfulness, NDF)

표준적인 회로 발견 지표인 **정규화된 충실도 점수(Normalized Faithfulness Score, NFS)**는 일반적인 데이터셋(예: MMLU)에서 불안정한 것으로 나타났습니다. NFS 값은 1을 초과하거나 0 미만으로 떨어지는 등 심하게 변동하여, 발견 과정을 신뢰성 있게 추적하거나 회로의 품질을 비교하는 것을 불가능하게 만듭니다.

이를 해결하기 위해 저자들은 **정규화된 편차 충실도(NDF)**를 도입합니다:
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
여기서:

$M$ 은 대상 LLM입니다.
$C_q$ 는 발견된 쿼리 회로입니다.
$q$ 는 원래 쿼리이며, $q'$ 는 (핵심적인 사실적 단서가 제거된) 변형된 쿼리입니다.
$L(\cdot)$ 은 성능 지표(예: 로짓 차이)입니다.

NDF의 주요 특성:

유계성(Bounded): $[0, 1]$ 범위 내로 엄격히 제한됩니다.
대칭성(Symmetric): 모델의 성능에서 발생하는 상방 및 하방 편차를 동일하게 처벌합니다.
해석 가능성(Interpretability): 점수 1은 회로가 모델의 성능을 완벽하게 복구함을 나타내며, 0은 편차가 원래 쿼리와 변형된 쿼리 사이의 격차만큼 크다는 것을 나타냅니다.

2.2. 발견 방법: Best-of-N (BoN) 샘플링

표준적인 에지 스코어링 방법(Edge Attribution Patching, EAP와 같은)은 그래디언트 노이즈와 에지 간의 조합적 효과를 간과하기 때문에, 단일 쿼리에 대해 압축되고 충실한 회로를 찾는 데 종종 실패합니다. 저자들은 특정 쿼리에서 발견된 회로는 실패할 수 있지만, 해당 쿼리의 **의미적 유사 문장(paraphrases)**에서 발견된 회로는 성공하는 경우가 많다는 점에 주목했습니다.

이를 바탕으로 저자들은 Best-of-N (BoN) 샘플링을 제안합니다:

의미적 유사 문장 생성(Paraphrasing): 원래 쿼리 $q$ 의 유사 문장을 $p$ 개 생성합니다.
스코어링(Scoring): 원래 쿼리와 모든 유사 문장에 대해 에지 중요도 점수(EAP-IG 사용)를 계산하여, $p+1$ 개의 에지 점수 행렬을 얻습니다.
선택(Selection): $p+1$ 개의 후보 회로(각 점수 행렬당 하나씩)를 구성하고, 가장 높은 NDF 점수를 가진 것을 선택합니다.

효율성을 높이고 모든 에지 예산(edge budget)에 대해 LLM을 $p+1$ 번 실행하는 것을 피하기 위해, 저자들은 두 가지 변형을 제안합니다:

보간된 BoN (Interpolated BoN, iBoN): 서로 다른 크기를 가진 이전에 발견된 두 개의 충실한 회로 사이를 보간하여, 추가적인 순전파(forward pass) 없이 새로운 회로를 형성합니다.
제약 적응형 점수 행렬을 갖춘 BoN (BoN with Constraint-Adaptive Score Matrix, BoN-CSM): 모든 이전에 발견된 회로로부터 점수 행렬을 통합하여 하나의 통합된 점수 행렬과 티어(tier) 행렬을 구성함으로써, 다양한 크기의 새로운 회로를 효율적으로 구축할 수 있게 합니다.

3. 주요 기여

과제 정식화: 본 논문은 전역적 역량 회로 발견 및 대리 모델 기반의 인스턴스 수준 접근 방식과 구별되는 쿼리 회로 발견을 공식적으로 정의합니다. 이는 원래 모델 내부에서 정보 흐름을 추적하는 것을 강조합니다.
강건한 평가 (NDF): 저자들은 일반 데이터셋에서 NFS의 불안정성을 식별하고, 쿼리 회로를 평가하기 위해 더 신뢰할 수 있고 유계되며 대칭적인 지표인 NDF를 제안합니다.
효율적인 발견 (BoN): 그래디언트 노이즈와 조합적 효과의 한계를 극복하기 위해 Best-of-N 샘플링과 그 변형(iBoN, BoN-CSM)을 도입하여, 복잡한 자연어 쿼리에 대해 압축되고 충실한 회로를 발견할 수 있게 합니다.
실증적 검증: 본 논문은 IOI, 산술 작업, ARC Challenge, 그리고 9개 카테고리의 MMLU에 걸쳐 제안된 방법의 성능을 입증합니다.

4. 실험 결과

저자들은 IOI(Indirect Object Identification), 산술 작업, ARC Challenge, 그리고 9개 카테고리의 MMLU를 포함한 여러 벤치마크에서 방법론을 평가했습니다.

성능: BoN 샘플링은 베이스라인(단일 쿼리 스코어링 및 유사 문장 기반 평균 스코어링)보다 일관되게 우수한 성능을 보였습니다.
희소성(Sparsity): MMLU에서 모델의 전체 에지의 단 1.3%(Llama-3.2-1B-Instruct 기준 약 5,000개 에지)만을 포함하는 쿼리 회로가 평균 0.6의 NDF를 달로하며, 해당 쿼리에 대한 모델 동작의 약 60%를 복구했습니다. 반면, 표준 EAP-IG는 유사한 성능 수준에 도달하기 위해 훨씬 더 많은 에지(모델의 최대 51.7%)가 필요했습니다.
공유 하위 회로(Shared Sub-circuits): 분석 결과, 쿼리 회로는 유사 문장에 따라 달라질 수 있지만, 근본적인 역량에 대응하는 핵심 에지 세트("공유 하위 회로")를 공유한다는 것이 밝혀졌습니다. 이는 이러한 회로들이 무작위적인 "로또 티켓"이 아니라 공통된 메커니즘의 변형이라는 가설을 뒷받침합니다.
실행 가능성(Actionability): 성별 편향(gender bias) 실험에서, 높은 NDF 점수를 가진 회로가 더 실행 가능한 것으로 나타났습니다. 고-NDF 회로가 식별한 특징을 제로화(zeroing out)했을 때, 저-NDF 회로에 비해 편향 감소 효과가 현저히 컸으며, 이는 NDF가 의미 있는 계산을 포착하는 능력을 나타내는 신뢰할 수 있는 대리 지표임을 시사합니다.

5. 의의 및 주장

본 논문은 쿼리 회로 발견이 언어 모델이 개별 입력을 처리하는 방식에 대한 충실하고 확장 가능한 설명을 향한 중요한 진전이라고 주장합니다.

충실성(Faithfulness): 대리 모델에 의존하는 대신 모델 내부에서 직접(in-place) 작동함으로써, 설명은 모델의 실제 계산 메커니즘에 더 충실합니다.
확장성(Scalability): 제안된 BoN 샘플링 방법은 대리 모델을 학습시키거나 과도한 순전파를 실행하는 막대한 계산 비용 없이 이러한 회로를 발견할 수 있게 합니다.
실용성(Practicality): 특정 쿼리에 대해 모델 동작의 대부분을 설명하는 희소한 하위 네트워크(예: 연결의 1.3%)를 발견할 수 있다는 것은, LLM이 매우 국소적인 경로를 통해 개별 입력을 처리함을 시사하며, 이는 상세한 기계론적 분석을 가능하게 합니다.

저자들은 멀티 토큰 생성 처리 및 인간이 읽을 수 있는 라벨링의 완전 자동화와 같은 과제가 남아 있지만, 본 연구가 의료나 자율 시스템과 같은 고위험 영역의 배포에 필수적인, 프롬프트 수준에서의 LLM 결정에 대한 설명을 위한 실질적인 경로를 구축했다고 결론짓습니다.