이 논문은 내부 특징의 기능적 역할을 정량화하고 클러스터링하여 LLM 의 회로 추적을 자동화하는 'ADAG'라는 엔드투엔드 파이프라인을 제안하며, 이를 통해 기존 인간 분석 기반의 작업을 대체하고 해로운 조언 탈출구와 같은 유해한 행동을 설명하는 해석 가능한 회로를 자동으로 발견할 수 있음을 보여줍니다.
원저자:Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann
인공지능 모델은 거대한 공장과 같습니다. 수많은 기계 (뉴런) 들이 돌아가며 입력된 질문을 받아 답을 만들어냅니다. 하지만 이 공장 내부가 어떻게 작동하는지는 인간에게 보이지 않는 '블랙박스' 상태입니다.
기존 연구자들은 이 공장의 비밀을 밝히기 위해, 마치 수동으로 기계를 하나씩 열어보며 "이 기계는 A 역할을 하고, 저 기계는 B 역할을 하네"라고 일일이 분석했습니다. 하지만 공장이 너무 커지고 복잡해져서, 사람이 일일이 다 확인하는 것은 불가능해졌습니다.
🤖 2. 해결책: ADAG (자동 해설가 로봇)
이 논문은 ADAG라는 시스템을 개발했습니다. ADAG 는 이 공장의 작동 원리를 사람이 한 번도 손대지 않고 자동으로 분석하고, "이 기계는 '달라'라는 단어를 들으면 '텍사스'를 떠올리는 역할을 한다"라고 자연스러운 한국어 (또는 영어) 로 설명해 주는 로봇입니다.
ADAG 는 크게 4 단계로 작동합니다.
1 단계: 중요 부품 찾기 (회로 추적)
비유: 공장에서 어떤 기계가 최종 제품 (답변) 에 가장 큰 영향을 미쳤는지 **전선 (기울기)**을 따라가며 찾아냅니다.
작동: 모델이 답을 낼 때, 어떤 내부 부품들이 가장 크게 기여했는지 수학적으로 계산하여 '회로'를 그립니다.
2 단계: 부품의 역할 카드 만들기 (속성 프로파일)
비유: 각 부품에 대해 **'역할 카드'**를 만듭니다.
입력 카드: 어떤 단어를 보면 이 부품이 켜질까? (예: "달라"라는 단어를 보면 켜짐)
출력 카드: 이 부품이 켜지면 어떤 단어를 내보내려 할까? (예: "텍사스"를 내보내려 함)
혁신: 기존에는 부품이 켜진 순간의 모습만 봤는데, ADAG 는 과거의 입력과 미래의 출력까지 모두 고려하여 더 정확한 역할을 파악합니다.
3 단계: 팀으로 묶기 (클러스터링)
비유: 수천 개의 부품 중 **역할이 비슷한 것끼리 팀 (Supernode)**을 만듭니다.
예: "텍사스 주와 관련된 단어를 처리하는 팀", "수도 이름을 기억하는 팀", "안전 장치를 작동시키는 팀" 등으로 묶습니다.
방법: 수학적인 알고리즘을 써서 역할이 비슷한 부품들을 자동으로 그룹화합니다.
4 단계: 팀장에게 인터뷰하기 (자동 설명)
비유: 이제 각 팀 (그룹) 에 대해 LLM(대규모 언어 모델) 이 인터뷰를 진행합니다.
인터뷰어 (Explainer): "이 팀은 무엇을 하는 팀이야?"라고 질문하고 가설을 세웁니다.
심사위원 (Simulator): "그 가설이 맞다면, 이 팀은 이런 상황에서 이렇게 반응해야 해"라고 시뮬레이션해 봅니다.
결과: 두 모델이 서로 검증하며, 가장 정확한 설명을 찾아냅니다. "이 팀은 '위험한 의학적 조언'을 막는 역할을 한다"라고 최종 라벨을 붙입니다.
🌟 3. ADAG 가 해낸 놀라운 일
이 시스템은 두 가지 중요한 실험에서 성공을 거두었습니다.
지식 퀴즈 풀이 (주도/수도 문제):
"달라 (Dallas) 가 있는 주의 수도는?"이라는 질문에 답할 때, 모델이 어떻게 '텍사스'를 떠올리고 '오스틴'을 답하는지 과정을 자동으로 추적했습니다.
결과: 사람이 일일이 분석한 결과와 거의 똑같은, 매우 정확한 설명을 자동으로 만들어냈습니다.
위험한 조언 차단 (의료 해킹 방지):
해커들이 모델을 속여 "약 5 알을 한 번에 먹어"라는 위험한 의료 조언을 하도록 유도하는 '자일브레이크 (Jailbreak)' 공격이 있었습니다.
ADAG 는 이 공격이 왜 성공하는지 분석했습니다.
발견: "ridiculous (터무니없는)"라는 단어가 들어오면 특정 부품 팀이 활성화되어 안전 장치를 무력화한다는 것을 찾아냈습니다.
해결: 이 특정 팀의 활동을 강제로 끄거나 조절하면, 모델이 다시 안전한 답변을 하도록 만들 수 있었습니다.
💡 4. 요약: 왜 이것이 중요한가요?
자동화: 이제 연구자들이 밤새도록 데이터를 뒤적이며 수동으로 분석할 필요가 없습니다.
확장성: 더 큰 모델, 더 복잡한 문제를 다룰 수 있게 되었습니다.
안전성: AI 가 왜 위험한 행동을 하는지, 혹은 왜 좋은 행동을 하는지 이유를 명확히 설명할 수 있게 되어 AI 의 안전성을 높이는 데 큰 도움이 됩니다.
한 줄 요약:
**"인공지능의 복잡한 두뇌 회로를 사람이 이해할 수 있는 언어로, 로봇이 자동으로 번역해 주는 시스템"**입니다.
1. 문제 제기 (Problem)
대규모 언어 모델 (LLM) 의 내부 작동 원리를 이해하는 '기계적 해석 가능성 (Mechanistic Interpretability)' 연구에서 **회로 추적 (Circuit Tracing)**은 특정 출력을 생성하는 데 기여한 내부 구성 요소 (뉴런 등) 와 그 상호작용을 식별하는 것을 목표로 합니다. 그러나 기존 연구에는 다음과 같은 한계가 존재했습니다.
수동 해석의 의존성: 회로를 발견하더라도 각 구성 요소의 역할을 이해하려면 연구자가 데이터 예시나 활성화 패턴을 수동으로 분석해야 했습니다. 이는 비효율적이고 확장성이 떨어집니다.
국소성 편향 (Locality Bias): 기존 방법론은 주로 특정 토큰에서 뉴런이 활성화된 순간의 맥락 (로컬 컨텍스트) 만을 기반으로 설명하려 했습니다. 이는 과거 또는 미래 토큰에 대한 뉴런의 영향력을 간과하게 만듭니다.
자동화의 부재: 회로 구조를 발견하고 이를 인간이 이해할 수 있는 자연어 설명으로 변환하는 전 과정을 자동화하는 체계가 부족했습니다.
2. 방법론 (Methodology)
저자들은 **ADAG(Automatically Describing Attribution Graphs)**라는 종단 간 (End-to-End) 자동화 파이프라인을 제안했습니다. 이 파이프라인은 크게 4 단계로 구성됩니다.
가. 회로 추적 (Circuit Tracing)
기존 연구 (Arora et al., 2026) 에서 최적화된 MLP 뉴런 기반 회로 추적 알고리즘을 사용합니다.
RelP (Relevance Patching) 기술을 적용하여 비선형성을 고정하고, 어텐션 메커니즘의 특정 경로를 차단함으로써 효율적인 그라디언트 기반 귀속 (Attribution) 점수를 계산합니다.
임계값 (τ) 을 기준으로 중요한 뉴런과 엣지 가중치를 선별하여 **귀속 그래프 (Attribution Graph)**를 생성합니다.
나. 귀속 프로파일 (Attribution Profiles) 의 정량화
기존 방법의 '국소성 편향'을 해결하기 위해 귀속 프로파일을 도입합니다. 이는 각 뉴런의 기능적 역할을 정량화하는 두 가지 벡터로 구성됩니다.
입력 귀속 (Input Attribution): 뉴런의 활성화가 입력 토큰들에 의해 얼마나 기여받았는지 (기존 토큰에 대한 의존성).
출력 기여 (Output Contribution): 뉴런이 특정 출력 로그트 (Logit) 에 얼마나 기여했는지 (미래 토큰에 대한 영향력).
이를 통해 뉴런이 단순히 특정 토큰에서 활성화되는 것을 넘어, 문맥 전체에서 어떻게 작동하는지 포착합니다.
다. 기능적 유사성에 따른 클러스터링 (Supernode Clustering)
수동으로 그룹화되던 뉴런들을 자동으로 **초노드 (Supernode)**로 묶기 위해 새로운 클러스터링 알고리즘을 제안합니다.
**다중 뷰 스펙트럴 클러스터링 (Multi-view Spectral Clustering)**을 사용하며, 입력 귀속과 출력 기여의 코사인 유사도를 결합합니다.
**하모닉 평균 (Harmonic Mean)**을 사용하여 두 프로파일 간의 상반된 부호 (예: 입력은 비슷하지만 출력 기여도가 반대인 경우) 를 패널티로 부과함으로써, 서로 다른 기능을 가진 뉴런이 섞이는 것을 방지합니다.
클러스터의 균일성과 기능적 일관성을 평가하기 위해 실루엣 점수 (Silhouette Score) 와 변동 계수 (CV) 등을 최적화합니다.
라. 자연어 설명 생성 (Natural Language Description)
생성된 초노드의 역할을 설명하기 위해 Explainer-Simulator 프레임워크를 확장 적용합니다.
Explainer LLM: 귀속 프로파일 데이터를 기반으로 뉴런의 역할을 설명하는 후보 라벨을 생성합니다.
Simulator LLM: 생성된 설명이 실제 뉴런의 행동 (입력 토큰 활성화 또는 출력 기여도) 을 얼마나 잘 예측하는지 점수를 매깁니다.
이 과정을 통해 인간이 이해할 수 있는 자연어 라벨 (예: "Texas state names", "pills safety redirect") 을 자동 생성합니다.
3. 주요 기여 (Key Contributions)
완전 자동화된 회로 해석 파이프라인: 데이터 수집, 회로 추적, 클러스터링, 설명 생성까지 전 과정을 자동화한 ADAG 시스템을 최초로 제안했습니다.
귀속 프로파일 (Attribution Profiles) 의 도입: 뉴런의 기능을 설명할 때 로컬 컨텍스트뿐만 아니라 입력 의존성과 출력 기여도를 모두 고려하는 정량적 지표를 제시하여 해석의 정확도를 높였습니다.
기능적 유사성 기반 자동 클러스터링: 수동 개입 없이 기능적으로 유사한 뉴런들을 그룹화하고, 반대되는 효과를 가진 뉴런이 섞이는 것을 방지하는 알고리즘을 개발했습니다.
LLM 을 활용한 검증: 생성된 설명의 신뢰성을 검증하기 위해 시뮬레이터 LLM 을 활용한 자동 평가 체계를 구축했습니다.
4. 실험 결과 (Results)
저자들은 ADAG 를 두 가지 주요 태스크에 적용하여 검증했습니다.
주요 도시의 주도 (Capitals) 태스크:
"Dallas 가 있는 주의 주도는?"과 같은 다단계 추론 질문에서, 인간 연구자가 수동으로 발견한 회로 (도시 → 주 → 주도) 와 동일한 구조를 ADAG 가 자동으로 복원했습니다.
생성된 라벨 (예: "Dallas Texas", "capital city first token") 이 인간의 해석과 일치했으며, 특정 클러스터의 활성화를 조작 (Steering) 했을 때 모델의 출력 확률이 설명과 일관되게 변화함을 확인했습니다.
유해한 의료 조언 탈출 (Pills Jailbreak) 분석:
Llama 3.1 8B Instruct 모델이 유해한 의료 조언을 생성하도록 유도하는 'Jailbreak' 프롬프트를 분석했습니다.
ADAG 는 공격 성공률 (ASR) 에 결정적인 영향을 미치는 특정 뉴런 클러스터 (예: "pills safety redirect", "ridiculous-to-introductory") 를 식별했습니다.
이러한 클러스터의 활성화를 조작하여 ASR 을 0% 에서 90% 까지 극적으로 변화시키는 데 성공했습니다. 이는 모델의 취약점을 자동으로 식별하고 제어할 수 있음을 보여줍니다.
5. 의의 및 결론 (Significance)
확장성 (Scalability): ADAG 는 인간의 수동 개입 없이 대규모 모델과 방대한 데이터셋에 대한 회로 해석을 가능하게 하여, 해석 가능성 연구의 확장성을 크게 높였습니다.
안전성 (Safety): 유해한 행동을 유발하는 내부 회로를 자동으로 식별하고 제어할 수 있는 능력을 입증함으로써, AI 시스템의 안전성 검증 (AI Safety) 에 실질적인 도구를 제공합니다.
자동 해석 가능성의 미래: 회로 추적의 '발견' 단계를 넘어, 이를 인간이 이해할 수 있는 '설명'으로 변환하는 과정까지 자동화함으로써, 복잡한 LLM 내부 메커니즘을 체계적으로 이해하는 새로운 패러다임을 제시했습니다.
결론적으로, ADAG 는 기계적 해석 가능성 연구의 핵심 과제를 해결하기 위해 **정량적 분석 (귀속 프로파일)**과 **생성형 AI (LLM Explainer)**를 결합한 혁신적인 프레임워크입니다.