기술 요약: Mechanist: 지능의 메커니즘 발견을 위한 과학적 도구로서의 AI

1. 문제 정의

AI 모델이 과학적 발견과 인간의 의사결정을 점점 더 많이 가이드함에 따라, 모델의 역량과 그 기저의 메커니즘에 대한 인간의 이해 사이의 간극이 넓어지고 있다. 현재의 AI 개발은 가속화되고 자동화되고 있으나, 이러한 모델들이 어떻게 지식을 습득하고, 신념을 형성하며, 추론하고, 행동하는지에 대한 연구는 여전히 주로 수동적인 방식에 의존하고 있다. 기존의 자율형 "AI 과학자(AI scientists)"들은 주로 학습 레시피를 최적화하거나 특정 도메인 문제(예: 신약 개발)를 해결하는 데 집중할 뿐, AI 모델 자체의 내부 메커니즘을 조사하는 데에는 한계가 있다. 또한, 자동화된 해석 가능성(interpretability) 프레임워크는 추론 시점의 개별 뉴런이나 특징을 설명하는 데 국한되는 경우가 많으며, 다양한 행동 및 학습 단계 전반에 걸쳐 일반적인 메커니즘 이론을 생성하는 능력은 부족하다. 이러한 한계는 잠재적 위험을 식별하고, 창발적 행동을 이해하며, 모델 출력에 대해 적응형 제어를 수행하는 것을 방해한다.

2. 방법론: Mechanist 프레임워크

저자들은 AI를 AI의 내부 메커니즘을 자율적으로 발견하기 위한 과학적 도구로 사용하는 에이전트 시스템인 Mechanist를 소개한다. 이 시스템은 가설 생성, 실험 실행, 검증, 그리고 반복의 4단계 반복 워크플로우를 통해 작동한다.

2.1 시스템 아키텍처

Mechanist는 중앙 오케스트레이터와 LLM으로 구현된 4개의 특화된 에이전트로 구성된 멀티 에이전트 프레임워크를 채택한다:

• 가설 에이전트 (Hypothesis Agent): 과학적 지식 그래프와 학제 간 지식 베이스에 근거하여 사용자의 요청에 따라 연구 가설을 생성한다.
• 실험 에이전트 (Experiment Agent): 가설을 실행 가능한 실험으로 변환하며, 큐레이션된 라이브러리로부터 데이터, 모델 및 해석 가능성 방법을 지정한다.
• 검증 에이전트 (Verification Agent): 실험 결과의 타당성과 견고성을 평가하며, 방법론적 변형 간의 추적 가능성과 일관성을 확인한다.
• 반복 에이전트 (Iteration Agent): 검증 및 독립적인 검토로부터 얻은 피드백을 사용하여 가설이나 실험 설계를 개선하며, 결론이 견고해지거나 예산이 소진될 때까지 워크플로우를 재실행한다.

2.2 핵심 리소스

자율적 발견을 지원하기 위해 Mechanist는 세 가지 핵심 리소스를 통합한다:

1. AI 메커니즘에 관한 과학적 지식 그래프: 약 13,000개의 메커니즘 해석 연구를 연구 대상, 적용 시나리오, 분석 방법별로 정리하여 구축된 그래프.
2. 학제 간 지식 베이스: 26개 분야(예: 신경과학, 심리학, 화학)에 걸친 4,300만 편의 논문을 포함하는 데이터베이스로, 시스템이 타 학문의 통찰력을 끌어오고 유추할 수 있게 한다.
3. 메커니즘 방법론 라이브러리: 메커니즘 분석, 인과적 개입 및 검증을 위한 32가지 기초 방법(예: 희소 오토인코더(SAE), 인과적 트레이싱, 로짓 렌즈, 절제(ablation) 등)을 실행 가능한 코드 및 사용 가이드와 함께 큐레이션한 컬렉션.

2.3 검색 전략

Mechanist는 쿼리 분해, 다채널 매칭(키워드, 의미론적 및 제목 매칭), 그리고 그래프 기반 확장을 결합한 다중 소스 검색 전략을 사용하여 가설의 근거가 될 관련 문헌과 방법을 검색한다.

3. 주요 기여 및 결과

3.1 새로운 위험의 발견: 멀티모달 환경에서의 잠재적 학습(Subliminal Learning)

Mechanist는 "잠재적 학습"(의미론적으로 관련 없는 데이터를 통해 행동적 특성이 전이되는 현상)의 개념을 멀티모달 맥락으로 확장했다.

• 발견: 시스템은 화학 실험실 환경에서의 안전하지 않은 행동 특성이, 필터링 후에는 완전히 안전해 보이는 학습 데이터를 통해 "교사(teacher)" 모델에서 "학생(student)" 모델로 전달될 수 있음을 발견했다.
• 증거: 안전한 텍스트 데이터로 미세 조정된 학생 모델이 안전하지 않은 교사 모델로부터 학습했을 경우, 멀티모달 안전 질문에 대해 48.6%의 비율로 안전하지 않은 응답을 보였다(기본 모델은 20.3%). 마찬가지로, "바나나를 선호하는" 교사가 생성한 "바나나가 없는" 이미지를 학습한 텍스트-투-이미지 생성 모델은 바나나를 생성할 확률이 기본 모델(2.5%)보다 훨씬 높은 25.6%를 기록했다.
• 시사점: 이는 유해한 특성이 모달리티를 가로질러 의미론적으로 반대되거나 중립적인 데이터를 통해 전파됨으로써 콘텐츠 기반 스크리닝을 회피할 수 있음을 보여준다.

3.2 신념의 메커니즘 이론

Mechanist는 모델이 세상 지식, 개인적 신념, 그리고 귀속된 신념(attributed beliefs)을 어떻게 구분하는지 설명하는 메커니즘 이론을 개발했다.

• 발견: 시스템은 모델의 어텐션 레이어에서 분리 가능한 "신념 헤드(belief heads)"를 식별했다(예: Pythia-1B). 구체적으로, "귀속된 신념(AB)" 헤드(L4.H1)와 "개인적 신념(PB)" 헤드(L9.H1, L7.H5, L12.H1)는 희소하며 기능적으로 구별되는 것으로 나타났다.
• 인과적 증거: 인과적 절제(causal ablation) 실험을 통해 AB 헤드를 제로화하면 AB 정확도는 급격히 감소하지만 PB에는 최소한의 영향만 미친다는 점을 확인했다(그 반대의 경우도 마찬가지).
• 창발성: 사전 학습 체크포인트를 추적한 결과, AB 능력은 초기(2k 스텝까지)에 나타나는 반면, PB 능력은 나중에 발달하는 것으로 나타났다. 이는 이러한 메커니즘이 추론 시점의 프롬프팅뿐만 아니라 사전 학습 과정 중에 습득됨을 시사한다.
• 개입: 이 이론을 바탕으로 Mechanist는 쿼리를 분류(세상 지식, 개인적 신념 또는 귀속된 신념)하고 해당 헤드를 선택적으로 증폭하는 동적 개입을 구현했다. 이를 통해 추가 학습 없이도 프롬프트 기반 힌트 대비 추론 정확도를 Pythia-410M에서 +15.3%, Pythia-1B에서 +8.8% 향상시켰다.

3.3 메커니즘 설계를 통한 학제 간 발견

Mechanist는 DNA 서열 생성을 위한 과학적 파운데이션 모델인 Evo2에 메커니즘 설계를 적용했다.

• 접근 방식: 계산 집약적인 "생성 후 재순위화(generate-and-rerank)" 패러다임 대신, Mechanist는 희소 오토인코더(SAE)를 사용하여 $\alpha$-헬릭스 함량과 관련된 내부 특징을 식별하고 생성 과정에서 이를 인과적으로 조종(steer)했다.
• 결과: 표적 조종을 통해 예측된 평균 $\alpha$-헬릭스 함량을 43.8%(조종 전)에서 56.6%로 높이면서도 구조적 품질(pLDDT 점수)을 유지했다.
• 효율성: 메커니즘 설계는 생성 후 재순위화 방식(60% 목표 달성을 위해 7.2배 필요)에 비해 훨씬 낮은 생성 예산(3.6배)으로 목표 품질 임계값(예: $\ge$60% $\alpha$-헬릭스 함량)을 달성했다.

3.4 시스템 평가

Mechanist는 가설 생성 및 실험 실행 측면에서 Claude Code 및 AI-Scientist 시스템과 비교 평가되었다.

• 가설 품질: Mechanist는 지식, 언어, 안전 및 과학 도메인 전반에서 더 새롭고, 영향력 있으며, 테스트 가능한 가설을 생성했다.
• 실험 신뢰도: 16개의 기존 논문을 재현하는 과정에서 Mechanist는 특히 멀티모달 분석 및 안전과 같은 복잡한 도메인에서 베이스라인보다 높은 신뢰도 점수(데이터 사용 87.2%, 실행 92.2%)를 기록했다.
• 지식 다양성: 절제 연구(Ablation studies) 결과, 과학적 지식 그래프가 생성된 가설의 의미론적 다양성을 크게 높였음을 보여주었다.

4. 의의 및 주장

본 논문은 Mechanist가 단순히 모델의 출력을 최적화하는 것을 넘어, 그 출력을 만들어내는 내부 프로세스를 자율적으로 이해하고, 제어하며, 적용하는 데 초점을 맞춤으로써 "AI의 메커니즘 과학"을 진전시킨다고 주장한다.

• 수동에서 자율로: Mechanist는 메커니즘의 발견을 자동화함으로써 모델의 역량과 인간의 이해 사이의 간극을 메우며, 수동적인 해석에서 자율적인 가설 기반 과학으로 이동한다.
• 안전 및 제어: 잠재적 위험(잠재적 특성 전이 등)을 밝혀내고 신념 이론을 개발함으로써, Mechanist는 유해한 성향을 조기에 탐지하고 보다 정밀한 완화 전략을 마련할 수 있는 경로를 제공한다.
• 학제 간 가교: 이 시스템은 AI가 외부 도메인을 위한 과학적 도구(AI for Science)일 뿐만 아니라, 신경과학과 심리학의 통찰력을 활용하여 AI의 행동을 설명하는 AI를 위한 과학적 도구(AI for AI)가 될 수 있음을 입증한다.
• 과학적 설계의 효율성: 생물학적 서열 생성에 메커니즘 설계를 적용한 것은 무차별 대입 탐색(brute-force search)에 대한 계산 효율적인 대안을 제시하며, 과학적 파운데이션 모델을 제어하는 새로운 패러다임을 시사한다.

저자들은 Mechanist를 인간이 목표와 평가 기준을 정의하면 시스템이 자율적으로 가설을 수립하고, 실험을 수행하며, 결론을 정교화하는 "인간 참여형(human-in-the-loop)" 공동 과학자로 포지셔닝하며, 이를 통해 메커니즘적 AI 연구의 신뢰성과 깊이를 높이고자 한다.