🧬 biology

Mechanistic Interpretability of Antibody Language Models Using SAEs

이 논문은 희소 오토인코더(SAE)를 활용해 항체 언어 모델의 내부 메커니즘을 분석한 결과, 개념 매핑에는 TopK SAE가 적합하지만 정밀한 생성 제어에는 계층적 구조를 가진 Ordered SAE가 더 효과적임을 보여줍니다.

원저자: Rebonto Haque, Oliver M. Turnbull, Anisha Parsan, Nithin Parsan, John J. Yang, Anna L. Beukenhorst, Charlotte M. Deane

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rebonto Haque, Oliver M. Turnbull, Anisha Parsan, Nithin Parsan, John J. Yang, Anna L. Beukenhorst, Charlotte M. Deane

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

1. 배경: AI라는 '천재 요리사'와 '비밀 레시피'

항체는 우리 몸의 면역 체계를 지키는 아주 정교한 '방패'입니다. 바이러스 같은 적을 정확히 찾아내서 물리쳐야 하죠. 최근 과학자들은 AI에게 수많은 항체 데이터를 학습시켜서, 새로운 항체를 뚝딱 만들어내는 **'천재 요리사(항체 언어 모델)'**를 만들었습니다.

문제는 이 요리사가 너무 천재라서 '왜 이런 재료를 쓰는지', '어떤 원리로 이런 맛(항체 기능)을 내는지' 그 레시피를 우리에게 알려주지 않는다는 점입니다. 우리는 요리사가 만든 음식이 맛있긴 한데, 이게 건강에 좋은 건지 아니면 그냥 운 좋게 만들어진 건지 알 수가 없죠. 이걸 '블랙박스(Black Box)' 문제라고 합니다.

2. 핵심 도구: SAE (마음의 돋보기)

연구진은 이 요리사의 머릿속을 들여다보기 위해 **SAE(Sparse Autoencoder)**라는 특수한 **'마음의 돋보기'**를 가져왔습니다.

AI의 뇌세포(뉴런)들은 수만 가지 정보를 한꺼번에 뒤섞어서 처리하기 때문에 너무 복잡합니다. SAE라는 돋보기로 보면, 뒤섞여 있던 정보들이 "아, 이건 '특정 부위(CDR)'에 대한 정보구나!", "이건 '유전자 종류'에 대한 정보구나!" 하고 깔끔하게 분리되어 보입니다.

3. 두 가지 돋보기의 차이: '정밀 사진' vs '지도'

연구진은 두 종류의 돋보기를 비교했습니다.

TopK SAE (정밀 사진 돋보기):
- 이 돋보기는 아주 세밀합니다. 항체의 어느 부분이 어디인지 사진 찍듯 정확하게 보여줍니다.
- 장점: "아, 이 부분이 항체의 핵심 부위구나!"라고 눈으로 확인하기 아주 좋습니다. (해석력 최고!)
- 단점: 하지만 이 사진을 보고 요리사에게 "이 재료 좀 더 넣어봐!"라고 명령(조종)하려고 하면, 요리사가 말을 잘 안 듣습니다. 사진은 정확한데, 그 사진이 요리 전체의 흐름을 바꾸지는 못하기 때문이죠.
Ordered SAE (계층적 지도 돋보기):
- 이 돋보기는 세세한 사진보다는 **'전체적인 설계도(지도)'**를 보여줍니다. 큰 개념부터 작은 개념까지 순서대로 정리되어 있습니다.
- 장점: 이 지도를 보고 요리사에게 "자, 이제 이 방향(특정 유전자 쪽)으로 요리해!"라고 명령하면, 요리사가 정말로 우리가 원하는 대로 항체를 만들어냅니다. (조종 능력 최고!)
- 단점: 대신 지도가 너무 추상적이라서, 사진처럼 "정확히 어느 지점이다!"라고 딱 집어 말하기는 조금 어렵습니다.

4. 결론: "AI 요리사를 길들이는 법"

이 논문의 결론은 이렇습니다.

"AI가 무엇을 아는지 알고 싶다면?" $\rightarrow$ TopK 돋보기를 써서 세밀한 부분을 관찰하세요.
"AI가 원하는 항체를 만들도록 조종하고 싶다면?" $\rightarrow$ Ordered 돋보기를 써서 전체적인 흐름을 제어하세요.

이 연구가 왜 중요한가요?
만약 우리가 AI를 완벽하게 조종할 수 있게 된다면, 특정 바이러스를 아주 잘 잡으면서도 부작용이 없는 **'맞춤형 항체 치료제'**를 훨씬 빠르고 정확하게 설계할 수 있게 됩니다. 즉, AI라는 천재 요리사에게 우리가 원하는 완벽한 레시피를 직접 명령할 수 있는 '조종 키'를 찾아낸 것입니다!

[기술 요약] SAE를 이용한 항체 언어 모델의 기계론적 해석 가능성 연구

1. 문제 배경 (Problem Statement)

항체(Antibody)는 특정 항원에 결합하여 면역 반응을 유도하는 핵심 단백질로, 약물 개발(Drug Discovery)에서 매우 중요한 역할을 합니다. 최근 항체 언어 모델(Antibody Language Models)은 항체 서열 생성, 인간화(Humanization), 라이브러리 최적화 등 다양한 단계에서 혁신을 일으키고 있습니다.

그러나 이러한 모델들은 '블랙박스(Black-box)' 특성을 가집니다. 모델이 생물학적으로 유의미한 특징(예: CDR 영역, Germline 유전자 정보)을 실제로 학습했는지, 혹은 단순히 과적합(Overfitting)된 것인지 확인하기 어렵습니다. 이러한 해석 가능성(Interpretability)의 부재는 모델의 예측에 대한 신뢰도를 낮추고, 신약 개발 파이프라인에 적용하는 데 큰 장벽이 됩니다.

2. 연구 방법론 (Methodology)

본 연구는 모델의 내부 활성화(Activation)를 분해하여 인간이 이해할 수 있는 개념(Feature)을 추출하는 희소 오토인코더(Sparse Autoencoders, SAEs) 기술을 항체 모델에 적용했습니다.

A. 대상 모델

p-IgGen: 1,700만 파라미터를 가진 GPT 스타일의 디코더 전용 모델 (주요 연구 대상).
IgLM & ProGen2-OAS: 모델의 일반화 가능성을 검증하기 위한 비교 대상 모델.

B. 사용된 SAE 아키텍처

TopK SAEs: 활성화된 잠재 변수(Latent)의 개수를 $k$ 개로 제한하여 희소성을 확보합니다. 특정 위치의 특징을 포착하는 데 유리합니다.
Ordered SAEs (O-SAEs): 계층적 구조를 가진 중첩(Nested) SAE입니다. 추상적인 고수준 특징부터 세부적인 저수준 특징까지 순차적으로 학습하도록 설계되었습니다.

C. 실험 절차

특징 식별 (Feature Identification): 선형 프로브(Linear Probe)를 사용하여 SAE의 잠재 변수가 CDR(상보성 결정 부위) 정체성이나 V/J 유전자 정체성과 얼마나 높은 상관관계를 갖는지 측정했습니다.
제어 (Steering): 특정 잠재 변수의 값을 인위적으로 조절(Scaling)하여, 모델이 생성하는 항체 서열의 유전자 구성이 의도한 방향으로 변하는지 확인했습니다.

3. 주요 연구 결과 (Key Results)

① TopK SAE: 해석은 가능하나 제어는 어려움

해석성: TopK SAE는 CDR 영역이나 유전자 정체성과 같은 생물학적 정보를 매우 정확하게 포착합니다. 시각화했을 때, 뉴런(Neuron)은 여러 특징이 섞인 다의성(Polysemanticity)을 보이지만, SAE 잠재 변수는 특정 생물학적 위치에만 국한되어 나타나는 높은 해석성을 보였습니다.
제어력의 한계: 높은 상관관계(Correlation)가 반드시 인과적 제어(Causal Control)를 보장하지는 않았습니다. TopK 잠재 변수를 조절해도 모델의 생성 결과(예: 특정 유전자 비율)를 의도한 대로 바꾸는 데 실패했습니다. 이는 특징이 분산되거나 흡수되는 문제 때문으로 분석됩니다.

② Ordered SAE: 강력한 생성 제어 능력

제어력: O-SAEs는 계층적 구조를 통해 더 추상적이고 고수준의 개념을 학습합니다. 이를 통해 특정 유전자(예: IGHJ4)의 생성 비율을 통계적으로 유의미하게 높이거나 낮추는 **'생성 제어(Generative Steering)'**에 성공했습니다.
생성 품질: 제어를 통해 생성된 항체 서열은 기존의 자연스러운 항체 분포(Manifold)를 벗어나지 않으면서도, 새로운 서열(Novelty)과 다양성(Diversity)을 확보했습니다.

③ 모델 간 일반화 (Generalizability)

이러한 SAE 기반의 해석 및 제어 방식은 p-IgGen뿐만 아니라 규모와 구조가 다른 IgLM 및 ProGen2-OAS 모델에서도 공통적으로 유효함을 입증했습니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

학술적/기술적 의의

기계론적 해석의 확장: 기존의 일반 단백질 모델에 국한되었던 SAE 연구를 자기회귀(Autoregressive) 항체 모델로 확장하여, 도메인 특화 모델의 내부 작동 원리를 규명했습니다.
해석성과 제어성의 분리: "특징을 잘 찾아내는 것(Mapping)"과 "특징을 이용해 생성을 조절하는 것(Steering)"은 별개의 문제임을 밝혀냈으며, 정밀한 설계를 위해서는 Ordered SAE가 더 적합함을 제시했습니다.

향후 전망

본 연구는 항체 라이브러리 생성 시 **합리적 설계 원칙(Rational Design Principles)**을 통합할 수 있는 길을 열었습니다. 향후 더 정교하게 주석(Annotation)이 달린 데이터를 활용한다면, 특정 결합력이나 발달 가능성(Developability)을 가진 항체를 정밀하게 설계하는 '맞춤형 항체 생성'이 가능해질 것입니다.