Tracing Pharmacological Knowledge In Large Language Models

이 논문은 인과적 및 프로빙 기반 해석 기법을 활용하여 Llama 기반 생의학 언어 모델에서 약물군 지식이 단일 토큰이 아닌 분산된 표현으로 인코딩되며, 특히 중간 토큰과 합계 풀링된 표현에서 가장 강력하게 나타남을 규명했습니다.

핵심

이 논문은 "거대 언어 모델 (LLM) 이 약학 지식을 어떻게 머릿속에 저장하고 있는지" 그 비밀을 파헤친 연구입니다.

쉽게 말해, "인공지능이 약에 대해 얼마나 잘 알고 있을까?"라는 질문은 많이 했지만, **"그 지식이 인공지능의 뇌 (모델) 의 어느 부위에, 어떻게 저장되어 있을까?"**를 과학적으로 분석한 첫 번째 시도라고 보시면 됩니다.

이 연구의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 연구의 배경: AI 는 약을 잘 아는데, '어떻게' 아는지 모른다?

최근 AI 는 의약학 분야에서 놀라운 성과를 내고 있습니다. "이 약은 어떤 종류인가요?"라는 질문에 정확히 답하거나, 새로운 약을 개발하는 데 도움을 주기도 하죠.
하지만 문제는 AI 가 그 지식을 어떻게 처리하는지 우리가 모른다는 것입니다. 마치 훌륭한 요리사가 요리를 잘 만들지만, 그가 어떤 재료를 어떤 순서로 섞는지 그 비법을 알려주지 않는 것과 같습니다. 이 연구는 그 '비밀 레시피'를 찾아내는 작업입니다.

2. 실험 방법: AI 의 뇌에 '수술'을 가하다

연구진은 두 가지 흥미로운 방법을 썼습니다.

① 활성화 패칭 (Activation Patching): "AI 의 기억을 교체해보다"

이건 마치 AI 의 뇌를 잠시 꺼내서, 특정 부위의 기억을 다른 것으로 바꿔보는 실험입니다.

• 상황: AI 에게 "에르고타민은 어떤 약인가?"라고 물으면, AI 는 "혈관수축제"라고 답합니다.
• 실험: 연구진은 AI 가 "기관지수축제"라고 생각하도록 상황을 바꾼 뒤, AI 의 뇌 (모델의 특정 층) 에서 원래의 기억 (혈관수축제 관련 정보) 을 가져와서 끼워 넣었습니다.
• 결과: 그랬더니 AI 가 다시 "혈관수축제"라고 답했습니다. 즉, 특정 정보가 AI 의 뇌 어디에 저장되어 있는지 정확히 찾아낸 것입니다.

② 선형 프로빙 (Linear Probing): "AI 의 생각을 읽어내다"

AI 가 약에 대해 생각할 때, 그 정보가 단어 하나에 쏠려 있는지, 아니면 여러 단어가 합쳐져서 존재하는지 확인하는 방법입니다.

---

3. 놀라운 발견 3 가지

이 연구에서 밝혀낸 세 가지 핵심 사실은 다음과 같습니다.

① 약에 대한 지식은 '초반부'에 저장되어 있다

기존에 AI 가 사실을 기억할 때는 문장의 마지막 단어가 가장 중요하다고 알려졌습니다. 하지만 약학 지식은 달랐습니다.

• 비유: 문장을 읽을 때, 마지막에 "약"이라는 단어가 나오기 전에, 중간중간에 나오는 약 이름들이 AI 의 뇌에서 가장 활발하게 움직이며 지식을 저장하고 있었습니다.
• 의미: AI 는 약에 대한 정보를 문장의 끝까지 기다리지 않고, **초반 단계 (모델의 초기 층)**에서 이미 파악하고 있다는 뜻입니다.

② 지식은 '한곳'이 아니라 '퍼져' 있다

약의 종류 (예: 진통제, 항생제) 에 대한 정보는 AI 의 뇌에서 단 하나의 단어에 꽂혀 있는 게 아니라, 여러 단어가 합쳐진 형태로 퍼져 있었습니다.

• 비유: 약에 대한 지식이 "한 장의 메모"에 적혀 있는 게 아니라, 여러 장의 메모를 한데 모아서 (합산) 비로소 의미가 통하는 식입니다.
• 결과: AI 가 약의 종류를 정확히 분류하려면, 문장 전체의 정보를 모아야지, 특정 단어 하나만으로는 부족했습니다.

③ 지식은 '입구'에서 이미 준비되어 있다

가장 놀라운 점은, AI 가 문장을 처리하기 **시작하기 전 (단어를 입력받는 순간)**에도 약에 대한 정보가 이미 준비되어 있었다는 것입니다.

• 비유: AI 가 책을 읽기 시작하기 전에, 책장에 꽂힌 책들의 제목만 봐도 "아, 이건 의학책이구나"라고 알 수 있는 것처럼, 단순히 단어를 나열하기만 해도 AI 는 이미 약학적인 맥락을 파악하고 있었습니다.

---

4. 이 연구가 왜 중요한가?

이 연구는 AI 가 단순히 "통계적으로 맞추는" 기계가 아니라, 약학이라는 복잡한 지식을 체계적으로 이해하고 저장하고 있음을 증명했습니다.

• 신뢰성: AI 가 왜 그런 답을 냈는지 그 이유를 설명할 수 있게 되어, 의료 현장에서 AI 를 더 신뢰하고 사용할 수 있게 됩니다.
• 안전: AI 가 잘못된 정보를 줄 때, 그 정보가 어디서 잘못되었는지 찾아서 고칠 수 있는 길을 열었습니다.

요약

이 논문은 **"AI 가 약에 대해 아는 지식은 문장 끝이 아니라 초반에, 그리고 여러 단어가 합쳐진 형태로 저장되어 있다"**는 것을 밝혀냈습니다. 마치 AI 가 약에 대한 지식을 '한 줄의 메모'가 아니라, 뇌 전체에 퍼진 '분산된 네트워크'로 이해하고 있다는 것을 발견한 셈입니다.

이제 우리는 AI 가 어떻게 생각하는지 조금 더 잘 이해하게 되었으니, 앞으로 더 안전하고 똑똑한 의료용 AI 를 만들 수 있는 발판을 마련한 것입니다.

기술 요약

논문 요약: 대규모 언어 모델 (LLM) 내 약리학적 지식의 추적

이 연구는 약리학 및 신약 개발 분야에서 뛰어난 성능을 보이는 대규모 언어 모델 (LLM) 이 내부적으로 약리학적 지식 (특히 약물 그룹 분류) 을 어떻게 인코딩하고 검색하는지에 대한 메커니즘을 규명하는 것을 목표로 합니다. 저자들은 Llama 기반의 생의학 언어 모델을 대상으로 인과적 (causal) 및 프로빙 (probing) 기반 해석 가능성 기법을 적용하여 지식의 저장 위치와 구조를 분석했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현황: LLM 은 표적 식별, 약물 - 약물 상호작용 예측, 자동 가설 생성 등 다양한 생의학 및 약리학 과제에서 강력한 성능을 보입니다.
• 문제점: 그러나 이러한 모델이 '약물 클래스', '기능적 그룹', '치료적 작용'과 같은 복잡한 약리학적 개념을 내부적으로 어떻게 표현하고 처리하는지에 대한 메커니즘은 여전히 불투명합니다.
• 필요성: 모델의 신뢰성과 일반화 능력을 향상시키고, 고위험 생의학 분야에서 과학적으로 신뢰할 수 있는 도구로 LLM 을 정립하기 위해서는 지식의 인코딩 및 검색 메커니즘에 대한 깊은 이해가 필수적입니다.

2. 방법론 (Methodology)

저자들은 두 가지 주요 해석 가능성 기법을 결합하여 분석을 수행했습니다.

• 데이터셋 구축:

  • 미국 국립의학도서관 (NLM) 의 약리학적 작용 카테고리에서 약물 이름을 파싱하여 데이터셋을 구성했습니다.
  • 약물 이름의 토큰화 특성상 단일 토큰 평가가 어렵고 정답이 유일하지 않을 수 있으므로, 2 지선다형 질문 - 답변 형식으로 재구성했습니다. (정답과 오답을 무작위로 배치하여 편향을 제거)

• 활성화 패칭 (Activation Patching):

  • 목적: 모델의 특정 구성 요소가 약리학적 지식 저장에 인과적으로 기여하는지 확인.
  • 절차:
    1. Clean Prompt: 정답이 A 인 정상 프롬프트 실행 (잠재적 활성화값 캐싱).
    2. Counterfactual Prompt: 정답이 B 가 되도록 약물 그룹을 변경한 프롬프트 실행.
    3. Patched Prompt: Counterfactual 실행 시 특정 레이어나 토큰의 활성화값을 Clean 실행의 값으로 교체.
  • 평가 지표: 정답과 오답 간의 로짓 차이 (Logit Difference) 를 정규화하여 패칭 효과 측정.

• 선형 프로빙 (Linear Probing):

  • 목적: MLP 모듈이 의미적 표현에 필수적인지, 그리고 정보가 토큰 단위로 분산되어 있는지 확인.
  • 절차: 약물 그룹 (예: 아드레날린 수용체 작용제 vs 길항제) 을 반대되는 의미로 가진 쌍을 생성하여 프롬프트 내 위치를 변형.
  • 분석: 개별 토큰의 활성화값과 약물 그룹 범위 내의 모든 토큰을 합산 (sum-pooled) 한 활성화값에 대해 로지스틱 회귀 분류기를 훈련하여 분류 성능을 평가.

3. 주요 결과 (Key Results)

• 약물 클래스 - 이름 관계 인코딩:

  • BioGPT 를 제외하고 대부분의 모델 (OpenBioLLM, Llama-3.1 등) 이 약물 클래스와 이름 간의 관계를 높은 정확도로 학습하고 있음을 확인했습니다.

• 인과적 효과의 위치 (Activation Patching):

  • 초기 레이어의 중요성: 약물 그룹 정보가 모델의 초기 레이어 (첫 10 레이어) 에 저장되어 있으며, 이 정보가 하위 레이어로 전파되어 작업 수행을 지원함을 발견했습니다.
  • 중간 토큰의 우위: 기존 연구 (일반 사실 지식은 마지막 토큰에서 결정됨) 와 달리, 약물 그룹 프롬프트에서는 약물 그룹 범위 내의 중간 토큰 (intermediate tokens) 에서 가장 강력한 인과적 효과가 나타났습니다.
  • MLP 레이어: 초기 MLP 레이어 (0-10 레이어) 를 패칭할 때 긍정적인 효과가 관찰되었으며, 이는 약물 그룹 표현이 최종 토큰뿐만 아니라 중간 토큰에서도 강력한 인과적 영향을 미친다는 것을 시사합니다.

• 분산된 의미 표현 (Linear Probing):

  • 토큰 수준의 한계: 개별 토큰 활성화값을 기반으로 한 선형 프로빙은 우연 수준 (chance) 에 가까운 성능을 보였습니다.
  • 집계된 표현의 우수성: 약물 그룹 범위의 토큰 활성화값을 합산 (sum-pooled) 한 표현을 사용한 프로빙은 거의 완벽한 분리 능력을 보였습니다.
  • 임베딩 공간의 존재: 합산된 표현을 이용한 프로빙은 제 1 트랜스포머 레이어 이전 (임베딩 공간) 에서도 최대 성능을 달성했습니다. 이는 약리학적 의미 정보가 토큰 단위가 아닌 분산된 형태로 초기부터 존재함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 첫 번째 체계적 메커니즘 분석: LLM 내 약리학적 지식 (특히 약물 그룹) 의 인코딩 및 검색 메커니즘에 대한 최초의 체계적인 분석을 제공했습니다.
2. 지식 저장 위치의 규명: 약물 그룹 지식이 초기 레이어에 저장되며, 특히 중간 토큰에서 가장 강력한 인과적 효과를 가진다는 사실을 발견했습니다. 이는 기존 일반 사실 지식 연구 (최종 토큰 중심) 와 구별되는 중요한 차이점입니다.
3. 분산 표현의 증명: 약리학적 의미는 단일 토큰에 국한되지 않고 토큰 간에 분산되어 있으며, 이는 토큰 활성화값의 합산을 통해 선형적으로 분리 가능함을 입증했습니다.
4. 방법론적 통합: 인과적 패칭 (필요성/충분성 검증) 과 상관관계 기반 프로빙 (선형 분리성 검증) 을 결합하여 생의학 LLM 의 내부 표현을 다각도로 해석했습니다.

5. 의의 및 결론 (Significance)

이 연구는 생의학 LLM 이 어떻게 약리학적 개념을 처리하는지에 대한 메커니즘적 이해를 심화시켰습니다. 약물 그룹 지식이 초기 레이어에 분산되어 저장되고 중간 토큰을 통해 강력하게 작용한다는 발견은 모델의 신뢰성을 높이고, 추론 과정의 투명성을 확보하며, 향후 더 정교한 생의학 AI 모델 개발을 위한 기초를 마련했습니다. 이는 LLM 을 고위험 생의학 분야에서 과학적으로 신뢰할 수 있는 도구로 활용하기 위한 중요한 단계입니다.