A heterogeneous LLM-augmented ensemble for robust drug-induced autoimmunity prediction

위대한 약물 탐정 게임

과학자들이 매우 까다로운 "틀린 그림 찾기" 게임을 예측하려고 노력하는 세상을 상상해 보세요. 이 게임에서 플레이어는 의약품이며, 목표는 어떤 약물이 실수로 신체의 면역 체계를 공격하도록 속일 수 있는지 알아내는 것입니다. 이러한 무서운 반응은 **약물 유발 자가면역(drug-induced autoimmunity)**이라고 불립니다. 이것은 마치 정체성을 오해하는 사건과 같습니다. 약물이 몸 안으로 들어왔을 때, 단순히 제 역할을 하는 대신, 신체의 보안 요원(면역 체계)이 "어라, 저건 침입자다! 공격해!"라고 생각하게 만드는 변장을 하고 들어오는 것입니다.

문제는 이 게임을 플레이하기가 믿기 힘들 정도로 어렵다는 점입니다. 첫째, "악당"(이 반응을 일으키는 약물)은 매우 드물기 때문에 과학자들이 연구할 사례가 많지 않습니다. 둘째, 문제를 일으키는 약물들은 화학적으로 서로 매우 다르게 생겼습니다. 마치 자전거, 토스터기, 그리고 유리로 만든 자전거가 뒤섞여 있는 것과 같습니다. 마지막으로, 데이터가 매우 불균형하여 "안전한" 약물이 "위험한" 약물보다 훨씬 많기 때문에 컴퓨터 프로그램이 규칙을 배우는 데 혼란을 줍니다.

이를 해결하기 위해 과학자들은 **머신러닝(Machine Learning)**을 사용합니다. 이는 기본적으로 컴퓨터에게 데이터에서 패턴을 찾는 법을 가르치는 것으로, 강아지가 목줄 소리를 인식하는 법을 배우는 것과 비슷합니다. 또한 그들은 앙상블 러닝(Ensemble Learning), 즉 "전문가 팀"이라는 멋진 용어를 사용합니다. 단 하나의 똑똑한 컴퓨터에 의존하는 대신, 서로 다른 여러 그룹의 컴퓨터에게 동일한 문제를 검토하게 하고 답에 대해 투표하게 하는 것입니다. 한 명의 전문가가 실수를 하더라도 다른 전문가들이 그것을 잡아낼 수 있다는 아이디어입니다. 이 논문은 어떤 약물이 이러한 자가면역 문제를 일으킬 수 있는지 미스터리를 풀기 위해 궁극의 디지털 탐정 팀을 구축하는 것에 관한 것입니다.

디지털 탐정들의 슈퍼 팀

연구진은 약물을 바라보는 방식이 단 하나만으로는 충분하지 않다고 판단했습니다. 그들은 여섯 가지의 매우 다른 유형의 디지털 탐정들로 구성된 팀인 "이질적 앙상블(heterogeneous ensemble)"을 구축했습니다. (이 용어는 입에 잘 붙지 않지만, 다양한 팀을 의미합니다.) 당신이 군중 속에서 용의자를 식별하려고 한다고 상상해 보세요. 한 명의 탐정은 키를 보고, 다른 탐정은 신발 사이즈를 보고, 세 번째는 목소리를, 네 번째는 DNA를 봅니다. 만약 키를 보는 탐정에게만 물어본다면, 그 사람이 모자를 쓰고 있을 경우 놓칠 수도 있습니다. 하지만 모든 탐정에게 물어본다면, 훨씬 더 명확한 그림을 얻을 수 있습니다.

이 연구에서 여섯 명의 탐정은 다음과 같습니다:

1. 클래식 화학자: 표준적인 화학적 수치(무게나 모양 등)를 살펴보는 컴퓨터입니다.
2. 패턴 포착가: 미세하고 반복되는 화학적 패턴을 찾아내는(특정 레고 블록을 찾는 것과 같은) 컴퓨터입니다.
3. 하이브리드: 첫 번째와 두 번째 방식의 혼합입니다.
4. 언어 독해자 1: 수백만 개의 화학적 "문장"을 학습하여 단어(화학 구조)들이 어떻게 연관되는지 이해하는 컴퓨터입니다.
5. 언어 독해자 2: 역시 방대한 화학 문장 라이브러리를 학습했지만, 학습 스타일이 다른 또 다른 컴퓨터입니다.
6. 거대 두뇌: "이 약물이 자가면역을 유발하는가?"라는 질문에 "예" 또는 "아니오"로 답하도록 특별히 훈련된 거대 인공지능(LLM)입니다.

팀은 이 탐정들이 혼자 일하게 두지 않고, 투표를 하게 만들었습니다. 그들은 여섯 명의 답변을 모두 가져와 평균을 내어 최종 예측을 얻었습니다.

그들이 발견한 것: 다양성의 힘

결과는 흥도적이었지만, 매우 중요한 반전이 있었습니다. 연구진이 새로운 "슈퍼 팀"을 이전에 보았던 약물들에 대해 테스트했을 때, 이 팀은 AUC 0.9324(1.0이 완벽하고 0.5가 동전 던지기 확률인 점수)를 기록하며 아주 훌륭한 성과를 냈습니다. 이는 이전의 최고 방법론이 기록했던 0.8930보다 높은 수치였습니다.

하지만 진짜 마법은 그들이 이전에 본 적이 없는, 완전히 새로운 모양과 구조를 가진 약물들—즉, 분포 외(out-of-distribution) 데이터를 테스트했을 때 일어났습니다. 탐정들이 빨간 모자를 쓴 용의자를 식별하는 데 익숙하다고 상상해 보세요. 갑자기 파란색 솜브레로를 쓴 용의자가 들어옵니다. 단일 탐정들(키나 신발 사이즈만 보는 탐정들)은 혼란에 빠졌고, 그들의 점수는 때때로 0.10에서 0.20까지 크게 떨어졌습니다.

하지만 슈퍼 팀은 어땠을까요? 그들은 거의 흔들리지 않았습니다. 그들의 점수는 단 0.054만 떨어졌습니다. 연구진은 이 팀이 단일 탐정보다 **2.5배에서 4.5배 더 강력(robust)**하다는 것을 발견했습니다. 여기서 얻는 교훈은 다양한 팀을 갖추는 것이 하나의 초천재 전문가를 갖는 것보다 낫다는 것입니다. 상황이 이상하고 생소해질 때, 팀의 다양한 관점들이 서로의 실수를 상쇄하여 예측의 정확도를 유지해 줍니다.

"환각" 경고와 신뢰도 측정기

연구진은 또한 "사고의 사슬(chain-of-thought)"이라는 방법을 사용하여 "거대 두뇌" 탐정이 왜 그런 선택을 했는지 설명하도록 시도했습니다. 그들은 AI가 "이 약물은 특정 화학 그룹을 가지고 있기 때문에 위험하다고 생각합니다"라고 말하기를 기대했습니다. 그러나 그들은 한 가지 문제점을 발견했습니다: AI가 가끔 사실이 아닌 것을 지어낸다는 것입니다. AI는 존재하지도 않는 화학 그룹을 자신 있게 설명하는 실수, 즉 환각(hallucination) 현상을 보였습니다. 이 때문에 연구진은 AI의 설명이 예측에는 유용할지라도, 인간의 검토 없이 최종 결정권자로 사용될 수는 없다고 명시적으로 결론 내렸습니다.

실제 환경에서의 사용을 더 안전하게 만들기 위해, 팀은 **컨포멀 예측(conformal prediction)**이라는 "신뢰도 측정기"를 추가했습니다. 이것은 교통 신호등처럼 작동합니다. 약 **88.3%**의 약물에 대해 팀은 높은 확신을 가지고 단일 "예" 또는 "아니오" 답변을 내놓았습니다. 나머지 **11.7%**에 대해서는 "잘 모르겠습니다. 인간 전문가의 확인이 필요합니다"라고 말했습니다. 이 시스템은 잘 작동하여, 확신이 있는 약물들에 대해 **91.7%**의 성공률을 기록하며 불확실한 사례들이 추가적인 주의를 받을 수 있도록 보장했습니다.

결론

이 논문은 약물 안전성 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 실제로 연구진은 한계에 대해 매우 솔직했습니다. 그들이 훈련된 것과는 화학적으로 매우 다른 다른 종류의 약물(간 손상 유발 약물)로 팀을 테스트했을 때 성능이 떨어졌으며, 이는 어떤 모델도 모든 것을 처리하는 데 완벽할 수는 없음을 보여주었습니다.

핵심적인 교훈은, 약물 유발 자가면역과 같이 까다롭고 희귀한 문제의 경우, 다양성이 안전의 핵심이라는 점입니다. 약물을 바라보는 여섯 가지 서로 다른 방식을 결합함으로써, 이 팀은 단순히 조금 더 똑똑한 것이 아니라, 새로운 미지의 화학 물질을 마주했을 때 훨씬 더 신뢰할 수 있는 시스템을 만들었습니다. 그들은 하나의 "슈퍼 모델"이 자신이 아는 것을 암기하는 데는 뛰어날지 몰라도, 다양한 모델의 팀이 실제 세상의 예기치 못한 상황을 다루는 데는 훨씬 더 낫다는 것을 증명했습니다. 그리고 아마도 가장 중요한 것은, AI가 확신이 없을 때 "모른다"라고 말하는 것이 괜찮으며, 이를 통해 인간이 개입하여 모두를 안전하게 지킬 수 있음을 보여주었다는 점입니다.