Longevity Bench: Are SotA LLMs ready for aging research?

이 논문은 노화 연구에서 최첨단 대규모 언어 모델 (LLM) 의 유용성을 평가하기 위해 다양한 생물학적 데이터와 예측 과제를 포함하는 'Longevity Bench'를 제안하고, 이를 통해 모델들의 한계를 분석하고 노화 연구에서의 활용 방안을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 정말로 노화를 이해하고 있을까?"**라는 아주 중요한 질문을 던지며 시작합니다.

마치 **"노인용 운전 면허 시험"**을 만들어서, 최신 AI 모델들이 실제로 운전 (노화 연구) 을 할 수 있는지, 아니면 그냥 운전 대시보드만 흉내 내고 있는지 확인해 본 실험 보고서라고 생각하시면 됩니다.

이 논문의 핵심 내용을 쉬운 비유와 함께 설명해 드릴게요.

---

1. 왜 이런 시험을 만들었나요? (배경)

최근 AI(챗GPT, 클로드 등) 가 과학 논문도 쓰고 코딩도 잘해서 과학자들의 조수 역할을 톡톡히 하고 있습니다. 하지만 과학자들은 **"AI 가 정말로 생명의 원리를 이해하는 건가, 아니면 그냥 책에서 본 내용을 외워서 대답하는 건가?"**를 걱정합니다.

특히 **노화 (Aging)**는 매우 복잡합니다. DNA, 혈액, 단백질, 유전자 등 수많은 데이터가 얽혀 있어서, AI 가 이걸 제대로 이해하지 못하면 엉뚱한 결론을 내릴 수 있습니다. 그래서 연구팀은 **"LongevityBench(수명 벤치마크)"**라는 시험지를 만들어 AI 들에게 치열한 시험을 보게 했습니다.

2. 시험지는 어떤 내용이었나요? (시험 문제)

이 시험지는 단순히 "노인이 누구야?"라고 묻는 게 아니라, 다양한 방식으로 AI 의 실력을 테스트했습니다.

• 예측 문제: "이 사람의 혈액 검사 결과와 건강 기록을 보면, 10 년 뒤에도 살아있을까?" (binary classification)
• 비교 문제: "A 와 B 중 누가 더 오래 살았을까?" (pairwise comparison)
• 숫자 맞추기: "정확히 몇 년을 더 살았을까?" (regression)
• 유전자 퍼즐: "이 사람의 유전자 발현 패턴을 보고 나이를 맞춰봐." (omics data)
• 생성 문제: "이 유전자 목록을 보고, 나머지 숨겨진 유전자들을 맞춰봐." (generative)

이 문제는 혈액 검사, DNA 메틸화, 유전자 발현, 단백질 데이터 등 노화 연구에서 쓰이는 모든 종류의 데이터를 포함했습니다.

3. 시험 결과는 어땠나요? (결과)

15 개의 최신 AI 모델 (OpenAI, Google, Anthropic 등) 을 시험에 붙였는데, 결과는 매우 흥미롭고 다소 실망스러웠습니다.

• 완벽한 영웅은 없다: 어떤 AI 가 한 문제에서는 1등을 했지만, 다른 문제에서는 하위권을 기록했습니다. 마치 **"수학은 천재인데 국어는 못 하는 학생"**처럼, 특정 데이터에는 강하지만 다른 데이터에는 약한 편입니다.
• 가장 잘한 AI: 구글의 **'Gemini 3 Pro'**가 전체 평균 점수로 1등을 했습니다. 하지만 모든 문제를 다 잘 푼 건 아닙니다.
• 가장 큰 약점 (형식에 속아넘어감): AI 들은 질문하는 방식 (포맷) 에 따라 정답률이 극적으로 달라졌습니다.
  • 예시: "누가 더 오래 살았을까?" (비교) 라고 물으면 엉뚱하게 맞추다가, "10 년 이상 살았을까?" (예/아니오) 라고 물으면 아주 잘 맞췄습니다.
  • 비유: 이는 AI 가 노화의 원리를 깊이 이해한 게 아니라, 문제의 '키워드'나 '문장 구조'를 보고 답을 유추하고 있다는 뜻입니다. 진짜 노화를 이해했다면 질문 방식이 바뀌어도 똑같이 잘 맞췄어야 합니다.
• 숫자 맞추기 실패: "정확히 몇 년을 더 살았을까?"라고 물었을 때, AI 들은 실제 수명보다 너무 짧게 예측하는 경향이 있었습니다. 마치 "아픈 사람이 나오면 무조건 곧 죽을 거야"라고 과장해서 생각하는 것처럼, 위험 요소를 보고 수명을 과소평가했습니다.
• 단백질 데이터는 난이도 최상: 유전자 데이터는 어느 정도 잘 맞추는데, 단백질 데이터는 AI 들이 거의 무작위로 찍는 수준이었습니다. 아직 AI 가 단백질 데이터를 충분히 공부하지 못했기 때문입니다.

4. 결론: AI 는 아직 '수석 연구원'이 될 수 없다

이 논문의 결론은 다음과 같습니다.

"현재의 AI 는 훌륭한 '참고서'나 '검색 엔진'은 될 수 있지만, 노화 연구를 혼자서 이끌어갈 '수석 과학자'가 되려면 아직 멀었다."

• 신뢰할 수 있는 부분: 임상 기록을 바탕으로 "예/아니오"로 답하는 간단한 예측에는 꽤 잘합니다.
• 주의해야 할 부분: 복잡한 데이터 (단백질, 유전자) 를 분석하거나, 정확한 수치를 예측할 때는 AI 의 말을 무조건 믿으면 안 됩니다. AI 가 질문 방식에 따라 흔들리고, 실제 원리보다는 패턴만 기억하고 있다는 것을 알아야 합니다.

5. 앞으로의 전망

연구팀은 이 시험지 (LongevityBench) 를 계속 발전시켜, AI 가 노화의 진짜 원리를 이해하도록 **훈련 (교육)**을 시킬 계획입니다. 마치 아이가 운전 면허 시험을 볼 때, 단순히 대시보드만 보는 게 아니라 실제 도로 상황을 이해하도록 가르치는 것처럼요.

한 줄 요약:

"AI 는 노화 연구의 훌륭한 도구가 될 수 있지만, 아직은 스스로 판단할 수 있는 지혜가 부족합니다. 과학자들은 AI 가 내놓은 답을 맹신하기보다, 항상 검증하며 사용해야 합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 노화 (Aging) 는 모든 조직과 종에서 관찰되는 정보량이 풍부한 보편적인 생물학적 현상입니다. 최근 대규모 언어 모델 (LLM) 이 연구 워크플로우에 통합되면서, 노화 생물학 연구에 LLM 을 활용할 수 있을지에 대한 기대가 커지고 있습니다.
• 문제: 그러나 현재의 최첨단 (SotA) LLM 들이 노화 생물학의 근본 원리를 진정으로 이해하고 있는지, 아니면 단순한 표면적 상관관계나 사실 암기 (fact memorization) 에 의존하는지에 대한 체계적인 평가 기준이 부재합니다.
• 목표: LLM 이 저수준의 생물학적 데이터 (omics 데이터 등) 를 해석하여 고수준의 표현형 (phenotype) 결론에 도달할 수 있는지, 그리고 노화 생물학의 '생물학적 진실 (biological ground truth)'을 얼마나 잘 이해하는지 평가하기 위한 벤치마크가 필요합니다.

2. 방법론 (Methodology)

2.1. LongevityBench 벤치마크 구축

• 데이터 소스: 7 가지 주요 공개 데이터셋을 활용하여 30,193 개의 프롬프트를 구성했습니다 (약 5 천만 토큰).
  • NHANES-IV: 일반 인구 생존 데이터 (임상 기록, 혈액 마커).
  • Open Genes: 유전자 발현 궤적 (Human tissues, Model organisms).
  • Synergy Age: 다중 돌연변이의 수명 영향 (초파리, 쥐).
  • TCGA: 암 환자 생존 기간 (RNA-seq 데이터).
  • GEO (Gene Expression Omnibus): DNA 메틸화 (Epigenetics) 데이터.
  • GTEx: 전사체 (Transcriptomics) 데이터.
  • Olink: 프로테오믹스 (Proteomics) 혈장 데이터.
• 작업 유형 (Task Formats): 모델의 능력을 다각도로 평가하기 위해 다양한 질문 형식을 도입했습니다.
  • 회귀 (Regression): 정확한 생존 시간 (Time-to-Death) 또는 수명 증가율 예측.
  • 이진 분류 (Binary): 생존 여부 (10 년 이상), 노화/비노화 그룹 분류.
  • 쌍별 비교 (Pairwise): 두 개인 중 누가 더 오래 사는지, 누가 더 나이가 많은지 비교.
  • 다중 분류 (Multiclass): 연령대 (예: 0-9 세, 10-19 세 등) 예측.
  • 생성 (Generative): 주어진 부분적 오믹스 프로필로부터 특징적인 유전자/단백질 목록 완성.

2.2. 평가 대상 및 프로토콜

• 평가 모델: OpenAI (GPT-4.1, GPT-5, o3 등), Anthropic (Claude Sonnet 4.5), Google (Gemini 2.5/3 시리즈), xAI (Grok-3/4), DeepSeek (R1) 등 총 15 개의 SotA LLM.
• 평가 지표:
  • 분류/쌍별 비교: 정확도 (Accuracy).
  • 회귀: 평균 절대 오차 (MAE).
  • 생성: 자카드 지수 (Jaccard Index).
• 평가 체계: 17 가지 하위 태스크를 통해 모델의 일관성과 일반화 능력을 측정했습니다.

3. 주요 결과 (Key Results)

3.1. 종합 성능 순위

• 최상위 모델: Google 의 Gemini 3 Pro가 평균 순위 5.00 으로 1 위를 차지했으며, OpenAI 의 GPT-5와 o3가紧随其后 (5.06) 했습니다.
• 모달리티별 편차: 단일 모델이 모든 태스크에서 상위 3 위 안에 드는 경우는 없었습니다. 모델마다 강점이 있는 데이터 유형 (예: 임상 데이터 vs 오믹스 데이터) 이 뚜렷하게 구분되었습니다.
  • 임상 생존 예측: Gemini 3 Pro 가 NHANES 데이터 기반 10 년 생존 예측에서 88.2% 의 높은 정확도를 보였습니다.
  • 암 생존 예측 (TCGA): Anthropic 의 Claude Sonnet 4.5가 69.7% 로 가장 높은 정확도를 기록했습니다.
  • 오믹스 기반 노화 예측: 전사체 (Transcriptomic) 데이터 기반 쌍별 비교에서는 대부분의 모델이 무작위 추측 수준 (0.5 부근) 으로 실패했습니다. 이는 모델이 유전자 발현 패턴에서 노화 신호를 추출하는 데 어려움을 겪고 있음을 시사합니다.

3.2. 프롬프트 형식 의존성 (Format Dependency)

• 질문 형식에 따른 성능 변동: 동일한 데이터라도 질문 형식 (이진, 다중 분류, 쌍별 비교) 이 바뀌면 모델의 순위와 성능이 극적으로 변했습니다.
  • 예: NHANES 데이터에서 '다중 분류 (연령대 예측)'에서는 Gemini 3 Flash 가 우수했으나, '쌍별 비교 (누가 더 오래 사나?)'에서는 성능이 급격히 하락했습니다.
  • 이는 모델이 노화 과정에 대한 '일관된 내부 표현 (coherent internal representation)'을 가지고 있지 않고, 질문의 의미 (semantics) 에 따라 다른 패턴을 추론하고 있음을 보여줍니다.

3.3. 회귀 및 생성 태스크의 한계

• 회귀 편향: 생존 시간 (TTD) 예측 회귀 태스크에서 대부분의 모델은 실제 생존 기간 (250 개월 이상) 을 과소평가하여 50~100 개월 범위로 예측을 압축하는 경향을 보였습니다. 이는 임상적 위험 요인이 언급되면 사망 위험을 과대평가하는 훈련 데이터 편향으로 추정됩니다.
• 생성 태스크 격차:
  • 전사체 (Transcriptomics): 일부 모델이 의미 있는 유전자 목록을 생성했습니다 (Jaccard ~0.176).
  • 프로테오믹스 (Proteomics): Olink 데이터 기반 생성 태스크에서는 모든 모델이 매우 낮은 성능 (Jaccard < 0.03) 을 보였습니다. 이는 훈련 데이터 내 프로테오믹스 정보의 부족과 전사체 - 단백질 발현 간의 불일치 (post-transcriptional regulation) 를 모델이 이해하지 못하기 때문으로 분석됩니다.

4. 주요 기여 (Key Contributions)

1. LongevityBench 벤치마크 도입: 노화 생물학 연구에 특화된 최초의 포괄적인 LLM 평가 프레임워크를 제시했습니다. 임상 기록, 다양한 오믹스 (전사체, 후성유전체, 프로테오믹스), 유전적 개입 데이터 등을 아우릅니다.
2. 모델 능력의 체계적 평가: SotA LLM 들이 노화 생물학의 '진실'을 이해하는지, 아니면 표면적 패턴 매칭에 의존하는지를 실증적으로 입증했습니다.
3. 형식 의존성 발견: 모델의 성능이 질문 형식에 따라 크게 달라진다는 점을 발견하여, LLM 이 생물학적 인과관계를 진정으로 추론하지 못함을 지적했습니다.
4. 연구 방향 제시: LLM 을 노화 연구에 활용할 때 주의해야 할 점 (예: 생성형 태스크의 검증 필요, 회귀 예측의 편향 주의) 을 제시하고, 향후 모델 학습을 위한 'MMAI Gym for Science' 프레임워크의 기초를 마련했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 확보: 현재 상용 LLM 은 노화 연구의 보조 도구로 유용할 수 있으나, 아직 독립적인 연구 파트너로 신뢰하기에는 한계가 있음을 경고합니다. 특히 새로운 생물학적 데이터 유형 (프로테오믹스 등) 에서는 실험적 검증이 필수적입니다.
• 개발 가이드: 벤치마크 결과는 모델 개발자들이 노화 생물학의 복잡성을 이해하고, 단순한 패턴 매칭을 넘어 생물학적 인과관계를 학습하도록 유도하는 데 중요한 피드백을 제공합니다.
• 지속적 평가: 모델은 빠르게 진화하므로, LongevityBench 는 지속적인 업데이트를 통해 AI 가 노화 연구에 기여할 준비가 되었는지 모니터링하는 표준 지표로 자리 잡을 것입니다.

요약하자면, 이 논문은 최신 LLM 들이 노화 생물학이라는 복잡한 도메인에서 여전히 '표면적인 이해'에 머무르고 있음을 지적하며, 이를 극복하기 위한 체계적인 평가 도구와 개발 방향을 제시했습니다.