🧬 biology

Cross-kingdom phenotype annotations for 35,856 species generated with a web-search-enabled language model

본 논문은 광범위한 비교 생물학 및 보존 연구를 촉진하기 위해 웹 검색 기능이 탑のある 대규모 언어 모델 파이프라인을 통해 생성된, 35,856종의 동물, 식물 및 균류 종에 대한 700만 개 이상의 주석을 포함하는 포괄적인 교차 계통 표현형 데이터셋을 제시한다.

원저자: Tyler M. Moore

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tyler M. Moore

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신은 지구상의 모든 동물, 식물, 균류를 설명하는 거대하고 보편적인 "생명의 백과사전"을 만들려고 한다고 상상해 보세요. 당신은 다음과 같은 것들을 알고 싶어 합니다: 껍데기가 있는가? 물속에 사는가? 독이 있는가? 식물을 먹는가?

보통 이 백과사전을 채우는 일은 마치 손으로 벽화를 그리는 것과 같습니다. 한 번에 아주 작은 붓터치 하나씩 진행해야 하죠. 과학자들은 각 종(species)에 대한 답을 찾기 위해 수천 권의 오래된 책과 과학 논문을 읽어야 합니다. 이는 느리고 비용이 많이 들며, 어떤 동물은 유명한 반면(예: 사자), 어떤 동물은 매우 희귀하여(예: 특정 종류의 곰팡이) 관련 책 자체가 존재하지 않는 경우도 많기 때문에 거대한 공백을 남기게 됩니다.

"라이프다이브(LifeDive)" 프로젝트: 초능력을 가진 디지털 사서

이 논문은 **라이프다이브(LifeDive)**라는 새로운 데이터셋을 소개합니다. 모든 책을 읽기 위해 수천 명의 인간 연구원을 고용하는 대신, 저자는 특별한 초능력을 가진 "매우 똑똑한" 컴퓨터 프로그램(거대 언어 모델)을 사용했습니다. 그 초능력이란 바로 실시간 인터넷을 검색할 수 있는 능력입니다.

이 컴퓨터를 단순히 도서관의 책을 읽는 로봇이 아니라, 인간이 구글을 사용하는 것처럼 특정 숲속의 벌레나 동굴 속의 희귀한 버섯에 대한 사실을 즉각적으로 찾아낼 수 있는 디지털 탐정이라고 생각하십시오.

그들이 수행한 방법

대상 목록: 팀은 약 36,000종(동물, 식물, 균류)의 마스터 리스트로 시작했습니다. 데이터가 판다와 같은 "매력적인" 동물에만 치우치지 않도록 흔한 생물과 희귀한 생물을 골고루 섞었습니다.
설문지: 그들은 생물학(세포벽, 독성)부터 행동(야행성, 사회성), 그리고 인간이 그들을 어떻게 보는지(아름다운가? 해로운가?)에 이르기까지 196개의 질문으로 구성된 표준화된 테스트를 만들었습니다.
탐정 작업: 컴퓨터는 리스트에 있는 모든 종에 대해 이 196개 질문에 답하도록 요청받았습니다. 인터넷 검색이 가능했기 때문에, 컴퓨터는 단 한 명의 인간 전문가도 심도 있게 연구한 적 없는 종들에 대해서도 답을 찾아낼 수 있었습니다.
규모: 그 결과 700만 개의 답변이 담긴 거대한 스프레드시트가 만들어졌습니다.

"신뢰도 척도"

컴퓨터는 단순히 "예" 또는 "아니요"라고 말하지 않았습니다. 컴퓨터는 자신이 얼마나 확신하는지를 보여주기 위해 5단계 척도를 사용했습니다.

확실히 아님
아마도 아닐 것임
알 수 없음 / 해당 사항 없음 (컴퓨터가 모른다는 것을 인정함)
아마도 맞을 것임
확실히 맞음

이것이 매우 중요합니다. 이는 데이터가 단순히 해당 형질이 있는지 여부뿐만 아니라, 컴퓨터가 그 답에 대해 얼마나 확신하는지도 알려준다는 것을 의미합니다.

엉망인 부분 정리하기

컴퓨터는 똑똑하지만 완벽하지는 않기에, 때때로 추측하거나 놓치는 경우가 있습니다. 이를 해결하기 위해 연구진은 통계적 "빈칸 채우기" 도구(랜덤 포레스트 임퓨테이션/random forest imputation)를 사용했습니다.

비유: 십자말풀에서 몇몇 칸이 비어 있는 상황을 상상해 보세요. 만약 "FISH"라는 단어가 한 줄에 들어가고 "GILLS"가 한 열에 들어간다는 것을 안다면, 논리적으로 빠진 글자를 추측할 수 있습니다. 컴퓨터는 다른 195개 질문에서 학습한 패턴을 사용하여 누락된 답변을 채움으로써 이 작업을 수행했습니다.

효과가 있었는나? ("점검 테스트")

저자들은 단순히 컴퓨터를 믿기만 한 것이 아니라, 엄격한 테스트를 거쳤습니다.

"골드 스탠다드(표준)" 확인: 컴퓨터의 답변을 이미 알려진 종들에 대한 기존의 신뢰할 수 있는 데이터베이스(FishBase 또는 PanTHERIA 등)와 비교했습니다. 컴퓨터의 답변은 "척추가 있는가?" 또는 "껍데기가 있는가?"와 같은 큰 범주에서 인간이 큐레이션한 데이터와 거의 완벽하게 일치했습니다(종종 95% 이상의 일치율을 보임).
"전문가 감사": 그들은 무작위로 추출된 200종을 가져와서, 다른 AI(제2의 의견 역할을 하는)가 그 작업을 검토하게 했습니다. 두 AI는 답변의 방향성에 대해 약 95~97%의 일치율을 보였습니다.
"그룹화" 테스트: 데이터가 생물학적으로 타당한지 확인하기 위해 그들은 데이터를 살펴보았습니다. 모든 물고기가 함께 그룹을 이루었나요? 모든 버섯이 함께 그룹을 이루었나요? 네, 그랬습니다. 컴퓨터는 생물학자가 아님에도 불구하고 유사한 생물들을 자연스럽게 함께 묶었습니다. 이는 컴퓨터가 생명의 "형태"를 이해하고 있음을 증명합니다.

이 데이터가 무엇인지(그리고 무엇이 아닌지)

이 논문은 이 데이터셋의 용도에 대해 매우 명확하게 밝히고 있습니다.

이것은: 탐색을 위한 강력한 도구입니다. 패턴을 발견하거나, 새로운 아이디어를 생성하거나, 다음에 인간 전문가가 살펴봐야 할 종이 무엇인지 찾아내는 데 유용합니다. 이것은 전 지구적 형질 백과사전의 "초안"입니다.
이것은: 실험실에서 특정 동물을 측정하는 과학자를 대체하는 것이 아닙니다. 특히 희귀하거나 특이한 종에 대해서는, 당신이 직접 확인하지 않고 이 데이터셋의 단일 답변을 절대적이고 변하지 않는 사실으로 인용해서는 안 됩니다.

결론

이 논문은 웹 검색 AI를 통해 구축된, 전 생물계를 아우르는 거대한 형질 지도를 제시합니다. 이것은 마치 모든 별에 직접 가서 측정하는 대신, 텔레스코프를 통해 우주의 일반적인 형태를 즉각적으로 볼 수 있게 해주는 것과 같습니다. 완벽하지는 않지만, 과학자들이 더 나은 질문을 던지고 다음에 연구할 가장 흥미로운 종을 찾을 수 있도록 돕는 출발점을 제공합니다.

기술 요약: 35,856종에 대한 교차 계통 표현형 주석 (LifeDive)

문제 정의
표준화된 유기체 형질 매트릭스는 비교 생물학, 거시 생태학 및 보전 생물학에 필수적이다. 그러나 광범위한 분류학적 범위를 갖춘 조밀한 매트릭스를 구축하는 것은 수동 큐레이션의 느린 속도, 불균형한 분류학적 대표성, 그리고 계통·지리·연구 노력에 따른 구조적 결측치로 인해 어려움을 겪고 있다. 자동화된 텍스트 마이닝과 대규모 언어 모델(LLM)이 비정형 텍스트로부터 형질 추출 속도를 가속화했으나, 이러한 접근 방식은 소스 코퍼스의 가용성과 편향성에 의해 여전히 제한된다. 또한, 세포벽, 독, 종자 분산과 같이 다양한 형질을 단일 데이터 프레임워크 내에 표현해야 하므로 교차 계통(cross-kingdom) 주석 작업은 특히 까다롭다. 기존 자원들은 광범-규모 분석에 필요한 균일성이 부족한 경우가 많으며, LLM이 생성한 데이터는 "유창한 오류(fluent errors)"와 프롬프트 민감도 문제를 겪는 경우가 많아 엄격한 검증과 불확실성 정량화가 필요하다.

방법론
본 연구는 스크립트 기반 주석 파이프라인에 웹 검색 기능이 탑재된 LLM을 적용하여 생성된 데이터셋인 LifeDive를 제시한다.

유기체 선정: 소스 분류 체계는 Catalogue of Life (2026-04-18 XR)를 사용하였다. 선택 스크립트는 동물계(Animalia), 식물계(Plantae), 균계(Fungi)를 우선순위에 두어 과(family) 수준의 범위를 목표로 하였다. 이 과정에서 약 5%의 멸종 종을 유지하였으며, 공인된 명칭과 영어 일반명(common name)이 존재하는 명칭을 선호하였다. 초기 35,000종의 세트는 LLM 지원 검토(GPT 5.5 Pro 사용)를 통해 초기 목록에 없던 친숙한 유기체들을 포함하도록 정제되었으며, 최종적으로 35,856종이 확정되었다.
주석 파이프라인: 각 종은 세포 생물학, 해부학, 생리학, 생태학, 행동, 생활사, 번식, 환경 내성 및 인간과의 연관성을 다루는 196개의 표현형 질문에 대해 평가되었다. 모델은 xAI API를 통한 Grok-4-1-fast-reasoning을 사용하였으며, 희귀 분류군에 대한 정보 검색을 위해 web_search 도구를 구성하였다.
응답 척도: 주석은 5단계 서열 척도를 활용하였다: 0 (확실히 아님), 1 (아마도 아님), 2 (알 수 없음/해당 없음), 3 (아마도 맞음), 4 (확실히 맞음). 프롬프트는 정보를 결정할 수 없는 경우 코드 2를 반환하도록 지시하였다.
데이터 처리:
- 파싱(Parsing): 응답의 구조를 검증하였으며, 정렬이 어긋난 출력값은 무시하고 '알 수 없음(Unknown)' 값으로 대체하여 침묵 속에서 수용되는 것을 방지하였다.
  [...중략...]
- 결측치 대체(Imputation): 결측치(코드 2 및 범위를 벗어난 값)는 랜덤 포레스트 분류(H2O 클러스터)를 사용하여 대체되었다. 이 대체 과정은 다른 유지된 표현형 항목들을 예측 변수로 사용하여 다운스트림 분석을 위한 완성된 매트릭스를 생성하는 동시에, 출처 보존을 위해 원본 매트릭스를 별도로 유지하였다.
- 차원 축소: 완성된 매트릭스에 promax 회전을 적용한 14요인 문항 반응 이론(IRT) 모델을 적용하여 표현형 차원(예: "식물 유사성", "수생성", "위험성")을 도출하였다.

주요 기여

LifeDive 데이터셋: 35,856종의 동물, 식물, 균류에 대한 7,027,776개의 서열 표현형 주석을 포함하는 교차 계통 데이터셋.
방법론적 프레임워크: 웹 검색 가능 LLM을 단순한 텍스트 독해자가 아닌, 명시적 스키마, 제약된 출력 및 검증 단계를 포함하는 구조화된 주석가로 활용하는 재현 가능한 파이프라인을 입증함.
데이터 레이어: 다음과 같이 구분하여 공개함:
- Raw Matrix (원시 매트릭스): "알 수 없음" 코드를 포함한 원래의 모델 응답.
- Completed Matrix (완성된 매트릭스): 직사각형 형태의 데이터가 필요한 분석을 위해 결측치를 대체한 데이터.
- Derived Products (파생 제품): 14요인 적재량 매트릭스 및 단위 가중치 표현형 점수.
검증 세트: 외부 벤치마크, 교차 모델 감사 및 잠재 구조 분석을 포함한 종합적인 기술 검증 자료.

결과 및 검증

외부 벤치마킹: 본 데이터셋을 독립적인 형질 자원(예: PanTHERIA, EltonTraits, FishBase, AmphiBIO)과 비교하였다. 광범위한 분류학적 지표는 거의 천장에 도달하는 상관관계를 보였다 (예: Animalia vs. 셀룰로오스: $r = -0.99$ ; Plantae vs. 셀룰로오스: $r = 0.99$ ; Mammalia vs. 털: $r = 0.99$ ). 특정 생태적 변수 또한 강한 일치성을 보였다 (예: 양서류 유생 단계와 변태: $r = 0.90$ ).
교차 모델 감사: 200종의 무작위 샘플을 다른 LLM(Claude Opus 4.7)과 웹 검색을 사용하여 감사하였다. 감사는 제공된 매트릭스에 대해 95–97%의 방향성 일치도를 추정하였다. 확정적 코드(0 및 4)가 유보적 코드(1 및 3)보다 더 정확한 것으로 나타났다.
잠재 구조: 요인 분석 결과 14개의 해석 가능한 차원(예: "식물 유사성", "균류 유사성", "곤충 유사성", "위험성")이 도출되었다. 시각화 결과, 점수가 생물학적 기대치와 일치함을 확인하였다 (예: 목본 식물이 높은 "식물 유사성" 및 "내구성" 영역을 차지함).
표현형 유사성: 200종의 하위 집합에 대한 네트워크 분석 결과, 유기체들이 문(phylum)과 기능적 유사성(예: 나무는 나무끼리, 개구리는 개구리끼리)에 따라 군집을 형성하였으며, 높은 집단 내 상관관계를 보였다 (예: 자낭균류의 경우 0.877).

의의 및 주장
본 논문은 LifeDive를 생명의 나무 전반에 걸쳐 광범하고 균일한 범위를 갖도록 설계된 컴퓨터 기반 표현형 자원으로 규정한다. 저자들은 이 데이터가 기본 측정값, 전문가가 큐레이션한 종 기록 또는 측정된 연속 형질을 대체하는 것이 아님을 명시적으로 밝힌다.

대신, 이 데이터셋은 다음을 목적으로 한다:

탐색적 비교 분석 및 가설 생성.
고정된 유기체 및 질문 세트를 활용한 미래 주석 시스템의 벤치마킹.
표적 전문가 검토를 위한 불확실한 셀(cell)의 우선순위 지정.
거시 생태학적 모델링을 위한 특징(feature) 생성.

저자들은 이 데이터 제품이 그 문서화된 출처, 가시적인 불확실성(원시 값과 대체 값을 구분함), 그리고 독립적인 기술적 점검에 의해 판단되어야 한다고 강조한다. 또한, 웹 검색의 동적인 특성으로 인해 원시 주석의 정확한 재생성이 보장되지 않을 수 있음을 경고하며, 사용자가 자신의 불확실성 허용 범위에 따라 데이터 레이어를 활용할 것을 권고한다.

기술 요약: 35,856종에 대한 교차 계통 표현형 주석 (LifeDive)

유사한 논문