Context-aware LLM extraction and controlled-vocabulary normalization of GEO transcriptomic sample metadata

현대 생물학의 방대한 기록 보관소에는 건강한 사람과 질병을 가진 사람의 세포 내에서 유전자가 어떻게 켜지고 꺼지는지를 포착한 분자 수준의 생명의 스냅샷이 수백만 개 담겨 있습니다. Gene Expression Omnibus와 같은 공공 저장소에 저장된 이 기록들은 과학자들이 수천 개의 연구 전반에 걸쳐 패턴을 검색할 수 있는 공유 라이브러리가 되도록 의도되었습니다. 그러나 이 라이브러리의 유용성은 각 샘플에 첨부된 노트가 인간 언어의 혼란스러운 혼합체로 작성되었다는 단순한 문제로 인해 오랫동안 저해되어 왔습니다. 한 연구자는 샘플을 "유방 종양(breast tumor)"이라고 설명할 수 있고, 다른 연구자는 "유선 암종(mammary carcinoma)"이라고 쓰며, 세 번째 연구자는 자신의 실험실 내에서만 통용되는 암호 같은 약어를 사용할 수도 있습니다. 이러한 설명들은 비구조적이고 일관성이 없기 때문에, 특정 질병이나 조직 유형과 관련된 모든 샘플을 찾는 것은 모든 제목이 서로 다른 방언으로 쓰여 있고 선반 여기저기에 흩어져 있는 도서관에서 단 한 권의 책을 찾는 것과 같습니다.

이를 해결하기 위해, 오클라호마 의료 연구 재단의 마테우시 슈체파니아크(Mateusz Szczepaniak)와 조나단 렌(Jonathan Wren)은 이러한 생물학적 기록들을 위한 보편적인 번역기 역할을 하는 새로운 시스템을 구축했습니다. 그들은 80만 개 이상의 인간 샘플에 첨부된 무질서한 자유 형식의 텍스트를 읽고 이를 깨끗하고 표준화된 라벨로 변환하도록 설계된, 로컬에서 실행되는 인공지능 파이프라인을 개발했습니다. 이 시스템은 세 가지 핵심 정보, 즉 샘플이 추출된 조직, 환자 또는 유기체의 상태, 그리고 샘플이 받은 치료법에 집중합니다. 단순히 텍스트를 읽는 것에 그치지 않고, 시스템은 전체 연구의 맥락을 이해하여 단일 노트가 누락했을 수 있는 세부 정보를 채워 넣을 수 있습니다. 정보를 추출한 후에는 모든 라벨을 통제된 어휘집(controlled vocabulary)에 연결하여, "유방암(breast cancer)"과 "유선 종양(mammary tumor)"이 동일한 것으로 인식되도록 보장하는 동시에, 아직 표준 명칭이 없는 용어들을 하나로 그룹화합니다.

연구진은 대규모의 인간 샘플 데이터셋을 대상으로 시스템을 테스트했으며, 정보가 존재하는 거의 모든 경우에 조직 유형을 성공적으로 식별하여, 엄격하게 검증된 벤치마크에서 99.7%에 달하는 정확도를 달anim 성취했습니다. 질병이나 상태를 식별하는 데 있어서 시스템은 약 95%의 확률로 정확했습니다. 아마도 가장 중요한 점은, 시스템이 단순히 추측하는 것이 아니라 모호함을 해결하기 위해 연구의 더 넓은 맥락을 활용했다는 것입니다. 만약 단일 샘플 노트에 질병을 명시하지 않은 채 "대조군(control group)"이라고만 적혀 있다면, 시스템은 해당 연구의 전반적인 설계와 동일한 실험 내 다른 샘플들의 라벨을 살펴보고 누락된 맥락을 올바르게 추론했습니다. 이 단계 덕분에 시스템은 처음에 '미지정(unspecified)'으로 표시되었던 조직 라벨 중 4분의 3 이상에서 누락된 정보를 복구할 수 있었습니다.

이 작업의 핵심 특징은 기존 의학 사전의 범주에 맞지 않는 용어들을 처리하는 방식입니다. 시스템은 특이하거나 독특한 용어를 적절하지 않은 카테고리에 억지로 끼워 맞추는 대신, 유사성을 바탕으로 이러한 '어휘 외(out-of-vocabulary)' 개념들을 함께 그룹화합니다. 이는 원래 연구의 구체적인 세부 사항을 보존하면서도 데이터를 검색 가능하게 만듭니다. 또한 팀은 민감한 데이터를 외부 서버로 보낼 필요 없이 로컬 컴퓨터에서 시스템을 실행할 수 있도록 하여, 과정의 투명성과 재현성을 확보했습니다. 수백만 개의 비구조화된 노트를 구조화되고 검색 가능한 데이터로 변환함으로써, 이 파이프라인은 과학적 발견의 주요 장벽을 제거합니다. 이를 통해 연구자들은 서로 다른 연구의 데이터를 쉽게 결합하여 질병이 어떻게 작용하는지에 대한 새로운 통찰을 얻을 수 있으며, 파편화된 기록의 집합을 전체 과학계가 사용할 수 있는 일관된 자원으로 탈바꿈시킵니다.