Mapping social determinants of health in NIH research funding with large language models

매일, 한 사람의 건강은 그들이 받는 의약품이나 방문하는 의사 그 이상의 것들에 의해 형성됩니다. 그것은 그들이 마시는 공기, 이웃의 안전, 음식을 감당할 수 있는 능력, 그리고 양질의 교육에 접근할 수 있는지 여부에 의해 영향을 받습니다. 과학자들은 이러한 요인들을 건강의 사회적 결정요인(social determinants of health)이라고 부릅니다. 이것들은 왜 어떤 공동체는 번영하고 다른 공동체는 어려움을 겪는지 결정하는 보이지 않는 힘이며, 건강 결과의 대다수를 설명합니다. 이러한 뿌리 깊은 문제를 해결하기 위해, 정부는 자신들의 연구 자금이 어디로 흘러가고 있는지 알아야 합니다. 미국에서 국립보건원(NIH)은 세계 최대의 공공 보건 연구 자금 지원 기관으로서, 수십억 달러를 특정 프로젝트에 투입하고 있습니다. 만약 이 자금 지원이 특정 사회적 문제들을 지속적으로 간과한다면, 그 문제를 해결하는 데 필요한 과학적 근거는 결코 구축되지 않을 것입니다.

수년 동안, 정부가 이러한 사회적 이슈에 얼마나 많은 돈을 지출하는지 추적하려는 연구자들은 어려운 장애물에 직면해 왔습니다. 그들은 과학자들이 작성한 길고 복잡한 문서인 수천 건의 연구비 신청서를 직접 읽어야 했습니다. 관련 프로젝트를 찾기 위해, 그들은 이전에는 특정 키워드를 찾는 단순한 컴퓨터 검색에 의존했습니다. 만약 연구 제안서가 정확한 단어를 사용했다면 그것은 집계되었습니다. 하지만 만약 저자가 다른 언어를 사용하여 동일한 문제를 설명하거나, 그 아이디어를 더 넓은 이야기 속에 녹여냈다면 컴퓨터는 이를 놓쳤습니다. 이 방식은 너무 경직되어 있어서, 마치 똑같은 색깔의 바늘만을 찾으려고 노력하며 건더미 속에서 바늘을 찾는 것과 같았습니다. 결과적으로, 연구 자금이 실제로 어디로 흐르고 있는지에 대한 진정한 모습은 흐릿하게 남았고, 중요한 사회적 이슈에 대한 자금 지원의 공백은 인지되지 못한 채 지나갔습니다.

최근 한 연구팀은 대규모 언어 모델(LLM)로 알려진 차세대 인공지능을 사용하여 다른 접근 방식을 시도하기로 했습니다. 이들은 방대한 양의 텍스트를 학습하여 인간 독자처럼 맥락과 뉘앙스를 이해할 수 있는 컴퓨터 시스템입니다. 단순히 키워드를 찾아 헤매는 대신, 이 모델들은 연구 제안서를 읽고 저자가 표준적인 용어를 사용하지 않더라도 그 기저에 깔린 의도를 이해할 수 있습니다. 연구진은 이 스마트한 모델들이 기존의 키워드 방식보다 더 잘 수행할 수 있는지, 그리고 과학자들이 사회적 문제를 실제로 기술하는 복잡한 현실을 처리할 수 있는지 확인하기 위해 11가지 버전의 모델을 테스트했습니다.

연구는 2023 회계연도의 2,000개 이상의 연구비 신청서 데이터셋에 포함된 '공중보건 관련성(Public Health Relevance)' 섹션을 대상으로 했습니다. 연구진은 먼저 모델이 다섯 가지 특정 사회적 결정요인 범주, 즉 경제적 안정성, 교육 접근성, 의료 접근성, 이웃 조건, 사회적 공동체 맥락을 인식하도록 가르쳤습니다. 이들은 인간 전문가들이 텍스트의 일부를 정밀하게 라벨링하게 함으로써, 모델이 학습할 수 있는 정답 세트를 만드는 방식으로 이를 수행했습니다. 그 후, 나머지 텍스트에서 이 범주들을 얼마나 잘 찾아내는지 확인하기 위해 모델들을 테스트했습니다. 이 과제는 매우 까다로웠는데, 대부분의 연구 제안서는 이러한 사회적 요인들을 언급하지 않으며, 언급하더라도 그 내용이 드물고 텍스트 깊숙이 숨겨져 있기 때문입니다.

결과는 이 인공지능 시스템들이 어떻게 작동하는지에 대한 놀라운 진실을 드러냈습니다. 연구진은 다운스트림 과업을 위해 특별히 미세 조정(fine-tuned)된 작은 모델들이 헤드라인을 장식하는 거대하고 범용적인 모델들보다 더 뛰어난 성능을 보였다는 사실을 발견했습니다. 특히 ModernBERT-base는 연구의 목표 분류 과업에 직접 훈련되었을 때 가장 높은 성능을 달성했습니다. 이 모델은 거대 모델들이 일반적인 지식에 의존해 답을 추측할 때보다 더 자주 텍스트 내의 사회적 요인들을 정확히 식별해 냈습니다. 또한 작은 모델들은 더 안정적이고 일관적이었던 반면, 큰 모델들은 때때로 특정 규칙을 학습하는 데 어려움을 겪었습니다.

그러나 이 연구는 이러한 도구들을 사용하는 방법에 대한 중요한 교훈도 밝혀냈습니다. 연구진은 단순히 모델을 훈련시키는 것만으로는 충분하지 않다는 것을 발견했습니다. 그들은 모델이 최종 결정을 내리는 방식까지 조정해야 했습니다. 사회적 요인들이 텍스트에 매우 드물게 등장했기 때문에, 모델은 해당 요인이 존재하지 않는다고 가정하고 무시하는 경향이 있었습니다. 각 특정 범주에 대한 모델의 민감도를 미세하게 조정함으로써, 연구진은 놓쳐진 엄청난 양의 정보를 회복할 수 있었습니다. 이 조정 작업은 겨우 작동하던 시스템을 높은 성능으로 수행하는 시스템으로 탈바꿈시켰습니다. 이 단계가 없었다면, 가장 진보된 모델이라 할지라도 설계된 목적대로 데이터를 포착하는 데 실패했을 것입니다.

연구진이 다양한 유형의 사회적 요인을 자세히 살펴보았을 때, 모델들이 범주에 따라 다르게 행동한다는 것을 발견했습니다. 경제적 안정성이나 이웃 조건처럼 명확하고 잘 정의된 주제에 대해서는 작은 전문 모델들이 매우 뛰어났습니다. 그들은 높은 정밀도로 이러한 요인들을 포착할 수 있었습니다. 그러나 사회적 및 공동체 맥락과 같이 더 모호하고 복잡한 주제에 대해서는 거대하고 범용적인 모델들이 강점을 보였습니다. 이러한 주제들은 인간 관계와 사회에 대한 폭넓은 이해를 필요로 하는 미묘한 방식으로 기술되곤 하는데, 이는 거대 모델들이 가진 강점입니다. 이는 작은 모델들이 일반적으로 더 효율적이고 우수하지만, 가장 큰 모델들은 여전히 가장 추상적인 사회적 개념을 이해하는 독특한 능력을 갖추고 있음을 시사합니다.

이 연구의 함의는 과학 연구가 어떻게 지원되고 이해되는지에 있어 매우 중요합니다. 연구진은 수십 년간의 연구비 데이터를 스캔하여 어떤 사회적 문제가 연구되고 있고 어떤 문제가 무시되고 있는지를 정확히 파악할 수 있는 시스템을 구축할 수 있음을 입증했습니다. 또한, 값비싼 대규모 하드웨어나 비밀스러운 독점 소프트웨어를 요구하지 않는 비교적 작고 효율적인 컴퓨터로도 이것이 가능하다는 것을 보여주었습니다. 이를 통해 공중보건 관계자와 연구자들은 실시간으로 자금 지원 트렌드를 추적하여, 돈이 가장 필요한 곳에 투입되도록 보장할 수 있습니다. 이러한 도구를 사용함으로써, 기관들은 마침내 자신들의 연구 투자에 대한 전체 지형을 파악하고, 사회적 결정요인이 과소 지원되는 사각지대를 식별하여, 질병만큼이나 엄격하게 사회적 불평등의 원인들을 다룰 수 있도록 미래의 결정을 안내할 수 있습니다.

또한 이 연구는 현재의 연구 환경에 존재하는 지속적인 격차를 강조했습니다. 최고의 도구들을 사용하더라도, 분석 결과 교육 접근성과 질에 관한 영역이 연구비 지원을 받는 제안서에서 현저히 과소 대표되어 있다는 사실이 드러났습니다. 이것은 단순한 데이터 오류가 아니라, 과학계가 관심을 집중하기로 선택한 지점이 어디인지를 반영합니다. 사회적 요인이 연구 제안서에서 지속적으로 간과될 때, 그 문제를 해결하는 데 필요한 근거 기반은 얇아질 수밖에 없습니다. 이러한 트렌드를 정확하게 지도화할 수 있는 능력은 정책 입안자들이 이제 이러한 격차를 명확히 보고, 연구 포트폴리오를 균형 있게 조정하여, 건강 불평등의 원인들이 질병과 동일한 수준의 엄격함으로 다뤄질 수 있도록 정보에 입각한 선택을 할 수 있게 해줍니다.

궁극적으로, 이 연구는 과학적 발견의 메커니즘을 바라보는 새로운 렌즈를 제공합니다. 이는 단순한 단어 수를 세는 것을 넘어 제안된 연구의 진정한 의도를 이해하는 단계로 나아갑니다. 전문화된 모델의 정밀함과 거대 모델의 폭넓은 이해력을 결합하고, 이러한 시스템이 결정을 내리는 방식을 세심하게 조정함으로써, 과학자들은 투명성을 위한 강력한 도구를 만들어냈습니다. 이 도구는 단순히 연구비를 집계하는 것이 아니라, 국가의 보건 연구 우선순위를 드러내며, 우리의 건강을 형성하는 사회적 힘에 대한 완전하고 정확한 이해를 바탕으로 한 미래를 향한 명확한 경로를 제시합니다.