RAGulate: Retrieval-Augmented Generation for Post-hoc Literature-Grounded Regulatory Assessment

당신이 하나의 미스터리를 풀기 위해 노력하는 탐정이라고 상상해 보십시오: 세포 내부의 어떤 특정한 "스위치"(전사 인자)가 어떤 특정한 "전구"(유전자)를 켜는가?

컴퓨터는 이미 어떤 스위치가 어떤 전구를 제어하는지에 대한 추측 목록을 만들어 두었습니다. 하지만 생물학자가 이 추측을 믿고 이를 증명하기 위해 비용이 많이 드는 실험을 수행하기 전에, 그들은 증거를 확인하는 힘든 작업을 먼저 수행해야 합니다. 이 증거는 수백만 편의 과학 논문 속에 흩어져 있으며, 복잡한 언어로 쓰여 있고, 동일한 대상에 대해 서로 다른 이름을 사용하기도 합니다. 이는 마치 책들이 서로 다른 언어로 쓰여 있고, 저자들이 별명을 사용하며, 사실들이 각주 속에 숨겨져 있는 도서관에서 특정 사실을 찾아내려는 것과 같습니다.

표준 AI의 문제점
과학자들은 이 책들을 읽고 증거를 요약하기 위해 "똑똑한" 컴퓨터 프로그램(대규모 언어 모델)을 사용하려고 시도했습니다. 하지만 이 프로그램들은 나쁜 습관이 있습니다. 바로 **환각(hallucinate)**을 일으키는 것입니다. 그들은 실제로 교과서를 읽어서 답을 찾는 것이 아니라, 그럴듯하게 들린다는 이유만으로 사실을 자신 있게 지어내거나 존재하지 않는 책을 인용하기도 합니다. 이는 마치 교과서를 실제로 읽기보다는 정답이 이럴 것이라고 생각해서 시험 문제를 찍는 학생과 같습니다.

해결책: RAGulate
저자들은 RAGulate라는 새로운 도구를 만들었습니다. RAGulate를 정답을 추측하는 학생이 아니라, 허구의 사실을 말하는 것이 엄격히 금지된 매우 효율적인 연구 사서라고 생각하십시오.

이 사서가 작동하는 방식은 다음과 같습니다:

1. 마스터 리스트 (CollecTRI): 사서는 이미 검증된 알려진 스위치-전구 연결 목록에서 시작합니다. 이것은 올바른 곳을 보고 있는지 확인하기 위한 "실제 정답(ground truth)"입니다.
2. 같은 언어로 말하기 (Alias Expansion): 과학적 명칭은 까다롭습니다. 어떤 단백질은 한 논문에서는 "Gene A"라고 불리고, 다른 논문에서는 "Protein X"라고 불릴 수 있습니다. RAGulate는 이들이 동일한 것이라는 점을 이해할 만큼 똑똑하므로, 단순히 별명 때문에 단서를 놓치는 일이 없습니다.
3. 이중 검색 (Hybrid Retrieval): 증거를 찾을 때, 사서는 두 가지 검색 전략을 동시에 사용합니다.
   • 키워드 검색: 전통적인 색인처럼 정확한 단어 일치를 찾습니다.
   • "분위기" 검색: 단어가 다르더라도 개념적으로 관련이 있다고 느껴지는 것을 찾습니다 (예를 들어, "심혈관 건강"을 검색했을 때 "심장 건강"에 관한 책을 찾는 것과 같습니다).
   • 이 두 가지를 결합함으로써, 사서는 방대한 과학 문헌 속에서 가장 관련성이 높은 페이지들을 찾아냅니다.
4. 사실 확인자 (Fact-Checker): 최적의 페이지들을 찾고 나면, AI는 오직 그 페이지들만을 읽고 해당 연결을 뒷받침하는지 결정합니다. AI는 자신의 기억에 의존하지 않고, 방금 찾아낸 문서들에 전적으로 의존합니다.

결과
연구팀이 이 시스템을 테스트했을 때 다음과 같은 결과가 나타났습니다:

• 더 나은 검색: "별명" 해결책 덕분에 사서는 훨씬 더 많은 관련 논문을 찾아냈습니다.
• 더 똑м한 답변: 키워드 검색과 "분위기" 검색을 함께 사용했을 때 한 가지 방법만 사용할 때보다 가장 많은 증거를 찾아냈습니다.
• 더 적은 거짓말: AI가 찾은 특정 문서에 기반하여 답변을 작성했기 때문에, 실수(환각)가 훨씬 적었으며 올바른 과학 논문(PMID)을 훨씬 더 자주 인용했습니다.
• 신뢰할 수 있는 설명: 제공된 설명은 지어낸 이야기가 아니라 실제 텍스트에 충실했습니다.

핵식 요점
RAGulate는 생물학자와 협력하기 위해 설계된 도구입니다. 이 도구는 과학 문헌의 소음 속을 헤쳐 나가 연구자들에게 이렇게 말해주는 신뢰할 수 있는 조수 역할을 합니다: "이 논문들로부터 추출한 이 유전자 연결을 뒷받침하는 구체적인 증거는 이것이며, 여기 그 증거가 있습니다." 이를 통해 과학자들은 어떤 실험을 먼저 수행할지 우선순위를 정함으로써 시간을 절약하고 잘못된 가설을 쫓는 위험을 줄일 수 있습니다.

참고: 이 논문은 과학자들이 유전자-스위치 실험의 우선순위를 정하는 방법을 개선하는 데 엄격히 집중합니다. 이 도구가 질병을 직접 진단하거나 환자를 치료한다고 주장하지 않습니다.