HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience
HERMES는 조정 역할을 수행하는 거대 언어 모델을 활용하여 초장문의 비정형 지질과학 문헌으로부터 FAIR 지향적인 구조화된 지식을 추출함으로써, 55권 분량의 무척추동물 고생물학 논문집(Treatise on Invertebrate Paleontology)을 높은 정확도로 포괄적인 데이터베이스로 변환하고 수동 방식 대비 6배의 효율성 향상을 성공적으로 달성한 확장 가능한 멀티 에이전트 프레임워크입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
과학의 세계를 거대하고 오래된 도서관이라고 상상해 보십시오. 이곳에서 가장 중요한 이야기들은 반짝이는 최신 태블릿이 아니라, 먼지 쌓인 높다란 책더미 속에 저장되어 있습니다. 이 책들은 우리 행성에 대한 발견들, 즉 화석이 어디에 살았는지, 암석이 어떻게 형성되었는지, 그리고 수백만 년 전 지구의 자기장이 어떠했는지에 대한 기록들로 가득 차 있습니다. 문제는 이 이야기들이 컴퓨터가 읽을 수 없는 방식으로 쓰여 있다는 점입니다. 그것들은 긴 문단, 복잡한 표, 그리고 아주 작은 캡션이 달린 그림 속에 갇혀 있습니다. 이는 마치 소수의 인간 전문가만이 해독할 수 있는 비밀 코드로 작성된 보물 지도와 같습니다. 이를 해결하기 위해 과학자들은 인공지능(AI)으로 구동되는 '디지털 사서'를 구축하고 있습니다. 이들은 단순한 검색 엔진이 아닙니다. 책을 읽고, 표와 일반 글의 차이를 이해하며, 특정 사실들을 추출하여 새로운 검색 가능한 데이터베이스를 구축할 수 있는 스마트한 시스템입니다. 여기서 핵심적인 질문은 다음과 같습니다. 컴퓨터가 혼란에 빠지거나, 세부 사항을 놓치거나, 혹은 사실을 지어내지 않으면서 이 방대하고 복잡한 책들을 읽을 만큼 충분히 똑똑해질 수 있을까요?
여기, 바로 이 과제를 해결하기 위해 설계된 새로운 디지털 탐정 팀, HERMES가 등장합니다. HERMES를 단일 로봇이 아니라, 거대한 퍼즐을 맞추기 위해 잘 조직된 건설 팀이라고 생각하십시오. 한 명의 작업자가 500페이지짜리 책을 한꺼번에 읽으려고 노력하는 대신, HERMES는 전문 요원들로 구성된 팀을 조율하는 '관리자' AI를 사용합니다. 한 명의 전문가는 페이지를 스캔하여 이미지를 텍스트로 변환하고, 다른 전문가는 화석 종과 같은 특정 이름을 찾아내며, 세 번째 전문가는 숫자들이 논리적으로 맞는지 확인하고, 네 번째 전문가는 탐정처럼 각 사실이 책의 정확히 어느 부분에서 발견되었는지 기록하여 인간이 검토할 수 있도록 합니다. 이 시스템은 고대 해양 생물에 관한 수천 페이지의 내용을 담은 전설적인 시리즈인 《무척추동물 고생물학 논문집(Treatise on Invertebrate Paleontology)》을 대상으로 테스트되었습니다. 결과는 인상적이었습니다. HERMES는 32,277개의 화석 이름을 성공적으로 추출해냈고, 그에 관한 약 452,000개의 세부 정보를 찾아내어, 이전에는 수작업으로 구축하는 것이 불가능했던 방대하고 체계적인 데이터베이스를 만들어냈습니다. 연구진은 이 AI 팀이 동일한 작업을 수행하는 인간 팀보다 약 6배 더 빠르게 작업하면서도 높은 정확도를 유지했다는 사실을 발견했습니다. 더욱 고무적인 것은, 이 시스템이 단순히 화석에만 국한되지 않았다는 점입니다. 연구진이 지구 자기장과 암석 화학에 관한 다른 유형의 책들을 제공했을 때, 시스템은 그에 적응하여 우수한 성능을 보였으며, 이는 이 '에이전트 팀' 접근 방식이 다양한 과학 분야의 지식을 여는 데 도움을 줄 수 있음을 시사합니다.
논문에 따르면, 현대 AI가 긴 텍스트를 읽는 능력은 향상되고 있지만, 매우 긴 문서의 '중간 부분'에서 어려움을 겪는 경우가 많으며, 시작과 끝 사이에 숨겨진 중요한 단서들을 놓치기도 합니다. 또한 정보의 출처를 증명하는 데 어려움을 겪는데, 이는 과학에서 매우 중요한 요소입니다. HERMES는 업무를 세분화함으로써 이 문제를 해결합니다. '오케스트레이터(Orchestrator, 관리자)'는 사용자의 요청을 읽고 팀을 지휘합니다. '파서(Parser)'는 책을 디지털화하여 스캔본을 텍스트와 도표로 변환합니다. '엔티티 인식기(Entity Recognizer)'는 공룡 이름과 같이 우리가 찾고자 하는 특정 대상을 찾아냅니다. '어노테이터(Annotator)'는 해당 이름에 부수되는 세부 사항을 가져오는데, 이때 '검색 증강 생성(RAG)'이라는 스마트한 기법을 사용하여 오직 해당 세부 사항과 관련된 특정 페이지만을 살핌으로써, 추측하거나 사실을 왜곡(hallucination)하는 것을 방지합니다. 그 후, '검증기(Validator)'는 엄격한 규칙(예: 화석 이름의 철자가 올바른지 확인)에 따라 작업 내용을 점검하고, '트레이서(Tracer)'는 해당 사실이 원래 PDF의 정확히 어느 지점에서 왔는지 표시합니다.
연구진이 이 시스템을 55권의 《논문집》에 테스트했을 때, 시스템은 32,277개의 화석 엔티티와 451,878개의 속성을 가진 데이터베이스를 생성했습니다. 작업 내용을 검토한 인간 전문가 팀에 따르면, AI는 적절한 화석을 찾는 데 약 0.90, 세부 사항을 정확히 가져오는 데 약 0.91의 평균 점수를 기록하며 놀라운 정확도를 보였습니다. 이는 엄청난 효율성의 도약입니다. 4명의 인간 팀이 단 한 권의 책을 수동으로 처리하는 데 45일이 걸렸던 반면, HERMES는 전체 시리즈를 총 53인일(person-days) 만에 마칠 수 있도록 도왔습니다. 저자들은 이러한 자동화된 도움 없이는 전체 시리즈를 정리하려는 시도조차 하지 못했을 것이라고 언급했습니다.
또한 이 논문은 이 방법이 유연하다는 점을 시사합니다. 연구진이 고지자기학(지구 자기 역사의 연구)과 지구화학(암석의 화학)에 관한 책들에 HERMES를 적용했을 때, 시스템을 처음부터 다시 학습시킬 필요가 없었습니다. 그저 '검증기'가 사용하는 규칙을 변경하기만 하면 되었고, 시스템은 새로운 데이터 유형들을 잘 처리했습니다. 그러나 저자들은 시스템이 완벽하지는 않다고 주의를 기울였습니다. 텍text가 페이지를 가로질러 혼란스럽게 나뉘어 있거나, 원본 도서가 흐릿한 복사본을 스캔한 경우(예를 들어 'Beraunia'를 'Bcraunia'로 잘못 읽는 경우) 세부 사항을 놓칠 수 있습니다. 또한 그들은 AI가 힘든 일을 도맡아 하더라도, 특히 가장 까다로운 부분에 대해서는 최종 검증을 위한 인간 전문가가 여전히 필요함을 강조합니다. 결론적으로, 이 논문은 이러한 멀티 에이전트 접근 방식이 오래되고 무질서한 과학 기록들을 깨끗하고 사용 가능한 데이터로 바꾸는 실질적인 방법을 제시하지만, 이는 AI가 대량의 추출 작업을 수행하고 인간이 최종 품질 검사를 수행하는 방식, 즉 인간과 기계가 협력할 때 가장 효과적이라고 밝히고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.