🤖 AI

Authoring and Management of Transparent Research Integrity Assessments of Randomised Clinical Trial Publications Using LLM-assisted Tools and Provenance Knowledge Graphs

이 논문은 INSPECT-SR 프레임워크와 RIPE-O 온톨로지를 활용하여 무작위 대조 시험(RCT) 출판물의 연구 진실성에 대한 투명한 평가를 간소화하고 표준화하기 위해 설계된, LLM 지원 대화형 도구인 INSPECT-AI와 그와 관련된 RIPE-KG 지식 그래프를 소개한다.

원저자: Milan Markovic, Goutham Indukuri, Somayajulu Sripada, Colby J. Vorland, Jack Wilkinson, Clare Robertson, Mark Bolland, Andrew Grey, Miriam Brazzelli, Alison Avenell

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Milan Markovic, Goutham Indukuri, Somayajulu Sripada, Colby J. Vorland, Jack Wilkinson, Clare Robertson, Mark Bolland, Andrew Grey, Miriam Brazzelli, Alison Avenell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

과학의 세계를 연구자들이 사람들의 건강을 지키는 방법에 대해 끊임없이 새로운 책을 써 내려가는 거대하고 북적이는 도서관이라고 상상해 보십시오. 수년 동안 의사들과 정책 입안자들은 **체계적 문헌고찰(Systematic Review)**이라는 특별한 종류의 '베스트 오브' 컬렉션에 의존해 왔습니다. 이것은 수백 개의 개별 연구를 읽고, 오류를 확인하며, 그 결과들을 결합하여 의료를 위한 단 하나의 신뢰할 수 있는 가이드를 만드는 초능력을 가진 사서라고 생각하면 됩니다. 하지만 여기에는 함정이 있습니다. 때때로 도서관의 원래 책들이 조작되었을 수도 있다는 점입니다. 데이터가 조작되었거나, 실험이 조작되었거나, 혹은 저자들이 나쁜 소식을 숨겼을 수도 있습니다. 만약 이 '오염된' 책들을 초능력 사서가 최종 가이드에 실수로 포함시킨다면, 의사들에게 전달되는 조언이 틀릴 수 있으며, 잠재적으로 환자에게 해를 끼칠 수도 있습니다. 이것이 바로 **연구 진실성(Research Integrity)**의 문제입니다. 즉, 과학의 원재료가 정직하고 신뢰할 수 있는지 확인하는 것입니다.

이를 해결하기 위해 과학자들은 수상한 흔적을 포착하기 위한 탐정의 돋보기와 같은 체크리스트를 만들었습니다. 하지만 모든 책을 일일이 수동으로 확인하는 것은 매우 느리고 고된 일이며, 서로 다른 탐정들이 무엇을 '수상한' 단서로 간주할지에 대해 의견이 다를 수도 있습니다. 최근에는 **거대 언어 모델(LLM)**이라는 새로운 유형의 디지털 조수가 등장했습니다. LLM을 텍스트를 스캔하고 몇 초 만에 패턴을 찾아낼 수 있는 매우 빠르고 박식한 로봇이라고 생각하면 됩니다. 하지만 어떤 로봇과 마찬가지로, 이 로봇도 실수를 하거나 혼란을 겪을 수 있으므로 인간의 재검토가 필요합니다. 여기서 핵심적인 질문은, 인간과 로봇이 연구의 안전성을 결정하기 위해 어떻게 협력했는지에 대한 정확하고 변경 불가능한 기록을 어떻게 남길 것인가 하는 점입니다.

이것이 바로 여러분이 이제 읽게 될 논문이 등장하는 지점입니다. 저자들인 컴퓨터 과학자와 의료 전문가 팀은 INSPECT-AI라는 새로운 디지털 도구를 구축했습니다. 이것은 인간이 임상 시험의 정직성을 확인할 수 있도록 돕는 첨단 디지털 탐정 본부와 같습니다. 하지만 진짜 마법은 도구 그 자체만이 아니라, 그것이 남기는 '디지털 발자국'에 있습니다. 팀은 거대한 사실의 연결망인 **지식 그래프(Knowledge Graph)**와 결정이 내려진 방식을 설명하기 위한 공유 언어인 **온톨로지(Ontology)**라는 특별한 지도를 만들었습니다. 그들은 이를 사용하여 95개의 의학 연구에 대한 140가지의 서로 다른 조사를 기록했습니다.

그들이 발견한 것은 매혹적이면서도 약간은 혼란스러웠습니다. 로봇(INSPECT-AI)과 인간 탐정들은 자주 일치했지만, 항상 그런 것은 아니었습니다. 실제로 그들이 던진 구체적인 질문 중 약 13.6%에서 의견 차이가 발생했습니다. 때때로 로봇은 문제를 너무 성급하게 지적하기도 했고, 때로는 인간이 로봇이 틀렸음을 알기 위해 더 깊이 파고들어야 했습니다. 또한 팀은 특히 연구가 시작되기 전에 등록되었는지 여부를 파악할 때(이는 깊은 지식을 요구하는 까다로운 세부 사항입니다), 인간들 사이에서도 의견이 일치하지 않는 경우가 있다는 것을 발견했습니다. 이 논문은 우리가 단순히 로봇이 모든 것을 결정하게 해서도 안 되며, 인간이 혼자서 모든 것을 하도록 내버려 두어서도 안 된다는 점을 시사합니다. 대신, 우리는 조사의 모든 단계—누가 무엇을 보았는지, 로봇이 무엇을 추측했는지, 그리고 왜 인간이 생각을 바꿨는지—를 기록하는 시스템이 필요합니다. 이러한 "프로비넌스 트레이스(investigation의 이력)"를 개방형 검색 가능 그래프에 게시함으로써, 팀은 과학을 검증하는 과정 전체를 더 투명하고, 빠르며, 인간의 오류에 덜 취약하게 만들기를 희고 있습니다. 그들이 가짜 과학 문제를 완전히 해결한 것은 아니지만, 그것을 찾아내려는 사람들을 위해 더 나은 손전등과 더 나은 노트를 만든 것입니다.

기술 요약: LLM 지원 도구 및 프로비넌스 지식 그래프를 활용한 무작위 대조 시험(RCT) 출판물에 대한 투명한 연구 진실성 평가의 저작 및 관리

문제 정의
무작위 대조 시험(RCT)에 대한 체계적 문헌고찰은 임상 진료 지침의 토대 역할을 하지만, 연구 진실성(예: 데이터 조작, 잘못된 통계 분석 또는 이미지 변조)이 훼손된 출판물이 포함될 위험이 있습니다. 수동적인 진실성 평가는 필수적이지만, 노동 집약적이고 시간이 많이 소요되며 인간의 판단에 따른 가변성이 높습니다. 기존의 진실성 점검 도구(예: TRACT, RIA)는 대부분 수동적이며, 의미론적 표준화가 부족하고, 코크란 협력단(Cochrane Collaboration)과 같은 주요 기관의 승인을 받지 못했습니다. 또한, 이러한 평가의 프로비넌스(provenance, 기원/출처)—즉, 의사 결정 과정의 "누가, 무엇을, 어디서, 언제, 왜, 어떻게"에 대한 기록—는 재사용 가능한 기계 판독 가능 형식으로 문서화되는 경우가 드물며, 이는 투명성과 재현성을 저해합니다.

방법론
저자들은 LLM 지원 평가 도구, 의미론적 온톨로지, 그리고 지식 그래프라는 세 가지 핵심 구성 요소로 이루어진 학제간 파이프라인을 개발했습니다.

INSPECT-AI 도구:
- 워크플로우: 이 도구는 "인간 참여형(human-in-the-loop)" 워크플로우를 따릅니다. 검토자가 논문 PDF를 업로드하면, 시스템은 GROBID를 사용하여 구조화된 메타데이터(DOI, 저자, 참고문헌)를 추출하고, 거대언어모델(GEMINI 2.0 Flash)을 사용하여 특정 임상 시험 세부 정보(등록 ID, 모집 날짜 등)를 추출합니다.
- 증거 집계: 시스템은 추출된 식별자를 기반으로 외부 소스(Retraction Watch, PubPeer, ClinicalTrials.gov, WHO ICTRP)를 쿼리합니다.
- 평가: 조건부 로직과 사전 정의된 규칙을 사용하여 증거를 INSPECT-SR 프레임워크(코크란이 승인한 체크리스트)에 따라 평가합니다. 시스템은 특정 진실성 점검 항목에 대해 "제안"(예/아니오/불분명)을 생성합니다.
- 인간 검토: 인간 검토자는 증거와 시스템의 제안을 검토하여 AI의 결정을 확인, 수정 또는 번복합니다. 모든 행동, 근거 및 증거는 로그로 기록됩니다.
RIPE-O (연구 진실성 프로비넌스 및 증거 온톨로지):
- Linked Open Terms (LOT) 방법론을 사용하여 개발되었으며, RIPE-O는 평가 과정의 프로비넌스를 문서화합니다.
- 이 온톨로지는 **Threat Intelligence Decision Ontology (TIDO)**를 확장하고 PROV-O를 활용하며, 서지 데이터를 위해 SPAR 온톨로지(FABIO, CITO)를 재사용합니다.
- 온톨로지는 평가의 인과 관계 그래프를 모델링하여 행위자(인간 검토자, 자동화된 에이전트), 활동(증거 집계, 평가), 엔티티(출판물, 증거, 가설)를 연결합니다. 이는 결정의 근거를 포착하고 자동화된 결과와 인간이 생성한 결과를 구분합니다.
RIPE-KG (연구 진실성 프로비런스 및 증거 지식 그래프):
- 이는 저장 및 시각화 계층으로, YARRRML 매핑을 통해 INSPECT-AI의 JSON 프로세스 로그를 RIPE-O 기반의 RDF로 변환하여 생성됩니다.
- 가능한 경우 로컬 저자 인스턴스를 SemOpenAlex 식별자와 연결하여 저자 모호성을 해소함으로써 연합 쿼리를 가능하게 합니다.
- 그래프는 SPARQL 엔드포인트와 웹 기반 GUI를 통해 접근할 수 있습니다.

주요 기여

INSPECT-AI: 증거 수집과 초기 평가를 자동화하면서도 인간의 감독을 유지함으로써 연구 진실성 평가의 효율성을 높이는 반자동화 도구입니다.
RIPE-O: 진실성 평가의 프로비넌스를 포착하기 위해 설계된 도메인 특화 온톨로지로, 서로 다른 도구와 맥락 간의 평가 추적을 표준화할 수 있게 합니다.
RIPE-KG: 95개의 RCT 출판물에 대한 140개의 진실성 평가를 포함하는 초기 지식 그래프입니다. 이는 프로비넌스 추적의 공개 저장소 역할을 하여, 평가 일관성 분석과 외부 학술 데이터의 통합을 가능하게 합니다.

결과

파일럿 배포: 13명의 자원봉사자(체계적 문헌고찰 전문가 및 임상의)가 69개의 출판물을 평가하여 104개의 평가 추적을 생성하며 도구를 테스트했습니다.
- 사용성: 참가자의 69%가 도구가 "꽤" 또는 "매우" 사용하기 쉽다고 답했습니다. 69%가 응답 속도가 빠르거나 매우 빠르다고 평가했습니다.
- 비용: 파일럿 기간 동안 운영 비용은 약 $79.53였으며, 분석된 논문당 한계 비용은$ 0.10 미만이었습니다.
평가 일관성:
- 인간 vs. AI: 514개의 평가 질문 쌍에서 자동화된 결과와 인간의 결과가 86.4% 일치했습니다. 불일치는 "연구 등록" 관련 문제(26.2%)에서 가장 높게 나타났는데, 이는 타임라인을 해석하기 위해 전문적인 도메인 지식이 필요하기 때문인 경우가 많았습니다.
- 인간 vs. 인간: 여러 명의 검토자가 평가한 22개의 출판물 중, 일치도는 변동이 컸습니다. 철회 상태(83.3%) 및 출판 후 공지(84.2%)에 대해서는 높은 일치도를 보였으나, 연구 등록 관련 문제에 대해서는 44.4%로 떨어졌습니다.
- 종합 평가: 여러 번 검토된 22개 저작물 중 72.7%가 동일한 종합 진실성 평가를 받았으며, 27.3%는 불일치를 보였습니다(범위는 "문제 없음"에서 "심각한 우려"까지 다양함).
데이터 통합: 본 논문은 RIPE-KG를 SemOpenAlex와 연결하여 평가된 출판물의 분야 분류(예: 내분비학)를 검색하는 연합 쿼리 능력을 입증합니다.

의의 및 주장
본 논문은 FAIR 원칙을 준수하는 오픈 지식 그래프로서 연구 진실성 평가의 프로비넌스 추적을 생성하고 게시하는 최초의 엔드 투 엔드 파이프라인을 제시한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

투명성의 중요성: 인간 판단의 내재적 가변성과 인간과 자동화된 평가 사이의 불일치는 책임성을 보장하기 위해 상세한 프로비넌스 추적을 기록할 필요성을 뒷받침합니다.
확장성: 증거 수집 및 초기 평가 단계를 반자동화함으로써, 이 접근 방식은 수동적인 진실성 점검의 확장성 병목 현상을 해결합니다.
재사용성: RIPE-O 온톨로지는 향 true 미래의 진실성 평가 도구(INSPECT-AI뿐만 아니라)의 출력을 통합할 수 있도록 범용적으로 설계되어, 기금 지원 기관과 출판사를 위한 새로운 지표 생성을 용이하게 합니다.
인간 참여형(Human-in-the-Loop): 결과는 복잡한 도메인 특화 판단(예: 연구 등록 타임라인)에 있어 LLM 기반 의사 결정 지원 시스템에서 인간의 검증이 필수적임을 지지합니다.

저자들은 이 작업을 완전한 자동화된 진실성 검증 솔루션이라기보다, 투명한 연구 진실성을 위한 의미론적 인프라인 "RIPE 관측소(RIPE Observatory)"를 향한 기초적인 단계로 규정합니다.

유사한 논문