💻 computer science

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

본 논문은 답변의 정확성에서 소스 의존성 감사로 초점을 이동시키는 다중 소스 검색 증강 생성 (RAG) 시스템을 위한 새로운 평가 프레임워크를 소개하며, 이식 환자 교육 벤치마크를 통해 기관 간 불일치가 기존 추정치보다 훨씬 더 광범위하게 존재함을 입증하고, 이러한 소스 간 관계를 체계적으로 측정하고 관리하기 위한 HERO-QA 와 구조화된 판정자 같은 도구를 제안합니다.

원저자: Yubo Li, Rema Padman, Ramayya Krishnan

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yubo Li, Rema Padman, Ramayya Krishnan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 심장 이식을 받은 환자라고 상상해 보세요. 질문이 있습니다: "언제 다시 국제 여행을 할 수 있을까요?" 이 질문을 스마트 의료 챗봇에 입력합니다.

이러한 챗봇을 구축하던 기존 방식에서는 시스템이 하나의'완벽한'답변을 찾아 완전히 확신에 차서 사용자에게 제공했습니다. 하지만 이 논문은 현실 세계에서는 단일한 완벽한 답변이 존재하지 않는다고 주장합니다. 대신, 사용자가 받는 답변은 챗봇이 우연히 선택한어느 병원의 규정집에 전적으로 의존합니다.

봇이 A 병원의 규정집을 선택하면"3 개월 기다리세요"라고 말할 수 있습니다. B 병원의 책을 선택하면"12 개월 기다리세요"라고 말할 수 있습니다. 두 답변 모두 확신에 차서 작성되었고, 모두 올바르게 인용되었지만 서로 모순됩니다. 이러한 봇을 테스트하던 기존 방식은 하나의'골드 스탠다드'답변만 찾았기 때문에 이 문제를 발견하지 못했습니다.

이 논문은 이식 환자 교육 시스템을 사례로 삼아 이러한 시스템을 감사하는 새로운 방식을 제시합니다. 그들이 어떻게 했는지 간단히 설명하면 다음과 같습니다:

1.'레시피 책'모음 (TransplantQA)

연구진은 미국 전역의 23 개 주요 이식 센터에서 102 개의 서로 다른 환자 안내서를 수집했습니다. 이를 같은 요리 (이식 후 관리) 를 위한 102 개의 서로 다른 레시피 책이라고 생각하세요. 어떤 셰프 (병원) 는"소금을 넣으라"고 하고, 다른 이들은"소금을 넣지 마라"고 하며, 어떤 이들은 소금에 대해 전혀 언급하지 않습니다.

또한 실제 환자들이 포럼에서 질문한 1,115 개의 실제 질문도 수집했습니다. 이들은 가짜가 아니라 실제 사람들의 genuine한 우려입니다.

2.'스마트 사서' (HERO-QA)

시스템을 테스트하기 위해 HERO-QA라는 특수 검색 엔진을 구축했습니다. 거대한 도서관에서 올바른 페이지를 찾으려는 사서를 상상해 보세요.

책이 짧으면 사서는 놓치는 것이 없도록 책 전체를 읽습니다.
책이 거대하면 사서는 스마트 지도를 사용해 특정 장을 찾고, 그 다음 특정 단락을 찾으며, 전체적인 맥락을 얻기 위해 이웃 단락까지 확인합니다.

이 사서는 그런 다음 강력한 AI(생성기) 에게 찾은 페이지들만을기반으로 답변을 작성하도록 요청합니다. 그들은 모든 단일 질문에 대해 모든 단일 안내서에 대해 이렇게 수행했습니다. 그 결과 동일한 질문에 대한 48,000 개 이상의 서로 다른 답변이 생성되었습니다.

3.'엄격한 심사자' (구조화된 출력)

이제 가장 중요한 부분이 나옵니다. 그들은 이 48,000 개의 답변을 비교하여 어떻게 다른지 확인해야 했습니다. 단순히"같거나 다른가?"라고 묻지 않았습니다. 대신 엄격한 편집자처럼 행동하는 전문 AI'심사자'를 사용했습니다.

단순히 점수를 매기는 대신, 이 심사자는 비교하는 모든 답변 쌍에 대해 짧은 보고서를 작성합니다. 이를 다섯 가지 통으로 분류합니다:

부재 (Absent): 한 책에서는 아예 해당 주제에 대해 언급하지 않았습니다.
일관성 (Consistent): 두 책이 정확히 같은 내용을 말합니다.
보완성 (Complementary): 주요 내용에는 동의하지만 서로 다른 세부 사항을 추가합니다 (예: 하나는"건강하게 먹으라"고 하고 다른 하나는"그리고 운동하라"고 추가합니다).
이탈 (Divergent): 서로 다른 조언을 제공합니다 (예:"6 주 기다리세요"vs"12 주 기다리세요").
모순 (Contradictory): 정반대의 내용을 말합니다 (예:"이것을 할 수 있습니다"vs"절대 하지 마세요").

중요하게도, 심사자는 그들이 왜 다른지 그리고 그 차이가 얼마나 심각한지도 설명합니다.

4. 큰 발견

숫자를 계산했을 때 놀라운 사실을 발견했습니다.

'누락'문제: 약 **79%**의 경우, 안내서 중 하나에는 답변이 전혀 없었습니다. 기존 테스트 방식은 모든 책에 답변이 있다고 가정했기 때문에 이를 놓쳤습니다.
'숨겨진'불일치: 검색 시스템을 수정 (사서를 더 똑똑하게 만들기) 했을 때, 불일치가 줄어들지 않고 더 많이 발견되었습니다.
- 비유: 사전에서 특정 단어를 찾고 있다고 상상해 보세요. 첫 페이지만 보면 모든 사람이 정의에 동의한다고 생각할 수 있습니다. 하지만 사전 전체를 읽으면 다른 판본들이 이를 다르게 정의한다는 것을 깨닫게 됩니다.
- 논문은 이전 추정치들이 병원 간 불일치 빈도를 과소평가했다고 밝혔습니다. 불일치가 더 강해서가 아니라, 기존 시스템이 많은 병원에 아예 답변이 없다는 사실을 눈치채지 못해 불일치의 실제 범위를 가렸기 때문입니다.

5. 의학을 넘어선 중요성

저자들은 이것이 심장 이식에 관한 것만이 아니라고 말합니다. 그들은 법률시스템 (주마다 법이 다름) 이나 학교 (지역구마다 교육 과정 기준이 다름) 와 같이 여러 출처에서 답변을 끌어오는 모든 시스템이 동일한 맹점을 가지고 있다고 주장합니다.

학생이 챗봇에게 역사에 대해 질문하면, 봇이 뉴욕의 교과서를 읽는지 텍사스의 교과서를 읽는지에 따라 답변이 달라질 수 있습니다. 이 논문은 이러한'출처 의존성'을 측정할 수 있는 도구 세트를 제공함으로써, 항상 단일한 정답이 있다는 가식을 멈추게 합니다.

요약하자면: 이 논문은 AI 가 여러 출처를 기반으로 질문에 답변할 때, 답변이 종종 어떤출처를 선택했는지에 달려 있음을 보여주는 대규모 테스트를 구축했습니다. 그들은 이러한 차이를 측정하는 새로운 방식을 만들어냈으며, 단일한'정답'을 찾기 위해 노력하는 것을 멈추고 서로 다른 출처들이 어떻게 서로 관련되는지 감사해야 함을 증명했습니다.

기술 요약: 의료 다중 소스 RAG 의 소스 의존성 감사

문제 제기
현재 의료 분야를 포함한 검색 증강 생성 (RAG) 평가 패러다임은 대부분 "단일 정답" 가정에 의존합니다. MedQA 나 PubMedQA 와 같은 벤치마크는 질문이 하나의 정답을 가진다고 간주하여, 배포된 다중 소스 시스템에서 발생하는 치명적인 실패 모드인 소스 의존성을 진단하지 못합니다. 병원과 같은 기관 환경에서는 지역적 리스크 관리 및 편집적 선택에 따라 환자 교육 핸드북에 상충되는 프로토콜, 일정, 또는 권고사항이 포함되는 경우가 많습니다. RAG 시스템이 서로 다른 소스에서 정보를 검색할 때, 상호 배타적이거나 이질적인 답변을 생성하더라도 유창하고 자신감 있는 답변을 도출할 수 있습니다. 지배적인 평가 프레임워크는 서로 다른 문서에 기반한 답변 간의 관계를 측정할 축이 부재하기 때문에 이러한 이질성을 탐지하지 못합니다.

방법론
저자들은 평가 단위를 "답변의 정확성"에서 "소스 간 관계"로 전환하는 프레임워크를 제안합니다. 이는 세 가지 핵심 구성 요소를 통해 구체화됩니다:

TransplantQA 벤치마크:
- 코퍼스: 심장, 폐, 신장, 간, 췌장을 포함한 미국의 23 개 고형 장기 이식 센터에서 발간된 102 권의 환자 교육 핸드북. 문서는 치료 단계 (이식 전, 이식 후, 또는 통합) 에 따라 별도의 단위로 처리됩니다.
- 질문: 온라인 포럼 및 옹호 단체에서 수집된 1,115 개의 실제 환자 질문을 익명화하고 재구성한 것.
- 구조: 데이터셋은 모든 핸드북에 적용 가능한 "일반" 하위 집합과 "장기별" 하위 집합으로 나뉩니다. 이를 통해 전체 코퍼스 및 계층적 쌍별 비교가 가능해집니다.
HERO-QA 파이프라인 (계층적 증거 검색 및 조정):
- 아키텍처: 오픈 가중치 LLM(Qwen3-32B) 에서 실행되는 3 단계 프로세스.
- 1 단계 (추출): 원시 PDF 를 섹션 및 페이지 메타데이터가 포함된 구조화된 JSON 으로 변환합니다.
- 2 단계 (검색): 회상 우선의 다중 계층 검색 시스템입니다. 짧은 핸드북 (<80k 자) 은 검색을 우회하여 전체 문서 컨텍스트를 사용합니다. 긴 핸드북은 4 개의 병렬 검색기 (밀집 FAISS, 희소 BM25, 섹션 본문 탐색, 제목 탐색) 를 사용하여 계층적 검색 (문서 → 섹션 → 청크) 을 수행한 후, 상호 순위 융합 (RRF) 과 크로스 인코더 재랭킹을 거칩니다. 최상위 청크는 일관된 컨텍스트를 위해 부모 섹션으로 확장됩니다.
- 3 단계 (판단): 서로 다른 핸드북에서 생성된 답변 간의 쌍별 관계를 평가하는 구조화된 출력 판정기가 사용됩니다.
구조화된 출력 판정기:
- 이진 레이블 대신, 판정기는 다음을 포함하는 구조화된 JSON 레코드를 출력합니다:
  - 분류: 5 가지 레이블 중 하나: ABSENT(정보 없음), CONSISTENT(동일한 권고), COMPLEMENTARY(호환되지만 세부 사항이 다름), DIVERGENT(실질적 차이), 또는 CONTRADICTORY(상반된 지침).
  - 내러티브 메타데이터: divergence_topic(이견의 초점) 및 clinical_significance(낮음/중간/높음).
- 검증: 계층적 샘플에 대해 인간 임상 주석가들과 비교하여 판정기를 검증한 결과, 인간 다수결에 대한 코헨의 카파 ( $\kappa$ ) 값은 0.842 였습니다. 제거 실험 (ablation studies) 은 단일 호출 구조화 출력이 COMPLEMENTARY와 DIVERGENT 클래스 간의 구분을 유지하는 데 필수적임을 확인했으며, 레이블 전용 판정기는 이를 포착하지 못함을 입증했습니다.

주요 결과
본 프레임워크는 48,056 개의 근거 기반 답변과 5,730,465 개의 쌍별 비교를 생성한 프로덕션 실행에 적용되었습니다.

이견의 prevalence: 기존 추정치는 이견의 prevalence 를 크게 과소평가했습니다. 명시적인 CONTRADICTORY 사례는 드물었으나 (<0.1%), 지배적인 이견 모드는 COMPLEMENTARY(비부재 쌍의 75.4%) 와 DIVERGENT(12.9%) 였습니다.
마스킹 요인으로서의 부재: 일반 하위 집합에서 쌍의 78.9% 는 ABSENT(적어도 하나의 핸드북에 정보가 없음) 였습니다. 이전 14B 모델 실행과 현재 32B 실행을 비교할 때, 향상된 검색은 "핸드북 부재율"을 13.6% 포인트 감소시켰습니다. 중요한 점은 쌍별 이분율은 안정적으로 유지되었으나, 어떤 이분을 보이는 질문의 prevalence는 약 16% 증가했다는 것입니다. 이는 더 강력한 검색 파이프라인이 이견을 만들어내는 것이 아니라 잠재된 이견을 드러낸다는 것을 의미하며, 이전 기준치들은 관련 소스가 검색되지 않았을 뿐 이견을 놓쳤던 것입니다.
이질성: 부재율은 핸드북 간에 크게 달랐으며 (0.45~0.99), 이분율은 장기 유형에 따라 달라져 췌장과 일반 질문에서 가장 높은 이분율을 보였습니다.

의의 및 주장
이 논문은 소스 의존성을 측정하는 것이 의료뿐만 아니라 배포된 모든 다중 소스 NLP 시스템의 근본적인 책임이라고 주장합니다.

평가 패러다임의 전환: 저자들은 단일 정답 패러다임이 다중 저자 기관 코퍼스에 부적절하다고 주장합니다. 필드는 사용자의 답변이 검색된 특정 문서에 의존적인지 진단하기 위해 소스 간 관계를 평가해야 합니다.
도메인 중립성: 장기 이식 교육에 구현되었지만, 이 프레임워크 (다중 소스 벤치마크, 소스 간 분류 체계, 구조화된 출력 판정기) 는 연방/주 판례가 상충될 수 있는 법률 RAG 와 주별 커리큘럼 기준이 다른 교육 RAG 로 이전되도록 설계되었습니다.
방법론적 필요성: 논문은 구조화된 단일 호출 판정이 편의가 아닌 설계 요구사항이라고 단언합니다. 레이블 전용 판정기에서 사후적으로 메타데이터를 추출하는 것은 COMPLEMENTARY와 DIVERGENT 관계 간의 뉘앙스와 심각도 계층을 복원하지 못합니다.

저자들은 이 작업이 소스 간 이질성을 감사하는 최초의 대규모 도구를 제공하며, 기관 내 RAG 의 이견이 이전 이해보다 훨씬 더 광범위하게 존재하지만, 그 강도는 다양한 검색 강도에서 일관되게 유지됨을 밝힌다고 결론지었습니다.