An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

기술 요약: 감사 가능하고 검색에 근거한 에이전트 아키텍처

문제 정의
범용 거대언어모델(LLM)은 의학 시험에서 높은 정확도를 보이지만, 임상 대화에서는 신뢰할 수 없는 모습을 보입니다. 본 논문은 표준 LLM에 내재된 구체적인 실패 모드를 식별합니다: 불확실성 상황에서의 추측, 다회차 상호작용 시의 문맥 상실, 잘못된 전제에 대한 동조(아첨 현상), 그리고 감사가 불가능한 특성입니다. 이러한 실패는 망상적 신념을 강화하거나 자해 의도에 부적절하게 반응하는 등 환자 안전에 심각한 위험을 초래합니다. 저자들은 안전성과 신뢰성이 모델 가중치만의 속성이 아니라, 유예(defer), 무효화(override), 재구성(reconstruct)이 가능한 시스템 수준의 아키텍처를 통해 달성되어야 한다고 주장합니다.

방법론: Asha 에이전트
본 논문은 범용 언어 모델(백본)을 네 가지 결정론적 기호 구성 요소와 감사 레이어로 감싸는 신경-기호(neurosymbolic) 임상 에이전트인 Asha를 소개합니다. 이 아키텍처는 백본 LLM의 "빠르고 모델 없는(model-free)" 특성을 보완하는 외부 실행부 역할을 하도록 설계되었습니다.

1. 스테이크 스코어링 (Gravity/중력): 기호 레이어가 모든 쿼리에 임상적 위험 및 복잡도 점수를 할당합니다. 이 "중력" 점수는 계산의 깊이를 제어하며, 쿼리를 다음과 같은 서로 다른 티어로 라우팅합니다:
   • Asha Base: 단일 검색 근거 패스(retrieval-grounded pass).
   • Asha Mid: 서로 다른 프런티어 모델 제품군으로부터 얻은 검색 근거 초안들을 세 모델이 병합한 형태.
   • Asha Apex: 고위험 쿼리를 위해 예약된, 도메인 전문가 컴포저(composer)를 포함한 다중 전문가 앙상블.
2. 검색 근거(Retrieval Grounding): 후보 답변은 방대한 양의 큐레이션된 의학 및 과학 소스(20개 컬렉션, 약 1억 1,100만 개의 벡터)에서 검색된 증거에 고정됩니다. 이는 파라미터적 회상(parametric recall)에 대한 의존도를 낮춥니다.
3. 역방향 검색을 통한 반증(Inverse-Retrieval Falsification): 주장이 수용되기 전, 시스템은 반증 증거를 찾기 위해 역방향 검색을 수행합니다. 만약 모순되는 증거가 발견되면, 해당 주장의 신뢰도를 낮추거나 답변을 수정합니다. (참고: 이 단계는 Professional 정확도 실행 시에는 비활성화되었으나, Hard 실행 시에는 활성화되었습니다.)
4. 도메인 전문가 구성(Domain-Specialist Composition): 살아남은 근거 기반 콘텐츠는 단일한 전문 분야 적합 답변으로 조립됩니다.
5. 감사 가능한 기록(Auditable Record): 모든 상호작용은 사용된 증거와 응답의 해시값을 포함하는 불변의 해시 앵커 기록을 생성하며, 이는 머클 레저(Merkle ledger)에 저장됩니다. 이를 통해 임상의나 감사인은 추론 과정을 재구성하고 기록이 변경되지 않았음을 검증할 수 있습니다.

주요 기여

• 아키텍처적 안전성: 본 논문은 안전성 개선이 모델 특정적인 것이 아니라 아키텍처적인 것임을 입증합니다. 백본 모델을 고정하고 주변 시스템만을 변화시킴으로써, 저자들은 성과가 아키텍처 자체에서 비롯되었음을 분리해 냈습니다.
• 모델 불가지론적 성능: 시스템은 모델 불가지론적으로 설계되어, 새로운 프런티어 백본을 채택하면서도 근거 제시, 안전성 및 감사 능력을 유지할 수 있습니다. 이는 특정 독점 모델의 철수에 대비한 보호책이 됩니다.
• 신경-기호 통합: 본 연구는 신경적 지각(유창한 생성)과 명시적 기호 추론(제약, 검증 및 감사)을 통합하여, 순수 신경 시스템의 "건망증" 및 "환각" 실패 모드를 해결합니다.

결과
연구는 일관된 명명된 평가자(named graders)를 사용하여 여러 벤치마크에서 Asha를 평가했습니다:

• HealthBench Professional (525개 임상 대상 질문): Claude Opus 4.8(Anthropic이 자사 모델 평가에 사용하는 것과 동일한 평가자)로 평가했을 때, Asha Apex는 루브릭 콘텐츠 메트릭에서 **70.5%**를 기록하여 Claude Mythos 5의 **66.0%**를 상회했습니다. 길이 조정 메트릭에서 Asha의 압축 구성은 **65.5%**를 달성하여 Mythos 5와 대등한 수준에 도달했습니다.
• HealthBench Standard (5,000개 질문): Asha Base는 44.1%(o1과 GPT-4.1 사이의 순위)를 기록했으며, Asha Mid는 60.6%(o3급)에 도달했습니다.
• HealthBench Hard (1,000개 질문): 이 세트는 프런티어 모델들이 무너지는 지점을 격리합니다. Asha Apex는 **44.8%**를 기록하여 테스트된 모든 순수 프런티어 모델(예: GPT-5.2 40.3%, GLM-5.2 16.2%)을 능가했습니다. 아키텍처는 티어 간 단조 증가(monotonic gains)를 보여주었으며, 공유 서브셋에서 Asha Mid는 Asha Base보다 9.7포인트를 높였습니다.
• 독립적 재현: 상업적 임상 도구들과 비교한 독립적 파이프라인에서, Asha Apex는 모든 평가자 구성 하에서 OpenEvidence(62.6%)와 UpToDate Expert AI(61.3%)를 모두 능가했습니다 (72.6% vs 62.6%/61.3%).
• Psychosis-Bench (안전성): 백본(gemini-2.5-flash)을 고정한 통제 실험에서, 순수 모델은 **30.2%**의 안전 개입률을 보였습니다. Asha 아키텍처로 감싸자 이 비율은 **95.8%**로 상승했습니다 (P = 4.0 × 10⁻²³). 망상 확증 및 위해 조장 점수는 급격히 감소했습니다. 최상위 티어(Asha Apex)는 순수 오픈 웨이트 모델(GLM-5.2, 80.2%)에 대해 **97.9%**의 안전 개입률을 달성했습니다.
• MedQA: Asha는 1,273개 질문 분할 데이터셋에서 **95.5%**를 기록하여 가장 강력한 프런티어 베이스라인들과 대등한 성능을 보였습니다.

의의 및 주장
본 논문은 결과가 하나의 테제를 뒷받침한다고 주장합니다: 범용 언어 모델 주변의 구성(composition)은 의학적 정확도와 대화 안전성을 모두 높이며, 이러한 개선은 특정 모델의 속성이 아니라 아키텍처의 속성이다.

저자들은 규모(scale) 그 자체만으로는 임상적 안전이나 신뢰성을 해결할 수 없다고 주장합니다. 대신, 기호적 추론, 큐레이션된 지식, 그리고 공식적 제약(근거 제시, 반증, 스테이크 인식 라우팅)의 통합은 다음과 같은 시스템을 만듭니다:

1. 근거 기반(Grounded): 주장이 외부 증거에 연결됨.
2. 반증 가능(Falsifiable): 주장이 반증 증거에 의해 테스트됨.
3. 안전 게이트(Safety-Gated): 고위험 쿼리는 유예 또는 에스컬레이션을 트리거함.
4. 감사 가능(Auditable): 모든 결정은 검증 가능하고 불변하는 기록을 남김.

본 논문은 이 아키텍처를 의료와 같이 규제가 엄격한 영역에서 필수적인 진화로 포지셔닝합니다. 왜 특정 답변이 생성되었는지 보여주고, 이해관계가 신뢰도를 초과할 때 유예하며, 검사 가능한 기록을 남기는 능력은 "수탁적 의료 AI(fiduciary medical AI)"의 표준이기 때문입니다. 저자들은 아키텍처가 성능을 향상시키지만, 공식적 검증이 어려운 가장 까다로운 의미론적 판단에 대해서는 여전히 인간의 감독이 필요함을 언급했습니다.