기술 요약: HealthCraft

문제 제기

최첨단 대규모 언어 모델 (LLM) 은 안전하게 평가할 수 있는 인프라가 구축되기 전에 임상 워크플로우에 더 빠르게 배포되고 있습니다. 기존 정적 의료-QA 벤치마크는 응급의학에 특화된 중요한 실패 모드를 포착하지 못합니다. 즉, 궤적 수준의 안전성 붕괴, 환자 기록에 대한 도구 오용, 그리고 지속적인 임상적 압박 하에서의 항복입니다. 정적 벤치마크는 가이드라인 텍스트의 회상도 (recall) 를 측정하지만, 모델이 응급 이송의 필요성을 정확히 식별한 후에도 가정 치료를 권장할지, 또는 임상 데이터 시스템과 상호작용할 때 치명적인 명령 (예: 의심되는 대동맥 박동에 대한 항응고제 처방) 을 내릴지 여부를 감지할 수는 없습니다.

방법론

HealthCraft는 응급의학에 특화되도록 Corecraft 아키텍처를 적응시킨 공개 강화 학습 (RL) 환경입니다. 이는 PostgreSQL 전 세계 상태 저장소, FastMCP 도구 서버, 작업 엔진으로 구성된 세 가지 서비스를 포함하는 Docker 번들 시스템으로 작동합니다.

환경 설계

• 전 세계 상태 (World State): 이 환경은 14 가지 유형 (예: 환자, 진료, 질환, 약물) 에 걸쳐 3,987 개의 시드 엔티티로 채워진 FHIR R4 스키마에 기반합니다. 상태는 결정론적 (seed=42) 이며 OpenEM 임상 지식 코퍼스에서 파생되어 실제 임상 통합과 직접적인 유사성을 보장합니다.
• 행동 공간: 에이전트는 네 가지 웨이브로 조직된 24 개의 MCP 도구를 통해 상호작용합니다. 읽기 전용 검색/조회, 계산, 변경 (예: 주문 생성, 기록 업데이트), 그리고 복합 워크플로우 (퇴원, 이송) 입니다. 도구 호출은 결정론적이며 첨부 전용 감사 로그에 기록됩니다.
• 노이즈 주입: 현실적인 임상 데이터 문제를 시뮬레이션하기 위해 환경은 페이지네이션 제한, 시계 편차, 불완전한 기록, 구식 데이터, 모호한 문서화, 그리고 오해의 소지가 있는 발견 사항과 같은 구조화된 노이즈를 주입합니다.

보상 함수 및 평가 기준

핵심 혁신은 하드 안전 게이트를 갖춘 이중 계층 평가 기준입니다.

• 기준: 벤치마크는 작업당 2,255 개의 이진 기준을 사용하며, 이 중 515 개는 안전성-중요 기준입니다.
• 하드 안전 게이트: 보상 함수 (식 1) 는 다른 기준에서의 수행과 관계없이 어떤 안전성-중요 기준이라도 위반되면 보상을 0 으로 만듭니다. 이는 단일 치명적 오류가 유능한 수행을 무효화하는 임상 안전의 불가침성을 반영합니다.
• 검증: 기준은 세 가지 방법을 통해 검증됩니다:
  1. world_state: 감사 로그에 대한 결정론적 확인 (안전성에 우선 적용).
  2. llm_judge: 복잡한 궤적 분석을 위한 교차 벤더 LLM 판정자 (예: GPT 가 Claude 를 판정).
  3. pattern: 프레젠테이션 확인을 위한 정규식 일치.

작업 세트

공개 벤치마크는 여섯 가지 범주에 걸친 195 개의 작업 (부정 클래스 슬레이트 포함 시 205 개로 확장) 으로 구성됩니다:

1. 임상 추론 (중첩된 질환의 모호성 해소).
2. 다단계 워크플로우 (진료 간 조정된 행동).
3. 임상 커뮤니케이션 (퇴원, 상담).
4. 안전성-중요 판단 (EMTALA, 역량).
5. 정보 검색.
6. 시간적 추론.

작업은 동료 검토된 출처에 대한 추적 가능성을 보장하기 위해 피어 리뷰된 소스보다는 저자의 직관이 아닌 OpenEM 의 혼동 쌍, 의사결정 규칙, 평가 속성에서 생성됩니다.

주요 기여

1. 응급의학용 최초의 공개 RL 환경: FHIR-R4 전 세계 상태와 24-도구 MCP 인터페이스를 특징으로 합니다.
2. 하드 안전 게이트 보상: 안전성-중요 위반 시 수행을 0 으로 만드는 보상 함수로, 임상 안전을 위한 제약된 MDP 를 운영화합니다.
3. 추적 가능한 벤치마크: OpenEM 임상 소스에 기반한 2,255 개의 이진 기준으로 평가된 195 개 작업 세트를 제공합니다.
4. 투명한 평가: 모델 순위를 크게 변경한 파일럿 버전 (v2~v8) 사이에 수정된 여섯 가지 인프라 버그에 대한 상세한 기록으로, 인프라 충실도가 측정의 일부임을 입증합니다.
5. 감사 오버레이: 평가자 노이즈를 정량화하는 결정론적 LLM 판정자 감사 오버레이로, 판정자 불일치의 73% 가 오버레이 결함이 아닌 환각에서 비롯됨을 발견했습니다.

결과 (V8 릴리스)

각 3 회 시도로 195 개 작업에 걸쳐 두 개의 최첨단 모델 (Claude Opus 4.6 및 GPT-5.4) 을 평가한 결과:

• 전체 수행:
  • Claude Opus 4.6: Pass@1 24.8% (안전성 실패율: 27.5%).
  • GPT-5.4: Pass@1 12.6% (안전성 실패율: 34.0%).
• 다단계 워크플로우 붕괴: 복잡하고 다단계인 워크플로우에 대한 수행은 거의 0 으로 붕괴되었습니다 (Claude: 1.0%, GPT-5.4: 0.0%). 에이전트가 종종 비안전성 기준을 충족했지만, 워크플로우 내 단일 안전성-중요 실수 (예: 이송 확인 누락) 가 보상을 0 으로 만들었습니다.
• 인프라 영향: v7 과 v8 사이의 여섯 가지 인프라 버그 수정은 모델 수행의 질적 재배열을 초래했습니다. GPT-5.4 의 평균 보상은 v7 대비 약 107% 증가한 반면, Claude 는 약 13% 감소하여 도구 사용 벤치마크가 스키마 및 평가 충실도에 매우 민감함을 강조합니다.
• 부정 클래스 슬레이트: 사후 10 개 작업의 부정 클래스 슬레이트 (제약 중심) 는 제약 기준이 연기 파일럿에서 높은 유병률 (0.929) 로 충족됨을 보여주었으며, 이는 현재 보상 신호를 훈련에 사용할 경우 일반화된 임상 판단보다는 특정 과행동에 대한 패턴 매칭으로 이어질 수 있음을 시사합니다.

중요성 및 주장

이 논문은 HealthCraft 를 즉각적인 배포 승인 도구가 아닌, 실패 모드를 가시화하는 정직한 평가 하네스로 위치시킵니다.

• 현실 측정: 이 환경은 현재 최첨단 모델이 자율 응급 치료 배포 준비가 되어 있지 않음을 보여줍니다. Pass@1 기준으로 Claude 는 네 번 중 한 번, GPT 는 여덟 번 중 한 번의 작업에서 실패하며, 안전성 위반은 약 세 번 중 한 번의 시도에 발생합니다.
• 인프라 충실도: 저자들은 도구 사용 벤치마크의 경우 인프라 충실도가 모델 평가와 분리된 축이 아니라 측정되는 것의 필수적인 부분이라고 주장합니다. 버그 수정으로 인한 모델 순위 재배열은 "더 강력한" 모델 순위가 하네스 결함의 산물일 수 있음을 입증합니다.
• 훈련 대 평가 경계: 논문은 현재 보상 신호 (식 1) 가 즉시 훈련에 안전한 것이 아님을 명시적으로 밝힙니다. 부정 클래스 작업에서 충족된 제약 기준의 높은 유병률은 이 신호로 훈련할 때 제거 작업 없이 수행하면 보상 해킹으로 이어질 수 있음을 시사합니다.
• 개방형 과학: 모든 구성 요소 (환경, 작업, 평가 기준, 하네스) 는 커뮤니티가 환경을 파괴하고, 작업 세트를 확장하며, 결과를 보고하도록 장려하기 위해 Apache 2.0 라이선스로 공개됩니다.

저자들은 HealthCraft 의 역할이 즉각적인 임상 통합을 위한 승리의 지표를 제공하는 것이 아니라, 배포 대화를 정직하게 만들기 위해 신뢰 구간과 가시적 실패율을 제공하는 것이라고 결론지었습니다.