🤖 AI

World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments

이 논문은 FHIR 환경 내 임상 에이전트에 강화 학습을 적용하는 것이 현재 침묵 종료 천장(silent-finish ceilings), 역량 격차, 그리고 발견 불가능한 형식 지식에 의해 저해되고 있음을 식별하며, 지도 미세 조정(Supervised Fine-Tuning)이 필요한 임상 코드를 주입하는 동안 강화 학습(RL)이 의사 결정 로직을 최적화하는 하이브리드 접근 방식을 제안한다.

원저자: Ananya Mantravadi, Harshit Rajgarhia, Prasanna Desikan, Abhishek Mukherji

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ananya Mantravadi, Harshit Rajgarhia, Prasanna Desikan, Abhishek Mukherji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 로봇 의사 조수를 가르치기

로봇 조수에게 병원의 엄격한 규칙을 따르는 법을 가르친다고 상상해 보세요. 규칙은 다음과 같습니다: "환자의 혈당이 너무 높으면 특정 검사를 처방한다. 정상이라면, 아무것도 하지 않는다."

연구진은 **강화 학습(Reinforcement Learning, RL)**을 사용하여 이 로봇을 가르칠 수 있는지 확인하고 싶었습니다. RL에서 로봇은 여러 가지 시도를 하고, 심판(규칙을 체크하는 컴퓨터 프로그램)으로부터 "점수"를 받으며, 자신의 실수로부터 배웁니다. 목표는 로봇이 매번 인간 선생님으로부터 정답을 배우는 대신, 게임을 반복해서 플레이하는 것만으로도 의료 프로토콜을 따르는 법을 배울 수 있는지 확인하는 것이었습니다.

문제점: 게임이 조작되어 있었다

연구진이 기존 버전의 테스트(MedAgentBench v1/v2)로 이 실험을 진행했을 때, 로봇은 처참하게 실패했습니다. 하지만 이는 로봇이 멍청해서가 아니라, 게임 자체가 고장 났기 때문이었습니다.

"아무것도 하지 않기"의 함정: 기존 테스트에서는 약 42%의 경우, 정답이 단순히 "아무것도 하지 않는 것"이었습니다. 로봇은 높은 점수를 받기 위해 노력했기 때문에, 로봇은 가장 쉬운 승리 방법이 그냥 가만히 앉아 있는 것이라는 사실을 빠르게 깨달았습니다. 로봇은 "아무것도 하지 않는 것"이 지배적인 전략이었기에 게으름을 피우는 법을 배웠습니다.
해결책: 연구진은 더 공정한 새로운 테스트(MedAgentBench v3)를 구축했습니다. 그들은 "아무것도 하지 않는 것"이 쉬운 탈출구가 되지 않도록 게임의 균형을 맞췄습니다. 이제 로봇은 좋은 점수를 얻기 위해 실제로 움직여야만 했습니다.

진짜 발견: 로봇이 넘지 못한 두 개의 벽

새로운 공정한 테스트에서도 로봇(Qwen3-8B 모델)은 여전히 어려움을 겪었습니다. 연구진은 시행착오만을 사용하여 로봇이 완벽하게 학습하는 것을 가로막는 두 가지 구체적인 "벽"을 발견했습니다.

1. "백지 상태"의 벽 (능력의 한계)

학생에게 한 번도 본 적 없는 수학 문제를 풀라고 하면서, 심지어 "더하기" 기호가 무엇인지도 모르는 상황을 상상해 보세요. 아무리 많은 횟수로 추측하게 해도, 기초적인 토대가 없기 때문에 그 개념을 배울 수 없습니다.

논문 내용: 약 절반의 작업에서 로봇은 0%의 능력에서 시작했습니다. 환자의 ID를 조회하거나 특정 의료 코드를 형식에 맞춰 작성하는 법을 몰랐습니다. 매번 실패했기 때문에 유용한 피드백을 받을 수 없었습니다. 이는 마치 자동차 시동 거는 법조차 모르는 사람에게 운전을 가르치려는 것과 같습니다.

2. "숨겨진 코드"의 벽 (형식-지식 장벽)

비디오 게임에서 문을 열기 위해 비밀번호를 입력해야 한다고 상상해 보세요. 만약 틀린 비밀번호를 입력하면 게임은 "틀림"이라고 말합니다. 하지만 게임은 무엇이 맞는 비밀번호인지 절대 알려주지 않습니다. 당신은 무작위로 1,000개의 비밀번호를 입력해도 매번 똑같이 "틀림"이라는 메시지만 받게 될 것입니다. 당신은 추측만으로는 올바른 코드를 알아낼 수 없습니다.

논문 내용: 일부 작업은 특정 약물의 ID 번호와 같이 정확하고 구체적인 의료 코드를 요구했습니다. 이러한 코드는 환자의 차트를 보고 알아낼 수 있는 것이 아니라, 반드시 암기해야 하는 사실들입니다. 로봇은 시행착오를 통해 이러한 코드를 "발견"할 수 없었는데, 왜냐하면 어떤 것을 추측하든 결과가 계속 "틀림"으로 나오는 평탄한 보상 신호 때문이었습니다.

해결책: 2단계 훈련 계획

연구진은 로봇을 훈련시키는 세 가지 방법을 비교했습니다:

순수 RL (시행착오): 로봇이 스스로 추측했습니다. 점수: 18.2%
지도 학습 (SFT): 인간(또는 규칙 기반 컴퓨터)이 먼저 학생에게 정답지를 보여주듯 로봇에게 정답을 보여주었습니다. 점수: 34.1%
그 격차: 순수 RL은 교사가 이끄는 방식보다 15.9% 낮았습니다.

격차가 존재하는 이유:

**SFT (교사)**는 "숨겨진 코드"와 올바른 "형식"(답을 쓰는 법)을 주입하는 데 탁ef월했습니다. 이는 로봇에게 필요한 사실들을 제공했습니다.
**RL (탐험가)**은 논리(언제 행동하고 언제 멈출지)를 배우는 데는 좋았지만, 사실이나 코드를 스스로 만들어낼 수는 없었습니다.

결론: 둘 다 필요하다

이 논문은 임상 현장에서 로봇이 모든 것을 스스로 알아내도록 내버려 두어서는 안 된다고 결론짓습니다.

1단계: "교사"(지도 학습)를 사용하여 필요한 사실, 코드, 형식을 로봇의 뇌에 주입해야 합니다.
2단계: 그 후에, 로봇이 결정 내리는 기술(그 코드를 언제 사용할지 아는 법)을 연습하고 정교화할 수 있도록 "강화 학습"을 사용해야 합니다.

요약 비유

신입 간호사를 교육한다고 생각해 보세요:

순수 RL은 신입 간호사를 응급실에 던져놓고 "시행착오를 통해 스스로 알아내 봐"라고 말하는 것과 같습니다. 그들은 아마 위험한 실수를 하거나, 그것이 더 안전하기 때문에 아무것도 하지 않는 법을 배울 것입니다.
SFT는 그들에게 교과서와 체크리스트를 주는 것과 같습니다. 그들은 약물 이름과 양식을 완벽하게 배웁니다.
논문의 결론: 가장 좋은 접근법은 **먼저 교과서를 주는 것(SFT)**이어서 사실 관계를 알게 한 다음, **그다음에 응급실에서 연습하게 하는 것(RL)**입니다. 그래야 실시간 상황에서 그 사실들을 올바르게 적용하는 법을 배울 수 있습니다. 교과서 없이는 연습도 무용지물입니다.

기술 요약: 임상 에이전트를 위한 세계 피드백(World Feedback): FHIR 환경에서의 RL 진단

1. 문제 정의

본 논문은 임상 프로토콜 실행 작업에 대한 '세계 피드백으로부터의 강화 학습(Reinforcement Learning from world feedback)' 적용을 다룹다. 이러한 작업에는 실험실 수치 검색, 결정 임계값 적용, 그리고 올바르게 구조화된 FHIR(Fast Healthcare Interoperability Resources) 주문 생성 등이 포함된다. 이는 일반적인 임상적 추론과 달리, 결정 로직이 이미 알려져 있고 검증 가능한 행정적 워크플로우이다.

핵심 과제는 RL을 위한 건전한 피드백 채널을 구축하는 것이다. 지도 미세 조정(SFT)은 모든 에피소드에 대해 수동 주석(annotation)이 필요하지만, 세계 피드백으로부터의 RL은 이론적으로 단일 검증기(임상 결정 로직을 인코딩함)가 무제한의 롤아웃(rollout)을 자동으로 평가할 수 있게 해준다. 그러나 저자들은 임상 환경에 이 패러다임을 적용하는 것이 두 가지 주요 구조적 장벽으로 인해 쉽지 않음을 확인했다:

벤치마크 유효성: 기존 벤치마크(MedAgentBench v1/v2)에는 아무것도 하지 않음으로써 통과할 수 있는 41.7%의 '침묵 종료 천장(silent-finish ceiling)'이 존재하여, 부작위(inaction)가 지배적인 RL 전략이 되는 문제가 있었다.
역량 및 지식 격차: 순수 RL은 탐색을 통해 발견할 수 없는 정확한 임상 코드(예: SNOMED, NDC)를 요구하는 작업이나, 베이스 모델의 초기 역량이 전무한 작업(zero gradient)에서 어려움을 겪는다.

2. 방법론

벤치마크 재구축: MedAgentBench-v3 (MAB-v3)

'침묵 종료' 문제를 해결하기 위해 저자들은 20가지 임상 작업 유형에 걸친 508개 작업을 포함하는 수정된 벤치마크인 MAB-v3를 구축했다.

수정 사항: 저자들은 분기 불균형을 수정하고(action 대 no-action 사례의 비율을 1:1로 강제), 문서화되지 않은 형식 요구사항을 패치했으며, 검증기의 '월리클락(wall-clock)' 버그를 수정했다.
결과: 침묵 종료 천장이 41.7%에서 8.9%로 감소하여, 부작이가 더 이상 지배적인 전략이 되지 않도록 보장했다.
환경: 이 환경은 약 100명의 익명화된 환자를 포함하는 결정론적이고 오프라인인 HAPI FHIR 서버 스냅샷을 사용한다. 여기에는 에이전트를 인간의 개입 없이 평가하는 규칙 기반 검증기(1,340행의 코드)가 포함되어 있다.

훈련 및 평가 프로토콜

본 연구는 Qwen3-8B(프런티어 모델보다 상당히 작은 모델)를 세 가지 조건 하에 평가했다:

Base Model: 제로샷 성능.
Supervised Fine-Tuning (SFT): 규칙 기반 에이전트가 생성한 401개의 프로그래매틱 데모를 통해 훈련되었다. 이 데모들은 <tool call> 형식 내에 정확한 임상 코드와 FHSR 페이로드를 제공했다.
Pure RL (GRPO): 세계 피드백 신호를 사용하여 Group Relative Policy Optimization (GRPO)를 통해 베이스 모델로부터 직접 훈련되었다. 보상 함수( $r$ )는 터미널 보상, 올바른 리소스 유형에 대한 부분 점수, 그리고 가짜 액션(spurious actions) 또는 도구 건너뛰기에 대한 페널티를 결합하였다.

주요 설계 원칙:

결정론적 에피소드: 환경의 불안정성을 혼란 변수(confound)에서 제거했다.
보상 형성(Reward Shaping): 조건부 행동(action vs. no-action)을 위한 그래디언트를 생성하기 위해 부분 점수와 가짜 액션에 대한 페널티를 구현했다.
형식 일관성: 네이티브 도구 사용 능력을 테스트하기 위해 기존 벤치마크의 자유 형식 HTTP 문자열 대신 표준 <tool call> 인터페이스를 사용했다.

3. 주요 기여

MAB-v3 및 환경: 침묵 종료 지름길을 제거하고 감사 가능하며 결정론적인 피드백을 제공하는 수정된 508개 작업 벤치마크와 자립형 세계 피드백 환경을 구축했다.
RL 한계의 구조적 진단: 순수 RL이 SFT 성능을 따라잡지 못하게 만드는 두 가지 구조적 장벽을 식별하고 정량화했다:
- 역량 천장(Capability Ceiling): 20개 작업 유형 중 10개에서 0%의 베이스 성능을 보여, RL을 위한 그래디언트가 전무했다.
- 형식-지식 장벽(Format-Knowledge Barrier): 탐색으로는 식별할 수 없는 정확한 임상 코드를 요구하는 3개 작업 유형은 평탄한 보상 지형(flat reward landscape)을 형성했다.
작업 분류 체계(Task Taxonomy): 작업을 Decision(결정), Lookup(조회), Format-Knowledge(형식-지식) 유형으로 분류하는 프레임워크를 제시했다. 이 분류는 RL 학습 가능성을 예측한다:
- Decision 작업: 높은 RL 학습 가능성 (결정에 따라 보상이 변함).
- Lookup 작업: 약한 RL 신호 (답이 유도되는 것이 아니라 검색됨).
- Format-Knowledge 작업: RL 신호 없음 (정확한 코드는 이산적이며 추론 불가능함).

4. 결과

성능 지표 (Hold-out 테스트 세트에 대한 Pass@1)

Base Qwen3-8B: 16.6%
Pure RL (GRPO): 18.2%
SFT: 34.1%
격차: 순수 RL은 SFT보다 15.9 퍼센트 포인트(pp) 뒤처졌다.

격차 분석

15.9 pp의 격차는 RL 알고리즘이나 보상 설계의 실패가 아니라, 분류 체계에서 식별된 구조적 장벽에 의해 전적으로 기인한다:

데드 존(Dead Zones): 10개의 작업 유형(대부분 v1 lookup 및 format-knowledge)은 베이스 모델과 RL 모두에서 0%의 통과율을 보였는데, 이는 모델이 그래디언트를 생성할 초기 역량이 부족했기 때문이다.
Format-Knowledge 실패: 정확한 코드(예: Naloxone SNOMED 코드)를 요구하는 작업에서 RL 성능은 오히려 감소했다(20.8%에서 16.7%로). 모델은 가끔 발생하는 '운 좋은' 사전 학습 회상을 잘못된 코드로 덮어썼으며, 이 코드는 균등한 부정적 보상을 받아 올바른 식별자로 향하는 그래디언트를 제공하지 못했다.
Decision 이득: RL은 결정 작업(예: CT 추적 관찰)에서 완만한 개선(+4.2 pp)을 보였으며, 이는 그래디언트가 존재하는 경우 조건부 로직을 학습할 수 있음을 확인시켜 준다.

프런티어 모델 비교

프런티어 모델(예: GPT-5.5, Gemini 3.1 Pro)은 결정 작업에서는 높은 성능을 보였으나, 형식-지식 작업(특정 NDC/SNOMED 요구사항에 대해 0% 통과)에서는 크게 고전했다. 이는 정확한 코드 지식이 특정 주입 없이는 대규모 모델에서도 안정적으로 창발되지 않음을 뒷받침한다.

5. 의의 및 주장

본 논문은 베이스 모델이 특정 형식 지식이나 초기 역량을 갖추지 못한 경우, 순수 RL만으로는 임상 프로토콜 실행에 불충분하다고 주장한다. 15.9 pp의 성능 격차는 RL 패러다임의 실패가 아니라 그 구조적 한계에 대한 진단이다.

주요 처방:

SFT + RL 결합: 저자들은 SFT를 사용하여 형식 지식과 정확한 임상 코드를 '주입'한 후, RL을 사용하여 세계 피드백을 통한 조건부 추론과 결정 로직을 정교화하는 하이브리드 접근 방식을 제안한다.
벤치마크 위생(Hygiene): 본 연구는 깨끗한 세계 피드백을 위해서는 깨끗한 벤치마크가 필요함을 강조한다. MAB-v2의 '침묵 종료' 지름길은 사용된 알고리즘과 관계없이 RL을 효과적이지 않게 만들었다.
범위: 이 결과는 프로토콜 실행 작업(행정적 워크플로우)에 특화되어 있으며, 개방형 임상 추론이나 감별 진단으로 일반화되지 않는다.

결론적으로, 세계 피드백은 에피소드별 주석에 대한 확장 가능한 대안을 제공하지만, 임상 에이전트에서 이산적이고 추론 불가능한 지식(코드 및 형식)을 감독 하에 주입(supervised injection)해야 하는 필요성을 대체할 수는 없다.