기술 요약: SkeMex – 경험이 숙련도를 만든다 (Experience Makes Skillful)

1. 문제 정의

본 논문은 의료용 대규모 언어 모델(LLM) 에이전트 배포 시 발생하는 결정적인 격차를 지적한다. 현재의 의료용 LLM들은 정적인 단일 턴 질의응답(예: MedQA, MedMCQA)에는 뛰어나지만, 실제 임상 의사결정은 동적이고 다단계적이며, 지속적인 상호작용, 증거 수집, 그리고 가설 수정이 필요하다.

기존의 메모리 증강 에이전트들은 과거의 상호작용을 저장함으로써 이를 해결하려 시도하지만, 다음과 같은 세 가지 주요 한계점을 갖는다:

1. 중복성과 노이즈: 이들은 종종 가공되지 않은 과거의 흔적(전체 궤적)을 그대로 보관하는데, 이는 노이즈가 많고 특정 사례에 국한되어 있으며 관리가 어렵기 때문에 정보의 중복 축적을 초래한다.
2. 유용성 인식 부족: 어떤 메모리가 미래의 추론에 진정으로 유용한지를 구분하지 못한다. 저품질 또는 유해한 항목이 시간이 지남에 따라 축적되어 성능을 저하시킨다.
3. 비용이 많이 드는 적응: 최첨단 방법론 중 상당수는 메모리 개선을 정책 학습(policy training)이나 자기 증류(self-distillation)와 결합하여 파라미터 업데이트를 요구한다. 이는 계산 비용이 많이 들며, 치명적 망각(catastrophic forgetting)이나 도메인 간 약한 전이(weak transfer)의 위험을 수반한다.

핵심 과제는 백본 모델의 가중치를 수정하지 않고도 의료 에이전트가 압축적이고, 신뢰할 수 있으며, 재사용 가능한 경험을 축적할 수 있도록 하여, 배포 후 환경에서 장기적인 임상 추론을 지원하는 것이다.

2. 방법론: SkeMex

저자들은 백본 모델의 가중치를 업데이트하지 않고도 **기술 기반 메모리(skill-based memory)**를 통해 의료 에이전트를 개선하는 포스트 배포형 자기 진화 프레임워크인 SkeMex를 제안한다. SkeMex는 상호작용 궤적을 재사용 가능한 경험의 원천으로 취급하며, 이를 실행 가능한 추론 및 의사결정 절차를 인코딩하는 구조화된 "기술(skills)"로 증류한다.

핵심 구성 요소

이 프레임워크는 메모리 기반 마르코프 결정 과정(M-MDP) 상에서 작동하며, 폐쇄 루프 형태의 "읽기–쓰기–평가–관리(Read–Write–Assess–Govern)" 라이프사이클을 따른다:

• 다중 분기 기술 저장소 (Multi-Branch Skill Repository):
  SkeMex는 가공되지 않은 궤적을 저장하는 대신, 추상화 수준을 분리하기 위해 증류된 기술들을 세 가지 계층적 분기로 조직한다:

  • 일반 분기 ($M^{gen}$): 전이 가능한 추론 전략과 광범위한 임상 원칙을 저장한다.
  • 태스크 레벨 분기 ($M^{task}$): 특정 태스크 패밀리(예: 감별 진단, 치료 계획)와 연결된 패턴을 포착한다.
  • 액션 레벨 분기 ($M^{act}$): 도구 사용을 위한 운영 지식(예: 파라미터 포맷팅, 특정 도구 호출)을 기록한다.

• 읽기 (Read): 가치 인식 검색:
  에피소드가 시작될 때, 에이전트는 의미론적 관련성과 문맥 의존적 유용성을 모두 기반으로 기술을 검색한다. 검색 점수는 다음을 결합한다:

  • 현재 쿼리와의 의미론적 유사도.
  • 특정 임상 카테고리 내의 환경 피드백으로부터 추정된 역사적 유용성.
  • 메모리 강도(에빙하우스 망각 곡선에 기반한 시간적 감쇠).
    이를 통해 고가치의 문맥 관련 기술만이 에이전트의 프롬프트에 주입되도록 보장한다.

• 쓰기 (Write): 궤적-기술 증류:
  모든 상호작용이 메모리에 기록되는 것은 아니다. **게이트형 궤적 버퍼(gated trajectory buffer)**가 인프라 오류, 기계적 반복, 사소한 성공 등을 걸러낸다. 정보가 풍부한 궤적(예: 오진의 원인을 밝히거나 성공적인 다단계 추론을 보여주는 궤적)만이 유지된다.

  • 2단계 증류 (Two-Pass Distillation): 분석 단계에서는 재사용 가능한 패턴을 추출하고 의도(CREATE, PATCH, 또는 NONE)를 결정한다. 이후 변이(mutation) 단계에서 새로운 기술 초안을 생성하거나 기존 기술을 업데이트한다.
  • 검토 게이트 (Review Gates): 초안은 중복을 방지하고 구체적인 상황적 트리거와 단계를 포함하는지 확인하기 위해 참신성 및 품질 검사를 거친다.

• 평가 (Assess): 유용성 기반 가치 평가:
  기술은 정적이지 않으며, 그 가치는 지속적으로 평가된다. SkeMex는 여러 궤적에 걸친 피드백을 집계하기 위해 윈도우 레벨 가치 평가를 사용한다.

  • 이점 추정 (Advantage Estimation): 유용성은 절대적 보상이 아닌 궤적의 상대적 이점($A_\tau = r_\tau - \bar{r}$)을 기준으로 업데이트되어, 다양한 난이도의 태스크 간에 공정한 크레딧 할당을 보장한다.
  • 크레딧 할당 (Credit Assignment): 긍정적인 채택은 유용성을 높이고, 해로운 채택은 유용성을 낮춘다. 위험 민감형 정규화 도구는 고유용 기술이 안전하지 않은 행동을 축적하는 것을 방지한다.

• 관리 (Govern): 폐쇄 루프 저장소 유지보수:
  주기적으로 관리 연산자가 저장소를 관리하여 압축성과 신뢰성을 유지한다:

  • 병합 (Merge): 매우 유사한 기술들을 결합한다.
  • 폐기 (Deprecate): 유용성이 낮거나 해로운 항목을 제거한다.
  • 승격 (Promote): 일관되게 효과적인 기술을 "성숙(mature)" 상태로 격상시킨다.
  • 용량 제어 (Capacity Control): 무제한적인 성장을 방지하기 위해 각 분기의 크기에 제한을 둔다.

3. 주요 기여

1. SkeMex 프레임워크: 모델 가중치를 업데이트하지 않고도 기술 기반 메모리를 통해 의료 에이전트를 개선할 수 있는 새로운 포스트 배포형 자기 진화 프레임워크를 제안하며, 메모리 진화를 정책 학습으로부터 분리한다.
2. 비매개변수적 강화 (Non-Parametric Reinforcement): 임상 피드백이 보상 신호를 제공하여 문맥 의존적 유용성을 추정하고, 이를 통해 검색과 저장소 관리를 가이드하는 비매개변수적 프로세스로서 기술 메모리 진화를 정식화한다.
3. Read-Write-Assess-Govern 라이프사이클: 궤적을 재사용 가능한 기술로 변환하고, 반복적인 필터링, 증류, 가치 평가, 프루닝(pruning)을 통해 잘 관리된 기술 저장소를 유지하는 폐쇄 루프 메커니즘을 도입한다.
4. 플러그 앤 플레이 일반화: SkeMex가 다양한 임상 태스크에서 일관되게 성능을 향상시키고, 서로 다른 모델 백본에 효과적으로 일반화되며, 이질적인 태스크 설정 간에 전이 가능한 기술 메모리를 지원하는 모듈형 프레임워크임을 입증한다.

4. 실험 결과

저자들은 9개의 다양한 의료 벤치마크(대화형 임상 환경인 AgentClinic, LiveClin, 지식 집약적 추론인 MedXpertQA, MMMU, 그리고 루브릭 기반 평가인 HealthBench, LiveMedBench 포함)에서 SkeMex를 평가했다.

• 오프라인 성능: SkeMex는 대표적인 메모리 기반 에이전트 및 메모리 프리 베이스라인보다 일관되게 우수한 성능을 보였다.

  • DeepSeek-V3.2 백본을 사용할 때, SkeMex는 평균 점수를 48.20%(ReAct)에서 **56.08%**로(+7.88 포인트) 향상시켰으며, 가장 강력한 비-SkeMex 메모리 베이스라인보다 3.84 포인트 앞섰다.
  • Qwen3.6-Plus 백본을 사용할 때, 48.63%에서 **59.22%**로(+10.59 포인트) 향상되었다.
  • 분포 외(OOD) 설정에서 SkeMex는 우수한 전이성을 보였으며, ReAct 대비 +13.78 포인트의 이득을 달성하여, 부정적 전이(negative transfer)를 겪는 다른 메모리 방법론들을 크게 압도했다.

• 온라인 성능: 저장소가 상호작용 중에 업데이트되는 스트리밍 태스크 설정에서, SkeMex는 에포크 1부터 에포크 3까지 안정적인 지속적 개선을 보인 반면, 여러 베이스라인은 메모리 업데이트 후 성능이 퇴보했다.

• 절제 연구 (Ablation Studies):

  • 버퍼 관리: 게이팅 메커니즘(노이즈 궤적 필터링)을 제거했을 때 가장 큰 성능 저하가 발생하여, 선택적 궤적 유지가 필수적임을 확인했다.
  • 다중 분기 구조: 전체 3개 분기 설계(General, Task, Action)가 단일 또는 2개 분기 변형보다 성능이 현저히 높았으며, 이는 분리된 추상화 수준의 필요성을 강조한다.
  • 유용성 가치 평가: 카테고리 인식 보상 정규화 또는 해로움 클램핑(harm clamping)을 제거하면 성능이 크게 저하되어, 문맥 의존적 유용성 추정의 중요성을 입증했다.

• 교차 백본 전이 (Cross-Backbone Transfer): DeepSeek-V3.2를 사용하여 증류된 기술은 Qwen3.6-Max, Kimi-2.6, GLM-5.1 등 다른 백본에 적용되었을 때도 성능을 성공적으로 향상시켰으며, 이는 학습된 기술이 모델 특정 패턴이 아닌 전이 가능한 절차적 지식을 포착함을 보여준다.

5. 의의 및 주장

본 논문은 SkeMex가 의료 에이전트가 지속적인 임상 경험을 통해 성숙해질 수 있는 확장 가능한 단계를 제공한다고 주장한다. 가공되지 않은 상호작용 이력을 구조화된 기술의 진화하는 메모리로 변환함으로써, SkeMex는 다음을 가능하게 한다:

• 경험 기반 학습: 에이전트는 모델 가중치를 미세 조정하는 데 따르는 계산 비용과 위험 없이 신뢰할 수 있는 경험을 축적하고 재사용할 수 있다.
• 강력한 일반화: 구조화된 기술 추상화와 유용성 가이드 검색은 부정적 전이를 줄여, 에이전트가 보지 못한 임상 시나리오와 다양한 모델 백본에 적응할 수 있게 한다.
• 신뢰성: 폐쇄 루프 관리는 메모리가 압축적이고 선택적이며 임상적으로 신뢰할 수 있도록 유지하며, 시간이 지남에 따라 해롭거나 중복된 항목을 필터링한다.

저자들은 SkeMex를 전문적인 의료 판단을 대체하는 것이 아니라, 축적되고 증류된 경험을 활용하여 의료 추론 시스템의 일관성과 신뢰성을 높이는 의사결정 지원 도구로 포지셔닝한다.