기술 요약: 의료 분야에서 TRiSM 가이드 기반 에이전트 워크플로우를 통한 실증적 보안 이득

문제 정의

LLM(대규모 언어 모델)을 AI 에이전트를 통해 애플리케이션에 통합하는 것은 특히 의료와 같은 고위험 도메인에서 복잡한 작업 자동화를 가능하게 했습니다. 그러나 이러한 통합은 종종 심각한 보안 취약점을 유발합니다. 범위를 최대화하고 정확도를 높이기 위해, 에이전트는 종종 일반 사용자의 권한을 초과하는 접근 권한을 부여받으며, 이는 최소 권한 원칙을 위반합니다. 이는 보안이 미흡한 개발 관행(예: 최소한의 검토만 거치는 "바이브 코딩(vibe coding)")과 아키텍처 결함이 환자의 민감한 데이터를 프롬프트 인젝션, 데이터 유출, 환각(hallucination)과 같은 위험에 노출시키는 확장된 공격 표면을 생성합니다.

구체적으로, 본 논문은 기존의 에이전트 워크플로우가 종종 모든 도구와 데이터에 무제별 권한을 가진 단일 에이전트에 의존하여 다음과 같은 위험에 취약함을 식별합니다:

• 인젝션 공격 (Injection Attacks): RAG 포이즈닝(RAG poisoning), 데이터 필드 인젝션, 또는 클라이언트 측 네트워크 인젝션을 통한 프롬프트 조작.
• 추론 공격 (Inference Attacks): 훈련 데이터의 재구성 또는 숨겨진 프롬트의 노출.
• 메모리 포이즈닝 (Memory Poisoning): 대화 기록이나 지식 베이스를 변조하여 멀티 에이전트 시스템 내에서 오류를 전파함.
• 도구 오용 (Tool Misuse): 모델 컨텍스트 프로토콜(MCP) 서버를 통한 승인되지 않은 외부 동작 실행.

현재의 완화 조치들은 이러한 취약점들을 통합적인 아키텍처 대응을 통해 해결하기보다는 개별적으로 다루는 경우가 많으며, 실제 의료 애플리케이션에서 AI 신뢰성, 위험 및 보안 관리(TRiSM)와 같은 보안 프레임워크를 어떻게 운영화할 것인지에 대한 실증적 연구가 부족한 실정입니다.

방법론

본 연구는 Mendix Studio Pro(v10.24)로 구축된 의료 보고서 생성 애플리케이션에 적용된 두 가지 구별된 워크플로우 아키텍처를 비교합니다:

1. 비보안 에이전트 베이스라인 (Insecure Agent Baseline): 하나의 LLM이 모든 도구, 리소스 및 환자 데이터에 접근할 수 있는 단일 에이전트 워크플로우입니다. 프롬프트는 클라이언트 측에서 구성되며, 에이전트는 세밀한 접근 제어 없이 애플리케이션의 데이터 및 외부 MCP 서버와 직접 상호작용합니다.
2. TRiSM 가이드 에이전트 워크플로우 (TRiSM-Guided Agentic Workflow): TRiSM 원칙을 중심으로 설계된 멀티 에이전트 아키텍처입니다. 이 워크플로우는 작업을 특화된 에이전트(환자 검색, 문서 생성, 유사 엑스레이)로 분해하고 엄격한 데이터 파티셔닝과 서버 측 프롬프트 구성을 적용합니다. 또한 각 에이전트가 자신의 하위 작업에 필요한 특정 데이터와 도구에만 접근하도록 '최소 권한 원칙'을 강제합니다.

실험 설정:

• 모델: 다섯 가지 LLM을 평가했습니다: Claude Haiku 4.5, GPT-4.1-nano, GPT-4.1-mini, GPT-5.4-mini, Gemini 2.5 Flash.
• 시나리오: 두 가지 보고서 유형을 생성했습니다: 표준 병원 진료 기록 및 Covid-19 진료 기록.
• 볼륨: 총 800회의 생성(모델/워크플로우 조합당 40회) 및 500개의 시뮬레이션된 공격 시나리오.
• 공격 벡터:
  • RAG 포이즈닝: 검색된 지식에 악의적인 콘텐츠를 주입.
  • 데이터 필드 인젝션: 프롬프트 내의 특정 데이터 필드를 조작.
  • 클라이언트 측 네트워크 인젝션: 클라이언트 측 요청을 가로채고 수정 (TRiSM 워크플로우에서는 서버 측 구성 덕분에 구조적으로 불가능함).
• 지표: 공격 성공률(ASR), 보고서 정확도, 지연 시간(latency), 토큰 소비량 및 비용. 통계적 유의성은 McNemar의 정확 검정(McNemar's exact test)을 사용하여 평가되었습니다.

주요 기여

본 논문은 다음과 같은 실증적 기여를 제공합니다:

• 아키텍처 매핑: 추상적인 원칙(거버넌스, 신뢰성, 공정성, 신뢰도, 데이터 보호)을 구체적인 기술적 통제 항목(예: 서버 측 프롬프트 구성, 역할 기반 도구 접근, 데이터 파티셔닝)으로 명시적으로 매핑하여, TRiSM 원칙을 실제 의료 에이전트 애플리케이션에 적용했습니다.
• 보안 및 정확도 트레이드오프: TRiSM 가이드 설계를 통해 멀티 에이전트 워크플로우를 활용함으로써, 공격 성공률을 줄이는 동시에 보고서 정확도를 향상시킬 수 있음을 입증했습니다.
• 취약점 벤치마킹: 에이전트가 사용자 권한을 초과할 때 발생하는 특정 취약점 클래스를 식별하고, 모델별 공격 성공 벤치마크를 제공하여 단일 모델이 모든 공격 벡터에 대해 견고하지 않음을 강조했습니다.

결과

보안 개선 사항

TRiSM 가이드 에이전트 워크플로우는 테스트된 모든 모델에서 평균 공격 성공률(ASR)을 유의미하게 감소시켰습니다:

• RAG 포이즈닝: 베이스라인 **31%**에서 **10%**로 감소.
• 데이터 필드 인젝션: 베이스라인 **42%**에서 **25%**로 감소.
• 네트워크 인젝션: 프롬프트가 서버 측에서 구성되므로 TRiSM 워크플로우에서는 해당 벡터가 완전히 제거되었습니다. 베이스라인의 평균 ASR은 59%였습니다.

통계 분석 결과 이러한 감소는 유의미한 것으로 확인되었습니다 (RAG 포이즈닝 $p < 0.0001$; 데이터 필드 인젝션 $p = 0.0009$). 연구는 멀티 에이전트 설계가 위험을 줄이지만, 에이전트 간 상호작용 과정에서 간혹 오류가 전파될 수 있음을 지적하며 경계 수준의 체크가 필요함을 시사합니다.

성능 및 정확도

• 정확도: 보고서 정확도가 전체적으로 14 퍼센트 포인트 증가하여, 베이스라인의 **72.5%**에서 TRiSM 워크플로우의 **86.5%**로 상승했습니다. Covid-19 보고서의 경우, GPT-5.4-mini 모델에서 27.5 퍼센트 포인트의 증가를 보였습니다.
• 지연 시간 및 비용: TRiSM 워크플로우는 오버헤드를 발생시켰습니다. 토큰 소비량이 약간 증가했으며(모델 및 보고서 유형에 따라 5~29%), 복잡한 보고서의 경우 특히 GPT-4.1-nano와 같은 작은 모델에서 지연 시간이 증가했습니다. 그러나 일부 사례에서 지연 시간의 사분위 범위(IQR)가 좁아졌는데, 이는 호출당 워크로드가 더 예측 가능해졌음을 시사합니다.
• 비용: 보고서당 비용은 최대 16% 증가했으나, GPT-4.1-nano는 높은 형식 준수율 덕분에 가장 적은 증가폭(5%)을 보였습니다.

의의 및 주장

본 논문은 보안 설계가 단순한 방어 수단이 아니라 신뢰성을 향상시키는 메커니즘이라고 주장합니다. 복잡한 작업을 특화된 에이전트가 처리하는 작은 격리된 하위 작업으로 분해함으로써, 시스템은 개별 LLM의 인지 부하를 줄여 환각을 줄이고 정확도를 높입니다.

저자들은 모델 선택만으로는 보안을 보장하기에 불충분하다고 주장합니다. 테스트된 어떤 모델도 모든 공격 벡터에 대해 저항력을 갖추지 못했습니다. 따라서 아키텍처 제어(최소 권한 및 서버 측 프롬프트 구성 등)는 모델 선택을 보완하는 필수적인 요소입니다. 연구는 의료 분야에서 TRiSM 가이드 워크플로우를 구현하는 것이 자동화의 필요성과 환자 안전 및 규제 준수 사이의 균형을 맞추는 "더 신뢰할 수 있는 출력을 제공하는 보안 설계"를 만든다는 결론을 내립니다.

본 논문은 단일 주석 작성자의 공격 점수 산정, Mendix 플랫폼의 제약, 컴퓨팅 자원으로 인한 적대적 테스트 세트의 제한적 성격 등을 인정하며 신중한 범위를 유지합니다. 향후 연구는 이러한 통제 항목을 다른 플랫폼에서 검증하고 전용 자금 지원을 통해 테스트 세트를 확장하는 데 집중해야 한다고 제안합니다.