🤖 machine learning

Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors

이 논문은 프런티어 AI 에이전트가 공격을 실행하고, 보안 점수를 계산하며, 보고서를 생성함으로써 구조화된 임상 AI 보안 감사를 자율적으로 수행할 수 있는지를 테스트하는 METR 태스크 표준 기반의 공개 평가 과제를 소개하며, Claude Sonnet 4.6 및 GPT-4.1과 같은 모델들이 여러 데이터셋과 아키텍처에 걸쳐 완벽한 점수를 달성할 수 있음을 입증한다.

원저자: Michael O. Eniolade

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael O. Eniolade

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 의사가 되어 질병을 진단하고 치료법을 결정하는 법을 배우는 세상을 상상해 보세요. 이 "AI 의사"들은 매우 똑똑하지만, 치명적인 약점이 하나 있습니다. 바로 속을 수 있다는 것입니다. 마치 사람이 교묘한 착시 현상에 속는 것처럼, AI도 입력되는 데이터의 아주 미세하고 거의 보이지 않는 변화에 혼란을 느낄 수 있습니다. 만약 해커가 이러한 미세한 변화를 만드는 방법을 안다면, 환자가 실제로 아픈데도 건강하다고 말하거나 그 반대로 말하도록 AI를 속일 수 있습니다. 이것을 "적대적 공격(adversarial attack)"이라고 부르며, 우리가 AI를 실제 환자에게 적용하기 전에 이러한 속임수를 찾아내지 못한다면 사람들에게 해를 끼칠 수 있기 때문에 매우 큰 문제입니다.

이를 막기 위해, 우리는 AI가 얼마나 강한지 확인하기 위해 일부러 AI를 고장 내보려는 전문가들인 "보안 감사관(security auditors)"이 필요합니다. 하지만 문제는 보안 감사관이 되는 것이 매우 어렵다는 점입니다. 여기에는 깊은 수학적 기술, 특수한 컴퓨터 프로그램, 그리고 많은 시간이 필요합니다. 대부분의 병원 팀은 이를 수행할 전문가를 보유하고 있지 않으며, 이를 위한 도구들도 부족하거나 너무 복합적입니다. 그래서 큰 질문이 생깁니다. "AI 에이전트"라고 불리는 새로운 종류의 초지능형 컴퓨터 프로그램이 이 어려운 일을 스스로 해낼 수 있을까요? 이 에이전트들은 지시 사항을 읽고, 스스로 컴퓨터 코드를 작성하며, 테스트를 실행하고, 사람의 도움 없이도 보고서를 작성할 수 있는 디지털 인턴과 같습니다.

이 논문은 그 아이디어를 검증합니다. 연구진은 세계에서 가장 발전된 세 가지 AI 에이전트를 대상으로 도전적인 "시험"을 만들었습니다. 이 시험은 그들에게 임상 AI 모델을 위한 자율 보안 감사관 역할을 수행하도록 요구했습니다. 에이전트들에게는 의료 예측 모델(유방암이나 중환자실 사망률 등을 예측하는 모델), 환자 기록 데이터셋, 그리고 네 가지 유형의 보안 공격을 수행하는 방법이 적힌 지침서가 주어졌습니다. 에이전트들은 이러한 공격을 실행하기 위해 처음부터 직접 코드를 작성해야 했고, 숫자를 계산해야 했으며, 보안된 디지털 컨테이너 안에서 40번의 "턴(또는 단계)"이라는 엄격한 시간 제한 내에 특정 형식에 맞춰 최종 보안 보고서를 작성해야 했습니다.

결과는 놀라운 성공과 흥미로운 실패가 섞여 있었습니다. 세 가지 AI 에이전트 중 두 가지인 Claude Sonnet 4.6과 GPT-4.1은 시험을 완벽하게 통과했습니다. 이들은 모든 버전의 시험을 완벽하게 수행하여 올바른 코드를 작성하고, 시도할 때마다 정확한 보안 보고서를 생성했습니다. 또한 상대적으로 적은 "토큰(AI가 처리하는 텍스트 단위)"을 사용하여 효율적으로 작업을 마쳤습니다. 그러나 세 번째 에이전트인 GPT-4o는 고전했습니다. 이 모델은 시도의 약 61%만을 성공했습니다. 실패했을 때, 이 모델은 수학을 이해하지 못해서 실패한 것이 아니라 과정 중에 길을 잃었기 때문에 실패했습니다. 때로는 최종 보고서를 저장하기 전에 작동을 멈췄고, 때로는 최종 점수를 합산할 때 단순한 수학적 실수를 저질렀으며, 때로는 빈 파일을 제출하기도 했습니다. 이 연구는 최첨단 AI 에이전트들이 이제 스스로 복잡한 다단계 보안 감사를 수행할 능력이 있지만, 모두가 똑같이 신뢰할 수 있는 것은 아니라는 점을 시사합니다. 성공과 실패의 차이는 종 часто "규율(discipline)", 즉 주의가 산만해지거나 부주의한 실수를 하지 않고 집중력을 유지하며 업무를 끝까지 완수하는 능력에서 기인했습니다. 이는 병원이 자신들의 의료 AI를 점검하기 위해 AI를 사용하고자 할 때, 적절한 "디지털 감사관"을 선택하는 것이 의료 모델 자체만큼이나 중요하다는 것을 의미합니다.

기술 요약: 자율적 임상 보안 감사 도구로서의 프런티어 AI 에이전트 평가

문제 정의
임상 AI 모델은 정식적인 적대적 테스트(adversarial testing) 없이 고위험 환경(예: 사망 예측, 방사선 스크리닝)에 점점 더 많이 배치되고 있습니다. 이러한 모델들은 분리된 테스트 데이터(held-out test data) 상에서는 우수한 성능을 보일 수 있으나, 환자에게 해를 끼칠 수 있는 미세하고 의도적인 입력 섭동(input perturbations)에는 취약할 수 있습니다. 현재의 보안 감사는 구조적인 병목 현상을 겪고 있습니다. 이는 통계적 전문 지식, 커스텀 소프트웨어 구현(예: 그래디언트 기반 공격, 섀도 모델, 캘리브레이션 지표) 및 상당한 시간을 요구합니다. 대부분의 임상 배포 팀은 이러한 자원을 갖추지 못하고 있으며, 이로 인해 임시방편적이거나 불완전하거나 또는 벤더에 위임된 형태의 평가가 이루어지고 있습니다. 본 논문은 다단계 추론 및 도구 사용 능력을 갖춘 프런티어 AI 에이전트가 인간의 개입 없이도 구조화된 보안 평가 명세를 구현함으로써 이 간극을 자율적으로 메울 수 있다고 가정합니다.

방법론
저자들은 프런티어 AI 에이전트가 METR Task Standard v0.3.0을 기반으로 한 개방형 평가 과제를 자율적으로 수행하여 보안 포스처 점수(Security Posture Score, SPS) 평가를 실행할 수 있는지 테스트하기 위해 구축하였습니다.

태스크 환경: 에이전트는 사전 학습된 임상 모델, 환자 데이터셋, 그리고 작성된 감사 명세서에 접근할 수 있는 Docker 컨테이너 내에서 작동합니다. 에이전트에게는 별도의 스캐폴딩 코드가 제공되지 않으며, 지침에 제공된 의사코드(pseudocode)를 바탕으로 모든 로직을 직접 구현해야 합니다.
SPS 프레임워크: 에이전트는 네 가지 별도의 적대적 구성 요소를 구현하고 이를 가중치 기반 점수로 집계해야 합니다:
1. FGSM 강건성 ( $s_{fgsm}$ ): 비미분 대상 모델의 그래디언트를 근사하기 위해 서로게이트 로지스틱 회귀를 사용하는 Fast Gradient Sign Method 구현.
2. 멤버십 추론 저항성 ( $s_{mi}$ ): 중첩된 데이터 서브셋에 대해 4개의 섀도 모델을 학습시켜 공격 분류기를 구축하고, 이를 대상 모델에 대해 테스트.
3. 기대 캘리브레이션 오차 ( $s_{ece}$ ): 예측 확률을 빈(bin)으로 나누고 정확도와 신뢰도 사이의 가중 평균 절대 편차를 계산.
4. 경계 공격 저항성 ( $s_{ba}$ ): 결정 경계 근접도를 측정하기 위해 테스트 지점에서 반대 클래스를 향해 반복적으로 이동.
제약 조건: 에이전트는 bash 도구 인터페이스를 통해 40턴 이내에 submission.txt에 구조화된 JSON 보고서를 작성해야 합니다.
실험 설계:
- 데이터셋: 두 가지 임상 데이터셋인 Wisconsin Diagnostic Breast Cancer (WDBC)와 MIMIC-IV (ICU 사망률)가 사용되었습니다.
- 모델: 방어 강도가 증가하는 세 가지 모델 아키텍처(로지스틱 회귀 베이스라인, Platt 스케일링이 적용된 Random Forest, 적대적 훈련이 적용된 XGBoost)를 사용했습니다.
- 에이전트: 세 가지 프런티어 모델인 Claude Sonnet 4.6, GPT-4.1, GPT-4o를 평가했습니다.
- 프로토콜: 각 모델은 변형당 3회의 독립적인 실행을 수행하였으며(총 6개 변형), 총 54회의 평가가 이루어졌습니다.

주요 기여

개방형 평가 과제: 임상 AI 보안 감사를 위한 METR 표준화된 과제(SPS 명세, 자동화된 점수 산출 인프라, WDBC 변형에 대한 공개 자산 포함)를 공개합니다.
경험적 비교: 세 가지 프런티어 모델의 과제 완료율, 토큰 효율성 및 수치적 정밀도를 비교하는 54회 실행의 파일럿 평가를 수행했습니다.
실패 모드 분류 체계: GPT-4o에서 관찰된 세 가지 뚜렷한 실패 모드(파일 쓰기 전 조기 세션 종료, 가중치 집계 시 산술 오류, 빈 제출 파일 생성)를 규명했습니다.

결과

과제 완료: Claude Sonnet 4.6과 GPT-4.1은 완벽한 평가자 점수와 함께 100% 과제 완료율(각 18/18 실행)을 달성했습니다. 이들은 (GPT-4.1의 경우 섀도 모델 학습 시드의 확률적 요소로 인한 미세한 차이를 제외하고) 실행 간에 수치적으로 동일한 결과를 생성했습니다.
GPT-4o 성능: GPT-4o는 61%의 완료율(11/18 실행)을 기록했습니다. 실패한 7회의 실행에서는 유효한 제출물이 없거나 집계 오류로 인해 부분적인 점수만을 냈습니다.
효율성 및 비용:
- 토큰 사용량: GPT-4o는 Claude Sonnet 4.6보다 실행당 약 5배 많은 입력 토큰을 소비했습니다 (169K vs 34K).
- API 비용: 18회 실행 기준, GPT-4.1은 약 $8, Claude Sonnet 4.6은 약 $12, GPT-4o는 약 $27가 소요되었습니다.
- 턴(Turns): Claude는 평균 4.7턴, GPT-4.1은 평균 10.4턴, GPT-4o는 평균 16.9턴을 사용했으며, 일부 실행은 40턴 제한에 도달했습니다.
실패 분석: GPT-4o의 실패는 추론 능력의 부족보다는 "에이전트 실행 규율(agentic execution discipline)" 문제로 귀인되었습니다. 구체적인 실패 사례는 다음과 같습니다:
- 최종 JSON 파일을 작성하기 전 세션 종료 (5건).
- 프로그래밍적 계산 대신 최종 가중치 집계 단계에서의 수동 산술 오류 (1건).
- 빈 제출 파일 생성 (1건).

의의 및 주장
본 논문은 과제가 잘 정의되어 있다면 프런티어 AI 에이전트가 구조화된 다단계 임상 보안 평가를 높은 충실도로 자율적으로 구현할 수 있다고 주장합니다. 결과는 실무자가 에이전트 기반 보안 파이프라인을 구축할 때 모델 선택이 주요한 아키텍처 결정 사항임을 시사합니다. Claude Sonnet 4.6/GPT-4.1의 완벽한 성능과 GPT-4o의 39% 실패율 사이의 간극은 배포 신뢰성에 영향을 미칠 만큼 유의미합니다.

저자들은 본 연구가 정밀한 점 추정치를 제공하기보다는 패턴을 식별하기 위한 파일럿 평가( $n=18$ per model)임을 강조합니다. 또한 SPS 프레임워크의 가중치와 임계값이 동료 논문(Eniolade, 2026)에서 가져온 것이며 아직 독립적인 동료 검토를 거치지 않았음을 명시합니다. 결론적으로, 기술 자체는 실행 가능하지만, 다단계 기술 과제에서 '실행 규율'(특히 진행 상황 추적 및 컨텍스트 팽창 또는 조기 종료 방지 능력)이 핵심적인 차별화 요소라고 밝히고 있습니다. 본 논문은 이러한 에이전트들이 인간 통계학자를 완전히 대체할 수 있다고 주장하는 것이 아니라, 많은 임상 팀이 현재 접근하기 어려운 엄격한 평가 프로토콜의 구현을 자동화할 수 있음을 보여주는 데 목적이 있습니다.

유사한 논문