💻 computer science

Coverage and Complementarity of Three Agentic AI Risk Taxonomies Across 131 Real World Incidents

이 논문은 실무자들에게 근거 기반의 지침을 제공하고 향후 프레임워크 개정을 위한 구체적인 격차를 식별하기 위해, 131건의 실제 사례를 바탕으로 세 가지 주요 에이전틱 AI 위험 분류 체계(OWASP-ASI, MSFT-AIRT, NIST AI RMF)의 포괄성과 상호 보완성을 실증적으로 평가한다.

원저자: Shivaraman Parthasarathy

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shivaraman Parthasarathy

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 단순히 질문에 답하는 수준을 넘어 실제로 행동을 취하는 단계로 진화한 세상을 상상해 보십시오. 이들은 더 이상 프롬프트를 기다리는 단순한 챗봇이 아닙니다. 인간의 도움을 거의 받지 않고도 목표를 달성하기 위해 일련의 단계를 계획하고, 디지털 도구를 사용하며, 과거의 상호작용을 기억하고, 다른 소프트웨어와 협력할 수 있는 자율적인 에이전트입니다. 이러한 변화는 새로운 위험의 지형을 만들어냈습니다. 단순한 챗봇이 실수를 하면 이상한 말을 할 뿐이지만, 자율 에이전트가 실수를 하면 회사의 데이터베이스를 삭제하거나, 돈을 잘못된 계좌로 송금하거나, 신뢰받는 조언자로서 행동하며 위험한 허위 정보를 퍼뜨릴 수 있습니다. 이러한 위험을 관리하기 위해 전문가들은 이 시스템들이 어떻게 실패하는지를 분류하기 위해 세 가지 서로 다른 '규칙집(rulebooks)' 또는 분류 체계(taxonomies)를 구축했습니다. 한 목록은 실패의 가시적인 결과에 초점을 맞추고, 다른 하나는 그것이 발생한 구체적인 기계적 방식에 초점을 맞추며, 세 번째는 프로젝트 생애 주기 중 오류가 발생한 단계에 초점을 맞춥니다. 오랫동안 조직들은 이 규칙집들이 실제 재난에 대해 얼마나 잘 작동하는지에 대한 증거 없이, 어떤 규칙집을 사용하는 것이 최선인지 추측해야만 했습니다.

한 연구자는 이 규칙집들을 교정(calibration)이 필요한 과학적 도구처럼 취급함으로써 이러한 불확실성을 해결하고자 했습니다. 새로운 실패 목록을 만드는 대신, 현재 사용되는 가장 저명한 세 가지 프레임워크를 가져와 131건의 실제 자율 에이전트 관련 사건에 대해 테스트했습니다. 이 사건들은 2014년부터 2026년까지 기록된 AI 실패 사례의 공개 데이터베이스에서 추출되었으며, 자율 주행 차량 사고부터 운영 서버를 실수로 삭제한 AI 코딩 어시스턴트에 이르기까지 모든 것을 포함했습니다. 연구자는 각 사건의 세부 사항을 주의 깊게 읽고, 세 가지 프레임워크 각각이 제공하는 범주에 독립적으로 대입해 보았습니다. 목표는 프레임워크가 실패를 포착할 수 있는지, 그들이 일어난 현상에 대해 서로 동의하는지, 그리고 어디에서 완전히 빗나가는지를 확인하는 것이었습니다.

연구 결과, 단 하나의 규칙집도 모든 사건을 포착하지는 못했지만, 세 가지를 함께 사용했을 때는 기록된 실패의 거의 97%를 커버할 수 있다는 것이 밝혀졌습니다. 이 높은 결합 커버리지는 세 프레임워크가 서로 경쟁하는 것이 아니라 오히려 서로를 보완하고 있음을 시사합니다. 그들은 단지 동일한 문제를 서로 다른 각도에서 바라보고 있을 뿐입니다. 보안 경영진을 위해 설계된 한 프레임워크는 결과, 즉 눈에 보이는 피해가 무엇인지에 초점을 맞춥니다. 보안 엔지니어 팀이 만든 다른 하나는 메커니즘, 즉 시스템이 정확히 어떻게 고장 났는지에 초점을 맞춥/니다. 정부 표준인 세 번째는 프로세스, 즉 프로젝트 생애 주기의 어느 단계에서 관리자가 개입하여 이를 막았어야 했는지에 초점을 맞춥니다. 연구는 이러한 관점들이 별개라는 것을 보여주었습니다. 예를 들어, AI 에이전트가 데이터를 훔치도록 속임을 당한 단일 사건에 대해, 첫 번째 프레임워크는 '신뢰 착취(trust exploitation)' 실패로, 두 번째는 '프롬프트 인젝션(prompt injection)' 공격으로, 세 번째는 프로젝트 생애 주기의 '관리(management)' 단계에서의 실패로 설명할 수 있습니다. 이 중 어떤 설명도 틀린 것이 아니라, 단지 서로 다른 질문에 답하고 있는 것입니다.

그러나 이 연구는 현재의 규칙집들이 미치지 못하는 구체적인 공백도 밝혀냈습니다. 약 20%의 사건은 보안 중심 프레임워크의 어떤 범주에도 깔끔하게 할당될 수 없었습니다. 이러한 누락된 사례들은 세 가지 명확한 주제로 모였습니다. 첫 번째는 에이전트가 조언자 역할을 수행하면서 자신 있게 틀린 정보를 제공한 경우로, 예를 들어 챗봇이 실제 교수에게 성희롱 혐의를 조작하여 주장하거나 금융 봇이 위험한 투자 조언을 하는 경우가 있었습니다. 두 번째 주제는 인간이 기술을 오용하는 경우로, 학생들이 시험에서 부당한 이득을 취하기 위해 AI를 사용하거나 사기꾼들이 타인을 사칭하기 위해 AI를 사용하는 것처럼, AI 자체는 설계된 대로 작동했으나 인간 사용자가 해를 끼친 경우입니다. 세 번째는 더 넓은 사회적 실패로, 브라우저 확장 프로그램이 개인적인 AI 대화를 수집하거나 기업이 시민권을 위협하는 방식으로 AI 감시를 사용하는 것과 같은 사례입니다. 이 경우, 실패는 코드 자체에 있는 것이 아니라 기술이 사회에 어떻게 내재되어 있는지 또는 사람들이 기술을 어떻게 사용하는지에 있었습니다.

연구자는 이 문제를 해결하기 위해 네 번째나 다섯 번째 규칙집이 필요한 것이 아니라고 결론지었습니다. 대신, 해결책은 기존의 도구들이 서로 다른 직무를 위해 만들어졌음을 이해하는 데 있습니다. 이사회와 소통하는 보안 리더는 비즈니스 영향을 설명하기 위해 결과 중심의 목록을 사용해야 합니다. 침해 사고를 조사하는 기술 팀은 근본 원인을 찾기 위해 메커니즘 중심의 목록을 사용해야 합니다. 규제 기관과 감사관은 적절한 시점에 적절한 안전장치가 마련되었는지 확인하기 위해 프로세스 중심의 목록을 사용해야 합니다. 연구는 또한 이 프레임워크의 제작자들이 '조언 역할에서의 환각(hallucinations in advisory roles)'을 위한 전용 섹션을 추가하거나, 에이전트의 실패와 인간의 오용을 더 명확히 구분하는 등 식별된 공백을 위한 특정 범주를 추가함으로써 이를 개선할 수 있다고 제안했습니다. 이러한 도구들을 다양한 전문가들의 구체적인 필요에 매핑함으로써, 이 연구는 복잡한 자율 AI 안전의 세계를 항해하기 위한 실질적인 가이드를 제공하며, 혼란스러운 옵션의 확산을 명확하고 증거에 기반한 전략으로 바꾸어 놓았습니다.

기술 요약: 세 가지 에이전트형 AI 리스크 분류 체계의 커버리지 및 상호 보완성

문제 제기

생성형 AI에서 에이전트형 AI(추론, 메모리, 도구 호출, 다단계 실행 능력을 갖춘 시스템)로의 전환은 실패 분류 체계와 거버넌스 프레임워크의 급격한 확산을 촉발했습니다. 2026년 중반에 이르러, OWASP Top 10 for Agentic Applications 2026 (OWASP-ASI), Microsoft AI Red Team taxonomy (MSFT-AIRT), 그리고 **NIST AI Risk Management Framework (NIST AI RMF)**라는 세 가지 지배적인 프레임워크가 등장했습니다.

실무자, 규제 기관 및 연구자들이 이를 널리 채택하고 있음에도 불구하고, 결정적인 경험적 격차가 존재합니다. 즉, 이 분류 체계들이 실제 세계에서 관찰되는 실패를 얼마나 잘 특징짓는지에 대한 증거가 없습니다. 이 프레 frameworks는 공공 사고 데이터에 대한 체계적인 검증보다는 주로 레드팀 활동, 전문가 판단 및 이론적 분석을 통해 구축되었습니다. 결과적으로 이해관계자들은 프레임워크를 선택할 근거가 부족하며, 분류 체계 저자들은 어떤 카테고리가 과잉 지정되었는지, 미달 지정되었는지, 혹은 누락되었는지에 대한 신호를 얻지 못하고 있습니다.

방법론

본 연구는 선별된 실제 사건 데이터셋을 바탕으로 세 가지 프레임워크에 대한 체계적인 경험적 검증을 수행합니다.

데이터 소스: 주요 소스는 **AI Incident Database (AIID)**이며, 벤더 보안 공시(OpenAI, Anthropic, Google Deep DeepMind, Microsoft) 및 규제 사례 프로필(EU AI Act, NIST)을 보완적으로 사용합니다.
샘플: 총 N = 131개의 에이전트 관련 사고가 1,553개의 AIID 기록 중에서 선정되었습니다.
- 포함 기준: AI 시스템이 다음 4가지 기능 중 최소 2가지를 보유한 경우 "에이전트 관련" 사고로 분류되었습니다: (1) 자율적 의사결정, (2) 도구 사용, (3) 다단계 실행, (4) 에이전트 간 협업.
- 시간적 범위: 샘플은 2014~~2026년을 포괄하며, 87.8%가 2022~~2026년(에이전트형 LLM 시대)에 발생했습니다.
코딩 프로토콜:
- Human-in-the-Loop: 단일 인간 코더가 초기 코딩 제안을 위해 LLM(Anthropic Claude)의 도움을 받아 분석을 수행했습니다. 코더는 모든 제안을 독립적으로 검토, 수정 또는 거부했습니다.
- 신뢰도: 25%의 무작위 하위 샘플(n=33)에 대해 2패스 절차를 사용하여 내적 일치도를 평가하고 Cohen's kappa를 계산했습니다.
- 코딩 스킴: 각 사고는 세 가지 프레임워크에 대해 독립적으로 코딩되었습니다.
  - OWASP-ASI: 기본 및 선택적 이차 카테고리 (10개 카테고리).
  - MSFT-AIRT: 하나 이상의 실패 모드 (2x2 매트릭스 내 27개 모드).
  - NIST AI RMF: 가장 밀접하게 연관된 라이프사이클 기능 (Govern, Map, Measure, Manage).
  - 격차 처리: 어떤 카테고리에도 부합하지 않는 사고는 NONE 코드를 할당했습니다.
분석 척도: 커버리지 비율, 프레임워크 간 일치도(공출현 행렬), 그리고 오픈 코딩을 통한 주제적 격차 분석.

주요 결과

1. 커버리지 분석 (RQ1)

세 프레임워크는 공동으로 샘플의 **96.9%**를 커버하지만, 개별 커버리지는 크게 다릅로 나타났습니다:

NIST AI RMF: 96.2% 커버리지 (가장 높음).
MSFT-AIRT: 93.1% 커버리지.
OWASP-ASI: 79.4% 커버리지 (가장 낮음).
통계적 유의성: OWASP와 다른 두 프레임워크 간의 차이는 통계적으로 유의미했습니다 ( $p < 0.001$ ). MSFT와 NIST 간의 차이는 $\alpha = 0.05$ 수준에서 통계적으로 구별되지 않았습니다.
신뢰도: 내적 신뢰도는 상당하거나 거의 완벽했습니다:
- OWASP-ASI: $\kappa = 0.703$ (상당함).
- NIST AI RMF: $\kappa = 0.954$ (거의 완벽함).
- MSFT-AIRT: $\kappa = 1.000$ (거의 완벽함).

2. 프레임워크 간 일치 및 구조 (RQ2)

이 프레임워크들은 동일한 현상에 대한 대안적 분류로서 경쟁하는 것이 아니라, 세 가지 질적으로 다른 추상화 수준에서 작동합니다:

OWASP-ASI (결과 중심): 관찰 가능한 결과(예: "Rogue Agents", "Human-Agent Trust Exploitation") 수준에서 무엇이 실패했는지에 집중합니다. 이는 서로 다른 메커니즘을 단일 결과 카테고리로 통합합니다.
MSFT-AIRT (메커니즘 중심): 인과적 전제 조건(예: "Agent Injection", "Hallucinations", "Tool Compromise") 수준에서 어떻게 실패가 발생했는지에 집중합니다. 이는 OWASP가 통합하는 결과들을 파편화합니다.
NIST AI RMF (라이프사이클 중심): AI 라이프사이클의 어느 단계에서 거버넌스 개입이 필요한지(예: "Measure", "Govern")에 집중합니다. 이는 직교하는 오버레이(orthogonal overlay) 역할을 합니다.

공출현 분석 결과, 특정 OWASP 결과(예: "Rogue Agents")는 여러 Microsoft 메커니즘에 매핑되며, 특정 Microsoft 메커니즘(예: "Prioritization Leading to User Safety Issues")은 여러 OWASP 결과에 걸쳐 나타남을 확인했습니다.

3. 격차 분석 (RQ3)

27개의 사고(샘플의 20.6%)가 OWASP-ASI에서 NONE 코드를 받았습니다. 이러한 격차는 세 가지 주제 그룹으로 클러스터링됩니다:

자문 역할에서의 환각(Hallucination in Advisory Roles): 권위 있는 정보를 제공하지만 사실이 아닌 정보를 제공하는 AI 시스템(예: 조작된 인용, 명예훼손적 주장). OWASP에는 고위험 맥락에서의 비악의적 환각을 위한 특정 카테고리가 부족합니다.
AI의 인간 오용(Human Misuse of AI): AI 시스템이 설계된 대로 작동하지만, 인간 사용자가 해를 끼치기 위해 출력을 오용하는 경우(예: 학문적 부정행위, 서사 조작). 이는 현재의 에이전트 중심 범위를 벗어납니다.
사회-기술적 임베딩 실패(Socio-Technical Embedding Failures): AI가 더 넓은 생태계 실패의 구성 요소인 경우(예: 데이터를 수집하는 브라우저 확장 프로그램, 공유 링크를 통한 개인정보 유출). 이는 실패의 주요 위치가 AI 자체가 아닌 경우입니다.

또한, 4개의 사고는 세 프레임워크 모두에서 NONE 처리를 받았습니다. 이들은 비실패 사고(예: 불법 행동을 하는 운전자에 의해 충돌한 자율주행 차량)로 판명되었으며, 이는 프레임-워크가 AI가 실패하지 않은 사건을 올바르게 분류하지 않았음을 확인해 줍니다.

4. 적용 가능성 (RQ4)

본 연구는 프레임워크의 적합성이 실무자의 역할과 분석 목표의 함수임을 식별합니다:

경영 리스크 책임자/이사회: 결과 중심의 고수준 트리아지(triage) 능력을 갖춘 OWASP-ASI가 가장 적합합니다.
보안 엔지니어/레드팀: 세밀한 메커니즘 중심의 진단 정밀도를 제공하는 MSFT-AIRT가 가장 적합합니다.
거버넌스 담당자/감사관: 라이프사이클 단계 구조와 규제 정렬을 제공하는 NIST AI RMF(종종 MSFT-AIRT와 결합됨)가 가장 적합합니다.

의의 및 주장

본 논문은 새로운 분류 체계를 제안하는 것이 아니라, **검증과 지도 제작(cartography)**을 목적으로 합니다.

구조적 통찰: 주요 과학적 기여는 세 가지 지배적인 프레임워크가 경쟁 관계가 아니라 상호 보완적임을 경험적으로 입증한 것입니다. 이들은 서로 다른 질문(결과 vs 메커니즘 vs 라이프사이클)을 다루며 서로 다른 청중에게 봉사합니다.
증거 기반 가이드라인: 본 연구는 직관적인 프레임워크 선택을 경험적 커버리지 및 일치 데이터에 기반한 의사결정 지원 도구로 대체합니다. 이는 규제 기관과 기업이 특정 운영 맥락에 따라 스키마를 선택할 수 있는 방어 가능한 근거를 제공합니다.
격차 식별: (환각, 인간 오용, 사회-기술적 임베딩 등) 경험적으로 관찰된 격차를 식별함으로써, 완전히 새로운 분류 체계를 만들 필요 없이 기존 프레임워크의 구체적인 개선 방향을 제시합니다.
분야의 성숙: 본 논문은 AI 거버넌스 분야가 프레임워크의 확산에서 벗어나, 의학(ICD), 소프트웨어 공학(CWE), 적대적 머신러닝(MITRE ATLAS)의 관행을 모방하여 기존 프레임워크에 대한 체계적인 경험적 감사로 초점을 옮겨야 하는 성숙 단계에 도달했다고 주장합니다.

연구 결과는 "최고의" 프레임워크는 보편적 진리가 아니라 분석 목표의 함수라는 점을 시사합니다: "현재의 질문에 답을 줄 수 있는 프레임워크는 무엇인가?"