Trustworthy Agentic AI: A Rapid, PRISMA-Informed Evidence Review of Safety, Explainability, Alignment, and Human Oversight in Autonomous AI Systems

기술 요약: 신뢰할 수 있는 에이전틱 AI (Trustworthy Agentic AI)

문제 제기
에이전틱 인공지능(Agentic AI)은 수동적인 예측 모델에서 목표를 해석하고, 과업을 분해하며, 외부 증거를 검색하고, 도구를 호출하며, 다단계 워크플로우를 실행할 수 있는 자율적 시스템으로의 패러다임 전환을 의미한다. 실패가 일반적으로 모델 출력에 국한되는 기존 AI와 달리, 에이전틱 AI의 실패는 계획, 도구 호출, 실세계 의사결정 지원을 통해 전파될 수 있으며, 이는 돌이킬 수 없는 행동, 데이터 유출 또는 악의적인 실행으로 이어질 수 있다. 신뢰할 수 있는 에이전틱 AI에 관한 기존 문헌은 LLM 에이전트, 멀티 에이전트 시스템, 설명 가능한 AI(XAI), 정렬(Alignment), 검색 증강 생성(RAG)과 같은 영역에 걸쳐 파편화되어 있다. 이러한 파편화는 안전성, 설명 가능성, 정렬, 공정성 및 인간의 감독을 자율적인 의사결정-행동 체인에 통합하기 위한 통합된 지침의 부재를 야기한다. 더욱이, 이 분야는 급격히 진화하고 있으며 2026년에 발표된 상당한 양의 관련 체계적 조사(systematic surveys)들이 존재하므로, 현재의 기술 수준을 명확히 하고 구체적인 격차를 식출하기 위한 시의적절하고 구조화된 검토가 필요하다.

방법론
본 연구는 신속한 PRISMA 기반 근거 검토 프로토콜을 채택한다. 본 방법론은 철저한 다중 데이터베이스 체계적 문헌 고찰과는 명시적으로 구분되며, 인용 체이닝(citation chaining)으로 보완된 단일 검토자 및 AI 보조 검색 전략을 활용한다.

• 코퍼스(Corus): 본 검토는 2022년에서 2026년 사이에 발표된 33개의 고유 연구를 주요 코퍼스로 분석한다. 이 연구들은 영어 언어, 출판 날짜, 그리고 에이전틱 AI 아키텍처 및 신뢰성 차원(안전성, 설명 가능성, 정렬, 공정성, 개인정보 보호, 보안, 투명성, 감독, 평가, 거버넌스)에 대한 관련성을 기준으로 선정되었다.
• 품질 평가: 각 연구에 대해 7개 항목의 품질 평가 루브릭이 적용되었으며, 객관적 명확성, 에이전틱 관련성, 신뢰성 초점, 방법론적 기여도, 한계점, 출처 신뢰성, 직접적 관련성에 대해 항목당 0~2점(최대 점수 14점)으로 점수를 부여하였다.
• 합성: 본 검토는 정량적 합성(출판 트렌드, 출처 유형, 품질 점수 및 차원 커버리지)과 아키텍처 패턴 및 신뢰 위험에 대한 정성적 주제 합성을 결합한다.
• 포지셔닝: 제안된 분류 체계는 2026년에 발표된 4개의 체계적 조사 연구를 포함하여, 기존의 15개 학술, 산업 및 규제 프레임워크와 명시적으로 비교되어 구체적인 기여를 규명한다.

주요 기여

1. T-SAFE 분류 체계: 본 논문은 신뢰할 수 있는 에이전틱 AI를 Transparency(투명성), Safety(안전성), Alignment(정렬), Fairness(공정성), Explainability(설명 가능성)의 다섯 가지 차원으로 조직하는 T-SAFE 분류 체계를 제안한다. 이 분류 체계는 "공정성"이 검토된 코퍼스에서 주요하게 다뤄지지 않은 반면, "안전성"이 지배적(연구의 52%)이라는 발견에 의해 경험적으로 동기 부여되었다.
2. 계층적 프레임워크: 환경 상호작용, 메모리, 검색, 도구 사용, 추론, 신뢰 제어, 거버넌스 및 인간의 감독을 연결하는 계층적 신뢰 에이전틱 AI 프레임워크가 도입된다. 이 프레임워크는 T-SAFE 차원을 특정 아키텍처 구성 요소에 매핑한다.
3. 정량적 근거: 본 검토는 분야의 현황에 대한 정량적 데이터를 제공하며, 주요 코퍼스의 73%가 2025년 또는 2026년에 발표되었고, arXiv 프리프린트가 가장 큰 출처 범주(42%)임을 밝힌다.
4. 격차 식별: 본 연구는 표준화된 에이전트 안전 벤치마크의 부재, 도구 사용에 대한 불충분한 설명 가능성, RAG 기반 에이전트의 보안 위험, 그리고 라이프사이클 정렬 모니터링의 부재를 포함한 핵심적인 격차를 식별한다.

결과 및 주제적 합성

• 아키텍처 패턴: 본 검토는 LLM 기반 단일 에이전트, 도구 증강 에이전트, RAG 기반 에이전트, 멀티 에이전트 시스템, WebAgents, 자가 진화 에이전트라는 6가지 주요 패턴을 식별한다. 각 패턴은 환각적 계획(hallucinated planning), 안전하지 않은 도구 호출, 프롬프트 주입, 멀티 에이전트 조정에서의 연쇄 오류와 같은 독특한 신뢰 위험을 도입한다.
• 신뢰성 위험: 식별된 주요 위험에는 환각(내용 오류가 계획이 되는 것), 안전하지 않은 도구 사용, 프롬프트 주입, 약한 설명 가능성(도구 선택에 대한 근거 부족), 사용자 의도와의 불일치, 그리고 불충분한 인간의 감독이 포함된다.
• 차원 커버리지: 33개 연구에 대한 정량적 분석 결과, 안전성(52%)에 크게 편중되어 있으며, 정렬 및 설명 가능성(각 15%), 투명성(12%)이 그 뒤를 잇는다. 주목할 점은, 공정성이 코퍼스의 어떤 연구에서도 주요 초점이 아니었다는 것이며, 이는 중요한 연구 격차를 강조한다.
• 벤치마크 파편화: 본 검토는 기존의 안전 벤치마크(예: Agent-SafetyBench, R-Judge, SafetyBench)가 서로 다른 구성 요소(태스크 수준의 안전성 vs 위험 인식 vs 정적 지식)를 평가하며, 벤치마크 간 일치도가 낮아 일관되지 않은 안전성 결론을 도출한다는 점을 지적한다.
• 비교 포지셔닝: 15개의 기존 프레임워크와 비교했을 때, T-SAFE 분류 체계는 5개 차원의 평가적 분류 체계, 계층적 기술 아키텍처로의 명시적 매핑, 연구 및 정책 전반에 걸친 적용 가능성(특정 분야로 국한되지 않음), 그리고 정량적 코퍼스 근거에 기반한 점을 통해 차별화된다.

의의 및 주장
본 논문은 포괄적인 체계적 문헌 고찰보다는 신속한 근거 검토로서 자신을 포지셔anning하며, 단일 검토자 편향 및 검색 용어의 진화하는 특성과 같은 한계를 인정한다. 본 연구의 주요 의의는 다음과 같다:

• 경험적 동기 부여: 현재의 연구가 안전성과 보안을 불균형하게 강조하는 반면 공정성을 소홀히 하고 있다는 데이터 기반의 근거를 제공함으로써, T-SAFE 분류 체계에서 공정성을 제1순위 차원으로 포함하는 것을 정당화한다.
• 구조적 명확성: 기술적 아키텍처 계층(예: 검색, 도구 사용)을 평가적 신뢰 차원과 연결하는 통합된 프레임워크를 제공하여 현재 문헌의 파편화 문제를 해결한다.
• 연구 과제: 표준화된 에이전트 안전 벤치마크, 설명 가능한 도구 사용 메커니즘, 보안 RAG 워크플로우, 라이프사이클 정렬 모니터링, 인간 중심의 통제(human-in-command) 거버넌스 구조를 포함한 향후 방향을 명시적으로 권고한다.
• 재현 촉구: 저자는 신속한 근거 검토에서 포괄적이고 재현 가능한 체계적 문헌 고찰로 전환하기 위한 필수적인 다음 단계로 본 검토에 대한 공식적인 다중 데이터베이스 재현을 명시적으로 권장한다.

본 논문은 에이전틱 AI를 실험적 프로토타입에서 신뢰할 수 있고, 설명 가능하며, 공정하고, 책임 있는 시스템으로 변모시키기 위해서는 표준화된 평가, 강력한 거버넌스, 그리고 5가지 T-SAFE 차원 모두에 대한 균형 잡힌 집중을 통해 식별된 격차를 해결해야 한다고 결론짓는다.