Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI

1. 문제 정의 (Problem Statement)

배경:
에이전트 AI 는 정적인 질문 응답을 넘어, 개방형 환경에서 도구를 활용하고 다단계 작업을 수행하는 자율적 의사결정 시스템으로 진화하고 있습니다. 이러한 시스템은 실제 워크플로우에 통합되면서 오류가 단순한 정답 오류를 넘어, 목표 이탈 (goal drift), 위험한 도구 사용, 자원 오용, 무단 행동 등 심각한 운영 실패로 이어질 수 있습니다.

현재의 한계 (Benchmark Islands):
기존의 평가 관행은 다음과 같은 이유로 실제 배포 환경의 신뢰성을 반영하지 못합니다.

• 단편화된 평가: 코딩, 환각 (hallucination), 잭브레이크 저항성, 도구 사용 등 특정 능력만을 분리하여 평가합니다.
• 비대표성 (Lack of Representativeness): 평가 데이터셋이 실제 배포 환경의 분포 (deployment distribution) 와 불일치합니다. 특히, 빈도는 낮지만 결과가 치명적인 '테일 리스크 (tail risks)'나 사회적 맥락이 포함된 시나리오가 누락되어 있습니다.
• 가짜 확신: 기존 벤치마크에서 높은 점수를 얻는 것이 실제 세계에서의 안전성과 견고함을 보장하지 못하며, 오히려 잘못된 확신을 줄 수 있습니다.

핵심 주장:
에이전트 신뢰성 평가의 중심적인 문제는 평가 지표 (metric) 의 부족이 아니라, 대표성 (Representativeness) 의 부재입니다. 신뢰성은 고정된 벤치마크 인스턴스의 집합이 아닌, 이질적이고 긴 꼬리 (heavy-tailed) 를 가진 사회 - 기술적 시나리오 분포 (socio-technical scenario distribution) 상에서의 에이전트 행동으로 정의되어야 합니다.

---

2. 방법론: 홀로그래픽 에이전트 평가 프레임워크 (HAAF)

저자들은 Holographic Agent Assessment Framework (HAAF) 를 제안합니다. 이는 에이전트를 단일 벤치마크가 아닌, 구조화된 '시나리오 매니폴드 (scenario manifold)' 위에서 다각도로 평가하는 체계입니다.

2.1 핵심 구조

HAAF 는 4 개의 계층과 이를 연결하는 반복적 프로세스로 구성됩니다.

1. Layer 1: 정적 인지 및 정책 분석 (Static Cognitive and Policy Analysis)

   • 상호작용 시작 전, 에이전트의 설정 (시스템 지시문, 도구 설명, 권한 범위 등) 을 분석하여 잠재적 취약점을 식별합니다.
   • 목표 충돌, 안전 경계 미정의, 취소 불가능 작업의 확인 절차 부재 등을 탐지합니다.

2. Layer 2: 인터랙티브 샌드박스 시뮬레이션 (Interactive Sandbox Simulation)

   • 통제된 고충실도 환경에서 에이전트의 전체 실행 궤적 (trajectory) 을 평가합니다.
   • 계획 수립, 도구 호출, 상태 업데이트, 복구 행동 등을 포함하며, 목표 하이재킹이나 도구 오용과 같은 궤적 수준의 실패 모드를 탐지합니다.
   • benign(복잡한 정상 작업), adversarial(공격 조건), operational(리소스/환경 제약) 시나리오를 포함합니다.

3. Layer 3: 사회적 및 윤리적 정렬 평가 (Social and Ethical Alignment Assessment)

   • 기술적 상호작용을 넘어 사회적 맥락에서의 행동을 평가합니다.
   • 다자간 협업, 이해관계자 간의 갈등, 권력 불균형 상황에서의 편향, 조작에 대한 취약성, 가치 이탈 등을 평가합니다.

4. Layer 4: 분포 인식 대표성 샘플링 엔진 (Distribution-Aware Representative Sampling)

   • HAAF 의 핵심 엔진으로, 어떤 시나리오를 평가할지 결정합니다.
   • 단순한 빈도 반영이 아닌, 배포 관련성 (deployment relevance) 과 리스크 민감도 (risk sensitivity) 를 동시에 고려하여 샘플링합니다.
   • 자주 발생하는 워크플로우와 드물지만 치명적인 고영향 시나리오를 모두 아우르는 가중치 설정을 최적화합니다.

2.2 신뢰성 최적화 공장 (Trustworthy Optimization Factory)

위 4 계층은 단일 평가가 아닌 반복적인 '신뢰성 최적화 공장' 사이클로 운영됩니다.

• Red-Team Probing: 대표성 있는 시나리오를 통해 취약점을 노출하고 실패의 근본 원인 (root cause) 을 규명합니다.
• Blue-Team Hardening: 진단 결과를 바탕으로 프롬프트 강화, 도구 출력 정제, 확인 게이트 (confirmation gate) 도입 등 표적 개입을 설계합니다.
• Re-evaluation: 개선된 시스템을 재평가하여 신뢰성 프로파일을 업데이트합니다.
• 이 사이클은 배포 준비 기준 (deployment-readiness thresholds) 을 달성할 때까지 반복됩니다.

---

3. 주요 기여 (Key Contributions)

1. 대표성 (Representativeness) 의 부각: 에이전트 신뢰성 평가의 핵심 과제가 지표 설계가 아닌 분포 설계 (distribution design) 에 있음을 규명했습니다.
2. HAAF 프레임워크 제안: 리스크 민감 시나리오 분포를 기반으로 한 통합적이고 다면적인 (multi-view) 평가 프레임워크를 제시했습니다.
3. 반복적 평가 - 강화 방법론의 실증: Red-Team/Blue-Team 사이클을 통한 구체적인 실행 사례를 통해 방법론의 실현 가능성을 입증했습니다.

---

4. 실험 결과 (Illustrative Instantiation Results)

저자들은 HAAF 의 한 사이클을 시연하기 위해 24 개의 시나리오 (4 가지 카테고리: benign, adversarial, operational, social) 로 구성된 샌드박스 환경을 구축하고 Qwen3-8B 모델을 테스트했습니다.

• Red-Team 분석 (초기 평가):

  • 24 개 시나리오 중 4 개 (16.7%) 에서 위반 발생.
  • 주요 실패 유형: 프롬프트 주입 (PI, 2 건), 무단 행동 (UA, 1 건), 정책 유출 (PL, 1 건).
  • 가장 빈번한 취약점은 도구 출력에 포함된 악성 지시를 따르는 것이었습니다.

• Blue-Team 개입:

  1. 도구 출력 방화벽: 모든 도구 반환값을 비신뢰 데이터로 표시하고 에이전트가 내장된 지시를 따르지 않도록 유도.
  2. 확인 게이트: 고위험 행동 (메시지 발송, 보호된 경로 쓰기) 을 실행 전 차단하여 인간 개입을 시뮬레이션.

• 재평가 결과:

  • 위반률 (Violation Rate): 16.7% → 4.2% 로 감소 (-12.5%p).
  • 성공률 (Success Rate): 83.3% → 95.8% 로 향상.
  • 리스크 가중 실패 (Risk-Weighted Failure, RWF): 0.210 → 0.062 로 크게 감소 (-0.148).
  • 남은 문제: 사용자 직접 요청에 의한 금지 행동 시도 등 프롬프트 수준의 강화로 해결되지 않는 근본적인 한계도 확인되었습니다.

---

5. 의의 및 결론 (Significance and Conclusion)

• 패러다임 전환: 에이전트 평가는 "선별된 태스크 세트에서의 성능"에서 "대표적인 시나리오 매니폴드에서의 신뢰성"으로, "단일 점수"에서 "다차원 신뢰성 프로파일"로 전환되어야 함을 주장합니다.
• 배포 준비도 (Deployment Readiness): HAAF 는 단순한 벤치마크 점수가 아닌, 실제 배포 환경에서의 안전성을 검증하는 반복적 프로세스를 제공합니다.
• 미래 비전: 이 연구는 공유된 시나리오 분류 체계, 리스크 인식 샘플링, 그리고 Red-Team/Blue-Team 사이클을 통한 배포 준비도 평가가 에이전트 AI 커뮤니티의 표준이 되어야 함을 제안합니다.

결론적으로, 이 논문은 기존 벤치마크의 한계를 지적하고, 실제 세계의 복잡성과 리스크를 반영하는 대표성 있는 평가 체계 (HAAF) 를 통해 에이전트 AI 의 신뢰성을 확보하는 새로운 방향성을 제시합니다.