기술 요약: AI 에이전트 신뢰성을 향한 과학을 향하여

1. 문제 정의

AI 에이전트는 연구용 프로토타입에서 실질적인 과업(예: 코드 수정, 데이터베이스 관리, 워크플로우 오케스트레이션)을 수행하는 배포 시스템으로 빠르게 전환되고 있습니다. 표준 벤치마크는 상승하는 정확도 점수를 보고하고 있지만, 심각한 불일치가 존재합니다: 에이전트는 벤치마크 성능이 높음에도 불구하고 실제 환경에서는 빈번하게 실패합니다. 최근 발생한 고위험 사례들—예를 들어, AI 어시스턴트가 운영 중인 데이터베이스를 삭제하거나 에이전트가 승인되지 않은 구매를 수행한 사건—은 현재의 평가 패러다임이 불충분함을 보여줍니다.

지배적인 평가 패러다임은 평균 과업 성공률(정확도)에 의존합니다. 이 접근 방식은 결정적인 행동 특성을 은폐합니다. 즉, 특정 과업에서 예측 가능하게 실패하는 에이전트와 무작위로 실패하는 에이전트를 구분할 수 없으며, 경미한 형식 오류를 치명적인 행동과 동일하게 취급하고, 입력 섭동(perturbation)에 대한 민감도나 에이전트 스스로 자신의 실패 가능성을 인지하는 능력을 무시합니다. 결과적으로, 역량(capability)은 추적되는 반면 신뢰성(reliability)은 측정되지 않은 채 남아 있어, 벤치마크 성능과 실제 결과 사이의 간극을 만듭니다.

2. 방법론

저자들은 항공, 원자력, 자동차 시스템의 안전 필수 공학 원칙에 기반하여, 에이전트 신뢰성을 평가하기 위한 종합적인 프레임워크를 제안합니다. 이들은 신뢰성을 네 가지 독립적인 차원으로 분해하며, 각 차원은 단순한 작업 정확도와 구별되는 구체적이고 계산 가능한 지표를 통해 실행됩니다.

신뢰성의 네 가지 차원

1. 일관성 (RCon): 시스템이 동일한 조건 하에서 동일하게 행동하는지를 측정합니다.
   • 결과 일관성 ($C_{out}$): 반복 실행 간의 성공/실패 분산.
   • 궤적 일관성 (Trajectory Consistency): 행동 시퀀스의 유사성을 측정하며, 분포적 일관성($C^d_{traj}$, 행동 유형 빈도)과 순차적 일관성($C^s_{traj}$, 행동 순서)으로 나뉩니다.
   • 자원 일관성 ($C_{res}$): 계산 및 금전적 비용(토큰, API 호출)의 가변성.
2. 강건성 (RRob): 운영 조건이 명목 범위를 벗어날 때의 안정성을 측정합니다.
   • 결함 강건성 ($R_{fault}$): 인프라 장애(타임아웃, 에러 응답)에 대한 회복력.
   • 환경 강건성 ($R_{env}$): 데이터 형식, 도구 인터페이스 또는 필드 순서의 의미론적 보존 변경에 대한 민감도.
   • 프롬프트 강건성 ($R_{prompt}$): 의미론적으로 동등한 지시문 패러프레이징(paraphrasing)에 대한 불변성.
3. 예측 가능성 (RPred): 에이전트가 표명한 확신도가 실제 성능과 일치하는지를 측정합니다.
   • 교정 (Calibration, $P_{cal}$): 명시된 확신도와 경험적 성공률 간의 일치도(기대 교정 오차).
   • 판별력 (Discrimination, $P_{AUROC}$): 성공적인 과업을 실패한 과업보다 높게 순위 매기는 능력.
   • 브라이어 점수 (Brier Score, $P_{brier}$): 교정과 판별을 결합한 적절한 점수 산정 규칙.
4. 안전성 (RSaf): 실패가 발생했을 때 유해한 행동의 심각도와 빈도를 측정합니다.
   • 준수성 (Compliance, $S_{comp}$): 사전 정의된 제약 조건 준수(예: PII 노출 금지, 승인되지 않은 삭제 금지).
   • 해악 심각도 (Harm Severity, $S_{harm}$): 위반 발생 시 부정적 결과의 규모.

실험 설정

저자들은 세 가지 제공업체(OpenAI, Google, Anthropic)의 효율적, 프런티어, 추론 강화 티어를 아우르는 15개의 모델을 평가했습니다. 평가는 두 가지 상호 보완적인 벤치마크를 통해 수행되었습니다:

• GAIA: 웹 브라우징, 파일 조작, 다단계 추론이 필요한 일반 어시스턴트 벤치마크 (165개 과업).
• $\tau$-bench: 다회차 대화와 결과적인 데이터베이스 작업을 포함하는 고객 서비스 시뮬레이션 (지면 진실(ground-truth) 오류를 피하기 위해 검증된 26개 과업 세트로 제한됨).

평가 프로토콜에는 샘플링 비결정성을 격리하기 위한 제로 템퍼러처(zero temperature) 기반의 다회 실행(K=5), 프롬프트 섭동(J=5개의 패러프레이즈), 결함 주입(20% 확률), 그리고 환경 섭동이 포함되었습니다. 확신도는 사후 자기 평가를 통해 도출되었습니다.

3. 주요 결과

연구 결과, 모델 출시의 24개월 기간 동안 신뢰성 이득은 역량 발전보다 현저히 뒤처지는 것으로 나타났습니다.

• 전반적인 추세: 정확도는 강력한 양의 추세($r=0.92$ for GAIA, $r=0.86$ for $\tau$-bench)를 보이는 반면, 전반적인 신뢰성은 최소한의 개선($r=0.46$ for GAIA, $r=0.86$ for $\tau$-bench)만을 보였습니다. 원시 정확도를 개선하는 것이 신뢰성 향상을 보장하지는 않습니다.
• 일관성: 모든 모델에서 결과 일관성이 낮게 유지되었습니다. 주목할 만한 "무엇은 알지만 언제인지는 모르는(what but not when)" 패턴이 나타났습니다: 에이전트는 유사한 행동 유형을 신뢰성 있게 선택하지만(높은 분포적 일관성), 실행 순서에서는 크게 변동합니다(낮은 순차적 일관성). 자원 일관성 또한 매우 가변적이며, 특히 GAIA에서 그러했습니다.
• 강건성: 결함 및 환경 강건성은 천장 효과(대부분의 모델이 이를 잘 처리함)를 보였습니다. 그러나 프롬프트 강건성은 여전히 핵심적인 차별화 요소입니다. 모델들은 기술적 결함은 잘 처리하면서도, 표면적인 지시문 재구성에 대한 민감도에 따라 성능이 크게 갈렸습니다.
• 예측 가능성: 최근 모델들(특히 Claude)에서 교정 능력이 눈에 띄게 개선되어, 확신도 추정치가 성공률과 더 잘 일치하게 되었습니다. 그러나 판별력(특정 과업이 실패할 것임을 식별하는 능력)은 GAIA에서 정체되거나 오히려 저하되었으며, 이는 모델이 평균적으로는 잘 교정될 수 있어도 개별적인 실패를 포착하지 못할 수 있음을 의미합니다.
• 안전성: 최근의 프런티어 모델들은 위반율이 낮습니다. 하지만 위반이 발생할 경우, 그 영향은 심각할 수 있습니다(예: 금융 부정확성, 승인되지 않은 데이터 노출). 논문은 드물게 발생하는 고심각도 실패가 막대한 비용을 초래한다고 지적합니다.
• 모델 유형 분석: 신뢰성은 모델 크기에 따라 균일하게 확장되지 않습니다. 더 크고 추론 능력이 있는 모델이 일반적으로 교정, 안전성, 강건성 측면에서 개선되지만, 일관성은 종종 역의 패턴을 보이며 작은 모델이 때때로 더 높은 일관성을 달성하기도 합니다. 추론 모델은 신뢰성을 개선하지만, 정확도 개선 속도에는 미치지 못합니다.

4. 기여

본 논문은 두 가지 주요 기여를 합니다:

1. 공식적인 분류 체계 및 지표 세트: 질적인 안전 필수 원칙을 12개의 계산 가능한 지표로 변환하여, 과업 성공과 독립적으로 신뢰성을 평가할 수 있게 했습니다. 이를 통해 신뢰성을 원시 역량으로부터 분리할 수 있습니다.
2. 포괄적인 신뢰성 프로필: 현재의 기술 수준을 매핑하여, 일관성과 예측 가능성(특히 판별력)이 역량 스케일링과 비례하여 개선되지 않았음을 밝힘으로써, 즉각적인 연구 집중이 필요한 영역을 식별했습니다.

5. 의의 및 권고 사항

본 논문은 신뢰성을 역량과는 별개의 독립적인 발전 축으로 취급해야 한다고 주장합니다. 저자들은 네 가지 권고 사항을 제시합니다:

1. 동적 벤치마크: 평가는 고정된 환경에서의 단일 실행 정확도를 넘어, 실제 세계의 분포 변화를 반영하는 다회 실행 프로토콜, 섭동 테스트, 생성적 테스트 세트를 포함해야 합니다.
2. 신뢰성 지향 설계: 에이전트 아키텍처는 단순히 역량에만 집중하는 것이 아니라, 현재 불균형하게 개선되고 있는 신뢰성 차원(예: 일관성, 판별력)을 명시적으로 최적화해야 합니다.
3. 거버넌스 통합: 신뢰성 지표는 안전 필수 산업과 유사하게 배포 거버넌스에 반영되어야 합니다. 조직은 에이전트를 파일럿 단계에서 운영 단계로 승격시키기 전, 최소한의 일관성 및 안전성 임계값을 요구해야 합니다.
4. 자율성 스케일링 요구사항: 신뢰성 요구사항은 자율성의 정도에 따라 확장되어야 합니다. 인간이 개입하는 증강(augmentation) 설정의 에이전트는 낮은 신뢰성을 허용할 수 있지만, 완전 자율 에이전트는 엄격한 신뢰성 보장을 필요로 합니다.

저자들은 자신의 분해가 여러 가능한 프레임워크 중 하나일 수 있으나, "에이전트가 얼마나 자주 성공하는가?"에서 "에이전트가 얼마나 예측 가능하고, 일관되며, 강건하고, 안전하게 행동하는가?"로의 관점 전환이 고위험 환경에서 AI 에이전트를 안전하게 배포하는 데 필수적이라고 결론짓습니다. 이들은 신뢰성 평가가 인간의 감독 및 샌드박스 테스트와 같은 신중한 배포 관행을 대체하는 것이 아니라 보완해야 함을 강조합니다.