Monitoring Agentic Systems Before They're Reliable

기술 요약: 신뢰할 수 있는 단계에 도달하기 전의 에이전트 시스템 모니터링

문제 정의
규제 산업(감사, 금융, 의료, 법률)에 진입하는 에이전트형 AI 시스템은 종종 부분적으로 통합된 어셈블리 형태로 운영된다. 이러한 초기 성숙도 단계에서 발생하는 실패 양상은 작업 수준의 오류(예: 잘못된 계산)가 아니라, 구조적 통합 결함(예: 스키마 불일치, 컨텍스트 전파 누락)에 의해 지배된다. 현재의 모니터링 관행은 집계된 성능 지표(평균 정확도, 오류율)와 임계값 기반 알림에 의존한다. 이러한 접근 방식은 에이전트 맥락에서 다음과 같은 이유로 실패한다:

1. 작업 이질성: 에이전트는 다양하고 복잡한 입력을 처리하므로, "평균" 성능은 고위험 실패를 은폐한다.
2. 불확실한 점수 산정: 정답(Ground Truth)이 부분적이거나 전문가의 판단에 달려 있는 경우가 많아, 이진 검증(Binary Verification)이 불가능하다.
3. 신호 마스킹: 구조적 결함은 작업 수준의 신호를 가리는 "노이즈 플로어(Noise Floor)"를 생성한다. 통합 파이프라인이 고장 난 시스템은 일관되지만 잘못된 출력을 생성할 수 있으며, 이로 인해 작업 수준의 오류 탐지가 깨끗한 베이스라인과 구별되지 않게 된다.

이러한 구조적 문제를 먼저 진단하기 위한 방법론 없이는, 모니터링이 허위 확신을 주거나 분석가에게 노이즈 과부하를 일으켜, 신뢰할 수 있는 오류 탐지가 가능해지기 전에 필요한 통합 수정 작업을 우선순위화하는 데 실패하게 된다.

방법론
저자들은 "1단계(Stage 1)"의 시스템 성숙도(구조적 진단)에서 효과적으로 작동하도록 설계된 삼각 측량 기반 모니터링 및 자동 분류 방법론을 제안한다.

1. 삼각 측량 평가 차원:
   시스템 동작은 세 가지 상호 보완적인 차원으로 분해된다:

• 품질(Quality): 정확성, 완결성 및 환각(Hallucination)의 부재.
• 적합성(Suitability): 지침 준수, 문맥적 적합성 및 워크플로우 정렬.
• 효율성(Efficiency): 비용, 시간 및 인간 검토 부담.

2. 세 가지 모니터링 범위(Scope):
   평가는 서로 다른 실패 모드를 특성화하기 위해 세 가지 뚜렷한 범위를 가로질러 수행된다:

• 실행 내(Within-Run): 단일 실행 중에 처리된 문서들을 분석한다.
• 실행 간(Cross-Run): 완료된 실행들의 집합을 분석한다.
• 구조적(Structural): 시스템의 파이프라인 및 매니페스트(예: 문서 인입 대 처리)의 무결성을 분석한다.

3. 주요 신호로서의 분산(Variance):
   본 방법론은 평균에만 의존하는 대신, 범주 내 분산(특히 변동 계수, CV)을 일급 신호로 사용한다.

• 낮은 분산은 결정론적이고 체계적인 결함을 나타낸다.
• 높은 분산은 확률적 통합 결과의 영향을 나타낸다.
  이를 통해 시스템은 정답 레이블 없이도 자신의 모니터링 아키텍처와 실패 유형을 특성화할 수 있다.

4. FMEA 기반 자동 분류(Triage):
   발견된 사항은 고장 유형 및 영향 분석(FMEA) 및 MIL-STD-882E에서 채택한 심각도 분류 시스템을 통해 라우팅된다. 실패는 네 가지 수준으로 분류된다:

• L1 (치명적, Catastrophic): 프로세스 무결성 훼손; 즉시 중단.
• L2 (중대, Critical): 실질적으로 잘못된 결과; 인간의 검토 필요.
• L3 (미미함, Marginal): 저하되었으나 사용 가능; 주기적 샘플링.
• L4 (무시 가능, Negligible): 최소한의 영향; 자동화된 처리.
  이 분류를 통해 결정론적 라우팅이 가능해지며, 조사가 필요한 발견 사항(L1/L2)에만 인간의 주의를 집중시키고 나머지는 자동화한다.

실험 설정
본 방법론은 미국 회계기준(US GAAP)에 따른 후속 사건 및 미기록 부채(SURL) 감사 절차를 위한 합성 테스트베드에서 검증되었다.

• 데이터: 통제된 오류 주입이 포함된 100개와 깨끗한 베이스라인 20개를 포함한 총 120개의 문서 번들(Document Bundles)이 220회의 실행 동안 처리되었다.
• 테스트 대상 시스템: 두 가지 알려진 통합 결함(1. 모든 문서 유형에 적용되는 하드코딩된 인보이스 스키마, 2. 컨텍스트를 전혀 받지 못하는 교차 문서 검증기)을 가진 초기 단계의 에이전트 시스템.
• 목표: 본 모니터링 방법론이 이러한 구조적 결함을 진단하고, 이를 주입된 작업 수준의 오류와 구별할 수 있는지 여부를 결정하는 것.

주요 결과

1. 모니터 범위가 실패 유형을 결정함:

• 실행 내 모니터(예: 스키마 적용)는 높은 볼륨의 균일한 출력(CV = 0.02)과 낮은 심각도(L3)를 생성하여, 결정론적 단계 결함을 식별했다.
• 실행 간 모니터는 희소하고 변동성이 큰 출력(CV = 1.25)을 생성하여, 확률적 통합 결과를 드러냈다. 이 중 24%가 L2(중대)에 해당했다.
• 구조적 모니터는 완벽한 일관성(CV = 0.00)으로 통합 격차를 식별하였으며, 매 실행마다 L2 발견 사항을 생성했다.

2. 구조적 결함이 작업 수준의 오류를 마스킹함:
   주입된 작업 수준의 오류(산술, 교차 문서, 시계열 오류)는 깨끗한 베이스라인과 구별할 수 없었다. 구조적 노이즈 플로어(예: 모든 문서에 잘못된 스키마를 적용하는 것)가 특정 데이터 오류의 신호를 완전히 가려버렸다. 이는 구조적 결함이 해결되기 전에는 작업 수준의 오류 탐출이 불가능함을 확인해 준다.

3. 분류 효율성:
   FMEA 기반 분류 시스템은 발견 사항의 97.7%(10,453개 중 10,210개)를 자동 모니터링(L3)으로 라우팅했다. 오직 2.3%(243개, 주로 L2)만이 인간의 조사로 라우팅되었다. 이는 분석가 볼륨을 43배 감소시킨 것으로, 인간의 노력을 가변적인 시스템 동작 및 통합 격차를 반영하는 하위 집합에 집중시켰다.

의의 및 주장
본 논문은 미성숙한 에이전트 시스템의 경우, 효과적인 모니터링은 오류 탐지가 가능해지기 전의 구조적 진단으로부터 시작되어야 한다고 주장한다.

• 성숙도 단계 모델: 저자들은 통합 결함이 해결됨에 따라 모니터링이 구조적 특성화(1단계)에서 오류 탐지(2단계), 그리고 신뢰성 추적(3단계)으로 전환되는 모델을 제안한다.
• 아키텍처 전이성: 세 가지 범위의 분류 체계, CV 기반 특성화, FMEA 심각도 모델은 문서 중심의 다단계 에이전트 워크플로우(규제 산업 내)로 아키텍처적으로 전이될 수 있다고 주장한다. 다만, 구체적인 캘리브레이션(평가기, 임계값)은 도메인별로 상이할 수 있다.
• 운영 가치: 본 연구의 주요 기여는 배포 즉시 실행 가능한 엔지니어링 가치를 창출하는 방법론을 제공한다는 점이다. 논문은 다음과 같이 단언한다: "모니터링을 조기에 도입하라: 그것이 처음으로 찾아내는 것이 가장 중요한 수정 사항이다."

저자들은 본 연구의 결과가 1단계 증거에 기반하고 있음을 명시하며, 2단계 및 3단계로의 전환은 종단적 검증이 필요한 이론적 추론임을 밝힌다. 본 연구는 성숙한 시스템을 위한 작업 수준의 오류 탐지 해결책을 제시하는 것이 아니라, 이를 가능하게 하는 필수적인 진단 계층을 제공하는 것을 목적으로 한다.