기술 요약: 확장 가능한 AI 에이전트 평가를 위한 Human-on-the-Bridge (HOB)

1. 문제 정의

본 논문은 AI 에이전트를 단순한 응답 생성기가 아닌 **행동 시스템(behavioral systems)**으로 평가해야 한다고 주장한다. 독립적인 대규모 언어 모델(LLM)의 실패가 주로 텍스트 생성에 국한되는 것과 달리, 에이전트는 여러 턴에 걸쳐 작동하고, 도구를 호출하며, 메모리를 유지하고, 외부 액션을 실행한다. 결과적으로, 에이전트의 실패는 의미론적(semantic)이라기보다 **절차적이고 행동적(procedural and behavioral)**인 경우가 많다.

식별된 구체적인 실패 모드는 다음과 같다:

• 유령 도구 호출 (Phantom tool calls): 에이전트가 실제로 도구를 호출하지 않았음에도 불구하고 도구를 실행했다고 주장하는 경우.
• 필수 호출 누락 (Missing mandatory calls): 필수적인 컴플라이언스나 정책 체크를 조용히 건너뛰는 경우.
• 정책 드리프트 (Policy drift): 다회차 상호작용 과정에서 안전 또는 운영 정책에서 벗어나는 경우.
• 안전하지만 해결되지 않는 거절 (Safe but non-resolving refusals): 정당한 과업에 대해 과도하게 거절함으로써, 표면적인 안전은 유지하되 워크플로우는 실패시키는 경우.

기존의 평가 방법들은 파편화되어 있다고 설명된다:

• 정적 벤치마크 (Static benchmarks): 고정된 역량은 측정하지만 절차적 불일치는 놓친다.
• Human-in-the-Loop (HITL): 전문가의 판단을 보존하지만 현대적인 개발 주기 속도로 확장하기 어렵다.
• LLM-as-judge: 확장성은 높으나 큐레이션된 도메인 지식이 부족한 경우가 많으며 단일 평가자 관점에 의존한다.
• 레드팀 (Red teaming): 재사용 가능하기보다는 일시적인 성격을 띤다.
• 트레이스 감사 (Trace auditing): 로그를 점수와 연결하기 위해 명시적인 규칙이 필요하다.

핵심적인 격차는 이러한 기술들을 인간의 전문성을 중심으로 조직하되, 매 테스트 실행마다 수동 개입을 요구하는 방식이 아닌 재사용 가능하고 확장 가능한 방식으로 구성하는 패러다임의 부재이다.

2. 방법론: Human-on-the-Bridge (HOB) 패러다임

HOB는 인간 전문성의 배치(placement)에 대한 변화를 제안한다. 인간이 모든 결정 내부에서 검토자(HITL)로 작용하거나 루프 위에서 수동적인 모니터로 존재하는 대신, 인간 전문가는 "평가 지능(evaluation intelligence)"의 **상류 저자(upstream authors)**로서 역할을 수행한다. 이 지능은 한 번 큐레이션되면 자동화된 시스템에 의해 반복적으로 실행된다.

2.1 핵심 구성 요소

이 패러다임은 $E_{HOB} = H(A, M, I_{HOB})$로 정형화된다:

• $A$: 테스트 대상 에이전트 (Agent Under Test).
• $H$: ProofAgent Harness (실행 계층).
• $M$: Harness LLM (평가 모델).
• $I_{HOB}$: 인간에 의해 큐레이션된 네 가지 기둥으로 구성된 평가 지능:

1. 레드팀 트랩 (Red-Team Traps, $T$): 특정 실패 모드를 노출하기 위해 설계된 적대적 조건(예: 탈옥, 정책 엣지 케이스, 조작 시도)의 라이브러리.
2. 배심원 페르소나 (Juror Personas, $J$): 단일한 일반적 점수 뷰에 의존하는 것을 피하기 위한 다양한 점수 관점(예: 안전성, 프라이버시, 과업 성공).
3. 점수 가이드라인 및 감사 규칙 (Scoring Guidelines and Audit Rules, $S, R$): 점수를 관찰 가능한 증거와 연결하는 규칙. 이는 결정적으로 다음을 구분한다:
   • 객관적 탐지 (Objective detections): 평가 모델의 크기와 무관한, 트레이스로 검증 가능한 사실 (예: "로그에 도구 호출이 나타났는가?").
   • 주관적 점수 (Subjective scores): 평가 모델에 따라 달라질 수 있는 질적 판단 (예: "말투가 안전했는가?").
4. 폴백 정책 (Fallback Policies, $F$): 평가 파이프라인의 불안정성(예: 프로바이더 차단, JSON 파싱 에러)을 처리하여, 평가 파이프라인의 실패가 에이전트의 실패로 오인되지 않도록 보장하는 프로토콜.

2.2 운영 워크플로우

1. 큐레이션 (Curation): 인간이 도메인 컨텍스트, 트랩, 페르소나, 규칙을 정의한다.
2. 실행 (Execution): ProofAgent Harness(오픈 소스 생태계)가 Harness LLM을 사용하여 에이전트에 대해 다회차 적대적 시험을 실행한다.
3. 평가 (Assessment): 하네스는 행동 트레이스를 캡처하고, 멀티 배심원 점수를 적용하며, 감사 규칙을 트레이스에 적용한다.
4. 보고 (Reporting): 점수, 탐지된 실패, 심각도가 등급화된 결과가 포함된 증거 기반 보고서가 생성된다.

2.3 비용 확장 직관

본 논문은 HOB가 고정된 인간 큐레이션 비용($C_c$)을 많은 실행 횟수($N$)에 걸쳐 어떻게 분담(amortize)하는지에 대한 비용 모델을 제시한다. HITL의 경우 비용이 $N$에 따라 선형적으로 증가($N \times C_h$)하는 반면, HOB는 $C_c + N \times C_e$ (여기서 $C_e$는 Harness LLM의 한계 비용)로 확장된다. 이를 통해, 평가 지능(트랩, 규칙)이 견고하다면 더 작은, 저렴한 Harness LLM이 프런티어 LLM 백본 기반의 에이전트를 효과적으로 평가할 수 있는 **비대칭 평가(asymmetric evaluation)**가 가능해진다.

3. 실험적 평가

본 연구는 47개의 완료된 구성, 470개의 실행 레벨 시도, 그리고 23,500개의 에이전트 턴을 통해 HOB를 평가하였다.

• 도메인: 코드 생성, 금융 자문, 의료 분류(medical triage).
• 에이전트: 프런티어 백본(GPT-4.1, GPT-5.5, Claude Opus 4.7, Claude Opus 4.8)을 기반으로 구축된 에이전트 시스템.
• 평가자: 4B(Gemma)에서 120B(GPT-OSS)에 이르는 5단계의 Harness LLM 티어.
• 설계: 각 구성은 50턴 규모의 독립적인 10회 적대적 실행을 거쳤다. 통계적 신뢰성을 확보하기 위해 결과는 중앙값(median)으로 보고된다.

주요 결과

1. 비대칭 평가 능력: 더 작은 Harness LLM(예: 4B Gemma)도 프런티어 백본 기반 에이전트에서 객관적이고 트레이스로 검증 가능한 실패(예: 유령 도구 호출)를 성공적으로 찾아냈다. 작은 모델들은 주관적인 점수(더 관대한 점수)를 부여하는 경향이 있었으나, 감사 규칙의 안내를 받을 때 객체적/절차적 실패를 탐지하는 데에는 동일하게 효과적이었다.
2. 숨겨진 실패 탐지: 정적 벤치마크나 최종 답변 점수로는 보이지 않는 실패를 드러냈다:
   • 유령 도구 호출: 에이전트가 데이터를 로그에 남겼다고 주장하면서도 실제로는 도구를 호출하지 않은 사례가 한 구성에서 16% 발생했다.
   • 컴플라이언스 누락: 에이전트가 실질적인 금융 논의 중 필수적인 로깅을 30%의 경우에서 건너뛰었다.
   • 안전하지만 해결되지 않는 거절: 안전하지만 사용자의 정당한 목표 달성을 실패하게 만드는 에이전트들이 발견되었다.
3. 다차원적 신뢰성: 에이전트 성능은 여러 차원(과업 성공, 환각 저항성, 안전성, 지시 이행, 조작 저항성)에서 크게 달랐다. 예를 들어, Claude Opus 4.8은 강력한 방어 프로필을 보였으나 구성에 따라 과업 성공도에서 차이를 보였다.
4. 파이프라인 견고성: 폴백 정책은 414건의 파이프라인 레벨 실패 이벤트(주로 콘텐츠 블록 및 JSON 에러)를 성공적으로 복구하여, 평가 구성의 손실이나 에이전트 점수의 왜곡 없이 프로세스를 지속했다.

4. 주요 기여

본 논문은 네 가지 구체적인 기여를 한다:

1. 패러다임 정의: 인간의 전문성을 재사용 가능한 평가 지능으로 전환함으로써, 인간의 수동 검토에서 확장 가능한 모델인 Human-on-the-Bridge를 도입하였다.
2. 정형화: 평가 지능을 구조화된 재사용 구성 요소(도메인 컨텍스트, 트랩, 페르소나, 규칙, 폴백)로 정의하였다.
3. 신호 구분: 객관적 트레이스 검증 탐지(평가자 크기에 독립적)와 주관적 배심원 점수(평가자의 엄격함에 의존적) 사이의 차이를 명확히 하였다.
4. 실증적 검증: 대규모 테스트를 통해 비대칭 평가가 프런티어 에이전트의 행동적 및 절차적 실패를 탐지할 수 있음을 입증하여, 큐레이션된 지능의 도움을 받는 작은 Harness LLM의 비용 효율성을 검증하였다.

5. 의의 및 주장

본 논문은 HOB를 기존 도구(벤치마크, 레드팀, HITL)를 대체하는 것이 아니라, 이들을 확장 가능한 라이프사이클로 통합하는 오케스트레이션 프레임워크로 포지셔닝한다.

• 확장성: HOB는 인간의 전문성을 한 번 인코딩하여 에이전트, 도메인, 모델 버전에 걸쳐 재사용할 수 있게 함으로써 수동 검토의 확장성 병목 현상을 해결한다.
• 운영 준비성: 객관적 트레이스 체크와 주관적 점수를 분리함으로써, HOB는 운영 환경에서의 거버넌스 및 회귀 테스트를 위한 더 신뢰할 수 있는 기반을 제공한다.
• 비용 효율성: (중요한 절차적 실패 탐지를 희생하지 않으면서) 더 작고 저렴한 LLM을 평가에 사용할 수 있는 능력(비대칭 평가)은 지속적인 에이전트 테스트에 드는 토큰 및 운영 비용을 절감한다.

저자들은 현재 작업의 상태에 대해 겸허한 태도를 유지하며, 주관적 배심원 점수가 아직 인간 전문가의 판단(평가자 간 신뢰도)과 완전히 교정되지 않았으며, 실험적 탐색이 전수 조사(full factorial grid)가 아닌 선택적 탐색이었음을 언급한다. 이들은 HOB를 최종적인 인증 표준이라기보다 "생산 수준의 증거 기반 평가"를 위한 기초로서 제시한다.