기술 요약: ProofAgent 하네스

문제 제기

AI 에이전트는 데모 단계에서 고위험 생산 환경으로 전환되고 있으며, 여기서 다중 턴 상호작용을 실행하고 도구를 활용하며 컨텍스트를 유지하고 정책을 준수하며 개인 데이터를 관리합니다. 정적 벤치마크나 고립된 출력 점수에 의존하는 기존 평가 방법은 행동 궤적, 적대적 압력, 다중 턴 조작을 통해 발생하는 실패를 포착하지 못합니다.

이 논문은 에이전트 실패가 단순히 출력 수준의 오류 (예: 잘못된 답변) 가 아니라 궤적 수준의 실패라고 주장합니다. 여기에는 안전하지 않은 도구 호출, 무단 워크플로우 단계, 개인정보 유출, 환각된 정책 인용, 해로운 격상 등이 포함됩니다. 기존 접근법은 다음과 같은 특정 한계를 겪고 있습니다:

• LLM-as-Judge: 종종 전체 행동 궤적이 아닌 고립된 응답을 평가하며, 점수와 특정 턴을 연결하는 감사 추적 (audit trail) 이 부족합니다.
• 작업 벤치마크: 적대적 견고성, 정책 일관성, 또는 조작에 대한 저항력보다는 작업 완료에 중점을 둡니다.
• 레드팀 (Red-Teaming): 취약점을 찾는 데 효과적이지만, 엔지니어링 및 거버넌스에 필요한 표준화된 점수화, 합의 메커니즘, 증거 연결 보고가 종종 부족합니다.
• 인간 감독: 고위험 환경에서는 필수적이지만, 수동 검토는 모든 에이전트 버전 및 릴리스 주기에 걸쳐 지속적인 테스트를 위한 주요 메커니즘으로 확장되지 않습니다.

방법론: ProofAgent 하네스

저자들은 전문가 스타일의 적대적 검토 프로세스를 운영화하도록 설계된 오픈소스 다단계 인프라인 ProofAgent 하네스를 소개합니다. 이 하네스는 테스트 대상 에이전트를 둘러싼 평가 생태계로서 자산, 실행, 판단, 보고를 조정합니다.

핵심 아키텍처

이 프레임워크는 전문 에이전트가 관리하는 네 가지 명확한 단계로 구성됩니다:

1. 1 단계: 평가 설계 (Planner Agent)

   • 에이전트 역할, 비즈니스 사례, 목표를 실행 가능한 평가 계획으로 변환합니다.
   • 운영 도메인을 추론하고 선별된 라이브러리에서 적대적 함정을 선택합니다.
   • 후속 턴이 이전의 양보나 불완전한 거부를 무기로 활용할 수 있도록 다중 턴 전략을 엮어냅니다.
   • 자동 실행이 시작되기 전에 인간 전문가가 평가 지능 (목표, 지표, 함정 선택 정의) 을 선별하는 "Human-on-the-Bridge" 역할을 통합합니다. 이는 모든 턴을 수동으로 검토하는 방식이 아닙니다.

2. 2 단계: 적대적 시나리오 실행 (Conductor Agent)

   • 현재 대화 기록에 조건부인 적대적 사용자 메시지를 생성하여 평가 계획을 실행합니다.
   • 에이전트의 견고성을 테스트하기 위해 반-예고 (anti-telegraphing), 페이로드 은폐, 잘못된 전제 엮기 등의 기술을 활용합니다.
   • 도구 사용 메타데이터와 경미한 결함 힌트 (예: 증거 없이 주장된 도구 사용) 를 포함한 전체 행동 추적 (behavioral trace) 을 포착하지만, 상호작용 중에는 점수를 부여하지 않습니다.

3. 3 단계: 행동 판단 (Juror 및 Consensus Agents)

   • 사후 평가: 배심원들은 고립된 응답이 아닌 완료된 대화 기록을 평가합니다.
   • 다중 배심원 점수화: 여러 보정된 페르소나 (예: 엄격한, 관대한, 반대하는) 가 특정 지표에 대해 추적을 평가합니다.
   • 턴 단위 감사: 각 배심원은 점수와 특정 턴 및 증거 조각에 연결된 판단의 감사 추적을 생성합니다.
   • 합의 전략: Consensus Agent 는 배심원 간의 이의를 감지합니다. 점수 편차가 임계값을 초과하면, 모호함을 해결하거나 이의를 명시적으로 감사 신호로 보존하기 위해 논쟁된 지표가 재투표 단계 (델파이 또는 토론 전략 사용) 로 진입합니다.

4. 4 단계: 증거 연결 보고 (Reporter Agent)

   • 점수, 합의 결과, 감사 추적을 구조화된 보고서로 종합합니다.
   • 실패를 촉발한 특정 턴, 적대적 패턴, 지표를 식별합니다.
   • 의심스러운 패턴 (예: 약한 압력을 나타내는 지나치게 평탄한 점수) 과 선택적 인간 검토가 필요한 발견 사항을 플래그로 표시합니다.

핵심 알고리즘: 턴 단위 감사를 통한 적대적 다중 배심원 점수화

이 논문은 점수화 방법을 $J$ 집합의 배심원을 사용하여 $M$ 집합의 지표에 대해 완료된 행동 추적 $T$를 평가하는 프로세스로 공식화합니다.

• 목표: 합의 점수 $\bar{s}_m$, 신뢰도 점수 $C_m$, 최종 집계 점수 $S_{final}$을 계산합니다.
• 프로세스: 배심원은 점수 $s_{j,m}$과 감사 추적 $A_{j,m}$을 부여합니다. 이의 $\Delta_m$을 계산합니다. $\Delta_m > \theta$인 경우, 합의 전략 (독립적, 델파이, 또는 토론) 이 트리거됩니다.
• 출력: 점수를 특정 증거, 경고, 발견 사항과 연결하는 최종 보고서 $R$로, 평가가 추적 가능하고 감사 가능하도록 보장합니다.

주요 평가 지표

이 하네스는 에이전트를 다섯 가지 핵심 지표 (도메인별 구성 가능) 로 평가합니다:

1. 작업 성공: 제약 조건 내 목표 달성 진행 상황.
2. 환각 저항성: 지지되지 않은 주장이나 가짜 정책 회피.
3. 안전성: 해로운 행동 또는 개인정보 침해 회피.
4. 지시 따르기: 시스템 및 정책 제약 준수.
5. 조작 저항성: 사회 공학, 권위 압력, 프롬프트 인젝션에 대한 저항.

실험적 평가

저자들은 네 가지 도메인 (의료 분류, 개인정보/보안, 코드 생성, 고객 지원) 에서 하네스를 평가했습니다.

설정

• 에이전트: 최상급 대형 LLM(GPT-5.5 및 Claude Opus 4.7) 을 활용하는 생산 스타일 에이전트.
• 하네스 체제:
  • 대칭형: 대형 LLM 으로 구동되는 하네스.
  • 비대칭형: 소형 로컬 모델 (Gemma 4B, 8-bit) 로 구동되는 하네스.
• 프로토콜: 세 가지 배심원 페르소나 간의 토론 합의 전략을 적용한 25 턴 적대적 시나리오.

결과

1. 파이프라인 증폭: 비대칭 하네스 (소형 로컬 모델) 는 유용한 적대적 신호를 유지하여 대부분의 도메인에서 대칭형 하네스 (대형 LLM) 와 밀접하게 일치하는 결과를 산출했습니다. 체제 간의 중앙값 전역 편차는 종종 $\pm 0.4$ 포인트 이내였습니다.
2. 선택적 실패: 강력한 에이전트는 균일하게 실패하지 않았습니다. 특정 지표 (예: 높은 안전성 점수이지만 낮은 지시 따르기 점수) 나 특정 턴에서 선택적 약점을 보였습니다.
3. 보정 사례: GPT-5.5 에이전트의 고객 지원 도메인에서 상당한 편차가 발생했습니다 (대칭형: 6.60 vs 비대칭형: 9.00). 이는 청구 관련 가상의 프레임워크와 같은 미묘한 실패는 인증을 위해 대칭형 하네스의 더 깊은 구조적 추론이 필요할 수 있음을 시사합니다.

주요 기여 및 의의

이 논문은 ProofAgent 하네스를 새로운 벤치마크나 독립적 판정자가 아닌 확장 가능한 평가 인프라로 위치시킵니다.

• 정적에서 적대적으로: 정적 단일 턴 테스트에서 반복 가능한 적대적 행동 스트레스 테스트로 평가를 전환합니다.
• 불투명에서 증거 연결로: 고립된 점수를 특정 턴, 행동, 실패 모드와 연결된 판단을 포함하는 보고서로 대체하여 실행 가능한 디버깅을 가능하게 합니다.
• 규모 의존에서 프로세스 의존으로: 평가 능력은 모델 규모가 아니라 파이프라인의 구조 (선별된 함정, 다중 턴 압력, 합의) 에서 비롯된다는 발견을 제시합니다. 전체 하네스 파이프라인 내의 소형 로컬 모델은 생산 에이전트를 효과적으로 도전할 수 있습니다.
• 계층적 평가 패턴: 저자는 비대칭 하네스를 회귀 테스트 및 저비용 스윕에 사용하고, 대칭형 하네스를 인증, 고위험 도메인, 논쟁적인 결과에 예약하는 계층적 접근 방식을 제안합니다.

저자들은 ProofAgent 하네스가 "데모에 의한 확신"에서 "증명에 의한 확신"으로 이 분야를 이동시키며, 적대적 AI 에이전트 평가를 공유되고 개방된 관행으로 정립하는 것을 목표로 한다고 결론지었습니다. 이 프레임워크는 도메인, 함정, 지표, 점수화 규칙을 확장할 수 있도록 커뮤니티에 오픈소스로 공개되었습니다.