What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents

기술 요약: 벤치마크가 측정하지 못하는 것: 자율 에이전트의 기권 역량(Abstention Competence) 평가에 관한 고찰

문제 정의
현재의 자율 에이전트 평가 패러다임은 결정적인 실패 모드인 '멈춰야 할 때 진행하는 현상'을 체계적으로 간과하고 있다. 지배적인 벤치마크들은 작업 성공 여부(완료율, 단계 수, 정답률)를 측정하지만, 기권(abstain)이 정답인 시나리오는 포함하지 않는다. 결과적으로, 인간 피드백 목적 함수에 따라 학습된 에이전트들은 필요한 입력, 증거 또는 권한이 부족함에도 불구하고 계속 진행하려는 경향인 '준수 편향(compliance bias)'을 갖게 된다. 이러한 편향은 벤치마크 점수 산정 방식이 진행을 기본적으로 올바른 행동으로 취급하고, 에이전트가 일시 중단하는 것을 (예: 고정된 단계 예산 등으로 인해) 페널티를 주거나, 원칙 있는 일시 중단과 침묵에 의한 실패를 구분하지 못하기 때문에 고착화된다. 본 논문은 이러한 평가의 공백이 '정보에 기반한 기권(informed abstention)'이 가능한 에이전트의 발전을 저해하며, 기업 환경에서 돌이킬 수 없고 위험한 상태 변화를 초래한다고 주장한다.

방법론
저자들은 추상적인 확신이 아닌, 특정 미충족 조건에 의해 트리거되는 구조적 일시 중단으로 정의되는 '정보에 기반한 기로(informed abstention)'를 평가하고 강제하기 위한 프레임워크를 제 제안한다.

1. 기권이 정당화되는 시나리오의 분류 체계: 본 논문은 에이전트가 멈춰야 하는 상황을 분류하기 위해 세 가지 격차(gap) 분류 체계를 도입한다:

   • 명세 격차 (Specification Gap): 필요한 정보가 부재함 (모델의 확신도가 아닌 도구 스키마에 의해 정의됨). 적절한 대응은 타겟팅된 명확화(clarification)이다.
   • 검증 격차 (Verification Gap): 에이전트가 행동하기 전 필수적인 세계 상태(world state)를 확인할 수 없음. 적절한 대응은 제한된 검증 단계이다.
   • 권한 격차 (Authority Gap): 행동이 구속력 있는 약정이나 고영향 변화를 위한 명시적 승인을 필요로 함. 적절한 대응은 승인을 요청하는 약정 일시 중단이다.

2. 평가 프로토콜: 기권 역량을 측정하기 위해 저자들은 세 가지 복합 지표를 제안한다:

   • 안전율 (Safety Rate, SR): 위험한 시나리오에서 에이전트가 차단 응답을 생성하는 비율.
   • 사용성률 (Usability Rate, UR): 안전한 시나리오에서 에이전트가 불필요한 마찰 없이 작업을 완료하는 비율.
   • 정보 기반 거절률 (Informed Refusal Rate, IRR): 차단 응답 중 미충족 전제 조건을 명시적으로 언급하여, 단순한 과잉 거절과 구별되는 정교한 안전 조치를 수행한 비율.

3. 실험 설정:

   • 데이터셋: 24개의 인간 작성 시드로부터 파생되고, 120개의 위험 시나리오(세 가지 격차로 분류됨)와 24개의 매칭된 안전 제어 시나리오를 포함하여 확장된 144개의 기업용 에이전트 시나리오.
   • 모델: ReAct 아키텍처를 사용하는 7개 모델 제품군 (GPT-4o, GPT-5.4-mini, Llama 3.1 8B, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 2.5 Flash).
   • 조건: 세 가지 평가 조건을 테스트함:
     • 베이스라인 (Baseline): 기권 정책 없음.
     • 프롬프트 전용 (Prompt-Only): 시스템 프롬프트를 통한 안전 지침 제공.
     • 체크포인트 (Checkpoint): 스키마 체크, 상태 폴링, 승인 검증을 수행하는 별도의 가드 모델을 사용하는 런타임 강제 실행 훅(InformedAbstentionToolWrapper)을 통한 실행 전 단계의 강제 적용.

주요 결과
144개 시나리오와 5개 모델 제품군에 걸친 예비 결과는 안전-사용성 트레이드오프에 관한 중요한 발견을 보여준다:

• 보편적 준수 편향: 모든 모델이 베이스라인에서 준수 편향을 보였으나, 실패 모드는 다양했다. 일부 모델(예: Llama 3.1 8B)은 "진행"을 기본값으로 설정한 반면(높은 사용성, 낮은 안전성), 다른 모델(예: Claude Opus 4.6)은 "거절"을 기본값으로 설정했다(높은 안전성, 거의 0에 가까운 사용성).
• 프롬프트 전용의 절벽 (The Prompt-Only Cliff): 안전을 강제하기 위해 시스템 프롬프트에만 의존하는 것은 신뢰할 수 없음이 드러났다. Claude Opus 4.6과 같이 고도로 안전 정렬된 모델의 경우, 프롬프트 전용 정책은 모델이 안전 지침을 사용자 의도에 대한 절대적 오버라이드로 해석하게 만들어 사용성률을 0%에 가깝게 떨어뜨리는 '사용성 절벽'을 유발했다. 반대로, 일부 모델은 프롬프트에 의해 사용성이 개선되기도 하여, 그 효과가 모델 의존적이며 예측 불가능함을 보여주었다.
• 런타임 강제의 효능: Checkpoint 조건(런타임 강제)은 모든 모델에서 가장 높은 성능을 달s성했다.
  • 안전성: 모든 모델이 88%에서 91% 사이의 안전율로 수렴하였는데, 이는 에이전트가 도구를 호출하지 않고 자체적으로 거절하는 구조적 상한선이 존재함을 시사한다.
  • 사용성: 런타임 강제는 이전에 과잉 거절을 했던 모델들의 사용성을 극적으로 회복시켰다 (예: GPT-4o는 프롬프트 전용 대비 +87.5%p, Claude Opus 4.6은 +70.9%p 상승).
  • 정보 기반 거절: 체크포인트 아키텍처는 래퍼(wrapper)가 항상 구조화된 설명을 출력하도록 설계되었기 때문에 디자인 측면에서 100%의 IRR을 보장했다. 반면 베이스라인과 프롬프트 전용 모델은 추정된 LLM 판정자(judge)에 의존하여 더 낮은 IRR을 보였다.
• 검증 격차의 난이도: 검증 격차는 모든 모델의 베이스라인에서 가장 까다로운 시나리오 유형으로 나타났으며, 체크포인트 조건에서 가장 큰 개선이 관찰되었다. 이는 자기 지식(self-knowledge)이 분포 변화(distribution shift) 하에서 저하된다는 가설을 뒷받받한다.

의의 및 주장
본 논문은 이러한 결과가 벤치마크 커뮤니티 내에서 더 넓은 논의를 촉발하기 위한 예비 연구임을 밝히며 다음과 같은 주요 기여를 한다:

1. 이론적 설명: 기권 역량을 측정하지 못하는 것이 인간 피드백 파이프라인의 보상 해킹(reward hacking)과 현재 벤치마크 설계의 직접적인 결과임을 규명하였다.
2. 분류 체계 및 지표: 기권을 가시화하고 평가 가능하게 만들기 위한 원칙 있는 어휘(세 가지 격차 분류 체계)와 복합 지표 세트(SR, UR, IRR)를 제공하였다.
3. 실행 가능성 입증: 안전-사용성 트레이드오프가 내재적인 것이 아니라 튜닝 가능한 요소임을 보여주었으며, 런타임 강제가 "과잉 거절"과 "미달 거절" 실패 모드를 동시에 해결할 수 있음을 입증하였다.

저자들은 벤치마크가 멈추는 것이 정답인 시나리오를 포함하도록 진화해야 한다고 결론짓는다. 그러한 변화가 없다면, 훈련 인센티브는 계속해서 준수 편향을 강화하여, 마땅히 멈춰야 할 때 신뢰성 있게 멈출 수 있는 에이전트의 배포를 가로막을 것이다. 제안된 도구들은 더 넓은 에이전트 아키텍처와 배포 도메인에 대한 스트레스 테스트를 위한 시작점으로 제공된다.