Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human

기술 요약: "감시는 용량을 가진다: 주관적이고 피로를 느끼는 인간에 맞춘 에이전트 가드 교정"

문제 정의
대규모 언어 모델(LLM) 에이전트가 코드를 제안하는 수준을 넘어 돌이킬 수 없는 작업(예: 코드 배포, 셸 명령 실행)을 수행하도록 전환됨에 따라, 표준적인 안전 메커니즘은 인간 참여형(human-in-the-loop, HITL) 승인 게이트가 되고 있다. 이 분야의 지배적인 가정은 두 가지이다: (1) "위험한" 작업에 대한 정답(ground-truth) 정의가 존재하며, (2) 인간 검토자는 요청의 양과 무관하게 신뢰성이 유지되는 완벽하고 무한히 가용한 오라클(oracle)이라는 점이다.

본 논문은 두 가정 모두 거짓이라고 주장한다. 첫째, 위험 판단은 주관적이고 맥락 의존적이어서 단일한 정답 레이블이 존재하지 않는다. 둘째, 인간 검토자는 시스템의 내생적 요소로서, 에스컬레이션(상신)의 양(부하)이 증가함에 따라 신뢰도가 저하된다. 이는 검로를 비우기 위해 악성 작업을 무심코 승인해 버리는 "승인 피로(approval fatigue)"로 이어진다. 결과적으로, 더 많은 작업을 에스컬레이션하는 가드 정책이 반드시 더 안전한 것은 아니다. 이는 진정한 위협에 필요한 유한한 주의력 예산을 고갈시켜, "모든 것을 에스컬레이션하라"는 원칙보다 엄격히 낮은 '안전 최적 에스컬레이션율'을 초래할 수 있다.

방법론
저자들은 에이전트 감시를 비대칭 비용 하에서의 선택적 분류 문제 및 자원 할당 문제로 구체화한다.

• 데이터셋: 의도적으로 어렵고 모호하며 적대적인 사례(예: 난독화된 rm -rf, package.json 수정, 비밀 정보 유출)에 가중치를 둔 125개의 정교하게 라벨링된 에이전트 작업 세트. 레이블은 safe(안전), approval(승인 필요), blocked(차단)로 분류된다.
• 가드 스코어링: LLM(기본값은 Haiku, 비교를 위해 Sonnet 사용)이 0~100 사이의 위험 척도로 작업을 스코어링한다. 명확한 사례는 결정론적 규칙(deterministic rules)이 처리한다.
• 측정 프레框架:
  • 노이즈 플로어(Noise Floor): 세 가지 LLM 페르소나(신중한, 실용적인, 엄격한 준수형)가 데이터셋을 라벨링하여 "위험"의 주관성을 정량화하고, 일치도를 계산하기 위해 Fleiss' $\kappa$를 사용하여 베이스라인을 설정한다.
  • 비용 민감형 교정: 결정 임계값($\theta$)을 스윕(sweep)하여 운영 곡선(Risk-Coverage, Expected Cost)을 생성한다. 비용은 비대칭적이다: 위험한 작업을 놓치는 것은 치명적(비용 50)인 반면, 오탐(false alarm)은 번거로운 수준(비용 1)이다.
  • 내생적 검토자 시뮬레이션: 리뷰어의 신뢰도가 용량 임계값 $C$를 초과하면 선형적으로 감소하는 피로 모델 $r(\ell)$을 적용한다. 시스템은 가드의 미검출(miss)과 피로로 인한 인간의 미검출을 모두 고려하여, 에스컬레이션 비율의 함수로서 "위험 통과(danger-through)"를 시뮬레이션한다.
  • 공격 시뮬레이션: 공격자가 단 하나의 악성 작업을 다수의 양호한 "필러(filler)" 작업 속에 숨겨 검토자의 용량을 고갈시키는 플러딩(flooding) 공격을 시뮬레이션한다.

주요 결과

1. 정답의 부재 (노이즈 플로어): 125개 작업에 대한 검토자 간 합의도는 보통 수준(Fleiss' $\kappa = 0.52$)에 불과했다. "실용적인" 페르소나는 87개의 작업을 안전하다고 라벨링한 반면, "신중한" 페르소나는 단 45개만을 안전하다고 라벨링했다. 이는 안전 레이블이 객관적 진리가 아니라 위험 허용 범위에 따라 달라지는 논쟁 가능한 영역임을 확인시켜 준다.
2. 가드의 측정 가능한 한계: 이 어려운 데이터셋에서 가드는 안전하게 자동 결정을 내릴 수 없다. 비대칭 비용 하에서의 비용 최소화 정책은 0%의 위험 누락을 달기 위해 "거의 모든 것을 에스컬레이션"하는 방향으로 수렴하며, 이는 높은 오탐률을 초결한다. 위험-커버리지 곡선의 아래 면적(AURC)은 0.374 $\pm$ 0.002로, 입력값의 모호성에 따른 가드의 내재적 한계를 나타낸다.
3. 역 U자형 안전 곡선: 검토자를 내생적 요소로 모델링하면 에스컬레이션 비율과 실제 안전성 사이에 역 U자 관계가 나타난다.
   • 낮은 에스컬레이션: 가드의 미검출(위험을 자동으로 허용)로 인해 위험 통과가 높음.
   • 높은 에스컬레이션: 검토자의 피로로 인한 미검찰(무심한 승인)로 인해 위험 통과가 높음.
   • 최적점: 안전 최적 에스컬레이션 비율은 100%보다 엄격히 낮다. 검토자 용량이 25일 때, 최적 비율은 64%이며, 이때 위험 통과는 42%인 반면, 전체 에스컬레이션(100%) 시에는 위험 통과가 57%에 달한다.
4. 플러딩 방어: "부하 인지형(load-aware)" 정책(일상적인 작업은 적게 에스컬레이션함)은 공격자가 피로를 유발하기 위해 필요한 노력을 유의미하게 증가시킨다. 편집증적인 정책(88% 에스컬레이션)은 단 50개의 필러 작업만으로도 40%의 성공률을 허용하지만, 부하 인지형 정책(26% 에스컬레이션)은 공격자가 약 100개의 작업을 쏟아붓기 전까지는 0%의 성공률을 유지한다.
5. 모델 의존성: 더 강력한 모델(Sonnet)은 성능을 약간 향상시키지만(AURC 0.351 vs. 0.373), 어려운 입력에 대한 인간의 감독 필요성을 제거하지는 못한다. 결과는 시드와 온도 설정에 대해 재현 가능하다.

기여 및 의의
저자들은 본 논문이 새로운 메커니즘을 주장하는 것이 아님을 명시한다: 피로 인지형 지연(FALCON), 제약 조건 하의 비용 민감형 지연(DeCCaF), 피로 기반 공격은 이미 확립된 선행 기술이다.

본 논문의 기여는 응용 및 측정 중심이다:

• 시스템 구현: 이러한 개념들을 LLM 에이전트의 행동 게이팅 설정에서 함께 작동하도록 구현한 오픈 소스 에이전트 방화벽 및 측정 장치를 제공한다.
• 경험적 측정: 에이전트 작업의 위험에 대한 "노이즈 플로어"를 측정함으로써, 주관적 영역에서 정답이 존재한다는 업계의 가정이 틀렸음을 입증한다.
• 감시의 교정: "내 가드가 좋은가?"라는 질문을 추측에서 측정 가능한 곡선(AURC, 운영 지점)으로 전환한다.
• 역 U자형의 입증: LLM 에이전트라는 특정 맥락에서 "더 많은 감시"가 "더 적은 안전"을 초래할 수 있음을 보여주며, 안전 최적 정책은 최대 에스컬레이션이 아닌 중간 단계의 에스컬레이션 비율임을 증명한다.

한계 및 범위
저자들은 다음과 같은 한계를 겸허히 인정한다:

• "역 U자형"은 실제 인간 피험자로부터 얻은 경험적 발견이 아니라, 시뮬레이션된 피로 곡선에 기반한 모델링 결과이다.
• 데이터셋의 크기가 작고(125개 작업) 단일 도메인(코딩 에이전트)이다. 따라서 결과는 도구의 성능을 보여주는 시연이지, 전체 집단에 대한 추정치가 아니다.
• 검토자 페르소나는 실제 인간이 아닌 LLM 대리인(proxy)이다.
• 본 연구의 범위는 주관적 판단과 지연된 결과가 따르는 도메인(예: 에이전트 게이팅, 콘텐츠 모더레이션)에 국한되며, 객관적 진리가 존재하는 도메인(예: 은행 사기 탐지)은 포함하지 않는다.

결론
본 논문은 에이전트 감시를 인간의 주의력이 유한한 자원인 '자원 할당 문제'로 재정의한다. 가드의 에스컬레이션 정책은 단순히 위험을 탐지하는 것뿐만 아니라, 검토자가 결정적인 위험을 탐지할 수 있는 용량을 보존하도록 교정되어야 한다고 주장한다. 에스컬레이션 볼륨과 검토자 피로 사이의 트레이드오프를 측정함으로써, 시스템은 안전을 극대화하는 운영 지점을 식별하며, "모든 것을 에스컬레이션하는 것"이 엄격히 차선책임을 입증한다.