Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents

기술 요약: 추론은 적게, 검증은 더 많이 (Reason Less, Verify More)

문제점: 침묵하는 정책 위반 실패 (Silent Policy-Violation Failures)
본 논문은 도구 사용 대규모 언어 모델(LLM) 에이전트에서 발생하는 특정하고 중대한 고위험 실패 모드인 침묵하는 정책 위반을 식별한다. 많은 현실적인 환경(특히 $\tau^2$-bench 항공 도메인)에서 도구는 "정책 허용적(policy-permissive)"이다. 이는 도구가 구문적으로 유효한 호출이라면, 설령 그 동작이 도메인 정책을 위반하더라도(예: 환불 불가 티켓 취소 또는 변경 불가능한 승객 수 수정) 실행한다는 것을 의미한다.

예외를 반환하며 호출을 거부하는 "시끄러운(loud)" 에러와 달리, 이러한 위반은 **침묵하는 잘못된 상태(silent wrong state)**를 초래한다. 데이터베이스는 손상되고 작업은 실패하지만, 에이전트는 아무런 에러 신호를 받지 못하며 성공했다고 자신 있게 보고할 수도 있다. 에이전트의 내부 트레이스에는 위반에 대한 어떠한 징후도 없기 때문에 스스로 수정할 수 없다. 저자들은 이것이 순수한 능력의 결핍이라기보다는 신뢰와 안정성의 문제라고 주장한다. 즉, 에이전트는 상태를 변경하기 전에 정책 규칙을 적용하지 못하고, 환경은 이를 강제하지 못하는 것이다.

방법론: 결정론적 사전 실행 게이트 (Deterministic Pre-Execution Gates)
이를 해결하기 위해 저자들은 가벼운 개입 방안인 결정론적, 읽기 전용 사전 실행 게이트를 제안한다.

• 메커니즘: 변동(mutating) 도구 호출이 실행되기 전, 게이트는 명시적이고 결정론적인 도메인 정책 규칙에 따라 제안된 인자와 현재 데이터베이스 상태를 검사한다.
• 작동 방식: 게이트는 순수 함수(LLM 호출 없음, 쓰기 작업 없음)로서, allow(허용) 또는 reject(거부)와 함께 구조화된 이유를 반환한다. 거부될 경우, 도구 호출은 차단되며 에이전트는 구조화된 거절 메시지를 받아 재계획(re-plan)을 강제당한다.
• 범위: 게이트는 상태 결정 가능한 정책(현재 상태와 인자에 대한 결정론적 술어로서 표현 가능한 규칙)에 작동한다. 이들은 런타임에 모호함을 해결하거나 자연어 정책 문서를 해석하려고 시도하지 않으며, 코드로 이미 인코딩된 규칙을 강제한다.
• 구현: 저자들은 항공 도메인을 위한 네 가지 게이트 세트를 구현했다:
  1. cancellation_eligibility (취소 적격성): 운임 클래스, 시점, 보험, 탑승 구간 등을 확인한다.
  2. baggage_allowance (수하물 허용량): 객실 등급/멤버십 규칙에 따른 수하물 업데이트를 검증한다.
  3. passenger_count (승객 수): 승객 수 변경 시도를 차단한다(변경 불가능).
  4. must_read_before_write (쓰기 전 읽기 필수): 에이전트가 기록을 쓰기 전에 해당 레코드를 읽었는지 확인한다.

실험 설정

• 벤치마크: $\tau^2$-bench 항공 도메인 (50개 작업).
• 모델:
  • 보급형 티어 (Budget Tier): gpt-4o-mini (작업당 5회 시행, 총 250회 시행).
  • 프런티어 티어 (Frontier Tier): gpt-5.2 (기본 추론, 작업당 5회 시행, 미복제).
• 대조군: 정책이 스스로를 강제하는 리테일(retail) 도메인과 에러가 주로 시끄럽거나 스키마 기반인 BFCL 벤치마크를 음성 대조군으로 포함했다.
• 지표: pass1 (평균 성공률) 및 pass_k (독립적인 $k$번의 시행이 모두 성공할 확률, 신뢰도 측정). 통계적 유의성은 쌍체 부트스트랩 재표집(paired bootstrap resampling)을 통해 평가되었다.

주요 결과

1. 종합적 개선: 보급형 모델(gpt-4o-mini)에서 네 가지 게이트 세트는 pass1 성공률을 29.6%에서 42.0%로 높였다(+12.4%포인트). 이 개선은 통계적으로 유의미했다 ($P=0.0012$).
2. 재현성: 이 상승폭은 별도의 15-시드 복제 세트에서도 재현되었다 (+12.3%포인트, $P=0.0008$), 이는 결과가 샘플링 노이즈가 아님을 확인해 준다.
3. 효과의 집중도: 개선은 게이트가 실제로 작동하는 곳에 집중되어 있다. 게이트가 작동한 26개 작업에서 성공률은 +19.2%포인트 상승했다. 게이트가 한 번도 작동하지 않은 24개 작업에서의 개선은 미미했다 (+5.0%포인트, 신뢰 구간이 0을 포함함).
4. 신뢰도 (pass_k): 게이트는 일관성을 크게 향상시켰다. 기존의 pass5 (5회 시행 모두 성공)는 8.0%로 떨어졌으나, 게이트 적용 버전은 26.0%를 유지하여 기존보다 3배 이상 높은 수치를 보였다.
5. 프런티어 모델 증거: gpt-5.2에서도 동일한 게이트가 성공률을 61.2%에서 71.6%로 개선했다 (+10.4%포인트). 다만 저자들은 이것이 암시적인 증거일 뿐임을 언급했다 (미복제, $n=5$). 그럼에도 불구하고 이는 더 강력한 모델에서도 실패 모드가 지속됨을 확인해 준다.
6. 음성 대조군:
   • 리테일 도메인: 게이트는 이득을 주지 못했다(약간의 부정적 추정치 포함). 리테일 도구들은 이미 전제 조건을 스스로 강제하고 있어 "침묵하는 잘못된 상태" 클래스가 존재하지 않기 때문이다.
   • BFCL: 게이트는 한 번도 작동하지 않았다. 에러가 주로 스키마 불일치와 같은 "시끄러운" 에러였기 때문이다.

기여 및 주장
본 논문은 네 가지 구체적인 기여를 한다:

1. 실패 특성화: "정책 허용적 도구에서의 침묵하는 정책 위반"을 에이전트가 정책을 위반하고 도구는 실행되지만 에러 신호가 생성되지 않는 독특한 신뢰 실패로 정의한다.
2. 결정론적 개입: 상태 결정 가능한 술어를 통해 변동 호출을 검사하는 읽기 전용 사전 실행 게이트를 구현하고 평가한다.
3. 재현 가능한 실증적 결과: 네 가지 게이트 세트를 사용하여 $\tau^2$-bench 항공 도메인에서 작업 성공률의 재현 가능한 상승을 입증한다.
4. 경계 분석: 이 메커니즘은 도구가 정책을 스스로 강제하거나 작업이 정책 위반을 유발하지 않는 경우에는 효과가 없음을 보여줌으로써, 도구가 정책 허용적이고 정책이 상태 결정 가능할 때만 유효함을 보여준다.

의의 및 한계
저자들은 이를 일반적인 에이전트 안전 솔루션이 아니라 제한된 평가 및 신뢰도 결과로 규정한다.

• 의의: 본 연구는 정책 허용적 환경에서, 결정론적 검증이 동작 경계에서 수행될 때 침묵하는 실패의 상당 부분을 회복하여 이를 에이전트가 복구할 수 있는 명시적 거절로 바꿀 수 있음을 보여준다. 이는 작업 성공과 안전이 항상 상충하는 것은 아님을 강조한다. 금지된 쓰기를 차단하는 것이 최종적인 작업 상태를 개선할 수 있기 때문이다.
• 한계:
  • 결과는 단일한 긍정 도메인(항공)에 기반하고 있으며, 일반성은 부정 대조군에 의해 뒷받침되는 추측이다.
  • 게이트가 반드시 작업 복구를 보장하는 것은 아니다. 에이전트는 거절 이후 루프에 빠지거나 준수 가능한 계획을 찾는 데 실패할 수 있다.
  • 게이트의 품질이 균등하지 않다. 하나의 게이트(cancellation_eligibility)가 대부분의 상승을 견인했으며, 다른 게이트들의 정밀도는 낮았다.
  • 이 방법은 정책가 상태 결정 가능해야 한다. 법적 해석이나 인간의 판단이 필요한 규칙은 처리할 수 없다.
  • 프런티어 모델 결과는 미복제 상태이므로 통계적 근거라기보다 보조적 증거로 취급해야 한다.

결론적으로, 벤치마크와 배포 하네스는 "시끄러운" 에러와 "침묵하는" 잘못된 상태를 구분해야 하며, 모델의 능력이 향상되더라도 결정론적 검증은 여전히 가치 있는 계층으로 남을 것이다.