💬 NLP

Outcome Monitors: Recovery Affordances for Silent Tool Failures

이 논문은 결과 계약을 검증하고 복구 도구가 포함된 영수증을 발행함으로써 침묵하는 도구 실패를 감지하여 에이전트 평가의 작업 완료율을 크게 향상시키는 메커니즘인 아웃컴 모니터(Outcome Monitors)를 소개하며, 현재의 탐지가 채굴된 어휘에 크게 의존하고 있다는 점을 강조한다.

원저자: Sugam Panthi, Rabab Abdelfattah

게시일 2026-08-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sugam Panthi, Rabab Abdelfattah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다른 컴퓨터 프로그램과 대화하며 업무를 수행할 수 있는 디지털 비서를 상상해 보십시오. 이 비서는 기상 서비스에 예보를 요청하거나, 특정 품목의 재고를 확인하거나, 항공권을 예약할 수도 있습니다. 이러한 비서들이 강력한 이유는 자신의 기억력을 훨씬 넘어 멀리까지 닿을 수 있기 때문이지만, 이들은 '받은 답변이 사실일 것'이라고 가정하는 취약한 신뢰에 의존합니다. 보통 프로그램이 응답에 실패하면 비서는 무언가 잘못되었음을 알게 됩니다. 하지만 때로는 응답이 완벽하게 정상적인 것처럼 보임에도 불구하고 그것이 거짓인 경우가 있습니다. 컴퓨터가 유효한 응답처럼 보이는 캐시된 오류 페이지를 반환하거나, 결함으로 인해 음수의 가격을 반환할 수도 있습니다. 비서는 완벽하게 형식이 갖춰진 숫자를 보고 이를 사실로 받아들이며, 모래 위에 세워진 기초 위에 다음 단계를 구축합니다. 이것은 소리 없이 발생하는 오류이며, 비서가 자신 있게 헛소리를 만들어내도록 만드는 침묵의 실패입니다.

미시시피 대학교의 연구진은 비서의 진행을 중단시키지 않으면서도 이러한 '침묵의 거짓말'을 잡아내는 방법을 개발했습니다. 그들은 이 발명품을 "아웃컴 모니터(Outcome Monitors)"라고 부릅니다. 이 모니터는 비서를 완벽하게 만들려고 강요하거나 비서의 행동을 차단하는 대신, 답변이 도착할 때 이를 확인하는 조용한 관찰자 역할을 합니다. 모니터는 결과물을 과거에 시스템이 올적으로 작동하는 것을 관찰하며 학습한 일련의 예상 규칙, 즉 "계약(contracts)"과 비교합니다. 만약 답변이 규칙을 어긴다면(예를 들어, 돈을 지불해야 하는 품목에 대해 음수 가격이 나오는 경우), 모니터는 제어권을 가져가지 않습니다. 모니터는 잘못된 답변을 삭제하거나 비서에게 다시 시도하도록 강요하지 않습니다. 대신, 대화 속에 메모 한 장을 끼워 넣습니다. "영수증(receipt)"이라고 불리는 이 메모는 구체적인 오류를 지적하고, 비서가 문제를 해결하기 위해 사용할 수 있는 다른 도구들의 목록을 제안합니다. 그러면 비서는 이전의 답변이 잘못되었다는 지식과 회복을 위한 지도와 함께, 다음에 무엇을 할지 스스로 결정합니다.

연구진은 이러한 침묵의 오류를 의도적으로 주입한 일련의 까다로운 과제들을 통해 이 시스템을 테스트했습니다. 그들은 비서가 스스로 실수를 처리하도록 내버려 두었을 때와 이 도움이 되는 영수증을 받았을 때, 서로 다른 컴퓨터 모델들이 어떻게 수행하는지를 관찰했습니다. 결과는 명확했습니다. 모델들이 영수증을 받았을 때, 훨씬 더 많은 과제를 성공적으로 완수했습니다. 한 가지 어려운 테스트 세트에서, 과제 완료율은 약 11%에서 28%로 급증했습니다. 이러한 개선은 다양한 회사의 여러 가지 유형의 컴퓨터 모델에 걸쳐 공통적으로 나타났습니다. 성공의 핵심은 단순히 오류가 발생했다는 것을 아는 것이 아니라, 문제를 해결하기 위해 어떤 다른 도구들을 사용할 수 있는지 정확히 아는 것이었습니다. 연구진이 영수증에서 회복 도구 목록을 제거했을 때 개선 효과가 사라졌는데, 이는 구체적인 다음 단계에 대한 제안이 메시지의 가장 가치 있는 부분이었음을 증명합니다.

하지만 이 시스템이 모든 문제를 해결하는 마법의 치료제는 아닙니다. 연구진은 이 혜택이 오류가 과제를 완전히 중단시킬 정도로 심각할 때 가장 두드러진다는 것을 발견했습니다. 만약 오류가 경미하거나 실수가 있음에도 과제를 마칠 수 있는 상황이라면, 영수증은 결과에 큰 변화를 주지 못했습니다. 어떤 경우에는 시스템이 실제로 존재하지 않는 오류를 표시하여 비서를 혼란스럽게 하고 결과적으로 더 나쁜 결과를 초과하기도 했으나, 이런 사례는 드물었습니다. 또한 이 연구는 시스템이 인식하도록 학습된 오류와 유사한 오류를 잡아낼 때 가장 잘 작동한다는 것을 보여주었습니다. 연구진이 시스템이 본 적 없는 완전히 새로운 유형의 오류를 도입했을 때, 문제를 감지하는 능력은 현저히 떨어졌습니다. 이는 모니터가 알려진 유형의 결함을 포착하는 데는 강력한 도구이지만, 컴퓨터가 거짓말을 할 수 있는 모든 가능성을 아직은 인식하지 못한다는 점을 시사합니다.

궁극적으로, 이 연구는 고장 난 디지털 비서를 고치는 방식에 대한 우리의 생각을 재정립합니다. 연구진은 실수를 방지하기 위해 딱딱한 벽을 쌓는 대신, 문제를 강조하고 앞으로 나아갈 길을 제시하며 최종 결정은 비서 스스로 내리게 하는 시스템을 제안합니다. 이 연구는 에이전트에게 무엇이 잘못되었는지에 대한 명확한 신호와 구체적인 대안 목록을 제공하는 것이, 침묵의 실패로부터 회복하는 능력을 극적으로 향상시킬 수 있음을 입증합니다. 이 기술이 아직 완벽하지 않고 모든 오류를 잡아낼 수는 없지만, 지능형 시스템을 현실 세계에서 더 견고하고 신뢰할 수 있게 만드는 실질적이고 효과적인 방법을 제공합니다.

기술 요약: 침묵하는 도구 실패(Silent Tool Failures)를 위한 결과 모니터(Outcome Monitors)

문제 정의

외부 도구 호출을 통합하는 언어 에이전트는 치명적인 취약점에 직면해 있습니다: 바로 **침묵하는 실패(silent failures)**입니다. 명시적 오류(예: 타임아웃)는 쉽게 감지되는 반면, 에이전트는 기대하는 형식으로 도착했으나 의미론적으로 틀렸거나, 오래되었거나, 물리적으로 불가능한 데이터(예: 캐싱된 에러 페이지 또는 음수 가격)를 받게 되는 경우가 빈번합니다. 이러한 경우, 에이전트는 결함이 있는 데이터를 사실로 받아들여 "확신에 찬 허구(confident fabrication)"를 생성하고 결국 작업 실패로 이어집니다.

현재의 에이전트 루프는 원시 관찰값으로부터 불일치를 추론하는 것을 거대언어모델(LLM)에 의존하지만, 이 과정은 종로히 실패하는 경우가 많습니다. 반대로, 수정을 강제하는 엄격한 런타임 가드는 개선된 행동이 모델의 추론 능력 때문인지 아니면 가드의 개입 때문인지 모호하게 만듭니다. 따라서 에이전트의 행동 공간을 제한하거나 스스로 복구를 수행하지 않으면서도 위반 사항을 감지할 수 있는 메커니즘이 필요합니다.

방법론

저자들은 **감지(detection)**와 **복구(recovery)**를 분리하는 결정론적 시스템인 **결과 모니터(Outcome Monitors)**를 소개합니다.

핵심 구성 요소

결과 계약(Outcome Contracts): 도구 호출과 그 결과 사이의 기대되는 관계를 정의하는 불변량(invariants)입니다. 이는 두 가지 소스에서 유도됩니다:
- 채굴된 계약(Mined Contracts): 보수적인 수용 알고리즘(예: 양수성, 범주형 도메인, 아핀 보존 관계 확인)을 사용하여 정규(깨끗한) 작업 분리 트레이스로부터 추출됩니다.
- 공개 스키마(Public Schemas): 공개 API 응답 스키마로부터 유도됩니다 (AppWorld에서 사용됨).
감지기(The Detector): 관련 계약에 대해 도구 결과( $y_t$ )를 평가하는 런타임 체커입니다. 위반이 발견되면 일련의 위반 기록 $V_t$ 를 생성합니다.
권고 영수증(The Advisory Receipt): 위반 발생 시, 시스템은 에이전트의 컨텍스트에 비구속적인 영수증을 추가합니다. 이 영수증에는 다음이 포함됩니다:
- 진단 증거(diagnostic witness): (예: "기대값 $\ge 0$ , 관측값 $-3$").
- 복구 가능 수단(recovery affordances) 목록: 에이전트가 사용할 수 있는 공개 복구 도구(대체 경로 또는 대체 도구).
- 핵심적으로, 이 영수-증은 행동을 제한하거나, 수정을 실행하거나, 벤치마크 라벨을 드러내거나, 평가자와 상담하지 않습니다. 에이전트는 영수증을 무시하거나 임의의 행동을 선택할 자유를 유지합니다.

시스템 아키텍처

인터페이스는 "감지 및 권고(Detect and Advise)" 패턴을 따릅니다 (그림 1).

입력: 도구 호출 $a_t$ , 결과 $y_t$ .
프로세스: 체커 $C$ 가 $(a_t, y_t)$ 를 위반 사항 $V_t$ 로 매핑합니다. $V_t$ 가 비어 있지 않으면, 인코더 $E_s$ 가 $V_t$ 와 (태스크 솔루션이 아닌 공용 도구 매핑에서 유도된) 복구 도구 세트 $R_t$ 를 포함하는 영수증 $\rho_t$ 를 생성합니다.
출력: 에이전트는 원래의 결과 $y_t$ 에 $\rho_t$ 가 보강된 형태를 전달받습니다. 행동 집합 $A_t$ 는 변경되지 않습니다.

주요 기여

새로운 인터페이스 설계: 본 논문은 특정 수정을 강제하거나 실행을 차단하는 대신, 복구 가능 수단이 포함된 권고 영수증을 통해 위반을 알리는 인터페이스를 제안합니다. 이는 에이전트의 주체성을 보존하면서 구조화된 가이드를 제공합니다.
비-오라클(Non-Oracle) 구축: 계약은 분리된 깨끗한 트레이스나 공개 스키마로부터 채굴되므로, 시스템이 구축 단계나 런타임 중에 태스크 솔루션, 골드 시퀀스 또는 숨겨진 복구 경로에 의존하지 않음을 보장합니다.
실증적 검증: 연구는 세 가지 프로바이더 제품군(DeepSeek, Qwen, MiniMax)과 두 가지 환경(ToolMaze, $\tau$ -bench)에 걸쳐 접근 방식을 평가하며, 엄격한 평가를 위해 고정된 태스크 분리 워크플로우를 사용합니다.

결과

연구는 결과 모니터가 활성화되었을 때, 특히 결함이 기본 완료를 가로막는 시나리오에서 태스크 완료율이 크게 향고됨을 보고합니다.

ToolMaze 확인: 네 가지 모델(DeepSeek V4 Flash/Pro, Qwen 3.7 Plus/Max)에 대해, 완료율이 10.9%(베이스라인)에서 28.1%(권고 적용)로 증가하여 +17.2 퍼센트 포인트의 이득을 보였습니다 ( $p < .00001$ ). MiniMax M3를 이용한 별도의 재현 실험에서도 유사한 이득(+18.75 포인트)을 보였습니다.
$\tau$ -bench Retail: 상태 기반 리테일 환경에서, 완료율이 DeepSeek V4 Flash의 경우 +14.0 포인트, DeepSeek V4 Pro의 경우 +12.0 포인트 개선되었습니다. 이득은 범주형 상태 위반(+28.0 포인트)에 집중되었으나, 베이스라인 완료율이 이미 높았던 아핀 보존 위반에서는 유의미한 효과를 보이지 않았습니다.
작동 메커니즘: 절제 연구(Ablation studies) 결과, 복구 도구 목록이 이득을 이끄는 핵심 요소임이 밝혀졌습니다. 도구 목록을 제거하면 개선 효과가 사라졌으며, 도구 목록 없이 일반적인 경고나 진단 세부 정보만 추가했을 때는 측정 가능한 이득이 나타나지 않았습니다.
검토자와의 비교: 결과 모니터는 완료율과 비용 측면 모두에서 별도의 LLM 검토자를 사용하는 "강화된 에이전트(Reinforced Agent)"의 메커니즘 충실한 포팅 버전보다 우수했습니다 (검토자 사용 시 약 498%의 비용이 드는 것에 비해 약 7%의 비용만 추가됨).
감지의 한계:
- 어휘 경계: 계약 어휘를 모르는 상태에서 작성된 사고 유래 결함에 대해 테스트했을 때, 감지율이 **46%**로 떨어졌으며, 특히 그럴듯한 문자열 내의 오염에 취약했습니다.
- 클린 트래픽: 깨끗한(방해받지 않은) 워크플로우에서 시스템은 약 1.4%의 사례에서 거짓 양성(false-positive) 영수증을 발행했으며, 이는 상쇄되는 효과를 가져와 순 이득이 제로가 되었습니다.
- 높은 베이스라인 시나리오: 결함에도 불구하고 대부분의 태스크를 완료하는 환경(예: AppWorld 홀드아웃 테스트)에서는 순 이득이 미미했습니다.

의의 및 주장

본 논문은 결과 모니터가 침묵하는 실패의 복구를 관측 가능성(observability) 문제로 프레임화한다고 주장합니다. 결과는 유효한 복구 행동이 이미 에이전트의 도구 레퍼토리에 존재하지만, 명시적인 신호 없이는 모델에게 "가독성"이 없다는 점을 시사합니다.

겸허한 주장: 저자들은 이 시스템이 비구속적임을 강조합니다. 즉, 안전을 보장하거나 모든 해악을 방지하지는 못합니다(쌍방 손실이 관찰됨). 이득은 결함이 완료를 실제로 가로막는 곳에 집중되어 있으며, 시스템이 모든 맥락에서 보편적으로 유익한 것은 아닙니다.
열린 과제: 논문은 계약 어휘를 넘어 감지를 확장하는 것이 여전히 해결되지 않은 과제임을 명시합니다. 현재 시스템은 주입된 결함과 채굴된 불변량 사이의 정렬에 의존하고 있습니다. 자연적으로 발생하는 예상치 못한 실패로부터의 복구는 아직 해결되지 않았습니다.
설계 철학: 감지와 복구를 분리함으로써, 이 접근 방식은 언어 에이전트가 경직된 런타임 가드에 의존하는 대신 최선의 복구 경로를 선택하기 위해 자신의 추론 능력을 활용할 수 있도록 합니다.

요약하자면, 결과 모니터는 계약 위반과 가용한 복구 도구를 드러냄으로써, 에이전트의 자율성을 해치지 않으면서도 침묵하는 도구 실패에 대한 에이전트의 견고성을 개선하는 훈련 불필요(training-free)의 결정론적 메커니즘을 제공하며, 결함이 많은 시나리오에서 상당한 완료율 상승을 달성합니다.