💻 computer science

ContractBench: Can LLM Agents Preserve Observation Contracts?

본 논문은 현재 최첨단 LLM 에이전트가 세션 토큰 및 URL 과 같은 관찰 계약의 시간적 유효성과 바이트 수준의 무결성을 유지하는 데 자주 실패함을 드러내는 결정론적 벤치마크인 ContractBench 를 소개하며, 이 능력은 모델 크기와 단조롭게 확장되지 않으며 개선을 위해서는 특정 실패 인지 훈련이 필요함을 밝힙니다.

원저자: Jicheng Wang, Yifeng He, Zili Wang, Hanwen Xing, Arkaprava De, Hao Chen

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jicheng Wang, Yifeng He, Zili Wang, Hanwen Xing, Arkaprava De, Hao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "CONTRACTBENCH: LLM 에이전트는 관찰 계약을 유지할 수 있는가?"라는 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

핵심 아이디어: "디지털 인계" 문제

당신이 매우 똑똑하지만 다소 서툰 로봇 비서를 고용하여 용건을 봐달라고 가정해 보십시오. 당신은 로봇에게 이렇게 말합니다: "은행에 가서 임시 열쇠를 받아서 그 열쇠로 금고 문을 열어."

현실 세계에서 로봇이 열쇠를 떨어뜨리거나, 열쇠의 모양을 바꾸거나, 만료된 열쇠를 사용하려고 한다면 금고는 열리지 않습니다. 로봇이 실패한 이유는 무엇을 해야 할지 몰라서가 아니라, 인계 과정의 구체적인 세부 사항을 처리하지 못했기 때문입니다.

이 논문은 이러한 세부 사항을 "관찰 계약 (Observation Contracts)"이라고 부릅니다.

계약: 도구 (예: 은행 API) 가 로봇에게 데이터 (예: 임시 비밀번호나 서명된 링크) 를 제공할 때, 그 데이터에는 두 가지 보이지 않는 규칙이 따릅니다.
1. 만료일: 지금 사용해야 하며, 그렇지 않으면 쓸모없어집니다.
2. "손대지 마" 규칙: 글자 하나하나 그대로 복사해야 합니다. 쉼표나 공백 하나만 바꿔도 작동이 멈춥니다.

저자들은 오늘날 가장 똑똑한 AI 에이전트조차 이러한 규칙을 따르는 데 매우 서툴다는 사실을 발견했습니다. 그들은 종종 열쇠를 떨어뜨리거나, 녹이거나, 다음 날 사용하려고 시도합니다.

새로운 테스트: CONTRACTBENCH

이를 증명하기 위해 연구자들은 CONTRACTBENCH라는 새로운 테스트를 개발했습니다. 이를 자동차 운전 면허 시험이라고 생각하되, 대신 자동차 운전 대신 에이전트가 다음 사람에게 깨지기 쉽고 시간 제한이 있는 패키지를 전달해야 하는 디지털 장애물 코스를 navigat 해야 하는 시험이라고 상상해 보십시오.

코스: 10 초 만에 죽는 링크로 파일을 다운로드하거나, 완벽하게 입력해야 하는 코드로 로그인하는 등 33 가지 다른 시나리오가 있습니다.
규칙: 이 테스트는 엄격한 컴퓨터 프로그램 (인간 심사관 없음) 이 수행합니다. "가상 시계"를 사용하여 에이전트가 너무 느린지 확인하고, "디지털 지문 스캐너"를 사용하여 에이전트가 코드 속의 글자 하나를 변경했는지 확인합니다.
점수: 에이전트가 시간 제한을 초과하거나 코드의 철자를 실수하면 낙제합니다.

그들이 발견한 것 (연구 결과)

연구자들은 OpenAI, Anthropic, Google 및 오픈소스 팀의 최신이자 가장 유명한 모델을 포함하여 38 가지 다른 AI 모델을 테스트했습니다. 일상적인 용어로 번역된 그들의 발견은 다음과 같습니다.

1. 가장 "똑똑한" 로봇조차 실패합니다

발견: 어떤 모델도 테스트의 80% 를 통과하지 못했습니다. 가장 좋은 모델 (Claude Opus 4.6) 은 약 78% 만 획득했습니다.
비유: 세상에서 가장 똑똑한 학생이 수학 시험을 본다고 상상해 보십시오. 그들은 복잡한 미적분 문제를 풀 수 있지만, 10 자리 숫자를 오타 없이 완벽하게 복사하라고 요청하면 여전히 22% 의 확률로 틀립니다. "똑똑하다"는 것이 "신중하다"는 뜻은 아닙니다.

2. "마법의 절벽" (Qwen 3.5)

발견: 한 특정 모델 계열 (Qwen 3.5) 에서 능력의 급격한 상승이 있었습니다. 작은 40 억 파라미터 모델은 **0%**만 정확했습니다. 약간 더 큰 90 억 파라미터 모델은 **56%**로 급등했습니다.
비유: 레벨 9 에 도달할 때까지 쓸모없던 비디오 게임 캐릭터와 같습니다. 레벨 8 에서는 열쇠를 잡을 수도 없습니다. 레벨 9 에서는 갑자기 열쇠를 부드럽게 잡는 법을 배웁니다. 이는 서서히 개선된 것이 아니라, 데이터를 변경하지 않는다는 것을 아는 절제라는 특정 기술의 갑작스러운 "각성"이었습니다.

3. 더 크다고 항상 좋은 것은 아닙니다 (GPT-5 롤러코스터)

발견: GPT-5 모델 계열이 발전함에 따라 성능은 상승했다가 추락했다가 다시 상승했습니다.
비유: 요리사가 새로운 레시피 책을 받는다고 상상해 보십시오.

셰프 A (GPT-5): 완벽한 케이크를 만듭니다.
셰프 B (GPT-5.1): 더 "똑똑한" 버전의 책을 얻지만 설탕을 너무 많이 넣어 레시피를 망칩니다 (구체적으로, 재료를 복사하는 대신 변경하기 시작했습니다).
셰프 C (GPT-5.2): 레시피를 수정하고 완벽한 케이크를 다시 만듭니다.
이 논문은 AI 를 "더 똑똑하게" 만들거나 "더 대화형"으로 만드는 것이 때로는 엄격하고 지루한 규칙을 따르는 능력을 악화시킬 수 있다고 제안합니다.

4. "베이스" 모델은 할 수 없습니다

발견: 채팅하거나 지시를 따르도록 "학습"되지 않은 모델 (Base 모델) 은 테스트에서 0% 를 기록했습니다. 지시 따는 법을 배운 모델 (Instruct 모델) 만 통과할 수 있었습니다.
비유: 날것의 점토 덩어리 (Base 모델) 는 모양을 유지할 수 없습니다. 컵에 물을 담을 수 있게 하려면 조각 (후학습) 을 해야 합니다. 이러한 계약을 따르는 능력은 자연스러운 것이 아니라 가르쳐야 합니다.

5. "힌트"가 효과가 있습니다

발견: 연구자들이 AI 에게 정확히 무엇을 잘못했는지 (예: "코드의 글자를 변경했습니다") 알려주었을 때, AI 는 실수를 수정하고 테스트를 통과할 수 있었습니다.
비유: 아이에게 "공을 떨어뜨렸어"라고 말하면 다시 시도해서 잡을 수 있습니다. 하지만 단순히 "다시 해봐"라고만 말하면 다시 떨어뜨릴 수 있습니다. 구체적인 피드백이 오류를 수정하는 열쇠였습니다.

이것이 중요한 이유 (논문에 따르면)

이 논문은 우리가 AI 를 "퍼즐을 풀 수 있는지" 또는 "이야기를 쓸 수 있는지"로 테스트해 왔다고 주장합니다. 하지만 현실 세계에서 AI 에이전트는 정확성이 모든 것인 일을 수행하는 데 자주 사용됩니다.

AI 에이전트가 은행 계좌를 관리한다면 거래 코드에서 숫자 하나를 변경할 수 없습니다. 서버를 관리한다면 만료된 비밀번호를 사용할 수 없습니다.

결론: 현재의 AI 에이전트는 훌륭하지만 서툰 인턴과 같습니다. 그들은 큰 그림을 이해하지만, 건네받은 깨지기 쉬운 도구를 계속 떨어뜨립니다. 이를 현실 세계의 업무에 신뢰할 수 있게 만들기 위해서는 단순히 AI 를 "더 똑똑하게" 만드는 것을 멈추고, 그들이 받는 디지털 계약을 더 신중하게 그리고 더 정확하게 다루도록 가르쳐야 합니다.

기술 요약: CONTRACTBENCH

문제 정의: 관찰 계약 (Observation Contracts)

대형 언어 모델 (LLM) 에이전트가 외부 API 를 포함하는 다단계 워크플로우를 실행하기 위해 점점 더 많이 배포되고 있습니다. 기존 벤치마크는 에이전트가 최종 목표 상태에 도달할 수 있는지 평가하지만, 실제 운영 환경에서 발생하는 치명적인 실패 모드인 관찰 계약 (observation contracts) 위반은 종종 간과됩니다.

관찰 계약은 외부 시스템이 부과하는 두 가지 직교적 (orthogonal) 제약 조건을 지닌 도구 반환 아티팩트 (예: 서명된 URL, OAuth 상태 매개변수, 세션 토큰, 또는 HMAC 으로 보호된 웹훅) 로 정의됩니다.

시간적 유효성 (Temporal Validity): 아티팩트는 만료되거나 무효화되기 전에 특정 시간 창 (Time-to-Live, TTL) 내에 사용되어야 합니다.
바이트 수준 무결성 (Byte-Level Integrity): 아티팩트는 변경 없이 바이트 단위로 중계되어야 합니다. 실제 에이전트 스택은 URL 재인코딩, 매개변수 재순서화, 잘라내기, 또는 줄 바꿈을 통해 변이를 유발하여 서명이나 체크섬을 무효화하는 경우가 많습니다.

현재 벤치마크는 이러한 제약 조건들을 함께 테스트하지 못합니다. 기존 벤치마크는 도구 출력을 다음 결정을 위한 단순 정보로 간주하여, 에이전트가 중간 아티팩트를 재구성하거나 손실하더라도 페널티를 부과하지 않습니다. 실제로는 유효성 (만료된 토큰 사용) 또는 무결성 (서명 손상) 중 하나라도 위반되면 전체 워크플로우가 무효화됩니다.

방법론: CONTRACTBENCH

이 격차를 해결하기 위해 저자들은 관찰 계약 준수를 측정하도록 설계된 결정론적 벤치마크인 CONTRACTBENCH를 소개합니다.

벤치마크 설계

범위: 서명된 URL, OAuth 플로우, 서명된 요청, HMAC 웹훅, 그리고 속도 제한 (rate-limit) 창을 포함한 실제 API 계약 패턴에서 파생된 33 개의 이축 (dual-axis) 작업.
이축 평가: 작업은 가하는 압력에 따라 네 개의 사분위로 분류됩니다.
- Q1 (제어): 낮은 유효성/무결성 압력 (건전성 검사).
- Q2 (유효성): 시간적 계획 (예: 유지보수 창 또는 속도 제한 처리) 을 분리하여 평가.
- Q3 (무결성): 바이트 보존 (예: 긴 토큰 또는 URL 함정 처리) 을 분리하여 평가.
- Q4 (이축): 실제 운영 환경에서 시간 제한이 있고 서명이 부착된 아티팩트의 보편성을 반영하여 두 축을 동시에 압박.
실행 환경: 완전한 재현성을 보장하기 위해 가상 시계 (virtual clock) 하에서 작업을 실행합니다. FastAPI 서버는 실제 API 사양 (예: AWS SigV4, OAuth 2.0, RFC 6585) 에 기반하여 결정론적 실패 레이블을 생성합니다.
평가 프로토콜:
- 결정론적 검증기: 인간 평가자나 "LLM-as-a-judge"는 사용하지 않습니다. 프로그래밍식 검증기가 HTTP 요청 로그를 소비하여 모든 관찰이 유효성 창과 무결성 예측 (SHA-256 해시 확인) 을 모두 만족하는지 확인합니다.
- 실패 분류 체계: 15 개 레이블 분류 체계는 실패를 유효성 (예: EXPIRED_BEFORE_USE, RATE_LIMITED), 무결성 (예: MUTATED_TOKEN, SIGNATURE_MISMATCH), 그리고 메타 범주로 분류합니다.
- 해결 가능성: 모든 작업에는 검증기를 통과하는 오라클 솔루션이 포함되어 있어 작업이 해결 가능함을 증명합니다.

실험 설정

저자들은 프런티어 독점 모델 (Claude, GPT-5 시리즈, Gemini) 과 오픈소스 지시 튜닝 모델 (Qwen, Mistral, Gemma, Llama, DeepSeek) 을 포함한 15 개 계열의 38 개 모델 변형을 평가했습니다. 각 모델은 온도 0 에서 각 작업당 $k=3$ 개의 롤아웃 (총 모델당 $n=99$ 개의 에피소드) 으로 전체 33 개 작업 세트를 실행했습니다.

주요 발견 사항

1. 프런티어 모델이 관찰 계약을 실패함

평가된 어떤 모델도 전체 세션에서 80% 를 넘지 못했습니다. 최상위 성능을 보인 Claude Opus 4.6은 **77.8%**를 달성했습니다. 이는 최첨단 모델조차 중간 아티팩트를 보존하는 데 어려움을 겪고 있음을 보여줍니다. 또한, CONTRACTBENCH 상의 순위는 범용 벤치마크와 상관관계가 없습니다. 예를 들어, Gemini 2.5 Flash 와 GPT-5.1 은 여러 오픈소스 모델보다 성적이 낮았으며, Llama-3.3-70B 는 0% 에 근접한 점수를 기록했습니다.

2. Qwen 3.5 에서의 급격한 능력 절벽

Qwen 3.5 계열 내에서 날카로운 "능력 절벽 (capability cliff)"이 관찰되었습니다. 성능은 4B 파라미터에서 **0%**에서 9B 에서 **56.6%**로 급격히 상승한 후, 397B-A17B 에서 **70.7%**로 매끄럽게 확장되었습니다. 절벽 아래에서는 에이전트가 경로 중간에서의 억제 (예: 유지보수 창 대기) 를 보여주지 못하지만, 절벽 위에서는 적응적 복구를 수행합니다. 이는 이 능력이 파라미터 수 자체보다는 특정 학습 레시피와 연관되어 있음을 시사합니다.

3. 사후 학습은 필수적이지만 취약함

필수성: 모든 계열의 베이스 모델 (지시 튜닝되지 않은 모델) 은 0% 점수를 기록하여, 계약 준수는 사전 학습의 emergent 속성이 아닌 사후 학습 능력임을 나타냅니다.
취약성 (역방향 확장): GPT-5 계열은 비단조적인 "V 자" 형태의 회귀를 보입니다. GPT-5.1 은 GPT-5(70.7%) 와 GPT-5.2(74.8%) 에 비해 준수율이 크게 떨어집니다 (48.5%). 이 회귀는 구조화되어 있습니다. GPT-5.1 은 구체적으로 바이트 수준 무결성 실패 (예: WRONG_VALUE, MUTATED_TOKEN) 를 재도입하는데, 이는 대화적 유용성을 목표로 한 사후 학습 업데이트가 계약 준수를 위한 특정 억제 (예: 재시도 전 대기, 바이트를 정확히 보존) 를 훼손할 수 있음을 시사합니다.

4. 실행 가능한 보상 신호

저자들은 실패 레이블이 인-컨텍스트 보상 신호로 기능할 수 있는지 테스트했습니다. 42 개의 GPT-5.1 실패를 사용하여, 올바른 실패 레이블을 코칭 힌트로 제공하는 것이 잘못된 레이블 힌트에 비해 통과율을 +7.1 퍼센트 포인트 향상시켰음을 발견했습니다. 이는 분류 체계가 특히 무결성 스타일의 실패에 대해 테스트 시간 수정을 위한 방향성 있고 실행 가능한 신호를 제공하며, 시간적 실패는 단순 프롬프팅보다는 아키텍처적 개입 (예: 기계 판독 가능 TTL) 이 필요함을 나타냅니다.

중요성과 기여

이 논문은 세 가지 주요 기여를 주장합니다:

관찰 계약의 형식화: 저자들은 관찰 계약을 직교적인 시간적 및 무결성 제약 조건에 의해 지배되는 에이전트 실패의 고유한 클래스로 정의하여, 에이전트 평가 문헌에서 이전에 간과되었던 문제를 형식화했습니다.
CONTRACTBENCH 벤치마크: 33 개 작업, 15 개 레이블 실패 분류 체계, 그리고 인간/LLM 판사의 모호성을 제거하는 가상 시계 실행 모델을 특징으로 하는 이 능력을 위한 최초의 결정론적 프로그래밍식 벤치마크를 제공합니다.
에이전트 견고성에 대한 경험적 통찰: 이 연구는 계약 준수가 일반적인 도구 사용 능력으로 보장되지도 않고, 확장으로 일관되게 개선되지도 않는 emergent 이자 비단조적인 능력임을 드러냅니다. "유용한" 사후 학습이 신뢰할 수 있는 API 상호작용에 필요한 특정 억제를 퇴보시킬 수 있으며, 현재 프런티어 모델이 이 중요한 신뢰성 지표에서 해결되지 않았음을 강조합니다.

저자들은 에이전트가 실제 외부 시스템이 부과하는 단계 간 제약 하에서 신뢰할 수 있게 행동할 수 있도록 보장하기 위해 관찰 계약을 1 순위 평가 대상으로 삼아야 한다고 결론지었습니다. 또한 이러한 실패를 완화하기 위해서는 단순히 더 크거나 더 잘 튜닝된 모델에 의존하는 것보다는 아키텍처적 변경 (예: 핸들 기반 아티팩트 저장) 이 필요할 수 있다고 제안합니다.