기술 요약: Stop Means Stop: 에이전트 프레임워크 제어 프리미티브의 집행 격차 측정 및 수리

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 외부 시스템에서 돌이킬 수 없는 작업(예: 이메일 전송, 결제 승인, 코드 배포)을 수행하는 빈도가 높아지고 있습니다. 리스크를 완화하기 위해 주요 에이전트 프레임워크들은 제어 프리미티브인 Human-in-the-Loop(HITL) 승인 게이트, 실행 취소(run cancellation), 그리고 실행 타임아웃을 제공합니다.

실무자 가이드와 벤더 문서에는 **장벽 계약(barrier contract)**이 암시되어 있습니다: 즉, 실행이 승인을 위해 일시 중단되거나, 취소되거나, 타임아웃될 때, 결정이 내려지기 전까지는 어떠한 게이트형 부수 효과(gated side effect)도 실행되지 않아야 합니다. 만약 운영자가 요청을 거절한다면, 해당 동작은 발생하지 않아야 합니다.

본 논문은 결정적인 **집행 격차(enforcement gap)**를 식별합니다: 이러한 장벽 계약은 실제 환경에서 유지되지 않습니다. 저자들은 현재 사용되는 프레임워크들에서 동시성 및 실행 모델 설계로 인해 "중단(stop)" 세맨틱이 위반된다는 점을 입증합니다. 구체적으로 다음과 같습니다:

• 형제 누출(Sibling Leak): 병렬 실행 단계 중 하나의 브랜치에서 승인 게이트가 일시 중단될 때, 형제 브랜치들은 계속 실행됩니다. 만약 형제 브랜치가 일시 중단 중에 부수 효과를 수행한다면, 이후의 인간의 거절은 이를 방지할 힘이 없습니다.
• 재생 이중 실행(Replay Double-Execution): 일시 중단된 실행을 재개할 때, 일부 프레임워크는 처음부터 단계를 재실행하여 일시 중단 전에 수행된 효과가 두 번 실행되게 만듭니다.
• 취소 고아(Cancellation Orphans): 실행이 취소되었을 때, 비동기 워커 스레드가 완료될 때까지 계속 실행되어 취소 신호가 관찰된 이후에도 효과가 도달하게 됩니다.
• 타임아웃 좀비(Timeout Zombies): 타임아웃이 호출자에게 보고된 후에도 효과가 완료되어 도달할 수 있습니다.

이러한 실패는 고립된 버그가 아니라 네 가지 서로 다른 실행 모델(Pregel/BSP, 이벤트 버스, 메시지 패싱 팬아웃, 병렬 도구 호출)과 두 가지 언어 런타임(Python 및 Node.js) 전반에서 나타나는 반복적인 패턴입니다.

2. 방법론

측정 (모델 프리 프로브)

저자들은 LLM의 비결정성을 분리하여 프레임워크의 동작만을 격리하기 위해 **모델 프리 차분 프로브(model-free differential probes)**를 개발했습니다.

• 메커니즘: 제어 프리미티브(일시 중단, 취소, 타임아웃)가 유일한 변수인 최소한의 워크플로우를 구성했습니다. 부수 효과는 인프로세스 이벤트 로그에 추가하는 방식으로 계측되었습니다.
• 범위: 여섯 가지 오픈 소스 프레임워크(LangGraph, LlamaIndex Workflows, Microsoft Agent Framework, OpenAI Agents SDK, CrewAI, LangGraph.js)를 평가했습니다.
• 검증: 재현성을 보장하기 위해 독립적인 여러 환경과 프레임워크 버전에서 프로브를 실행했습니다. LangGraph에 대한 1,000개의 워크플로우 무작위 구조적 스윕(structural sweep)을 통해 누출률이 실행 토폴로지에 따라 결정론적임을 확인했습니다.

노출 및 확증

• 모델 방출(Model Emission): 프런티어 모델(GPT-4o, Claude, Gemini, DeepSeek, Llama)이 특정 "누출 유발" 플랜 형태(결과를 초래하는 도구 호출이 무해한 형제들과 같은 턴을 공유하는 경우)를 얼마나 자주 방출하는지 측정했습니다. 모델과 작업에 따라 비율이 달랐으며, GPT-4o는 최대 14%의 실행에서 해당 형태를 방출했습니다.
• 엔드 투 엔드 실행: 실제 프레임워크를 통해 라이브 모델을 구동하여 무조건적 누출 확률($P(\text{leak})$)을 측정했습니다. 결과는 일단 플랜 형태가 방출되면, 프레임워크가 효과를 누출할 확률이 1.00($P(\text{leak} | \text{emitted}) = 1.00$)임을 보여주었습니다.
• 공공 코퍼스: 이슈 트래커에서 수집된 13개의 공공 사례 코퍼스를 통해 이러한 실패가 실제 현장에서 발생하고 있음을 질적으로 확증했습니다.

수리 및 검증

저자들은 환경 외부 효과 게이트인 SOUNDGATE를 제안했습니다.

• 설계: 프레임워크의 제어 흐름 외부에 위치하는 작은 언어 독립적 중재자(Rust로 구현)입니다. 모든 부수 효과는 실행 전 승인을 위해 SOUNDGATE에 제출되어야 합니다.
• 계약: 이 수리는 **완전 매개 계약(complete-mediation contract)**에 의존합니다: 모든 부수 효과 경로는 게이트에 제출되어야 합니다. 이는 래퍼 규율(wrapper discipline), 정적 린팅, 그리고 미매개 네트워크 출구를 거부하는 구조적 커널 레벨 경로(네트워크 네임스페이스 및 eBPF 훅)를 통해 강제됩니다.
• 형식 검증: 순차 모델에 대한 안전 속성을 증명하기 위해 다음을 사용하여 admission core를 기계적으로 검증했습니다:
  • Verus: 순차 모델에 대한 안전 속성 증명.
  • TLA+/TLC: 동시성 인터리빙의 철저한 모델 체킹(최대 $7.5 \times 10^7$ 상태).
  • TLALP: 무제한 실행에 대한 귀납적 증명.
  • Loom: 배포된 동시 Rust 코드의 경계 모델 체킹.
  • 차분 일치성(Differential Conformance): 배포된 코드를 형식 모델과 비교하여 $1.2 \times 10^7$번의 연산 동안 불일치가 없음을 확인.

3. 주요 기여

1. 측정 (C1): 출시된 제어 프리미티브의 교차 프레임워크 집행 격차를 특성화했습니다. 본 논문은 "형제 누출"을 격리하고 다섯 가지 프레임워크(네 가지 독립적 설계 및 하나의 교차 언어 포트)와 두 가지 런타임에서 재생, 취소, 타임아웃 위반을 확인했습니다.
2. 질적 확증 (C2): 위험이 실제로 도달 가능하다는 증거를 제시했습니다. 실제 모델은 트리거링 플랜 형태를 방출하며, 라이브 엔드 투 엔드 측정 결과 $P(\text{leak} | \text{emitted}) = 1.00$임을 확인했습니다. 13개의 공공 사례 코퍼스는 이러한 실패가 프로덕션에서 존재함을 뒷받침합니다.
3. 외부 수리 메커니즘 (C3): 모델이 검증되고 차분 테스트를 거친 환경 외부 게이트인 SOUNDGATE를 제안합니다. 이는 네 가지 속성을 강제합니다:
   • 결정 시까지 유지(Hold-until-decided): 형제 누출을 방지합니다.
   • 거절 시 취소(Reject-cancels): 거절된 효과가 절대 실행되지 않도록 보장합니다.
   • 재생 시 중복 제거(Dedup-on-replay): 재개 시 이중 실행을 방지합니다.
   • 취소 시 펜싱(Fence-on-cancel): 취소 후 좀비 효과를 방지합니다.
     이 수리는 네 가지 실행 모델과 두 가지 런타임을 모두 포함하여 여섯 가지 프레임워크에서 엔드 투 엔드로 입증되었습니다.
4. 평가 (C4): 유해하거나 적대적인 입력(프롬프트 인젝션 포함) 하에서도 낮은 오버헤드(1ms per write)와 높은 처리량(12k admissions/sec, durable mode 기준)을 유지하면서 위반을 억제함을 입증했습니다.

4. 결과

• 위반율: 평가된 프레임워크들에서 형제 누출 및 효과 후 거절 위반은 해당 구성을 표현할 수 있는 모든 프레임워크에서 재현되었습니다.
• 라이브 누출률: 라이브 모델을 이용한 엔드 투 엔드 실험 결과:
  • GPT-4o: 게이트 없이 실행 시 44%의 실행에서 일시 중단 중 효과가 누출되었습니다.
  • Claude: 9%의 실행에서 누출되었습니다.
  • Llama 3.3: 19%의 실행에서 누출되었습니다.
  • DeepSeek: 0% (순차적 배치 때문).
  • 매개된 비율: SOUNDGATE를 적용했을 때, 모든 모델과 실행에서 누출률이 0%로 떨어졌습니다.
• 성능:
  • 지연 시간: 중앙값 admission 비용은 쓰기당 약 1.1ms였습니다 (에피소드 중앙값 지연 시간은 통계적으로 변화 없음).
  • 처리량: 단일 노드가 group commit을 사용하는 durable (WAL) 모드에서 초당 약 12,000건의 admission을 유지했습니다.
  • 정확성: $\tau$-bench 리테일 벤치마크에서, 게이트가 적용된 에이전트는 정당한 쓰기에 대한 허위 거절 없이 에피소드를 완료했습니다.

5. 의의 및 주장

본 논문은 실무자들이 안전을 위해 의존하는 "Stop means Stop" 가정이 현재 에이전트 프레임워크에서는 공식적인 보장이 아니라 **계약 불일치(contract mismatch)**라고 주장합니다. 그 의의는 세 가지 영역에 있습니다:

1. 경험적 특성화: 본 논문은 제어 평면 실패에 대한 최초의 체계적인 교차 프레임워크 측정을 제공하며, 이것이 단순한 구현 버그가 아니라 병렬성과 장벽 세맨틱 사이의 긴장에서 발생하는 구조적 문제임을 증명합니다.
2. 외부 집행의 타당성: 강력한 장벽을 프레임워크의 제어 흐름 외부에서 구축할 수 있음을 보여줍니다. 집행 지점을 도구 경계(외부 게이트를 통해)에 배치함으로써, 시스템은 기본 프레임워크의 스케줄러나 동시성 모델에 관계없이 안전 속성을 보장할 수 있습니다.
3. 검증 및 채택: 수리책(SOUNDGATE)은 단순한 이론적 제안이 아니라 검증되고 배포 가능한 컴포넌트입니다. admission core는 기계적으로 검증되었으며, 통합 비용은 프레임워크당 약 20줄의 래퍼 수준으로 매우 낮습니다.

주장의 신중함:

• 본 논문은 프롬프트 인젝션을 수정하거나 손상된 도구를 방어한다고 주장하지 않으며, "완전 매개 계약"(모든 효과가 게이트를 통하도록 함)을 가정합니다.
• 자연스러운 작업에서는 현재의 프런티어 모델들이 흔히 직렬화된 쓰기를 수행하므로, 이 격차가 널리 퍼져 있기보다는 "잠재적"이라고 인정합니다. 그러나 적대적 입력, 다중 효과 작업, 또는 명시적인 병렬 설정이 포함된 시나리오를 위해 이 장벽은 필수적이라고 주장합니다.
• 수리는 완전 매개 계약을 조건으로 합니다. 만약 도구가 게이트를 우회한다면(예: 래핑되지 않은 경로), 보장은 유지되지 않습니다. 논문은 이러한 잠재적 침묵 누출을 명시적인 가용성 오류로 전환하기 위해, 네트워크 출구를 게이트를 통하도록 강제하는 구조적 커널 경로(eBPF/namespaces)를 통해 이를 다룹니다.

결론적으로, 본 논문은 돌이킬 수 없는 도구 접근 권한을 가진 에이전트 시스템의 경우, **환경 외부의 효과 게이팅(environment-external effect gating)**이 인간의 결정(승인, 거절, 취소)이 기계적으로 존중되도록 보장하는 견고한 기본 방식임을 주장합니다.