🤖 AI

Copy-on-Write Scoring: Application-Specific Agent Evaluations

이 논문은 PostgreSQL 수준의 격리를 활용하여 애플리케이션 환경 내에서 LLM 기반 에이전트를 직접 평가함으로써, 데이터베이스 쓰기 실패를 세밀하고 비용 효율적으로 식별하고 에이전트 도구 표면을 반복적으로 개선할 수 있게 하는 Copy-on-Write (CoW) Scoring 프레임워크를 소개한다.

원저자: Joanna Roy, Sven Hoelzel

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joanna Roy, Sven Hoelzel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 방금 프로젝트 관리 도구나 캘린더 같은 당신이 즐겨 쓰는 앱들과 대화할 수 있는 초지능형 로봇 비서를 만들었다고 상상해 보세요. 당신은 이 로봇이 당신의 삶을 정리하도록 돕기를 원하지만, 로봇이 실수로 당신의 할 일 목록 전체를 삭제하거나, 상사가 실제로 회의 중인데 상태를 "휴가 중"으로 바꿔버릴까 봐 겁이 납니다. 이것이 바로 AI 에이전트의 세계입니다. AI 에이전트는 단순히 채팅만 하는 것이 아니라, 소프트웨어 시스템 내에서 실제로 무언가를 수행하는 컴퓨터 프로그램입니다. 현재 가장 큰 문제는 이 로봇들을 어떻게 안전하게 테스트하느냐는 것입니다. 보통 과학자들은 가상의 세계(예: 비디오 게임 시뮬레이션)에서 이들을 테스트하지만, 이러한 시뮬레이션은 종로 현실과 동떨어지거나, 실제 앱이 변경될 때마다 업데이트하기에는 비용이 너무 많이 들어 아무도 감당할 수 없는 경우가 많습니다. 우리는 로봇이 실제로 무언가를 망가뜨리지 않으면서도 실제 앱 안에서 작업하는 모습을 관찰하여, 로봇이 정확히 어디에서 혼란을 느끼는지 파악하고 이를 수정할 수 있는 방법이 필요합니다.

여기에 조안나 로이(Joanna Roy)와 스벤 횔첼(Sven Hölzel) 연구진이 제안한 CoW(Copy-on-Write) 스코어링이라는 새로운 아이디어가 있습니다. 이들의 방식은 데이터베이스(앱이 데이터를 저장하는 디지털 파일 캐비닛) 내부에 직접 구축된 "마법의 유리 벽"과 같습니다. 보통 당신이 로봇에게 "이 파일을 변경해"라고 말하면, 로봇은 실제 파일로 가서 그 위에 글을 써버립니다. 하지만 CoW 방식에서는 로봇이 실제 파일 위에 놓인 특별하고 투명한 유리판 위에 글을 쓰도록 지시받습니다. 로봇은 실제 파일에 쓰고 있다고 생각하지만, 실제로는 유리판 위에 쓰고 있을 뿐입니다. 그 아래에 있는 원래 파일은 완벽하게 안전하고 손상되지 않은 상태로 유지됩니다.

여기서 영리한 점은, 시스템이 (완벽한 인간이 수행하는 것과 같은) 어떤 일이 일어나야 하는지에 대한 "그라운드 트루스(ground truth, 정답)" 버전을 유지하면서, 로봇이 유리판 위에 한 작업과 이를 비교한다는 것입니다. 로봇이 별도의 레이어에 글을 쓰기 때문에, 연구자들은 즉시 다음과 같은 사실을 알 수 있습니다: "아, 로봇이 엉뚱한 행을 삭제하려고 했구나" 또는 "잘못된 작업에 댓글을 달았구나." 연구자들은 로봇의 유리판 작업이 완벽한 인간의 버전과 얼마나 유사한지를 바탕으로 로봇의 성능을 점수화할 수 있습니다. 만약 로봇이 실패하면, 연구자들은 백업을 복구하거나 실제 데이터를 손상시킬 걱정 없이 그저 유리판을 깨끗이 닦아내고 다시 시작하면 됩니다.

연구팀은 이 실험을 오픈 소스 프로젝트 관리 플랫폼인 Plane을 대상으로 실시했습니다. 그들은 "모든 미완료 버그를 '진행 중' 목록으로 이동하기"나 "새로운 작업을 특정 팀원에게 할당하기"와 같은 20가지의 서로 다른 실제 업무를 설정했습니다. 그리고 다섯 가지의 서로 다른 AI 모델이 CoW 시스템의 감시 아래 이 업무들을 수행하도록 했습니다. 결과는 놀라웠습니다. 연구진은 많은 로봇이 "멍청해서"가 아니라 어휘 불일치(vocabulary mismatches) 때문에 실패했다는 것을 발견했습니다. 예를 들어, 앱은 그것을 "작업 항목(work items)"이라고 불렀지만, 로봇은 "이슈(issues)"를 찾고 있었습니다. 로봇은 적절한 단어를 찾지 못해 멈춰 서거나, 포기하거나, 혹은 환각 현상(hallucination, 존재하지 않는 명령을 만들어내는 것)을 일으켰습니다.

CoW 스코어링을 통해 팀은 이러한 구체적인 실패 지점을 정확히 짚어낼 수 있었습니다. 그들은 "아, 로봇이 '이슈'가 '작업 항목'이라는 것을 몰라서 여기서 실패하고 있구나"라는 것을 깨달았습니다. 그래서 그들은 로봇이 사용하는 도구에 두 단어를 모두 포함하도록 업데이트했습니다. 다시 테스트를 실행했을 때, 로봇의 성능은 훨씬 좋아졌습니다. 예를 들어, Gemini-2.5-Pro라는 모델은 점수가 54% 향상되었고, GPT-4.1이라는 모델은 47% 급증했습니다. 이 연구는 이 "유리 벽" 방식이 AI 에이전트를 실제 애플리케이션에서 디버깅하는 강력하고 저렴한 방법임을 시사하며, 개발자들이 단순히 무엇이 잘못되었는지 추측하는 대신, 로봇을 혼란스럽게 만드는 구체적인 도구와 프롬프트를 수정할 수 있도록 도와준다는 것을 보여줍니다. 이는 로봇이 실제적인 재앙의 위험 없이 실제 세상에서 연습할 수 있게 해주는 방법입니다.

기술 요약: 애플리케이션 특화 에이전트 평가를 위한 Copy-on-Write 스코어링

문제 정의

LLM(대규모 언어 모델) 기반 에이전트를 프로덕션 소프트웨어 시스템에 배포하는 과정에서 심각한 평가 격차가 발생하고 있습니다. 에이전트가 기업용 도구 및 소비자 애플리케이션에 점점 더 통합되고 있음에도 불구하고, 기존의 평가 메커니즘은 특정 애플리케이션 컨텍스트에서의 신뢰성을 보장하기에 불충분합니다.

낮은 구성 타당도(Low Construct Validity): 표준 벤치마크는 실제 애플리케이션 환경, 도구 및 워크플로우의 복잡성을 반영하지 못하는 경우가 많습니다.
레플리카의 한계: 이러한 격차를 메우기 위해 레플리카 또는 시뮬레이션된 환경을 생성하는 것은 자원 집약적이고 비용이 많이 들며, 라이브 애플리케이션 상태로부터 "드리프트(drift)"가 발생하기 쉽습니다.
신뢰성 결여의 위험: 프로덕션 환경에서 직접 작동하는 에이전트는 데이터의 실수적 삭제, 중요한 레코드 덮어쓰기, 도구 오용과 같은 치명적인 오류를 일으킬 위험이 있으며, 이러한 오류는 세밀한 평가 없이는 격리하거나 방지하기 어렵습니다.

현재의 방법들은 에이전트를 대상 애플리케이션 환경 내에서 직접 평가하면서도, 특정 실패 지점을 국소화할 수 있을 만큼 충분한 정밀도를 갖추지 못하고 있습니다.

방법론: Copy-on-Write (CoW) 스코어링

저자들은 PostgreSQL 수준의 격리 메커니즘을 사용하여 애플리케이션 환경 내에서 에이전트 작업을 직접 평가하도록 설계된 Copy-on-Write (CoW) 스코어링 프레임워크를 제안합니다. 이 접근 방식은 레플리카의 비용과 드리프트 문제를 피하면서 세션 격리를 유지합니다.

1. CoW 메커니즘

이 프레임워크는 프로덕션 데이터를 수정하지 않고 에이전트의 쓰기 작업을 가로채고 격리하기 위해 데이터베이스 수준의 Copy-on-Write 패턴을 활용합니다. 구현에는 네 가지 구성 요소가 포함됩니다:

Base Tables (기본 테이블): 기초가 되는 프로덕션 데이터를 포함합니다.
Changes Tables (변경 테이블): 기본 테이블과 구조적으로 동일하지만 추가적인 메타데이터 컬럼(session_id, operation_id, cow_updated_at, cow_deleted)을 포함합니다. 이 테이블은 특정 에이전트 세션 동안 작성된 행(row)만을 저장합니다.
Views (뷰): SQL 뷰는 기본 테이블과 변경 테이블을 병합합니다. 읽기 작업은 뷰를 쿼리하여(최신 상태를 반환) 수행되며, 쓰기 작업은 리다이렉션됩니다.
Triggers (트리거): 뷰에 설정된 INSTEAD OF 트리거는 쓰기 작업을 가로챕니다. 기본 테이블을 수정하는 대신, 트리거는 영향을 받는 행의 복사본을 생성하고, 쓰기를 적용하며, CoW 메타데이터를 추가한 후 결과를 변경 테이블에 삽입합니다.

이 설정을 통해 에이전트는 프로덕션에 데이터를 쓰는 것처럼 작동하면서도, 모든 수정 사항은 해당 세션에 대한 변경 테이블 내에 격리되어 유지됩니다.

2. 스코어링 프레임워크

CoW 스코어링은 Ground-Truth (GT) 세션(이상적인 워크플로우를 수행하는 인간에 의해 기록됨)과 에이전트 세션(동일한 프롬프트로 실행된 LLM 에이전트)을 비교합니다. 비교는 두 가지 수준의 정밀도로 이루어집니다:

세션 수준 점수 (Session-Level Scores): 최종 데이터베이스 상태를 평가합니다.
- 구조적 점수 ( $s_{struct}$ ): (GT와 에이전트 세션 모두에 존재하는 행) 대비 전체 변경된 행의 비율입니다. 이는 누락된 행(생성되지 않은 GT 행)과 추가된 행(GT 대응물이 없는 에이전트 행)을 모두 고려합니다.
- 콘텐츠 점수 ( $s_{content}$ ): 모든 매칭된 행에 대한 필드별 평균 유사도로, SQL 데이터 타입에 기반한 기본 비교기(예: 숫자의 경우 정확한 일치, JSON의 경우 깊은 동등성, 텍스트의 경우 시퀀스 매칭)를 사용하여 계산됩니다.
연산 수준 점수 (Operation-Level Scores): 개별 동작의 유용성을 정량화합니다.
- 구조적 유용성 ( $u_{struct}$ ): 특정 연산이 적용된 전후의 세션 수준 구조적 점수의 변화량입니다.
- 콘텐츠 유용성 ( $u_{content}$ ): 특정 연산에 의해 작성된 행들의 평균 콘텐츠 유사도입니다.

결정적으로, 이 프레임워크는 동작 시퀀스가 아닌 최종 데이터베이스 상태를 비교하므로, 세션 수준 점수는 에이전트가 결과에 도달하기 위해 거친 특정 경로에 대해 불변(invariant)합니다.

주요 기여

새로운 평가 프레임워크: 값비싼 레플리카 환경을 구축할 필요 없이 애플리케이션 환경 내에서 에이전트를 저비용으로 고충실도(high-fidelity) 평가할 수 있는 CoW 스코어링을 도입했습니다.
오픈 소스 구현: 데이터베이스 설정(base/changes 테이블, 뷰 및 트리거 생성)을 처리하고 스코어링 파이프라인을 제공하는 agent-cow 파이썬 라이브러리를 공개했습니다.
세밀한 진단: 구조적 오류(누락/추가된 행)와 콘텐츠 오류(잘못된 값)를 구분하여 연산 수준에서 구체적인 실패 모드를 드러낼 수 있는 능력을 제공합니다.
실증적 검증: 오픈 소스 프로젝트 관리 플랫폼인 Plane에 대한 예비 연구를 통해, 특정 도구 표면(tool-surface) 문제를 식별하고 수정 후의 개선 사항을 측정하는 프레임워크의 능력을 입증했습니다.

결과: Plane 사례 연구

저자들은 Plane 애플리케이션의 20개 워크플로우에 대해 다섯 가지 언어 모델(GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite, Gemini-2.5-Pro)을 평가했습니다.

초기 발견 사항: 스코어링을 통해 다음과 같은 뚜렷한 실패 모드가 드러났습니다:
- 어휘 불일치 (Vocabulary Mismatch): 프롬프트에서 사용된 용어(예: "issue")가 애플리케이션의 내부 용어(예: "work item")와 다를 때 에이전트가 어려움을 겪었습니다. 예를 들어, Gemini-2.5-Pro는 "issues"를 검색할 때 반복적으로 포기했고, GPT-4.1은 검색 문자열에 대해 잘못된 가정을 했습니다.
- 환각 및 추가 쓰기 (Hallucination and Extra Writes): GPT-4.1은 가끔 연산 이름이나 파라미터를 환각하여 생성했으며, Gemini-3.1-Flash-Lite는 요청되지 않은 항목(예: 레이블이나 담당자 업데이트)을 추가로 작성했는데, 이는 CoW 격리 없이는 탐지하기 어려운 부분입니다.
반복적 개선: 진단 점수를 바탕으로, 용어를 정렬하도록 도구 표면을 업데이트했습니다(예: "issues"가 "work items"로 인식되도록 보장).
- 측정 가능한 이득: 어휘 불일치의 영향을 크게 받았던 모델들은 상당한 점수 향상을 보였습니다: Gemini-2.5-Pro는 54%, GPT-4.1은 47% 개선되었습니다.
- 안정성: 초기 점수가 높았던 모델들(예: GPT-5, Gemini-3.1-Pro)은 변동성이 최소화되었으며, 이는 스코어링 메커니즘의 안정성을 확인시켜 줍니다.

의의 및 주장

본 논문은 CoW 스코어링을 더 안전한 에이전트 배포를 위한 실용적인 도구로 포지셔닝합니다. 이 프레임워크의 주요 의의는 팀들이 다음을 수행할 수 있게 한다는 점에 있습니다:

실패 국소화: 특정 애플리케이션 컨텍스트 내에서 에이전트가 데이터베이스 쓰기 작업에서 성공하거나 실패하는 지점을 정확히 식별합니다.
효율적인 반복 작업: 레플리카 환경을 구축하고 유지 관리하는 오버헤드 없이 모델 프롬프트, 도구 표면, 검색 메커니즘에 대한 저비용의 반복적인 개선을 촉진합니다.
구성 타당도 격차 해소: 일반적인 벤치마크에 의존하는 대신, 배포될 특정 애플리케이션에 직접적으로 유의미한 평가 데이터를 제공합니다.

저자들은 이 프레임링이 수동으로 생성된 Ground-Truth 세션에 의존하며, 이는 애플리케이션 특화 데이터셋을 구축하는 것과 맞먹는 초기 노력이 필요함을 겸허히 언급합니다. 또한 현재 구현이 쓰기 작업에 집중되어 있다는 점을 인정하며, 읽기 패턴 또한 추가적인 진단 신호를 제공할 수 있음을 시사합니다. 이 프레임워크는 보편적인 벤치마크가 아니라, 애플리케이션 특화 검증을 위한 보완적인 방법론으로 제시됩니다.