💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

이 논문은 이질적인 지식 표면(문서, 표, 그래프) 전반에 걸쳐 질의를 라우팅하는 엔터프라이즈 에이전트의 능력을 평가하기 위해 설계된 1,151개의 감사 가능한 태스크로 구성된 새로운 벤치마크인 WorkSurface-Bench를 소개하며, 에이전트가 높은 라우팅 정확도를 달agi할 수 있음에도 불구하고 올바른 표면 선택만으로는 높은 태스크 완료율을 달성하기에 불충분하다는 점을 밝혀낸다.

원저자: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 바쁜 사무실을 운영하기 위해 아주 똑똑한 로봇 비서를 고용한다고 상상해 보세요. 당신은 로봇에게 "지난달 배송비로 얼마를 썼고, 어떤 파일들이 지연을 일으키고 있나요?"와 같은 복잡한 질문을 던집니다. 이 질문에 답하기 위해 로봇은 단순히 추측해서는 안 되며, 정보를 찾아봐야 합니다. 하지만 여기 함정이 있습니다. 사무실에는 성격이 매우 다른 세 종류의 정보 선반이 있습니다. 보고서와 PDF가 가득한 도서관(Library), 숫자와 계산식이 줄지어 있는 스프레드시트 룸(Spreadsheet Room), 그리고 모든 파일이 서로 어떻게 연결되어 있는지 보여주는 **지도 룸(Map Room)**이 그것입니다.

오랫동안 로봇을 테스트하던 과학자들은 주로 "정답을 맞혔는가?"만을 물었습니다. 만약 로봇이 엉뚱한 방을 뒤졌거나, 잘못된 책을 골랐거나, 계산을 틀렸다면, 테스트 결과는 그냥 "실패"라고만 나왔습니다. 하지만 이는 왜 실패했는지 알려주지 않습니다. 로봇이 지도 룸에 가야 한다는 사실을 몰랐던 걸까요? 아니면 지도 룸에 가서 올바른 지도를 찾았지만, 그것을 읽는 과정에서 혼란을 겪은 걸까요? 이 논문은 그 간극을 메우기 위해 등장했습니다. 이 논문은 어떤 종류의 지식이 필요한지 결정하는 행위와 일단 그 안에 들어간 후 퍼즐을 푸는 행위를 분리하여 로봇을 테스트하는 새로운 방법을 소개합니다. 즉, 로봇이 본격적으로 찾아보기 전에 자신이 어떤 유형의 지식을 필요로 하는지 파악할 수 있는지를 묻는 것입니다.

새로운 게임: WorkSurface-Bench

연구진은 WorkSurface-Bench라는 새로운 테스트 환경을 구축했습니다. 이것을 1,151개의 서로 다른 과업이 존재하는 거대하고 현실적인 사무실 시뮬레이션이라고 생각하면 됩니다. 그들은 다섯 가지의 "페르소나"(예: 물류 매니저 또는 재무 분석가)를 설정하고, 이들에게 문서 라이브러리, 테이블 데이터베이스, 파일 관계 그래프라는 세 가지 뚜렷한 표면(surface)에 대한 접근 권한을 주었습니다.

여기서 핵심적인 혁신은 로봇을 채점하는 방식입니다. 최종 답변에 대해 단순히 합격 또는 불합격을 주는 대신, 두 가지 별개의 요소를 점수화합니다:

경로(Route): 로봇이 올바른 "표면"(도서관, 스프레드시트, 또는 지도)을 선택했는가?
답변(Answer): 선택한 표면에서 실제로 문제를 올바르게 해결했는가?

그들은 모든 답변에 대해 "골드 스탠다드(황금 표준)"를 만들었습니다. 수학 계산이 필요한 과업의 경우, 실제 코드를 실행하여 진정한 정답을 얻었습니다. 문서를 읽어야 하는 경우, 소스의 정확한 단어를 확인했습니다. 파일 연결이 필요한 경우, 실제 경로를 추적했습니다. 이는 "정답"이 단순히 다른 AI의 추측이 아니라, 검증된 사실임을 의미합니다.

큰 반전: 어디를 봐야 할지 아는 것만으로는 충분하지 않다

연구진은 가장 똑똑한 네 가지 AI 모델(GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro, GPT-5.5 포함)을 대상으로 여섯 가지 시나리오를 테스트했습니다. 그들은 로봇에게 정확히 어느 방으로 가야 하는지 알려줌으로써 로봇의 실수를 바로잡을 수 있는지 확인하고자 했습니다.

결과는 다음과 같았으며, 이는 약간의 반전이 있는 결말입니다: 어디를 봐야 할지 아는 것이 정답을 찾는다는 것을 보장하지는 않습니다.

연구진이 로봇에게 올바른 표면만을 사용하도록 강제했을 때( "Gold-constrained" 설정), 로봇은 올바른 방을 선택하는 데 거의 완벽해졌습니다. 그들의 "경로(Route)" 점수는 98.7%에서 99.8% 사이로 급등했습니다. 그들은 어디로 가야 할지 정확히 알고 있었습니다.

하지만 실제 솔루션의 정확도를 나타내는 "답변(Answer)" 점수는 56.1%에서 75.3% 사이에 머물렀습니다.

이는 로봇이 올바른 방에 서서 올바른 지도를 손에 쥐고 있을 때조차, 여전히 4번 중 1번 이상은 오답을 냈다는 것을 의미합니다. 로봇이 올바른 파일을 찾았더라도 숫자를 잘못 읽었거나, 스프레드시트와 문서의 정보를 잘못 결합했을 수 있습니다. 이 논문은 "올바른 도구를 선택하는 것"과 "도구를 올바르게 사용하는 것"이 완전히 다른 기술이며, 하나를 잘한다고 해서 자동으로 다른 것도 잘하게 되는 것은 아님을 보여줍니다.

힌트 vs 제한 사항

연구진은 또한 "힌트를 주는 게임"과 "방해 요소를 제거하는 게임"을 진행했습니다.

힌트: 그들은 로봇에게 "스프레드시트와 지도를 봐야 합니다"라고 말했습니다. 이는 로봇이 올바른 표면을 더 잘 선택하도록 도왔고, 일부 모델의 경우 최종 답변을 약간 개선하기도 했습니다.
제한 사항: 그다음, 로봇에게 필요하지 않은 나머지 도구들을 모두 빼앗았습니다. 이를 통해 로봇은 훨씬 빠르고 효율적이 되었으며, 올바른 표면을 훨씬 더 잘 선택했습니다. 하지만 놀랍게도, 이것이 항상 최종 답변을 좋게 만든 것은 아니었습니다. 사실, 일부 모델의 경우 다른 도구를 이용해 자신의 작업을 재확인할 수 있는 능력을 잃었기 때문에, 도구를 제거하는 것이 오히려 문제를 푸는 데 약간 더 부정적인 영향을 미치기도 했습니다.

미래를 위한 시사점

이 논문은 우리가 더 이상 AI 에이전트의 최종 점수만 봐서는 안 된다고 결론짓습니다. 만약 AI가 질문에 틀린 답을 했다면, 그것이 무엇을 찾아야 할지 몰라서 틀린 것인지, 아니면 올바른 곳을 찾았지만 그곳에서 찾은 것을 제대로 처리하지 못해서 틀린 것인지 알아내야 합니다.

저자들은 로봇의 27,624번의 시도를 통해 이를 측정했으며, 인간 검수자와 엄격한 규칙을 통해 결과를 감사했으므로 이 수치들에 대해 매우 확신하고 있습니다. 그들은 최고의 로봇들이 경로 선택(98% 이상)에는 매우 능숙해지고 있지만, 조각들을 올바르게 맞추는 마지막 단계(약 56~75%)에서는 여전히 어려움을 겪고 있다는 것을 발견했습니다.

요컨대, 스마트한 사무실 로봇의 미래는 단순히 사무실의 더 나은 지도를 주는 것에 있지 않습니다. 그것은 도착한 곳에서 표지판을 읽고 수학 계산을 하는 법을 가르치는 것에 달려 있습니다. 이 논문은 개발자들이 로봇의 특정 부분이 어디서 고장 났는지 추적하여, 전체가 좋아지기를 막연히 기다리는 대신 그 구체적인 부분을 고칠 수 있도록 돕는 상세한 점수판을 제공합니다.

기술 요약: WorkSurface-Bench

문제 정의

엔터프라이즈 에이전트는 문서 내의 서사적 사실(narrative facts), 테이블 내의 계산(calculations), 그리고 종속성 그래프(dependency graphs) 내의 파일 관계와 같이 이질적인 지식 형태에 동시에 접근해야 하는 질문에 자주 직면합니다. 기존의 벤치마크들은 일반적으로 검색(RAG)이나 도구 사용(tool use)을 개별적으로 평가하며, 에이전트가 올바른 지식 표현을 선택하는 능력(surface routing)과 해당 표현을 사용하여 올바르게 추론하는 능력을 구분하지 못합니다. 결과적으로, 엔드 투 엔드(end-to-end) 정확도 점수는 이러한 별개의 역량을 혼재시키며, 실패의 원인이 잘못된 소스를 선택했기 때문인지, 불완전한 증거를 검색했기 때문인지, 아니면 답을 잘못 합성했기 때문인지 진단하기 어렵게 만듭니다.

방법론

저자들은 표면 라우팅(surface routing)과 답변 생성을 분리하도록 설계된 벤치마크인 WorkSurface-Bench를 소개합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. 벤치마크 구축

이 벤치마크는 Workspace-Bench-Lite 코퍼스에서 유도되었으며, 세 가지 정형화된 라우팅 가능한 표면(canonical, routable surfaces)으로 투영되었습니다:

문서 (RAG): 493개의 정형화된 UTF-8 마크다운 문서.
테이블 (Table): 정규화된 CSV/XLSX 시트로부터 생성된 207개의 DuckDB 뷰(views).
그래프 (Graph): 파일 계보 및 종속성(예: 파일-의존-파일)을 나타내는 1,438개의 엣지(edges).
메타데이터 (Metadata): 표준 운영 절차(SOP)는 라우팅 가능한 표면이 아닌 작업 메타데이터로서 유지됩니다.

데이터셋은 5개의 페르소나 기반 워크스페이스에 걸쳐 **1,151개의 원자적 작업(atomic tasks)**으로 구성됩니다. 작업은 요구되는 표면에 따라 rag_only, table_only, graph_only, 그리고 cross_surface(세 가지의 조합을 요구함)로 분류됩니다.

2. 검증 가능한 골드 스탠다드 (Verifiable Gold Standard)

감사 가능성을 보장하기 위해, 참조 답변은 모델에 의해 생성되지 않고 결정론적 실행으로부터 유도됩니다:

테이블 답변: DuckDB 쿼리를 통해 실행됩니다.
문서 답변: 소스 파일 내의 구절(verbatim spans)과 대조하여 검증됩니다.
그래프 답변: 소스 종속성 주석으로부터 유도됩니다.
결정론적 체크, LLM 지원 제안(GPT-5.5), 그리고 독립적인 인간/LLM 감사(DeepSeek, Gemini)를 포함하는 엄격한 스크리닝 파이프라인을 통해 최종 세트에 프로토콜 오류가 없음을 보장하며, 답변 가능성 및 표면 필요성에 대한 엄격한 기준을 통과합니다.

3. 스코어링 프로토리콜 (Scoring Protocol)

평가 프레임워크는 각 작업에 대해 네 가지 별도의 지표를 점수화합니다:

Route F1: 선택된 표면 집합의 정밀도(precision)와 재현율(recall)을 골드 요구 집합과 비교 측정합니다.
Evidence (증거): 트레이스(trace) 내에서 실제로 액세스된 필수 아티팩트(파일, 뷰, 노드)의 비율을 측정합니다.
Answer (답변): 답변 유형에 따라 정확한 일치(exact match), 상대적 오차 허용 범위, 또는 집합 F1을 사용하여 최종 정확도를 평가합니다.
Efficiency (효율성): 작업별 예산 대비 토큰 사용량을 기준으로 페널티를 부여하는 연속 점수입니다.

이 지표들은 다음 가중치를 가진 단일 점수로 합산됩니다: Answer (35%), Evidence (30%), Route (25%), Efficiency (10%).

실험 설정

저자들은 6가지 에이전트 설정 하에서 4개의 백본 모델(GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro, GPT-5.5)을 평가했습니다:

No-tool: 폐쇄형(closed-book) 베이스라인.
Always-RAG: 단일 문서 검색을 강제함.
Naive-router: 사전에 정확히 하나의 표면을 선택함.
ReAct-all: 세 가지 표면을 모두 노출하여 자유로운 인터리빙(interleaving)을 허용함.
Gold-constrained: 에이전트에게 필요한 표면은 주어지지만, 그 안에서 도구를 선택해야 함.
Gold-hint/all: 에이전트에게 필요한 표면은 주어지지만 모든 도구가 여전히 사용 가능함.

주요 결과

27,624개의 유지된 궤적(trajectories)을 다루는 실험은 몇 가지 중요한 발견을 제시합니다:

라우팅 $\neq$ 답변: 라우팅 성공과 답변 정확도 사이에는 중간 정도의 상관관계( $\rho = 0.62$ )만 존재합니다. 에이전트가 Gold-constrained 설정(올바른 표면 사용 강제)에서도 **Route F1(98.7–99.8%)**에 근접한 수치를 달성하더라도, Answer 정확도는 여전히 현저히 낮습니다(56.1–75.3%).
포스트 라우팅 병목 현상 (Post-Routing Bottlenecks): 높은 라우팅 점수가 올바른 실행을 보장하지는 않습니다. Gold-constrained 설정에서도 에이전트는 여전히 증거 검색(Evidence 점수: 66.7–78.5%) 및 다운스트림 계산/합성에서 실패합니다.
힌트 vs 제한의 영향:
- 표면 힌트를 제공하는 것(S4 $\to$ S6)은 네 모델 모두에서 Answer 정확도를 향상시키지만, 라우팅에 미치는 영향은 가변적입니다.
- 무관한 도구를 제거하는 것(S6 $\to$ S5)은 Route F1과 Efficiency를 크게 개선하지만, Answer 정확도를 균일하게 향상시키지는 않으며, 어떤 경우에는 성능을 저하시키기도 합니다.
표면별 성능: 성능은 작업 유형에 따라 다릅니다. Table-only 작업은 일반적으로 가장 높은 점수(최대 91.0%)를 기록하는 반면, Cross-surface 작업은 가장 까다로우며, 모델의 최고 단일 표면 성능보다 13.0~45.7포인트 낮은 점수를 보입니다.

의의 및 주장

본 논문은 WorkSurface-Bench가 표면 라우팅을 Answer 메트릭과 별도로 점수화하는 최초의 워크스페이스 벤치마크라고 주장합니다. 주요 의의는 다음과 같습니다:

진단적 명확성 (Diagnostic Clarity): 지표를 분리함으로써, 연구자들이 모든 실패를 단일한 "지능" 점수로 돌리는 대신, 에이전트가 선택, 검색, 또는 합성 중 어느 단계에서 실패했는지 정확히 짚어낼 수 있게 합니다.
능력의 분리 (Decoupling Abilities): 결과는 어디를 봐야 하는지 아는 것(routing)이 찾은 정보를 어떻게 사용하는지 아는 것(answering)과 별개의 능력임을 입증합니다.
평가의 엄격성 (Evaluation Rigor): 실행 가능하고 감사 가능한 골드 답변(SQL, 구절, 주석)의 사용은 모델이 생성한 참조값에 대한 의존성을 제거하여, 엔터프라이즈 에이전트 평가를 위한 더 신뢰할 수 있는 그라운드 트루스(ground truth)를 제공합니다.

저자들은 향end-to-end 정확도에만 의존하기보다, 미래의 에이전트 평가는 표면 선택을 별도로 보고해야 하며, 시스템이 검색된 증거를 올바른 답변으로 변환할 수 있는지 명시적으로 테스트해야 한다고 결론짓습니다.