💬 NLP

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

이 논문은 기존의 정확도 기반 평가를 보완하여, LLM 에이전트 궤적 내 유용한 도구 호출 비율을 직접적으로 평가하고 최적화하기 위한 새로운 정량적 지표로서 "도구 효율성(tool efficiency)"과 "한계 도구 효용(marginal tool utility)"을 도입하며, 이를 통해 더욱 간결한 도구 세트의 구축을 유도하는 것을 목표로 한다.

원저자: Nyx Iskandar

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nyx Iskandar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 대화만 하는 것이 아니라, 실제로 무언가를 '수행'하는 세상을 상상해 보십시오. 이것이 바로 **AI 에이전트(AI Agents)**의 영역입니다. 일반적인 거대 언어 모델(LLM)을 지식은 풍부하지만 도서관 밖을 나설 수 없는 똑똑하지만 책벌레 같은 학생이라고 생각해 봅시다. 이 학생을 현실 세계에서 유용하게 만들기 위해, 우리는 그들에게 계산기, 검색 엔진, 코드 에디터와 같은 일련의 "도구(tools)"를 쥐여줍니다. 이를 통해 그들은 문제를 해결하고, 버그를 수정하며, 정보를 찾아낼 수 있습니다. 이것이 현대 AI의 흥미로운 최전선입니다. 즉, 수동적인 두뇌를 능동적인 일꾼으로 바꾸는 것입니다.

하지만 함정이 있습니다. 도구 상자를 가지고 있다고 해서 모든 도구가 도움이 되는 것은 아닙니다. 때로는 드라이버가 필요한 상황에서 망치를 집어 드는 것이 시간만 낭비하고 작업자를 혼란스럽게 만들 뿐입니다. 과거에 과학자들은 주로 최종 작업이 올바르게 완료되었는지(즉, "정확도")에만 관심을 가졌습니다. 하지만 그들은 다음과 같은 질문은 거의 던지지 않았습니다. "로봇이 목적지에 도달하기 위해 얼마나 많은 잘못된 길을 돌아갔는가?" 또는 "도움이 되지 않는 도구를 사용하느라 시간을 낭비하지는 않았는가?" 이 논문은 바로 이 간극을 파고들며, 단순하지만 강력한 질문을 던집니다: "AI의 도구 사용은 얼마나 효율적인가?" 저자들은 단순히 AI가 성공했는지 여부뿐만 아니라, 성공하기 위해 도구를 얼마나 잘 사용했는지를 측정하고자 하며, 이를 통해 미래를 위한 더 가볍고, 빠르고, 스마트한 AI 일꾼을 만들기를 희고 있습니다.

"쓸모없는 도구"를 찾는 탐정

이 논문에서 저자들은 AI 에이전트가 도구를 사용하는 방식을 바라보는 새로운 관점을 소개합니다. 그들은 이 새로운 지표를 **"도구 효율성(Tool Efficiency)"**이라고 부릅니다. 이를 이해하기 위해, 당신이 탐정이 미스터리를 해결하는 과정을 지켜보고 있다고 상상해 보십시오. 탐정은 돋보기, 지문 채취 키트, 무전기, 그리고 수정 구슬이 든 가방을 가지고 있습니다.

만로 탐정이 단서를 찾기 위해 돋보기를 사용한다면, 그것은 유용한 움직임입니다. 만약 탐정이 정답을 추측하기 위해 수정 구슬을 사용했는데 결과가 틀렸다면, 그것은 낭비입니다. 저자들은 우리가 보통 탐정이 사건을 해결했는지만 확인한다는 점을 깨달았습니다. 우리는 탐정이 얼마나 자주 잘못된 도구를 집어 들었는지는 보통 세지 않습니다. 저자들은 "좋은" 도구 사용과 "나쁜" 도구 사용을 셀 수 있는 방법을 원했습니다.

핵심 요소: 한계 도구 효용성 (Marginal Tool Utility)

도구 사용이 좋았는지 나빴는지를 판단하기 위해, 저자들은 **"한계 도구 효용성(Marginal Tool Utility)"**이라는 개념을 고안했습니다. 용어는 거창해 보이지만 실제로는 매우 간단합니다. 이는 다음과 같이 묻습니다: "이 특정 도구 호출이 AI가 정답에 가까워지는 데 도움이 되었는가, 아니면 그저 노이즈를 추가했을 뿐인가?"

이를 테스트하기 위해 그들은 **"LLM-as-a-Judge(심판으로서의 LLM)"**라는 영리한 기법을 사용했습니다. 탐정의 일거수일투족을 지켜보는 초스마트 심판이 있다고 상상해 보십시오. 탐정이 도구를 사용한 후, 심판은 도구가 사용되기 전의 상황과 사용된 후의 상황을 살펴봅니다.

만약 상황이 더 명확해지고 탐정이 사건을 해결할 가능성이 높아졌다면, 심판은 엄지 척(양의 효용)을 줍니다.
만약 탐정이 혼란에 빠지거나 제자리를 맴돌게 되었다면, 심판은 엄지 다운(비양의 효용)을 줍니다.

저자들은 상황이 얼마나 좋아졌는지에 대한 정확한 수학적 수치를 알 필요는 없으며, 단지 변화의 부호(양수인지 음수인지)만을 알면 된다는 것을 발견했습니다. 이를 통해 AI의 여정 속 모든 도구 호출을 "유용함" 또는 "유용하지 않음"으로 분류할 수 있었습니다.

실험: 불필요한 것들을 정리하기

자신의 아이디어가 작동함을 증명하기 위해, 저자들은 APEX-SWE Observability라는 벤치마크를 사용하여 실제 환경 테스트를 설정했습니다. 이는 AI 에이전트가 로그를 읽고 다른 시스템과 소통하며 컴퓨터 코드의 버그를 수정해야 하는 까다로운 도전 과제입니다.

에이전트들에게는 다음을 포함한 "도구 세트(tool suite)"가 주어졌습니다:

Grafana/Loki: 시스템 로그를 읽는 도구 (마치 범죄 현장 사진을 보는 것과 같습니다).
Mattermost: 팀 채팅 메시지를 읽는 도구 (마치 용의자들의 가십을 읽는 것과 같습니다).
Plane: 프로젝트 티켓을 읽는 도구 (마직처럼 사건 파일을 읽는 것과 같습니다).

저자들은 실제 로그를 읽는 것(Grafana/Loki)은 매우 도움이 되겠지만, 채팅이나 티켓을 읽는 것은 AI를 산만하게 만들 수 있다고 의심했습니다. 이를 테스트하기 위해, 그들은 서로 다른 도구 세트를 사용하여 동일한 25개의 어려운 과제를 세 번씩 실행했습니다:

풀 키트 (The Full Kit): 세 가지 도구 모두 사용 가능.
로그 전용 키트 (The Log-Only Kit): 로그 도구(Grafana/Loki)만 사용 가능.
추가 도구 없음 키트 (The No-Extra-Tools Kit): 채팅이나 티켓 도구가 전혀 없음.

발견한 내용

결과는 그들의 가설을 명확히 확인해주었습니다.

1. "잡담"을 제거했을 때 정확도가 떨어지지 않았습니다.
채팅(Mattermost)과 티켓(Plane) 도구를 제거했을 때, AI의 성공률은 거의 동일하게 유지되었습니다. 실제로 한 모델(GPT-5.3-Codex)의 경우, 추가 도구를 제거했을 때 정확도가 0.32에서 0.36으로 오히려 약간 상승했습니다. 이는 이러한 추가 도구들이 도움이 된 것이 아니라, 그저 군더더기였다는 것을 증명했습니다.

2. "로그" 도구가 진정한 영웅이었습니다.
로그 도구(Grafana/Loki)를 제거했을 때, AI의 성능은 폭락했습니다. GPT 모델의 정확도는 0.24로, Gemini 모델은 0.20으로 떨어졌습니다. 이는 로그 도구가 필수적이었던 반면, 다른 도구들은 "짐"에 불과했다는 것을 확인시켜 주었습니다.

3. 정리를 하니 효율성이 치솟았습니다.
이 지점에서 새로운 지표가 빛을 발했습니다. 쓸모없는 도구들을 제거함으로써 "도구 효율성"이 극적으로 상승했습니다.

GPT 모델의 경우, 풀 키트에서의 효율성은 0.359(약 36%의 도구 호출이 유용함)였으나, 로그 전용 키트에서는 0.720(72%가 유용함)으로 급증했습니다.
Gemini 모델의 경우, 0.367에서 0.593으로 상승했습니다.

쉬운 말로 하자면: AI가 채팅 메시지와 프로젝트 티켓을 확인하며 시간을 낭비하는 것을 멈추자, 실제로 도움이 되는 일을 하는 데 쓰는 시간의 비율이 거의 두 배로 늘어났습니다.

"중간 단계의 함정 (The Middle Call Mystery)"

저자들은 또한 AI가 언제 실수를 하는지에 대해서도 흥미로운 점을 발견했습니다. 그들은 AI가 초반에는 로그 읽기와 같은 올바른 도구를 사용하며 순조롭게 시작하지만, 작업의 중간 단계에서 자주 주의가 산만해져 도움이 되지 않는 도구(예: 채팅 읽기)를 사용하며 단계를 낭비한다는 것을 발견했습니다. 이는 마치 범죄 현장을 먼저 조사한 뒤, 용의자의 일기를 한 시간 동안 읽고 나서야 다시 범죄 현장으로 돌아가는 탐정과 같습니다. 저자들은 향-후 AI 시스템이 이러한 "중간 슬럼프"를 인식하고 도움이 되지 않는 도구를 사용하는 것을 멈추도록 프로그래밍하여, 너무 많은 시간을 낭비하기 전에 "되돌아가는(backtrack)" 법을 가르칠 수 있다고 제안합니다.

이것이 왜 중요한가

이 논문은 우리가 모든 도구를 다 가진 AI 에이전트를 만들어야 하는 것이 아니라고 결론짓습니다. 대신, 이러한 새로운 지표를 사용하여 "경량화된(lean)" 도구 세트를 구축해야 합니다. 목수가 느슨한 나사를 조이기 위해 망치, 톱, 드릴을 모두 들고 다니지 않듯이, AI도 필요하지 않은 도구를 들고 다녀서는 안 됩니다.

저자들은 한계 도구 효용성과 도구 효율성을 측정함으로써, 개발자들이 더 정확할 뿐만 아니라 더 빠르고 저렴하게 실행되는 AI 에이전트를 만들 수 있다고 제안합니다. 그들은 이것이 AI 에이전트를 단순히 "똑똑하지만 서투른" 존재가 아닌, 진정으로 효율적인 존재로 만드는 데 있어 중요한 단계라고 주장합니다. 그들은 모든 문제를 해결했다고 주장하는 것이 아니라, 우리 AI 일꾼들이 실제로 얼마나 잘 일하고 있는지를 측정할 수 있는 새로운 자를 커뮤니티에 전달한 것입니다.

기술 요약: 에타 주어진 델타(Eta Given Delta) – 한계 도구 유용성을 통한 LLM 도구 효율성 정의

문제 정의

대규모 언어 모델(LLM)이 에이전트로서 기능하기 위해 점점 더 많은 도구를 갖추고 있지만, 현재의 평가 패러다임은 거의 전적으로 **결과 정확도(outcome accuracy)**를 도구 사용 효율성의 대리 지표로 의존하고 있습니다. 이러한 접근 방식은 에이전트의 궤적 내에서 유용한 도구 호출의 비율을 직접적으로 측정하지 못합니다. 결과적으로, 특정 도구 호출이 작업 성공에 기여하는지 아니면 불필요한 것인지 결정할 수 있는 정량적 지표가 부족하며, 이는 정확도를 개선하지 못하면서 추론 비용과 지연 시간만 증가시키는 비대한 도구 세트로 이어질 수 있습니다. 본 논문은 문헌상의 공백, 즉 도구 효율성(유용한 도구 호출의 비율)을 측정하고 성능 저하 없이 안전하게 제거할 수 있는 특정 도구 호출을 식별하기 위한 직접적이고 정량적인 방법의 부재를 지적합니다.

방법론

1. 한계 도구 유용성 ( $\Delta\alpha$ ) 정의

저자들은 개별 도구 호출( $\alpha_i$ )마다 정의되는 **한계 도로 유용성(Marginal Tool Utility)**을 도입합니다.

정의: $\Delta\alpha(\alpha_i)$ 는 $\alpha_i$ 를 포함한 도구 호출까지의 작업 해결 가능성과 $\alpha_i$ 를 제외했을 때의 작업 해결 가능성 사이의 차이를 나타냅냅니다.
부호 결정: 계산 비용이 많이 드는 정책 롤아웃(policy rollouts) 대신, 본 논문은 LLM-as-a-Judge 접근 방식을 활용합니다. 판사 LLM( $\pi^{(J)}$ $π^{(J)}$ )이 특정 도구 호출 전후의 궤적을 분석하여 $\Delta\alpha(\alpha_i)$ $Δ α (α_{i})$ 의 부호를 결정합니다.
- $\Delta\alpha(\alpha_i) > 0$ : 해당 도구 호출은 유용함.
- $\Delta\alpha(\alpha_i) \leq 0$ : 해당 도구 호출은 유용하지 않음 (제거 가능).
총합 유용성: 특정 도구의 모든 호출에 대해 $\Delta\alpha$ 를 합산함으로써, 해당 도구가 에이전트의 정확도에 필요한지 여부를 결정합니다.

2. 도구 효율성 ( $\eta_\alpha$ ) 정의

한계 도구 유용성의 부호를 기반으로, 도구 효율성을 궤적 내 전체 도구 호출 대비 유용한 도구 호출의 비율로 정의합니다.
$\eta_\alpha(\tau) = \frac{|\{\alpha_i | \Delta\alpha(\alpha_i) > 0\}|}{N}$
여기서 $N$ 은 총 도구 호출 횟수입니다. 본 논문은 비양수(non-positive)의 총합 유용성을 가진 도구를 제거하면 정확도에 영향을 주지 않으면서 $\eta_\alpha$ 를 높일 수 있다고 가설을 세웁니다.

3. 실험 설정

벤치마크: 본 연구는 프런티어 모델들이 40% 이상의 정확도를 달려하기 어려워하는 25개의 공개 태스크를 포함하는 APEX-SWE Observability 벤치마크를 사용합니다.
에이전트 하네스(Agent Harness): 기본 하네스는 네이티브 도구(bash, search 등)와 세 가지 읽기 전용 MCP 도구인 Grafana/Loki(로그), Mattermost(토론), Plane(티켓/명세)을 포함합니다.
절제 연구(Ablation Study): 세 가지 변형 모델을 테스트했습니다:
1. Default: 모든 도구 포함.
2. Grafana: Grafana/Loki만 포함.
3. No-MCP: MCP 도구 없음.
모델: 실험은 GPT-5.3-Codex와 Gemini 3.1 Pro를 사용하여 총 150개의 궤적을 생성하며 수행되었습니다.
판사 모델: 도구 호출의 유용성을 분류하기 위해 GPT-5.4가 LLM-as-a-Judge로 사용되었습니다.

주요 결과

태스크 정확도

중복 도구 제거: Mattermost와 Plane을 제거했을 때(Default와 Grafana 비교), 태스크 정확도에 유의미한 감소가 없었습니다. 일부 경우에는 정확도가 약간 향상되거나 안정적으로 유지되었습니다.
필수 도구 제거: Grafana/Loki를 제거했을 때(Grafana와 No-MCP 비교), 정확도가 눈에 띄게 감소했습니다 (예: GPT-5.3-Codex의 경우 0.36에서 0.24로 하락).
결론: Grafana/Loki는 이러한 관측성(observability) 태스크에 필수적인 도구인 반면, Mattermost와 Plane은 중복됩니다.

한계 도구 유용성

총합 유용성: LLM-as-a-Judge는 가설을 확인했습니다. Grafana/Loki는 양의 총합 유용성( $\sum \Delta\alpha > 0$ )을 보였으나, Mattermost와 Plane은 비양수 총합 유용성( $\sum \Delta\alpha \leq 0$ )을 보였습니다.
호출 패턴: 판사의 근거 분석 결과:
- 유용한 호출( $\Delta\alpha > 0$ )은 주로 궤적 초기에 발생하여 구체적인 에러 로그를 제공했습니다.
- 유용하지 않은 호출( $\Delta\alpha \leq 0$ )은 주로 궤적 중간에 발생했으며, 흔히 일반적인 쿼리, 노이즈가 섞인 컨텍스트, 또는 잘못된 쿼리에 대한 재시도와 관련되었습니다.

도구 효율성

효율성 이득: 유용하지 않은 도구(Mattermost 및 Plane)를 제거함으로써 도구 효율성이 크게 향상되었습니다.
- GPT-5.3-Codex: 효율성이 0.359 (Default)에서 0.720 (Grafana)로 상승했습니다.
- Gemini 3.1 Pro: 효율성이 0.367 (Default)에서 0.593 (Grafana)로 상승했습니다.
이는 더 가벼운 도구 세트가 정확도를 유지하면서도 유용한 행동의 비율을 획기적으로 개선할 수 있음을 입증합니다.

핵심 기여

한계 도구 유용성 ( $\Delta\alpha$ ): 특정 호출이 작업 성공 가능성을 높이는지 결정하기 위해 개별 도구 호출마다 정의된 새로운 지표입니다.
총합 도구 유용성: 특정 도구를 제거했을 때 해당 도구가 에이전트 정확도에 영향을 미치는지 예측하는 방법으로, 호출 수준 유용성의 합을 기반으로 합니다.
도구 효율성 ( $\eta_\alpha$ ): 궤적 내 유용한 도구 호출의 비율을 나타내는 정량적 지표입니다.
LLM-as-a-Judge 구현: 반복적인 정책 롤아웃 없이 $\Delta\alpha$ 의 부호를 결정할 수 있는 비용 효율적인 방법이며, 경험적 절제 연구를 통해 검증되었습니다.

의의 및 주장

본 논문은 주요 기여가 결과 정확도와 구별되는 도구 효율성을 측정하기 위한 직접적이고 정량적인 프레임워크를 구축한 것이라고 주장합니다. 한계 도구 유용성을 도입함으로써 저자들은 다음과 같은 메커니즘을 제공합니다:

더 가벼운 도구 세트 설계: 애플리케이션 계층 엔지니어가 정확도에 기여하지 않는 중복 도구를 식별하고 제거하여 추론 비용과 복잡성을 줄일 수 있도록 합니다.
에이전트 하네스 최적화: 경험적 유용성 데이터를 바탕으로 백본 모델과 태스크에 맞춰 도구 세트를 맞춤화함으로써 "원 사이즈 피츠 올(one-size-fits-all)" 방식의 도구 구성을 넘어섭니다.
미래 연구에 정보 제공: 정확도와 상보적인 효율성 지표를 최적화하는 새로운 벤치마크 설계와 에이전트 엔지니어링을 위한 발판 역할을 합니다.

저자들은 이전 연구들이 강화 학습이나 검색을 통해 도구 사용을 개선하는 데 집중했다면, 본 연구는 **사후 궤적 분석(post-hoc trajectory analysis)**을 통해 실행 가능한 지표를 도출하는 데 집중하고 있음을 강조합니다. 연구 결과는 도구의 필요성에 대한 직관적인 판단이 제안된 정량적 지표와 일치함을 보여주며, 이는 실제 배포를 위한 접근 방식의 타당성을 입증합니다.