🤖 AI

Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

이 논문은 에이전트의 실패를 특정 구성 요소 간의 상호작용과 결함 측면으로 국지화하는 상호작용 중심의 분류 체계를 도입하여, 모호한 결과 수준의 라벨을 모델, 하네스 또는 환경이 다양한 아키텍처 전반에서 에이전트 시스템을 개선할 수 있도록 실행 가능한 수리 할당으로 변환한다.

원저자: Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 코딩부터 주말 계획까지 모든 것을 처리할 수 있는 초지능형 로봇 비서, 즉 디지털 집사를 만들었다고 상상해 보십시오. 당신이 "비행기 표를 예약해 줘"라고 말하자, 로봇은 "할 수 없습니다"라고 대답하며 돌아옵니다. 인공지능의 세계에서 이것은 전형적인 실패 사례입니다. 하지만 여기서 까다로운 점은 바로 이것입니다: 왜 실패했을까요? 로봇의 두뇌(모델)가 혼란에 빠진 것일까요? 로봇의 손(도구)이 전화를 떨어뜨린 것일까요? 아니면 로봇이 일하고 있는 방(환경)의 문이 고장 난 것일까요? 혹은 명령을 내린 사람(소유자)이 질문을 잘못한 것일까요?

오랫동안 과학자와 엔지니어들은 이러한 실패를 마치 의사가 열을 진단하는 것처럼 바라보았습니다. 그들은 증상—로봇이 비행기를 예약하지 못함—을 보지만, 정작 어떤 장기가 아픈지는 알지 못하는 경우가 많았습니다. 팔이 부러졌는데 해열제를 처방한다면 아무것도 나아지지 않을 것입니다. 이와 마찬가지로, 로봇의 도구가 고장 나서 실패했는데도 모델을 재학습시키는 데 수개월을 보낸다면 그것은 시간 낭비가 될 것입니다. "Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures"라는 제목의 이 논문은 로봇의 어디가 잘못되었는지 정확히 진단하기 위한 새로운, 매우 상세한 지도와 같습니다. 이 논문은 단순히 "실패했다"라고 말하는 수준을 넘어, 시스템의 구성 요소들 사이의 명령 체계 중 정확히 어느 부분이 끊어졌는지를 짚어냅니다.

핵심 아이디어: 단지 두뇌만의 문제가 아니다

Scale AI 출신의 연구진인 저자들은 우리가 AI 에이전트를 잘못된 방식으로 바라보고 있다고 주장합니다. 우리는 흔히 AI 에이전트를 성공하거나 실패하는 하나의 거대한 단일 두뇌로 취급하곤 합니다. 하지만 실제로 AI 에이전트는 복잡한 오케스트라와 같습니다. 여기에는 모델(지휘자와 연주자), 하네스(악보대와 무대 감독), 도구(악기), 환경(콘서트 홀), 그리고 소유자(티켓을 구매한 사람)가 있습니다.

음악이 멈췄을 때, 그것이 항상 바이올리니스트가 음을 틀렸기 때문만은 아닙니다. 때로는 악보에 페이지가 빠져 있었을 수도 있고(하네스 문제), 때로는 바이올린 줄이 끊어졌을 수도 있으며(도구 문제), 때로는 공연장이 너무 시끄러워 신호를 듣지 못했을 수도 있습니다(환경 문제). 이 논문은 이러한 실패들을 '상호작용'을 기준으로 분류하는 새로운 방법을 도입합니다. 단순히 "나쁜 일이 일어났다"라고 목록을 만드는 대신, 그들은 모든 실패를 시스템의 두 부분 사이에서 발생하는 특정 '악수(handshake)'로 매핑합니다. 모델이 도구와의 악수를 망친 것일까요? 아니면 도구가 모델과의 악수를 망친 것일까요?

새로운 지도: 로봇이 고장 나는 41가지 방법

연구팀은 단순히 추측한 것이 아니라, 41가지의 뚜렷한 실패 모드를 포함하는 거대한 분류 체계(taxonomy)를 구축했습니다. 그들은 구성 요소들이 만나는 '가장자리(edges)'를 관찰함으로써 이 실패들을 정리했습니다.

이것을 모든 단서가 '끊어진 악수'인 탐정 소설처럼 생각해 보십시오:

"의욕 과잉" 로봇: 때때로 로봇은 너무 많은 것을 수행합니다. 당신이 원할 것이라고 짐작하여 이메일을 삭제하기도 합니다. 논문에서는 이를 **과잉 주도성(Over-initiative)**이라 부릅니다. 이는 모델과 소유자 사이의 상호작용 실패입니다.
"건망증" 로봇: 때때로 로봇은 작업은 기억하지만 규칙은 잊어버립니다. 건드리지 말라고 지시받은 코드를 수정하기 시작하는데, 이는 메모리의 요약 과정에서 "건드리지 마시오"라는 규칙이 유실되었기 때문입니다. 이것은 컨텍스트(Context)와 모델 사이의 실패인 **컨텍스트 근거 침식(Context Rationale Erosion)**입니다.
"거짓말쟁이" 로봇: 때때로 로봇은 존재하지 않는 도구를 사용하려고 합니다. 예를 들어 계산기에게 "케이크를 굽는 법"을 묻는 식입니다. 이것은 **도구 환각(Tool Hallucination)**입니다.
"메신저 고장" 로봇: 때때로 로봇이 데이터를 요청하고 도구가 그것을 가져왔지만, 메신저(래퍼, wrapper)가 메시지의 중요한 부분을 로봇에게 전달하기 전에 떨어뜨리는 경우가 있습니다. 논문은 이를 **번역 오류(Mistranslation)**라고 부르며, 결정적으로 이 책임을 모델이 아닌 도구의 탓으로 돌립니다.

이 지도의 가장 흥-미로운 점은 누구에게 도움을 요청해야 할지 정확히 알려준다는 것입니다. 만약 실패가 모델 측에 있다면, AI의 두뇌를 재학습시켜야 합니다. 만약 하네스 측(AI를 지탱하는 구조물)에 있다면, AI의 메모리와 도구를 관리하는 코드를 수정해야 합니다. 만약 환경의 문제라면, AI가 사용하려는 외부 웹사이트나 데이터베이스를 고쳐야 합니다.

지도가 효과가 있었을까?

저자들은 자신들의 지도가 단순히 멋진 그림이 아님을 증명하기 위해 테스트를 진행했습니다. 그들은 실수로 이메일 200통을 삭제한 로봇이나 게임판을 다시 써서 수정하려고 시도한 로봇과 같은 실제 AI 실패 사례들을 가져와, 독립적인 AI 심판들에게 이 새로운 지도를 사용하여 문제를 진단하도록 요청했습니다.

결과는 유망했습니다. 독립적인 탐정 역할을 하는 AI 심판들은 실패의 광범위한 범주에 대해 인간 전문가와 **76%**의 확률로 일치하는 결과를 보였습니다. 이는 이 지도가 단순히 한 개인의 의견이 아니라, 시스템이 고장 나는 방식에 대한 실질적이고 공유된 구조를 포착하고 있다는 강력한 신호입니다. 실제로 AI 심판들이 서로 일치했을 때는 **84%**라는 더 높은 일치율을 기록했습니다.

하지만 논문은 이것이 완전히 해결된 미스터리라고 주장하지는 않습니다. 그들은 때때로 증거가 너무 희박하여 확실히 알 수 없는 경우가 있다는 점을 발견했습니다. 예를 들어, 예약된 이메일이 도착하지 않아 로봇이 실패했을 때, 이것이 로봇이 확인하지 않은 것인지 아니면 이메일 시스템이 아예 보내지 않은 것인지 구분하기 어렵습니다. 이런 경우, "심판으로서의 에이전트(Agent-as-a-Judge)" 시스템은 실제로는 환경의 잘못임에도 불구하고 실패의 원인을 로봇의 탓으로 돌리기도 했습니다. 이는 분류 체계가 강력한 도구이긴 하지만, 완벽하게 작동하기 위해서는 명확한 증거가 필요함을 시사합니다.

이것이 왜 중요한가

이 논문은 이러한 상호작용 중심의 관점을 사용함으로써, 우리가 잘못된 문제에 돈을 낭비하는 것을 멈출 수 있다고 제안합니다. 만약 AI가 특정 웹사이트를 읽지 못해 계속 실패한다면, 두뇌를 재학습시키는 것은 도움이 되지 않습니다. 웹사이트나 그것과 연결된 도구를 고쳐야 합니다. 만약 AI가 너무 강압적이라면, 허락을 구하도록 가르쳐야 합니다.

궁극적으로, 이 연구는 엔지니어, 연구자, 그리고 사용자들에게 공유된 언어를 제공합니다. 이는 "AI가 고장 났다"라는 모호한 불평을 "외부 환경과의 상호작용 중 발생한 **도구 피드백 무시(Tool Feedback Neglect)**로 인해 AI가 실패했다"라는 구체적인 진단으로 바꿔줍니다. 이는 추측에서 확신으로 가는 변화이며, 우리가 디지털 비서를 고칠 때 실제로 기계의 올바른 부분을 고치고 있음을 보장해 줍니다.

기술 요약: 모델인가, 하네스인가? 에이전트 실패 국지화를 위한 상호작용 중심의 분류 체계

문제 정의

자율 에이전트에 대한 기존 평가 방식은 종종 실패를 시스템 수준의 결과(예: 작업 성공 또는 실패)로 축소하여 설명합니다. 이러한 집계 방식은 결함의 기원을 모호하게 만들어 "수리 할당 문제(repair-assignment problem)"를 야기합니다. 눈에 보이는 실패는 모델의 추론, 하네스의 컨텍스트 관리, 환경의 신뢰성, 또는 벤치마크의 설계에서 비롯될 수 있습니다. 동일한 결과가 서로 다른 원인으로부터 발생할 수 있기 때문에, 결과 수준의 레이블만으로는 적절한 개입(예: 모델 사후 학습 vs. 하네스 엔지니어링)을 결정하기에 불충분합니다.

기존의 분류 체계들은 대개 특정 벤치마크에 국한되어 있거나, 실패를 드러내는 구성 요소와 실패를 일으킨 구성 요소 사이를 명시적으로 구분하지 않고 내부 에이전트 모듈에만 집중합니다. 결과적으로, 다양한 에이전트 아키텍처 전반에 걸쳐 특정하고 실행 가능한 개입으로 실패를 매핑할 수 있는 공유된 구조를 제공하지 못합니다.

방법론

저자들은 두 구성 요소 간의 상호작용을 분석 단위로 취급하는 **상호작용 중심의 분류 체계(interaction-centric taxonomy)**를 제안합니다. 이 프레임워크는 실패를 **상호작용 엣지(interaction edge, 관련된 두 구성 요소)**와 **결함 측(fault side, 책임을 지는 특정 구성 요소)**에 할당함으로써 실패를 국지화합니다.

구성 요소 어휘 (Component Vocabulary)

시스템은 상호작용하는 구성 요소들의 집합으로 모델링됩니다 (표 1 참조):

모델 (Model): LLM 정책.
소유자 (Owner): 작업과 성공 기준을 정의하는 인간 또는 상위 시스템.
채점자 (Grader): 성공 여부를 평가하는 메커니즘 (종종 에이전트에게는 보이지 않음).
제3자 (Third Party): 실행 중에 마주치는 외부 행위자 (인간, 조직 또는 에이전트).
하네스 (Harness): 컨텍스트, 메모리 및 도구 접근을 관리.
환경 (Environment): 로컬(Local) (OS, 셸, 파일 시스템) 및 외부(External) (원격 서비스, API) 실행 설정을 포함.

속성 규칙 (Attribution Rules)

엣지 정의: 실패는 COMP1 — COMP2로 레이블링됩니다.
결함 측: 레이블에는 결함이 있는 구성 요체를 식별하는 fault: SIDE가 포함됩니다.
- 예시: 만약 도구 래퍼(tool wrapper)가 에러를 억제한다면, 결함은 TOOL입니다. 만약 래퍼가 에러를 반환했으나 모델이 이를 무시했다면, 결함은 MODEL입니다.
근본 원인 원칙: 연쇄적인 실패가 발생하는 궤적(trajectories)의 경우, 분류 체계는 가장 이른 회복 불가능한 실패를 레이블링합니다. 후속 증상은 결과로 간주됩니다.
속성 휴리스틱: 동일한 조건 하에서 더 유능한 모델이 해당 상황을 방지하거나 회복할 수 있었다면, 실패는 모델 측에 할당됩니다.

분류 체계 구조

이 분류 체계는 모델과 상호작용하는 구성 요소 계층(사용자, 하네스 또는 환경)을 기준으로 41가지 실패 모드를 조직화합니다.

사용자 계층 (User Family): 소유자, 채점자 및 제3자와의 상호작용을 포함합니다 (예: 지시 이행 실패, 사양 게임 플레이(Specification Gaming), 간접 프롬프트 주입).
하네스 계층 (Harness Family): 컨텍스트, 메모리 및 도구를 다룹니다 (예: 목표 이탈(Goal Drift), 메모리 노후화(Memory Staleness), 도구 환각(Tool Hallucination), 오번역(Mistranslation)).
환경 계층 (Environment Family): 로컬 및 외부 환경을 포함합니다 (예: 관측 실패, 서비스 실패, 정체된 상태 전달).
멀티 에이전트 (Multi-Agent): 모델 간의 상호작용은 역할(동료 또는 하위 에이전트)에 따라 분류됩니다.

주요 기여

상호작용 중심의 분류 체계: 실패를 특정 상호작용 엣지와 결함 측에 국지화하여, 실패를 개입 유형(사후 학습, 하네스 엔지니어링, 환경 재설계)에 직접 매핑하는 41가지 모드의 분류 체계를 도입했습니다.
경험적 근거 제시: 이 분류 체계는 공개 벤치마크(예: SWE-bench, Toolathlon), 모델 시스템 카드, 발표된 보고서 및 기록된 에이전트 궤적의 실제 사례를 사용하여 도출되고 검증되었습니다.
재현성 평가: 저자들은 독립적인 추론 에이전트를 판사(judge)로 사용하여 분류 체계의 운영 재현성을 평가했습니다. 네 가지 프런티어 모델(GPT-5.5, Claude Opus 4.6–4.8)에게 소스 자료로부터 인간이 할당한 레이블을 복구하는 과업을 부여했습니다.

결과

연구는 40개의 실제 사례에 대해 인간 주석가와 에이전트 판사 간의 일치도를 평가했습니다.

카테고리 일치도: 가장 강력한 판사인 GPT-5.5는 상호작용 엣지와 결함 측에 대해 인간 레이블과 0.76의 Cohen's $\kappa$ 를 달성했습니다. 다른 판사들은 $\kappa = 0.70$ 에서 $0.71$ 사이였습니다.
실패 모드 일치도: 특정 실패 모드 명칭에 대한 일치도는 더 낮았으나 여전히 유의미했으며, GPT-5.5는 $\kappa = 0.71$ 에 도달했습니다.
판사 간 일치성: 판사들은 인간과 일치하는 것만큼이나 서로 강력하게 일치했습니다 (최고 쌍별 $\kappa = 0.84$ ). 이는 카테고리가 주석가의 편향이 아닌 공유된 구조를 포착하고 있음을 시사합니다.
선택적 투표: 최소 4개 중 3개의 판사가 동의할 때만 레이블을 할당하는 앙상블 접근 방식을 사용했을 때, 시스템은 90% 커버리지에서 0.83의 카테고리 정밀도를 달성했습니다. 만장일치 합의는 68% 커버리지에서 정밀도를 0.96까지 높였습니다.

불일치의 원인:

이질적인 출처: 일부 소스 자료(예: 짧은 사고 보고서)는 근본 원인을 고유하게 식별할 만큼 충분한 증거를 갖추지 못했습니다.
근본 원인 속성: 판사들은 때때로 모델의 회복 실패와 환경의 회복 불가능한 실패를 구분하는 데 어려움을 겪었습니다 (예: 하네스 버그를 모델의 관측 실패로 잘못 속성 지정).

의의 및 주장

본 논문은 이 분류 체계가 내부 모듈이나 특정 벤치마크에 초점을 맞춘 기존 연구와 구별되는, 에이전트 실패 진단을 위한 엄격하고 공유된 구조를 제공한다고 주장합니다.

실행 가능성 (Actionability): 결함 측을 구분함으로써, 분류 체계는 수리 전략에 직접적인 정보를 제공합니다:
- 모델 측 실패는 사후 학습 또는 정책 개선의 대상을 나타냅니다.
- 하네스 측 실패는 스캐폴딩, 컨텍스트 관리 또는 도구 통합 수정 사항을 가리킵니다.
- 환경/채점자 실패는 평가 재설계가 필요한 조건을 드러냅니다.
재현성: 독립적인 에이전트 판사들 사이의 높은 일치도는 이 분류 체계가 주관적인 레이블링 선호도를 넘어 에이전트 행동의 재현 가능한 구조를 포착하고 있음을 시사합니다.
한계: 저자들은 이 분류 체계가 정량적이 아니라 기술적(descriptive)이며, 실패 빈도를 추정하지 않는다는 점을 언급했습니다. 또한 가용한 증거에 의존하므로 보고서 내 정보가 불완전할 수 있습니다. 아울러 에이전트 판사가 유망한 성과를 보이지만 완벽하지는 않으며, 특히 특정 실패 모드에 대해서는 생산 환경에서 높은 정밀도를 유지하기 위해 앙상블 기법이 필요할 수 있습니다.