💻 computer science

Fantastic Adaptive Taxonomies and How to Use Them

이 논문은 에이전트 실행 트레이스로부터 압축되고 증거에 기반한 실패 분류 체계를 자동으로 유도하여 재사용 가능한 피드백 인터페이스 역할을 수행함으로써, 기존의 자유 형식 성찰 방식과 비교하여 검색, 런타임 및 궤적 선택 작업 전반에서 에이전트 성능을 유의미하게 향상시키는 시스템인 AdaMAST를 소개한다.

원저자: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

게시일 2026-07-21

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mert Cemri, Andrei Cojocaru, Melissa Pan, Shu Liu, Shubham Agarwal, Alexander Krentsel, Jay Tang, Kannan Ramchandran, Joseph E. Gonzalez, Matei Zaharia, Alex Dimakis, Ion Stoica

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간은 덜렁거리는 로봇에게 퍼즐 푸는 법을 가르치고 있다고 상상해 보세요. 로봇이 퍼즐을 풀려고 시도할 때마다, 로봇은 생각, 행동, 그리고 실수의 길고 지저치 않은 흔적을 남깁니다. 이 흔적을 "실행 추적(execution trace)"이라고 부릅니다. 오랫동안 이 로봇들을 고치려 노력했던 과학자들은 이 엉망진창인 흔적을 바라보는 두 가지 주요 방법을 가지고 있었습니다. 첫 번째 방법은 그냥 "너 실패했어"라고 말하고 넘어가는 것이었습니다. 이것은 마치 선생님이 학생에게 왜 틀렸는지 알려주지 않고 그냥 빨간색으로 "F"라고 적어주는 것과 같습니다. 두 번째 방법은 로봇에게 무엇이 잘못되었는지에 대해 길고 장황한 에세이를 쓰라고 요청하는 것이었습니다. 이것은 더 나은 방법이지만, 수학 문제를 틀릴 때마다 매번 다른 단어를 사용하여 새로운 에세이를 다시 쓰라고 요구하는 것과 같습니다. 로봇은 자신의 실수에 대해 일관된 어휘를 배우지 못하며, 선생님(또는 로봇을 고치려는 컴퓨터 프로그램)은 동일한 오류를 설명하는 수많은 서로 다른 방식 때문에 압도당하게 됩니다.

이 분야의 핵심 질문은 다음과 같습니다: 어떻게 하면 AI 에이전트가 끝없는, 반복적인 텍스트에 발목 잡히지 않고 자신의 실패로부터 배울 수 있도록 도울 수 있을까요? 목표는 이 지저분하고 긴 오류의 흔적을 깨끗하고 체계적인 "실패 코드(failure codes)"—즉, 표준화된 실수 사전—의 목록으로 바꾸는 것입니다. 만약 로봇이 계속해서 자신의 작업을 확인하는 것을 잊어버린다면, 매번 그에 대해 한 단락의 글을 쓰는 대신, "확인 누락(Forgot to Check)"이라는 태그를 받는 식이어야 합니다. 이를 통해 시스템은 패턴을 포착하고, 근본 원인을 수정하며, 같은 실수를 두 번 다시 하지 않도록 할 수 있습니다. 이것이 바로 AdaMAST라고 불리는 새로운 방법의 기초입니다.

논문의 핵심 아이디어: 로봇의 개인용 "오류 사전"

이 논문은 AdaMAST(Adaptive Multi-Agent System Failure Taxonomies)라고 불리는 영리한 새로운 시스템을 소개합니다. AdaMAST를 로봇 에이전트가 문제를 해결하려고 시도하는 것을 지켜보는 아주 똑똑한 사서라고 생각해 보세요. 이 사서는 로봇의 지저분한 일기를 읽는 대신, 로봇만의 개인화되고 살아있는 실수 사전을 만듭니다.

실제 작동 방식은 다음과 같습니다:

관찰: 로봇은 여러 작업(코딩 작성이나 수학 문제 풀기 등)을 시도하다가 실패합니다. 그리고 길고 지저분한 텍스트의 흔적을 남깁니다.
마법 같은 번역: 인간이 모든 단어를 읽는 대신, AdaMAST는 그 흔적을 읽고 이렇게 말합니다. "아, 이런 패턴이 보이네! 로봇이 존재하지 않는 도구를 계속 사용하려고 했구나" 또는 "로봇이 너무 일찍 생각을 멈췄어." 이는 지저분한 관찰 내용을 **"조기_추론_중단(Premature_Reasoning_Truncation)"**이나 **"도구_불일치(Tool_Mismatch)"**와 같이 짧고 기억하기 쉬운 이름으로 변환합니다.
살아있는 사전: 이 시스템은 "택소노미(taxonomy, 분류 체계)"를 구축합니다. 이는 단순히 카테고리화된 목록을 의미하며, 세 가지 선반을 가지고 있습니다:
- 시스템 수준(System-level): 전체 설정과 관련된 실수 (예: 로봇이 루프에 빠져 갇혀 있는 경우).
- 역할 특정(Role-specific): 로봇 팀의 특정 부분에서 발생하는 실수 (예: "검토자" 부분이 게으른 경우).
- 도메인 특정(Domain-specific): 실제 주제와 관련된 실수 (예: 수학 계산을 틀리는 경우).
가장 좋은 점: 로봇은 인간으로부터 이 사전을 배울 필요가 전혀 없습니다. 사전은 전적으로 로봇 자신의 실패로부터 구축됩니다. 이것은 마치 학생이 자신의 오답을 바탕으로 스스로 학습 가이드를 만들고, 그다음 시험을 위해 그 가이드를 사용하여 공부하는 것과 같습니다.

논문의 발견: 사전은 효과가 있다

저자들은 이 아이디어를 세 가지 방식으로 테스트했으며, 결과는 이 "오류 사전"을 갖는 것이 로봇을 훨씬 더 똑똑하고 신뢰할 수 있게 만든다는 것을 시사합니다.

1. 더 나은 로봇 설계 찾기 (탐색)
다양한 부품을 조합하여 더 나은 로봇을 발명하려고 한다고 상상해 보세요. 보통은 단순히 점수만 봅니다: "이 로봇은 80점, 저 로봇은 85점." 하지만 AdaMAST를 사용하면, 시스템은 실패한 로봇들의 사전 코드를 살펴봅니다.

결과: 연구자들이 더 나은 로봇 설계를 찾는 데 이 코드들을 가이드로 사용했을 때, 새로운 로봇들은 훨씬 더 우수한 성능을 보였습니다. 다섯 가지 다른 유형의 도전 과제(경쟁 프로그래밍부터 수학까지)에서, 사전을 사용하는 로봇들은 막연한 자유 텍스트 피드백을 받는 로봇들에 비해 점수가 3.4%에서 7.5% 향상되었습니다.
비유: 이것은 코치가 선수에게 "너는 공을 놓치는 이유는 엉뚱한 곳을 보고 있기 때문이야" (특정 코드)라고 말하는 것이, 단순히 "너 오늘 경기력이 별로였어" (일반적인 점수)라고 말하는 것과 같습니다. 선수는 무엇을 고쳐야 할지 정확히 알게 됩니다.

2. 작업 중 실수 수정하기 (런타임 모니터링)
때로는 로봇이 작업 중간에 경로를 벗어나기 시작할 때가 있습니다. 이 논문은 로봇이 작업을 멈추고, 자신의 "오류 사전"을 확인하여, 작업을 마치기 전에 스스로를 수정할 수 있는지 테스트했습니다.

결과: 로보가 이 사전을 사용하여 스스로를 점검하도록 했을 때, 더 많은 문제를 해결했습니다.
- SWE-bench라는 소프트웨어 엔지니어링 테스트에서, SWE-agent라는 로봇은 일반적인 자가 점검을 할 때의 해결 능력이 **60%**에서 사전을 사용할 때 **70%**로 올라갔습니다.
- 또 다른 로봇인 Claude Code는 **64.0%**에서 **70.7%**로 향상되었습니다.
시사점: 사전은 로봇이 단순히 일반적인 "작업을 확인하라"는 프롬프트를 사용할 때 놓쳤던 구체적이고 반복되는 오류(예: 구문 오류를 확인하는 것을 잊는 것)를 잡아내는 데 도움을 주었습니다.

3. 최선의 시도 선택하기 (궤적 선택)
로봇이 한 문제를 다섯 번 시도한다고 상상해 보세요. 어떤 것이 맞는지 모르지만, 당신은 승자를 골라야 합니다.

결과: 연구자들은 "판사"를 만들어 다섯 번의 시도를 살펴보고 "오류 코드"를 셌습니다. 오류 코드가 가장 적은 시도가 대개 승자였습니다.
수치: 이 방법은 단순히 추측하거나 표준 체크리스트를 사용하는 것보다 정확도를 8에서 15 포인트 개선했습니다. 특히 "정답에 근접했지만 틀린" 시도와 "실제로 맞는" 시도를 구분하는 데 탁월했습니다.

논문이 배제하는 것 (그리고 포함하지 않는 것)

저자들은 이 시스템이 무엇이 아닌지를 명확히 밝히고 있습니다.

모든 것에 대한 마법 지팡이가 아닙니다: 논문은 고정된, 미리 만들어진 오류 목록(예: 표준 교과서 목록)도 괜찮긴 하지만, 로봇의 스타일을 위해 특별히 구축된 사전만큼 좋지는 않다는 것을 보여줍니다. "적응형(Adaptive)"이라는 부분이 핵심입니다. 일반적인 목록을 사용하면, 당신의 로봇만이 만드는 독특하고 이상한 실수들을 놓치게 됩니다.
더 나은 에세이를 쓰는 것에 관한 것이 아닙니다: 논문은 피드백을 더 화려하고 구조화된 형식(예: 목록 형태)으로 작성하는 것이 비결인지 테스트했습니다. 그들은 사전의 내용이 형식보다 더 중요하다는 것을 발견했습니다. 진짜 승리는 단지 단어들을 배열하는 방식이 아니라, 오류에 대한 일관되고 재사용 가능한 이름 목록을 갖는 것이었습니다.
인간의 발명품이 아닙니다: 논문은 인간이 이러한 목록을 직접 작성하는 것에 대해 명시적으로 반대합니다. 인간이 로봇이 어떤 실수를 할지 예측하려고 할 때, 특이하고 기이한 실수들을 놓친다는 것을 발견했기 때문입니다. 로봇 자신의 행동이 가장 좋은 스승입니다.

얼마나 확신할 수 있는가?

논문은 이러한 발견들을 단순한 추측이 아닌, 실제 실험을 통한 측정된 결과로 제시합니다.

수치는 견고합니다: (예를 들어 문제 해결 능력이 60%에서 70%로 상승하는 것과 같은) 개선 사항은 여러 가지 다른 테스트와 다양한 종류의 로봇에 걸쳐 측정되었습니다.
"사전"은 압축적입니다: 저자들은 이 사전이 매우 효율적임을 보여주었습니다. 이 시스템은 방대한 양의 지저한 실패 데이터를 중요한 세부 사항을 잃지 않으면서도 아주 작은 코드 목록(약 18배 더 작게)으로 압축할 수 있습니다.
인간 친화적입니다: 로봇이 만든 사전과 인간 전문가가 만든 목록을 비교했을 때, 로봇의 목록이 인간이 만든 목록보다 오히려 전문가들의 오류 이해도와 더 잘 일치했습니다. 이는 로봇이 자신의 실수를 이해하는 데 있어 놀라울 정도로 뛰어나다는 것을 시사합니다.

요약하자면, AdaMAST는 똑똑한 로봇을 고치는 가장 좋은 방법이 새로운 매뉴얼을 써주거나 일반적인 꾸짖음을 주는 것이 아니라고 제안합니다. 대신, 로봇이 자신의 실패로부터 자신만의 실수 사전을 구축하게 하고, 그 사전을 사용하여 다음에는 어떻게 더 잘할 수 있는지 가르치는 것입니다. 이것은 지저분한 오류의 더미를 명확하고 실행 가능한 개선 로드맵으로 바꿉니다.

기술 요약: 환상적인 적응형 분류 체계와 그 활용법 (AdaMAST)

1. 문제 정의

모델 가중치를 수정하지 않고 대규모 언어 모델(LLM) 에이전트 시스템을 개선하려는 현재의 방법들은 실행 트레이스(execution traces)를 소비하는 방식에 의존합니다. 궤적 선택(trajectory selection), 프롬프트/워크플로우 최적화, 런타임 모니터링과 같은 절차들은 실패를 진단하기 위해 가공되지 않은 트레이스로부터 피드백을 추출합니다. 그러나 본 논문은 가공되지 않은 트레이스가 다음과 같은 이유로 피드백을 축적하기 위한 하위 매체로서 부적절하다고 주장합니다:

길고 인스턴스 특정적임: 컨텍스트 윈도우 공간을 상당 부분 점유합니다.
안정적인 어휘가 부족함: 반복되는 실패 패턴(예: 특정 도구 호출 재시도 또는 검사기가 해결사의 결과를 무조건 승인하는 현상)이 매 실행마다 자유 형식의 산문으로 재진단됩니다. 이는 공유 가능하고 재사용 가능한 진단 인터페이스의 축적을 방해합니다.
피드백 루프의 비효율성: 자유 형식의 비평은 각 실행 후에 폐기되는 반면, 스칼라 결과값(통과/실패)은 진단적 깊이가 부족합니다.

기존의 고정된 분류 체계(예: MAST)는 구조적 한계에 직면해 있습니다. 이러한 체계는 대상 시스템에 존재하지 않을 수도 있는 특정 에이전트 역할과 도메인 지식을 전제하며, 이로 인해 사용되는 어휘와 실제 관찰된 실패 모드 사이에 불일치가 발생합니다.

2. 방법론: AdaMAST

본 논문은 AdaMAST(Adaptive Multi-Agent System Failure Taxonomies)를 소개합니다. 이는 대상 시스템의 실행 트레이스로부터 압축적이고 증거에 기반한 실패 어휘를 직접 유도하는 파이프라인입니다.

핵심 아키텍처

유도된 분류 체계는 세 가지 고정된 축을 따라 명명된 실패 코드로 구성되며, 이를 통해 내용의 적응성을 허용하면서도 시스템 간 비교 가능성을 보장합니다:

시스템 레벨 (축 A): 하네스(harness)나 오케스트레이션의 변경이 필요한 실패 (예: 지시 불이행, 정체).
역할 특정적 (축 B): 발견된 에이전트 역할에 특화된 실패 (예: 검사기 불이행, 코디네이터의 집계 오류). 이는 완전히 트레이스로부터 유도됩니다. 만약 시스템에 차별화된 역할이 없다면 이 축은 비어 있게 됩니다.
도메인 특정적 (축 C): 태스크 관련 지식이 필요한 실패 (예: 조합론적 추론 오류, 물리 법칙 위반).

유도 파이프라인

분류 체계 생성 과정은 대상 시스템당 1회 발생하는 비용이며, 다음 네 단계를 거칩니다:

분석 (Analysis): 트레이스 샘플로부터 도메인 컨텍스트, 발견된 에이전트 역할, 그리고 반복되는 행동 신호를 추출합니다.
큐레이션 (Curation): 각 축에 대한 후보 코드를 제안합니다. 시스템 및 도메인 코드는 파이프라인이 제안하는 광범위한 사전 지식(priors)에 의해 시딩되며, 역할 코드는 아키텍처로부터 완전히 유도됩니다.
통합 (Consolidation): 중복을 제거하고, 명명 규칙 위반을 수정하며, 커버리지 규칙을 강제합니다. 이 단계는 약 8회의 LLM 호출로 컴파일됩니다.
측정자 간 일치도 (배포 게이트): 4개의 독립적인 LLM 측정자가 홀드아웃(held-out) 궤적에 라벨을 붙입니다. 평균 쌍 코헨의 카파( $\kappa$ ) 값이 실패 영역 수준에서 $\ge 0.75$ 이고 커버리지 하한선이 0.70을 충족할 때만 분류 체계가 수용됩니다. 목표를 달est하지 못할 경우, 시스템은 수정 사항(병합, 추가, 재라벨링)을 제안하고 재실행합니다.

온라인 미세 조정 (Online Refinement)

대상 시스템이 진화함에 따라(예: 탐색 기반 최적화 중), 분류 체계를 온라인으로 미세 조정할 수 있습니다. 미세 조정 이벤트는 최근 트레이스를 바탕으로 코드를 병합, 추가 또는 재라벨링하여, 분류 체계가 과거의 스냅샷이 아닌 현재의 시스템 상태를 추적하도록 보장합니다.

통합 모드

유도된 분류 체계는 세 가지 서로 다른 소비자 유형을 위한 공유 피드백 인터페이스 역할을 합니다:

에이전트-시스템 탐색: 분류 체계로 코딩된 진단(발생된 코드 + 증거)이 변이 프롬프트 내의 자유 형식 성찰(reflection)을 대체하여 진화적 탐색(예: AdaEvolve)을 가이드합니다.
런타임 모니터링: 분류 체계는 "런타임 스킬" 또는 인컨텍스트 앵커 역할을 하여, 에이전트가 특정 체크포인트에서 알려진 실패 모드에 대해 스스로 점검할 수 있게 합니다.
궤적 선택: 검증기(AdaMAST-Judge)는 유도된 코드를 검증 기준으로 변환하여, 정답 체크가 없는 상황에서도 후보 궤적의 순위를 매깁니다.

3. 주요 기여

적응형 실패 분류 체계: 수작업으로 작성된 코드나 궤적당 인간의 주석 없이, 트레이스로부터 압축적이고 증거에 기반한 분류 체계를 유도하는 파이프라인을 제공합니다.
측정 가능한 피드백 인터페이스: 유도된 어휘는 다음과 같은 특성을 가짐을 입증했습니다:
- 압축성: 구별 능력을 유지하면서 실패 관련 콘텐츠를 약 $18\times$ 압축합니다 (89%의 트레이스가 고유한 코드 시그니처를 유지함).
- 인간 충실도: 동일한 조건에서 수작업으로 제작된 어휘보다 전문가의 실패 주석과 더 잘 일치합니다 ( $\kappa = 0.682$ vs $0.516$ on TRAIL).
- 적응성: 서로 다른 도메인을 위해 유도된 분류 체계 간의 평균 쌍 자카드 유사도는 0.14에 불과하여, 대상 시스템의 역할과 도구에 대한 특수성을 보여줍니다.
교차 소비자 개선: 유도된 분류 체계는 세 가지 서로 다른 다운스트림 작업(에이전트-시스템 탐색, 런타임 모니터링, 궤적 선택) 모두에서 성능을 향상시킵니다.

4. 실험 결과

본 논문은 세 가지 통합 설정과 여러 벤치마크를 통해 AdaMAST를 평가합니다.

에이전트-시스템 탐색

AdaEvolve를 탐색 백본으로 사용할 때, 분류 체계로 코딩된 진단은 모든 5개 벤치마크에서 자유 형식의 LLM 성찰보다 우수한 성능을 보였습니다:

Frontier-CS: $26.0\% \to 32.7\%$ (+6.7 pp)
OlympiadBench: $87.9\% \to 91.9\%$ (+4.0 pp)
MMLU-Pro: $35.0\% \to 42.5\%$ (+7.5 pp)
TheoremQA: $60.0\% \to 65.0\%$ (+5.0 pp)
DROP: $88.2\% \to 91.7\%$ (+3.5 pp)
메커니즘: OlympiadBench 케이스 스터디에서, 특정 코드(예: Coordinator Aggregation Mismatch)가 아키텍처 수정(검증을 이진 게이트에서 점수 부스팅으로 격상)을 직접 유도하여 점수 상승을 이끌어냈습니다.

런타임 모니터링

SWE-bench Verified Mini에서, 유도된 어휘에 체크포인트를 고정함으로써 해상도(resolution rates)를 개선했습니다:

Claude Code: $64.0\%$ (Base) $\to 70.7\%$ (AdaMAST), 자유 형식 Reflexion( $60\%$ ) 및 고정된 MAST 체크리스트( $67.3\%$ )를 능가함.
SWE-agent: $50\%$ (Base) $\to 70\%$ (AdaMAST), Reflexion( $60\%$ ) 및 MAST( $68\%$ )를 능가함.
유도된 어휘는 특히 검증 단계의 실패를 줄이고 "플래키(flaky)"한 해결을 신뢰할 수 있는 것으로 전환했습니다.

궤적 선택

Terminal-Bench 2.0에서, AdaMAST-Judge는 포화되지 않은 하네스 환경에서 Pass@1 대비 8~~15 포인트, 고정된 MAST 어휘 대비 3.4~~4.5 포인트 높은 Best-of-5 선택 정확도를 보였습니다. 발생된 코드는 통과 궤적과 실패 궤적을 구분하는 데 효과적이었습니다 (통과 시 중앙값 3개 코드 vs 실패 시 4개 코드).

검증

인간 정렬: TRAIL 데이터셋에서, 유도된 어휘는 동일한 주석 패널을 사용했을 때 수작업으로 제작된 TRAIL 어휘( $\kappa = 0.516$ )보다 훨씬 높은 $\kappa = 0.682$ 를 달성했습니다.
압축: 분류 체계는 실패 콘텐츠를 약 $18\times$ 압축하였으며(또는 약 $95\times$ 적은 토큰 사용), 다운스트림 예측 작업을 위한 원시 트레이스 풀과 기능적 동등성을 유지했습니다.

5. 의의 및 주장

본 논문은 적응형 실패 분류 체계가 에이전트가 생성하는 트레이스와 이를 개선하는 절차 사이의 루프를 닫는다고 주장합니다.

핵심 논거는 원시 트레이스와 스칼라 결과 사이의 "누락된 표현"이 바로 명명되고 증거에 기반한, 시스템 특정적인 실패 어휘라는 점입니다. 시스템 자체의 행동으로부터 이 어휘를 한 번 유도함으로써, 이는 다음과 같은 지속적인 산물이 됩니다:

분석 비용의 분산: 진단 비용은 분류 체계를 생성하는 데 한 번 지불되며, 이후의 실행과 절차 전반에서 재사용됩니다.
표적 개입 가능: 자유 형식의 비평과 달리, 코드는 개입 지점(시스템, 역할 또는 도메인)에 직접 매핑됩니다.
진화 추적: 고정된 카탈로그가 예측할 수 없는 역할 및 도메인 특화된 "롱테일(long tail)" 실패를 포착하며 시스템 변화에 따라 적응합니다.

저자들은 이러한 이득이 단순히 프롬프트 포맷팅이나 구조화된 텍스트 사용 때문이 아니라, 대상 에이전트 시스템의 실패 모드에 충실한 어휘의 유도와 재사용에서 비롯된다는 점을 강조합니다. 결론적으로, 에이전트 시스템에 대한 가장 저렴한 개선 방법은 **"먼저 자신의 용어로 어떻게 실패하는지를 배우는 것"**일 수 있습니다.