기술 요약: 모든 기술이 도움이 되는 것은 아니다: 에이전트 지식의 측정 및 수리

1. 문제 정의

가중치 업데이트 없이 대규모 언어 모델(LLM) 에이전트를 개선하려는 현재의 패러다임은 경험으로부터 자연어 기술(skill)을 축적하는 방식에 의존합니다. 이러한 시스템은 일반적으로 기술의 생성, 보존, 검색이라는 전체 기술 생애주기를 LLM 자체의 판단에 위임합니다. 이는 LLM이 단일 작업 맥락을 바탕으로 어떤 기술을 유지하고 어떻게 적용할지를 충분히 결정할 수 있다는 가정을 전제로 합니다.

그러나 본 논문은 이 접근 방식이 두 가지 구별되는 역할을 혼동하고 있다고 주장합니다:

1. 생성(Generation): 경험으로부터 기술을 만드는 것 (LLM의 판단력이 뛰어난 창의적 행위).
2. 큐레이션(Curation): 특정 기술이 실제로 도움이 되는지 결정하는 것 (많은 작업에 걸친 증거가 필요한 경험적 질문).

저자들은 무분별한 축적이 초래하는 체계적인 부작용인 **인과적 이질성(causal heterogeneity)**을 식별했습니다. 개별 기술은 특정 유형의 작업에는 도움이 되지만, 다른 작업에는 오히려 해가 될 수 있습니다. 이러한 상반된 효과가 총합 과정에서 서로 상쇄되기 때문에, 평균 성능을 기준으로 기술을 평가하는 글로벌 큐레이션 방식은 이를 감지하지 못합니다. 결과적으로, "나쁜" 기술은 에이전트의 성능, 특히 복잡하거나 분포 외(out-of-distribution) 작업에서의 성능을 저하시키는 보이지 않는 오버헤드가 됩니다.

2. 방법론: ASSAY 프레임워크

저자들은 기술 생성과 큐레이션을 분리하는 ASSAY(Attribution-Based Skill Selection and Assembly) 프레임워크를 제안합니다. 이 프레임워크는 단일 인과 귀속 행렬 $C \in \mathbb{R}^{N \times M}$ (여기서 $N$은 기술의 수, $M$은 개발 작업의 수)에 의해 통합되는 3단계로 작동합니다.

1단계: 인과 효과 측정 (무작위 마스킹)

LLM의 판단에 의존하여 기술을 평가하는 대신, ASSAY는 무작별 마스킹을 사용하여 편향되지 않은 인과적 귀속을 계산합니다.

• 프로토콜: $K$개의 독립적인 시행(trial)에 대해, 각 기술을 확률 $f$로 포함하는 베르누이 샘플링(Bernoulli sampling)을 통해 무작위 마스크를 구성합니다.
• 귀속: 작업 $d_i$에 대한 기술 $s_j$의 인과 점수 $C[j, i]$는 기술이 존재할 때의 시행과 존재하지 않을 때의 시행 간의 평균 차이 추정량(difference-in-means estimator)으로 계산됩니다.
• 결과: 이 과정은 특정 작업에 대해 기술이 도움이 되는지(양수), 해가 되는지(음수), 또는 영향이 미미한지(중립)를 보여주는 행렬을 생성합니다. 이는 기술이 작업 유형에 따라 부호가 반전될 수 있음을 보여주는 인과적 이질성을 드러냅니다.

2단계: 오프라인 라이브러리 구조 재편

귀속 행렬을 사용하여, ASSAY는 추론 전 단계에서 이질성을 해결하기 위해 오프라인에서 기술 라이브러리를 재구조화합니다.

1. 분할(Split): 높은 이질성(작업 전반에 걸친 인과 점수의 큰 분산)을 보이는 기술은 명시적인 트리거 조건(예: "작업 유형이 X인 경우에만 적용")을 가진 조건부 변형으로 기본 LLM에 의해 다시 작성됩니다. 이러한 변형은 전체 성능을 저하시키지 않음을 보장하기 위해 개발 게이트(development gate)를 통과해야 합니다.
2. 퇴출(Retire): 글로벌 인과 점수가 거의 0에 가까운(영향이 미미한) 기술은 컨텍스트 노이즈를 줄이기 위해 제거됩니다.
3. 병합(Merge): 분할 과정에서 도입된 유사한 중복 기술들은 클러스터링되며, 가장 높은 점수를 가진 멤버가 유지됩니다.

3단계: 작업별 인과 마스킹

추론 시에는 최적의 기술 집합이 작업마다 달라지기 때문에 정적인 라이브러리만으로는 불충분합니다. ASSAY는 기술 선택을 위험 최소화 문제로 취급합니다.

• 예측: 새로운 테스트 작업에 대해, 시스템은 지시문 임베딩을 기반으로 가장 가까운 $k$개의 개발 작업을 식별합니다. 그 후, 해당 근접 이웃들의 역사적 인과 점수에 가중치를 부여하여 각 기술에 대한 예측 인과 효과 $\hat{C}(s_j, t)$를 계산합니다.
• 마스킹 규칙: 음의 인과 효과를 예측하는 기술은 억제되는 반면, 양의 효과나 중립적 효과를 보이는 기술은 유지됩니다. 치명적인 실패를 방지하기 위해 보호된 운영 템플릿(예: 페이지네이션, 데이터 검증)은 마스킹 대상에서 제외됩니다.
• 폴백(Fallback): 필터링된 기술 집합이 너무 작아질 경우, 시스템은 점진적 성능 저하를 방지하기 위해 전체 라이브러리로 복귀합니다.

3. 주요 기여

• 경험적 특성화: 본 논문은 기술 라이브러리에서 광범위한 인과적 이질성이 나타난다는 최초의 경험적 증거를 제시하며, 기술이 일부 작업에는 도움이 되지만 다른 작업에는 해가 되어 글로벌 큐레이션에서는 보이지 않게 된다는 점을 입증했습니다.
• 프레임워크 설계: ASSAY는 생성(LLM의 판단)과 큐레이션(경험적 측정)의 분리를 구체화합니다. 이는 인과 귀속을 계산하고, 오프라인에서 라이브러리를 재구조화하며, 추론 시 작업별 마스킹을 적용하는 파이프라인을 도입합니다.
• 최첨단 성능(SOTA): 이 프레임워크는 가중치 수정 없이 다양한 모델과 벤치마크에서 상당한 성능 향상을 달나 성취했습니다.
  • AppWorld: 가장 어려운 분할(hardest split)에서 DeepSeek-V3는 **69.3%의 작업 목표 달성률(TGC)**을 기록하며, 기존 방식(가중치 튜닝 방식 포함) 대비 47.4%의 상대적 개선을 이루며 새로운 SOTA를 세웠습니다.
  • $\tau$-bench: GPT-4.1은 8.7%의 상대적 향상을 보여주며, 가중치 수정 없이 공개 리더보드에서 o4-mini, o1, GPT-4.5를 넘어섰습니다.
• 병목 구간 식별: 절제 연구(Ablation studies)를 통해 주요 병목이 전역적인 "나쁜" 기술의 존재가 아니라, 추론 시 적절한 기술을 특정 작업에 매칭하지 못하는 데 있음을 확인했습니다. 작업별 마스킹이 지배적인 이득을 제공합니다.

4. 실험 결과

프레임워크는 4개 제공업체(OpenAI, DeepSeek, Anthropic, Google)의 7개 베이스 모델을 사용하여 두 가지 벤치마크(AppWorld 및 $\tau$-bench)에서 평가되었습니다.

• 일반화: ASSAY는 모든 7개 모델에서 일관되게 성능을 향상시켰습니다. AppWorld의 test_challenge 분할에서, 큐레이션되지 않은 기술 라이브러리는 일부 모델(예: GPT-5.1)의 성능을 오히려 저하시켰으나(52.5%에서 49.9%로 하락), ASSAY는 이를 역전시켜 상당한 이득을 얻었습니다.
• 난이도 민감도: 이 방법은 큐레이션되지 않은 라이브러리가 가장 많은 해를 끼쳤던 레벨 2 및 레벨 3 작업에서 가장 큰 이득을 제공했습니다.
• 경계 조건: 두 모델(GPT-5.1 및 Sonnet 4.5)은 $\tau$-bench에서 이득이 0이었습니다. 저자들은 이를 베이스 모델의 역량이 높아짐에 따라 프롬프트 타임 기술 주입의 이점이 포화 상태에 도달했기 때문으로 분석하며, 이는 베이스 모델의 능력이 증가함에 따라 수익 체감 법칙이 적용됨을 시사합니다.

5. 의의 및 주장

본 논문은 기술의 전체 생애주기에 LLM의 판단에 의존하는 현재의 방식이 근본적인 한계라고 주장합니다. 경험적, 측정 기반의 큐레이션 단계를 도입함으로써, ASSAY는 기존 기술 기반 에이전트를 괴롭히는 "인과적 이질성" 문제를 해결합니다.

저자들은 ASSAY가 기존 방식과 상호 보완적임을 강조합니다:

• 이는 완전히 추론 시점에서 작동하며 가중치 업데이트를 필요로 하지 않습니다.
• 모든 기존 기술 생성 파이프라인(예: ACE, CUGA, Reflexion) 위에 레이어로 쌓을 수 있습니다.
• 패러다임을 "더 많은 기술을 축적하는 것"에서 "기술을 작업에 정밀하게 매칭하는 것"으로 전환합니다.

결론적으로, 기술 생성이 LLM이 가장 잘 수행할 수 있는 창의적 행위라면, 기술 큐레이션은 컨텍스트 윈도우에 주입된 지식이 실제로 에이전트의 성능을 돕는지 보장하기 위해 무작위 측정이 필요한 경험적 문제입니다.