기술 요약: 회귀 세금(The Regression Tax): 기술이 LLM 에이전트를 돕는 방식 — 그리고 방해하는 방식의 해체

문제 정의

현재 대규모 언어 모델(LLM) 에이전트 기술에 대한 평가는 주로 태스크 성공률의 평균 개선도에 의존하고 있다. 이러한 집계 지표는 결정적인 비용을 은폐하기 때문에 불완전하다. 즉, 절차적 기술(procedural skills)의 추가가 **회귀(regressions)**를 유발할 수 있다는 점이다. 회귀란 기술이 도입되기 전에는 "순수(bare)" 에이전트(기술이 없는 상태)가 해결했던 태스크를 기술 도입 후 오히려 실패하게 되는 현상을 의미한다.

기술을 관리하는 기존 방법들은 유해한 기술이 검색되거나 호출될 때만 이를 탐지하고 제거하는 데 집중한다. 그러나 이러한 방법들은 기술의 본문(skill body)이 한 번도 실행되지 않더라도 기술의 설명(description)이 시스템 프롬프트에 존재하는 것만으로 에이전트의 행동을 변화시키는 **존재 기반 효과(presence-only effects)**를 고려하지 못한다. 또한, 기존 문헌들은 기술로 인한 실패를 진단적 증거로 취급할 뿐, 그 구체적인 메커니즘(예: 그라운딩 오류 vs. 절차적 오류)을 조사하는 데까지 나아가지 못한다.

방법론

저자들은 기술 추가의 순 효과를 이득(gains)(기술이 있어야만 해결되는 태스크)과 회귀(regressions)(기술이 생기면 실패하게 되는 태스크)로 분해하기 위해 통제된 대규모 경험적 연구를 수행하였다.

실험 설정

• 규모: 약 6,000회의 시행 중 5,832개의 태스크-조건 실행.
• 벤치마크: 두 가지 사무 자동화 태스크:
  1. OfficeQA-Pro: 미국 재무부 금융 문서(PDF)에 대한 복잡한 질의응답으로, 다단계 추론과 표 추출을 요구함.
  2. SpreadsheetBench: 실제 엑셀 포럼 문제를 활용한 스프레드시트 조작 태스크로, 수식, 필터링, 셀 업데이트를 포함함.
• 모델-하네스 스택(Model-Harness Stacks): 견고성을 보장하기 위해 세 가지 서로 다른 조합을 테스트함:
  1. OpenCode + MiniMax-M2.7
  2. Codex + GPT-5.4-mini
  3. Claude Code + Sonnet 4.6
• 기술 라이브러리(Skill Libraries): 각 스택에 대해, 동일한 실패 신호로부터 서로 다른 생성 파이프라인을 사용하여 세 가지 별도의 라이브러리를 생성함:
  1. Anthropic: 측정 기반의 반복적 정제.
  2. OpenAI: 단일 패스 구조적 생성.
  3. Ours (Sentient): 하네스 불가지론적(harness-agnostic), 자기 비판 및 재사용.
• 조건: 각 태스크는 네 가지 조건(기술 없음(베이스라인), 그리고 세 가지 별도의 기술 라이브러리) 하에서 실행됨.
• 지표: 불일치 쌍(discordant pairs)에 대한 **맥니머 검정(McNemar test)**을 활용하여 통계적 유의성을 결정하였으며, 이득(Gains), 회귀(Regressions), 잔여 실패(Residual Failures, 둘 다 실패), 그리고 *유지(Retained)*된 태스크의 수를 명시적으로 추적함.

주요 기여

1. 순 효과의 분해

본 논문은 통과율 변화의 쌍을 이룬 분해(paired decomposition)를 도입한다. 저자들은 단일 집계 개선도를 보고하는 대신, 얻은 태스크와 깨진 태스크의 구체적인 수를 보고한다.

• 결과: 모든 조건에서, 324개의 회귀 전환이 553개의 총 이득 전환 중 59%를 상쇄함.
• 시사점: "최고 성능"을 보이는 기술들은 종종 더 많은 새로운 태스크를 해결함으로써가 아니라, 기존의 태스크를 덜 망가뜨림으로써 성공한다. 동일한 순 이득을 가진 라이브러리라도 회귀 횟수에 따라 매우 다른 신뢰성 프로필을 가질 수 있다.

2. 세 가지 회귀 메커니즘 식별

궤적 분석을 통해 저자들은 기술이 회귀를 일으키는 세 가지 뚜렷한 메커니즘을 식별하였다:

1. 기술 설명 삼투(Skill-Description Osmosis): 기술 본문이 호출되지 않더라도, 기술의 설명이 컨텍스트(시스템 프롬프트)에 존재하는 것만으로 에이전트의 행동을 변화시킨다. 이는 검색 기반의 억제 방법으로는 감지할 수 없는 효과이다.
2. 그라운딩 치환(Grounding Displacement): 기술이 규정한 절차가 에이전트의 올바른 입력 해석(예: 잘못된 테이블, 날짜 또는 엔티티 선택)을 덮어쓴다. 이는 OfficeQA-Pro에서 나타난 지배적인 회귀 원인이다.
3. 검증 치환(Verification Displacement): 기술의 절차가 에이전트가 원래 수행했을 출력 검증 과정을 억제하거나 대체한다. 이는 SpreadsheetBench에서 나타나는 핵심 실패 모드로, 올바른 수식이 생성되었음에도 불구하고 검증 로직의 부재로 인해 실패가 발생한다.

3. 잔여 실패의 재평가

연구는 기술이 있든 없든 모두 실패한 태스크("잔여 실패")를 분석하였다.

• 결과: 이러한 실패는 절차적(method) 단계가 아닌 그라운딩(입력) 및 검형(출력) 단계에 집중되어 있다.
• 교정: 전체 스프레드시트 엔진을 사용하여 SpreadsheetBench의 실패를 재채점함으로써, 저자들은 이전에 실패로 처리되었던 226개의 태스크에서 에이전트가 올바른 수식을 생성했음을 확인하였다. 이는 기존 기술들이 절차적 가이드(method)를 과도하게 강조하는 반면, 그라운딩과 검증 지원은 부족함을 보여준다.

결과

정량적 결과

• 회귀 세금(Regression Tax): OfficeQA-Pro 벤치마크에서 회귀는 총 이득의 66%를 상쇄했으며, SpreadsheetBench에서는 56%를 상쇄했다.
• 통계적 유의성: 다중 비교에 대한 본페로니 교정(Bonferroni correction)을 적용한 후, Claude Code · Sonnet 4.6 스택의 SpreadsheetBench 결과만이 통계적으로 유의미하게($p < 0.001$) 남았다. 이는 회귀를 고려하지 않을 경우 다른 구성에서의 많은 겉보기 개선이 노이즈와 구별되지 않을 수 있음을 시사한다.
• 삼투 영향: 기술 본문이 태스크의 514%에서만 호출된 OpenCode · MiniMax 스택에서, **이득의 8493%가 호출 없이 발생**했다. 이는 설명의 존재 자체가 상당한 성능 변화(긍정적 및 부정적 모두)를 주도한다는 것을 입증한다.

메커니즘 분포

• OfficeQA-Pro: 회귀는 그라운딩 치환(72.8%)이 지배적이었으며, 삼투(17.3%)가 그 뒤를 이었다.
• SpreadsheetBench: 회귀의 원인이 더 혼합되어 있었으며, 삼투(28.8%)와 "본문 참여(Body Engaged)" 오류(18.9%)가 두드 있었고, 상당한 수의 채점 도구 관련 오류(grader artifacts)가 존재했다.

의의 및 주장

본 논문은 분야가 기술을 집계된 개선도가 아닌 분해된 순 효과(이득 마이너스 회귀)를 바탕으로 평가하는 방향으로 전환해야 한다고 주장한다.

1. 원시적 이득보다 신뢰성: 기술 라이브러리의 주요 차별점은 얼마나 많은 새로운 태스크를 해결하느냐가 아니라, 기존 태스크를 얼마나 적게 망가뜨리느냐에 있다.
2. 호출을 넘어: 평가 방법론은 기술 설명의 존재와 기술 본문의 호출 효과를 분리해야 한다. 현재의 선택 기반 방법들은 "삼투" 효과를 측정하지 못한다.
3. 설계의 전환: 기존 기술들은 (실패의 근원이 거의 아닌) "방법" 단계(절차적 가이드)를 과도하게 강조한다. 저자들은 신뢰성이 절차적 단계를 정교화하는 것보다 그라운딩(입력 해석)과 검증(출력 확인)을 개선하는 것에 달려 있다고 주장한다.
4. 평가 프로토콜: 향후 평가는 쌍을 이룬 이득/회귀 수를 보고해야 하며, 제어된 절제 실험(예: 설명만 있는 경우 vs. 설명 + 본문이 있는 경우)을 통해 "존재 전용" 채널을 테스트해야 한다.

저자들은 기술이 에이전트 성능을 향상시킬 수 있지만, 현재 집계 지표에 의해 숨겨진 "회귀 세금"을 부과한다고 결론짓는다. 이를 해결하려면 순수하게 절차적 최적화가 아닌 그라운딩과 검증에 집중해야 한다.